Linux за българи: Форуми

Linux секция за начинаещи => Настройка на програми => Темата е започната от: k4BIG в Sep 21, 2007, 13:25



Титла: Backup
Публикувано от: k4BIG в Sep 21, 2007, 13:25
Здравейте,

интересува ме как да правя backup на майл сървър.От самия мейл на втори компютър.Говорим само за една директория /vmail примерно без mysql базата.Отделно с нея ще се занимавам.
Каква е практиката при големите фирми?

Имам предвид ако правя 2 пъти на ден дори backup на /vmail и базата от mysql-а това пак дава възможност да се изгуби информация от интервалите.

Другия вариант които виждам е rsync примерно.
Репликиране в реално време.Като само се добавят промените.Но се чуда дали това няма да е в минус за работата на майл сървъра...от към натоварване и т.н.

Незнам ,а пък ми е важно затова ако някои може да помогне ще съм много благодарен :)


Титла: Backup
Публикувано от: shadowx в Sep 21, 2007, 15:35
raid :)


Титла: Backup
Публикувано от: Hapkoc в Sep 21, 2007, 16:23
shadowx, raid не е решение за backup на данни.


Титла: Backup
Публикувано от: Kollin в Sep 21, 2007, 17:46
Сети ли си се за Bacula?   ;)

Примерен код
What is Bacula?

Bacula is a set of computer programs that permits the system administrator to manage backup, recovery, and verification of computer data across a network of computers of different kinds. Bacula can also run entirely upon a single computer and can backup to various types of media, including tape and disk.

In technical terms, it is a network Client/Server based backup program. Bacula is relatively easy to use and efficient, while offering many advanced storage management features that make it easy to find and recover lost or damaged files. Due to its modular design, Bacula is scalable from small single computer systems to systems consisting of hundreds of computers located over a large network.


http://www.bacula.org/    

 B)


Титла: Backup
Публикувано от: jet в Sep 21, 2007, 18:34
стоп на mail сървъра, стоп на maysql, backup, start na mysql, start na mail server-a


Титла: Backup
Публикувано от: gat3way в Sep 21, 2007, 19:08
Ъъъм лоша идея..


Титла: Backup
Публикувано от: jet в Sep 21, 2007, 19:36
why


Титла: Backup
Публикувано от: luda_glawa в Sep 21, 2007, 20:26
Как да го кажа по-простичко. Едновременен запис на данни, на два носителя. Но как става под линукс, това незнам.


Титла: Backup
Публикувано от: gat3way в Sep 21, 2007, 20:27
Много downtime, на много услуги :) Докато се изкопират някъде, кой ще получава поща :)

И между другото, като ще ги сваляш услугите що не пробваш нещо по-забавно :) mysql базите и mailobox-овете си ги държиш на отделен дял или LV. Като ги спреш, unmount-ваш файловата система, копираш направо целият дял някъде, после маунтваш файловата система и палиш услугите :) Ще стане много по-бързо, гаранция, няма да минаваш изобщо през VFS слоя, няма и да тъпчеш кеша на ядрото с ненужна информация за buffer cache, inode cache, dentries и т.н. :)


Титла: Backup
Публикувано от: gat3way в Sep 21, 2007, 20:29
Цитат (luda_glawa @ Сеп. 21 2007,21:26)
Как да го кажа по-простичко. Едновременен запис на данни, на два носителя. Но как става под линукс, това незнам.

Ако са на една машина, нарича се RAID1 :)

Ако са на 2 отделни системи и по мрежата...варианти много :) Например drbd. RedHat Cluster Suite също е забавно решение, носещо като екстра и high-availability на услугата :)


Титла: Backup
Публикувано от: luda_glawa в Sep 21, 2007, 20:49
Цитат (gat3way @ Сеп. 21 2007,21:29)
Цитат (luda_glawa @ Сеп. 21 2007,21:26)
Как да го кажа по-простичко. Едновременен запис на данни, на два носителя. Но как става под линукс, това незнам.

Ако са на една машина, нарича се RAID1 :)

Ако са на 2 отделни системи и по мрежата...варианти много :) Например drbd. RedHat Cluster Suite също е забавно решение, носещо като екстра и high-availability на услугата :)

Да, прав си. Но все си мисля, че по-добре да е на различни машини. Доколкото знам rsync може да свърши работа, но on-line нямам идея дали ще се справи така, че да не се усети забавяне. Говоря за голяма база. Малките не ги коментираме.


Титла: Backup
Публикувано от: bnight в Sep 21, 2007, 20:52
Цитат (k4BIG @ Сеп. 21 2007,14:25)
Здравейте,

интересува ме как да правя backup на майл сървър.От самия мейл на втори компютър.Говорим само за една директория /vmail примерно без mysql базата.Отделно с нея ще се занимавам.
Каква е практиката при големите фирми?

Имам предвид ако правя 2 пъти на ден дори backup на /vmail и базата от mysql-а това пак дава възможност да се изгуби информация от интервалите.

Другия вариант които виждам е rsync примерно.
Репликиране в реално време.Като само се добавят промените.Но се чуда дали това няма да е в минус за работата на майл сървъра...от към натоварване и т.н.

Незнам ,а пък ми е важно затова ако някои може да помогне ще съм много благодарен :)

Незнам как е в големите фирми но според мен бекуп веднъж дневно с Rsync ти е повече от достатъчен. Все пак перфектен вариант няма. За какво ти е да имаш цялата поща ? Обикновено поща се губи заради клиентски грешки при теб се иска да може да усигуриш въстановяването на сървъра максимално бързо в случей на проблем за това веднъж дневно ти е повече от достатъчно.


Титла: Backup
Публикувано от: k4BIG в Sep 21, 2007, 20:52
Мерси много за отговорите.Ами аз поне виждам 2 решения.Едното backup примерно през ноща по някое време.Може и в обедната почивка.Но ако се развали сървъра тотално към края на работното време губиме писмата в интервала от 12(обедната почивка) до 17(края на работното време.
А това не е никак професионално.

Има начин според мен каквото ново се запише в дадена директория то да се репликира на друг комп.С rsync мисля ,че може да се изпълни.Но това няма ли допълнително да затормози доста основния сървър....незнам.

Относно backup-а на mysql-а не съм го мислил.Просто карам едно по едно.Но определено няма нужда да е всеки ден ако не правиш промени в него.

Относно сървърите които имам приемаме ,че са 2 еднакви с по раид 5.4 диска по 750ГБ примерно.

Идеята е да не губя интервала от обед до края на деня ако се развали сървъра към 17:00.
Мисълта ми е ,че големите фирми са решили този проблем.Честите backup-и не мисля ,че ще го решат на 100%.Но ако това е практиката и другото решение е по лошо ок.

Ако имаше начин да разберем какво прават abv,mail.bg щеше да е най-лесно сигорно:)

Просто е интересно как да правиш backup при които когато и да падне основния сървър ти да имаш копия на друг компютър.
Или пък се прави на периоди и загубата се минимизира до няколко часа...

Не съм разгледал още Bacula.Ще видя дали може тя да се окаже решение.

Мерси пак за отговорите.





Титла: Backup
Публикувано от: k4BIG в Sep 21, 2007, 20:57
"Да, прав си. Но все си мисля, че по-добре да е на различни машини. Доколкото знам rsync може да свърши работа, но on-line нямам идея дали ще се справи така, че да не се усети забавяне. Говоря за голяма база. Малките не ги коментираме. "


За това говоря и аз.

Представи си ако mail.yahoo.com загуби писмата си за минималните 2 часа.Това сигорно са хиляди да не кажа по голяма цифра.

Не мисля ,че са оставили този проблем нерешен.


П.П.

Като се замисля няма начин да прехвърляш данни в реално време без да генерираш трафик.Въпроса е как се прави ако трябва да е професионално.Не мисля ,че всеки го прави както си иска.Визирам големите мейл сървъри.

Иначе остава да се тества.И ако двата компютъра са свързани с кросоувър дори няма да натоварваш мрежата.Остава само това колко ще се мъчи source server-а.
При ГБит връзка може и да не се усети.....никаква идея нямам.





Титла: Backup
Публикувано от: bnight в Sep 21, 2007, 21:11
Големите сървъри са в сериозни дата центрове където освен интернет достъп имат и изградени много стабилни локални мрежи за връзка между машините от което проблема с трафика ти отпада. Естествено тъй като двете машини са на едно и също място винаги съществува риск от примерно земетресение ма тогава едва ли ще мислиш за пощата от преди два часа. Нека ти го илюстрирам имаш два сървъра в един дата център и двата имат излъз към интернет но и между тях има локална връзка. Представи си че падне единият сървър но на другият имаш rsync готов да запли в случей на необходимост. Горе доло това е идеята. Успех.


Титла: Backup
Публикувано от: mom в Sep 21, 2007, 21:14
Предложение:
1. Две еднакви машини всяка с по 2 диска в RAID 1 и с по 2 LAN карти.
2. и на двете машини drbd, репликиращ през единия от интерфейсите (желателно е да е гигабитов)
3. Работеща (в смисъл на обслужваща) е винаги само една от машините и на нея е монтиран drbd дяла. Другата машина само се занимава със преписване на онова, което твори първата.

Така при отпадане на диск от едната машина - другият диск е работещ, сменяш умрелия диск, ребилдваш RAIDA и voila
При отпадане на едната машина - палиш сървизите (пощата и mysql-а) на другата и отиваш да поправяш умрялата машина.

Допълнително можеш да пуснеш heartbeat на двете машини, който да следи машините. Ако умре едната - да пуска сървизите на другата, така че ти да нямаш ръчна работа. Тук има 1 трик с вземането на IP адреса на работещата машина.

Слабото място на дизайна е ако се запали офиса или някой влезе да ти потроши машините - губиш ги и двете. Тогава можеш да си изнесеш едната машина на друго физическо място и да пуснеш бърза арендована линия и drbd-то през vpn - само дето вероятно ще е скъпичко.

Горния дизайн (заедно с hearbeat-а) е измислен и реализиран от Васил Колев и вече 3 години работи пичовски в офиса ни :)


Титла: Backup
Публикувано от: gat3way в Sep 21, 2007, 21:24
С пари стават много, много неща :)

storage системи, SAN-ове, блабла :)


Титла: Backup
Публикувано от: Hapkoc в Sep 21, 2007, 22:02
А нещо такова - нещата стоят на LVM, като дойде време за backup се спират услугите, прави се snapshot на LVM дяла, после се пускат, backup-ват се данните от snapshot-а и той се разкарва?

После можеш да си ги метнеш където си искаш, мрежа, dvd, zip...

Мисля, че времето за downtime сериозно ще е сравнително ниско и ще се запази консистентността (баси българската дума) на данните.

Какво мислите?


Титла: Backup
Публикувано от: Hapkoc в Sep 21, 2007, 22:09
То зависи много и какво се търси в една такава система.

Ако те притеснява какво ще се случи с писмата в случай, че мейл сървъра се счупи си слагаш backup mx, който да ти обработва пощата, когато основния сървър не може да бъде достигнат. Естествено в този случай клиентите ще си прочетат писмата чак когато системата се вдигне и си получи пощата от backup mx сървъра.

Ако се търси high availability тогава варианта, който описа mom ми се струва доста подходящ.

Въобще - зависи от заданието.


Титла: Backup
Публикувано от: k4BIG в Sep 21, 2007, 23:41
Мерси за отговорите.

mom това е интересно решение и определено мисля да го реализирам идния месец.С подръчни матеряли само за тест :)Мерси

Иначе няма да ми свърши работа понеже аз имам на разположение 2 сървъра с по 4 хард диска в раид 5.Всеки по 750ГБ.
Диск 1 - майл сървър
2- Домейн.MyDocuments,Desktop  и т.н.
3 - Фаил Сървър
4 - Фаил Пак

Само се чуда на втората машина дали да пусна BDC или пак PDC спряно и чакащо да проработи при падане на първата машина.Но това ще го измисля.

По добър вариант е да се направи с 5 машини не 2,но парите са бая повече.

"Ако те притеснява какво ще се случи с писмата в случай, че мейл сървъра се счупи си слагаш backup mx, който да ти обработва пощата, когато основния сървър не може да бъде достигнат"

Ами при падане на първия сървър на втория само му се слага ип,хост и почва да работи като основен.Това може да се направи за по малко от минута.

"А нещо такова - нещата стоят на LVM, като дойде време за backup се спират услугите, прави се snapshot на LVM дяла, после се пускат, backup-ват се данните от snapshot-а и той се разкарва?

После можеш да си ги метнеш където си искаш, мрежа, dvd, zip..."

Има идея в това нещо:)


Иначе въпроса е в принципа.Да не загубиш нищо.Нали това е целта в краина сметка.Да правим всичко перфектно.
От тая гледна точка решението което предложи mom звучи много добре.Ще се поразрова из google за други решения все пак.Да си призная не съм се ровил сериозно по темата.Нямам много време и затова и питам тук напоследък.Ако има някакви резултати няма да забрава да ги постна тук.

Мерси за отговорите пак :D


Титла: Backup
Публикувано от: tarator в Sep 22, 2007, 00:55
k4BIG,

Трябва да решиш какво ниво на подсигуровка искаш и колко пари имаш :) Ако изискването е само да не се изгубят данните, RAID5 те устройва достатъчно добре.


Титла: Backup
Публикувано от: mom в Sep 22, 2007, 01:28
Цитат (k4BIG @ Сеп. 22 2007,00:41)
Иначе няма да ми свърши работа понеже аз имам на разположение 2 сървъра с по 4 хард диска в раид 5.Всеки по 750ГБ.
Диск 1 - майл сървър
2- Домейн.MyDocuments,Desktop  и т.н.
3 - Фаил Сървър
4 - Фаил Пак

Не виждам защо RAID5 да е проблем в случая. До колкото си представям нещата 5-те диска са ти в общ масив (единия е за контролните суми). Останалите 4 са ти всъщност дялове от общия масив, а не истинските дискове, т.е. не е сигурно, че на физическия диск1 ти е сториджа на майл сървъра и т.н. за другите.

Това което се опитвам да кажа, че ти основата я имаш - RAID-а, за да имаш redundancy в рамките на 1 машина. Добавяш една аналогична машина, правиш й същия RAID, пускаш drbd и на двете и оставяш едната да преписва от другата. Така ще решиш задачата не само за пощата, ами и за всички останали услуги - на drbd-то хич му не пука какво пишеш отгоре :)

Едно предупрежденийце - в по-старите версии на drbd-то имаше някаква несъвместимост м-у drbd и reiserfs - ползвай ext3. Може в новите да са го оправили. Четох, че в новите версии можеш да работиш с повече от две машини, т.е. да имаш master с many slaves

Успех и ако наистина пробваш кажи какво си постигнал :)


Титла: Backup
Публикувано от: tarator в Sep 22, 2007, 01:37
mom,

При RAID5 няма отделен диск за контролните суми, това би било глупаво. Контролните суми са рахвърляни по всички дискове.


Титла: Backup
Публикувано от: gat3way в Sep 22, 2007, 03:18
Цитат (Hapkoc @ Сеп. 21 2007,23:02)
А нещо такова - нещата стоят на LVM, като дойде време за backup се спират услугите, прави се snapshot на LVM дяла, после се пускат, backup-ват се данните от snapshot-а и той се разкарва?

После можеш да си ги метнеш където си искаш, мрежа, dvd, zip...

Мисля, че времето за downtime сериозно ще е сравнително ниско и ще се запази консистентността (баси българската дума) на данните.

Какво мислите?

Може...ма тряя си сигурен че имаш място за snapshot-a...да не се издънят нещата по време на копирането.


Титла: Backup
Публикувано от: jet в Sep 22, 2007, 04:15
голям праз като е свален мейл сървъра за 5мин (колкото за един рсинк) на мейл сървърите отсреща ще им даде по един таимаут, на следващия опит ще си прекарат мейлите към теб.


Титла: Backup
Публикувано от: bnight в Sep 22, 2007, 11:16
Абе то това добре ама какво правим с клиентите който изкат да пращат писма ? Стига бе несериозно е да има downtime всеки ден.


Титла: Backup
Публикувано от: gat3way в Sep 22, 2007, 13:18
Там много ли поща ходи :)


Титла: Backup
Публикувано от: mom в Sep 22, 2007, 15:45
Цитат
mom,

При RAID5 няма отделен диск за контролните суми, това би било глупаво. Контролните суми са рахвърляни по всички дискове.

Упс - моя грешка - контролните суми са разпределени по дисковете от масива  B)  :D