Linux за българи: Форуми

Linux секция за напреднали => Хардуерни и софтуерни проблеми => Темата е започната от: gushtera в Jul 29, 2011, 10:26



Титла: Съвет за NAS + Replication
Публикувано от: gushtera в Jul 29, 2011, 10:26
Здравейте колеги,
имам няколко въпроса надявам се някой да успее да даде разумно решение:
 Архитектурата е следната 2 сториджа с хардуерен RAID в RAID 5 или RAID6 като двата ще се намират физически на различни места и ще трябва да правят репликация от първия към втория реално втория ще е бекъп и ще е хубаво да има вариант за failover и това всичкото ще трябва да се експортне към един ESXi клъстер с около 20 сървъра с iSCSI. Та това е набързо архитектурата много ще се радвам ако някой даде някакви адекватни варианти за това нещо.


Поздрави,
Пламен Петков


Титла: Re: Съвет за NAS + Replication
Публикувано от: plamen_f в Jul 29, 2011, 10:43
Мда, може би ще трябва да се предложи и начин за стигане по-бързо до луната.
Мисля, че е опитваш да получиш корпоративно решение за което някоя (или някои) фирма/и са ти поискали тлъста сума.

Какво пък - опитай ;)


Титла: Re: Съвет за NAS + Replication
Публикувано от: Acho в Jul 29, 2011, 10:48
/off

И аз като прочетох клъстер с 20 машини, егати сериозната работа е това.


П.С. Поръчай си 2 QNAP-а от по-сериозните и ще си правиш каквото искаш.


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Jul 29, 2011, 10:51
Клъстера е мой това ще бъде един лаб на който ще провеждам разни експриемнти а и ще сторвам информация която искам да е по-сериозно защитена :)


Титла: Re: Съвет за NAS + Replication
Публикувано от: sickmind в Jul 29, 2011, 11:00
След като ще го ползвате за ESX/ESXi, от VMware може би имат решение на проблема ви, разгледайте:
http://www.vmware.com/products/site-recovery-manager/

Поздрави.


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Jul 29, 2011, 11:19
След като ще го ползвате за ESX/ESXi, от VMware може би имат решение на проблема ви, разгледайте:
http://www.vmware.com/products/site-recovery-manager/

Поздрави.

Гледах го това но то е решение за vSphere интересно как успява да контролира iSCSI драйва и реално самите сториджи след като е Recovery Site значи ще трябва целия трафик по репликацията да се извърти през Site-a тоест реално репликацията няма да минава директно на сторидж-сторидж ниво. Поне аз не намирам логиката как ше стане стане номера във видеото обясняат за сторидж партниори така, че единствения вариант това да работи ако се използва сторидж софтуер който да е сертифициран и самия Sitre Recovery Manager да комуникира директно към него :)


Титла: Re: Съвет за NAS + Replication
Публикувано от: laskov в Jul 29, 2011, 12:27
http://www.drbd.org/ ($2)


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Aug 02, 2011, 09:36
http://www.drbd.org/ ($2)

Благодаря ти много мисля че това е моето решение. А съвет на базата на коя дистрибуция да заложа?


Титла: Re: Съвет за NAS + Replication
Публикувано от: romeo_ninov в Aug 02, 2011, 15:35
Здравейте колеги,
имам няколко въпроса надявам се някой да успее да даде разумно решение:
 Архитектурата е следната 2 сториджа с хардуерен RAID в RAID 5 или RAID6 като двата ще се намират физически на различни места и ще трябва да правят репликация от първия към втория реално втория ще е бекъп и ще е хубаво да има вариант за failover и това всичкото ще трябва да се експортне към един ESXi клъстер с около 20 сървъра с iSCSI. Та това е набързо архитектурата много ще се радвам ако някой даде някакви адекватни варианти за това нещо.


Поздрави,
Пламен Петков
1. репликация на какво ниво? На диск на виртуална машина, на iSCSI LUN, на ниво диск от сториджа?
http://www.drbd.org/ ($2)
това работи само за два диска, добавени към една машина
http://www.drbd.org/ ($2)

Благодаря ти много мисля че това е моето решение. А съвет на базата на коя дистрибуция да заложа?
нали имаш ESXi, защо питаш за дистрибуция?


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Aug 02, 2011, 16:36
Здравейте колеги,
имам няколко въпроса надявам се някой да успее да даде разумно решение:
 Архитектурата е следната 2 сториджа с хардуерен RAID в RAID 5 или RAID6 като двата ще се намират физически на различни места и ще трябва да правят репликация от първия към втория реално втория ще е бекъп и ще е хубаво да има вариант за failover и това всичкото ще трябва да се експортне към един ESXi клъстер с около 20 сървъра с iSCSI. Та това е набързо архитектурата много ще се радвам ако някой даде някакви адекватни варианти за това нещо.


Поздрави,
Пламен Петков
1. репликация на какво ниво? На диск на виртуална машина, на iSCSI LUN, на ниво диск от сториджа?
http://www.drbd.org/ ($2)
това работи само за два диска, добавени към една машина
http://www.drbd.org/ ($2)

Благодаря ти много мисля че това е моето решение. А съвет на базата на коя дистрибуция да заложа?
нали имаш ESXi, защо питаш за дистрибуция?

Сториджите ще бъдат отделно от ESXi-a  ставаше на въпрос дали да се полза CentOS или Debian  за drbd-то а репликацията искам да е на дисково ниво тоест еквивалент на RAID1 през мрежата така че DRBD е може би най-добрия вариант стига да работи надежно реално архитектурата е следната:

 2 сторидж сървъра в раид 5 които да се репликират помежду си и iSCSI към клъстера от 20 ESXi (за сега) + vCenter типичен клауд солюшън ;)

Ако имаш някаква друга идея ще се радвам да я споделиш :)


Титла: Re: Съвет за NAS + Replication
Публикувано от: romeo_ninov в Aug 02, 2011, 16:56
Сториджите ще бъдат отделно от ESXi-a  ставаше на въпрос дали да се полза CentOS или Debian  за drbd-то а репликацията искам да е на дисково ниво тоест еквивалент на RAID1 през мрежата така че DRBD е може би най-добрия вариант стига да работи надежно реално архитектурата е следната:

 2 сторидж сървъра в раид 5 които да се репликират помежду си и iSCSI към клъстера от 20 ESXi (за сега) + vCenter типичен клауд солюшън ;)

Ако имаш някаква друга идея ще се радвам да я споделиш :)
Не мисля че drbd е добро решение за географски отдалечени дискове/сториджи. Забавянията могат да предизвикат неприятни ефекти


Титла: Re: Съвет за NAS + Replication
Публикувано от: kalata в Aug 03, 2011, 07:57
Мога да си кажа моят опит със сторидж и DRBD. Имам 2 с DRBD на 3 дяла между тях от което само OS-а не е в DRBD-то иначе конфизите са.

Личният ми съвет е да се ползва OpenFiler защото е по лека дистрибуцийката и можеш да си я сложиш на флашка ако искаш. 3тия ми сторидж е такъв.

DRBD в различни райони трябва да се опъне Ethernet за да може да се направи репликацията иначе ще яде по много трафик докато репликира между регионите. Ако е малко трафика трябва да се оставят защитите на DRBD които са сложени при кофти трафик или при спиране на интернет-а от едната страна и т.н. Което означава бавна работа.

Ако 2та са Active/Passive в един център махаш защитите оптимизация на TCP/IP стек-а, NFS и съм стигнал ~120MB/s на LACP през 2 карти една VM. Меря с dd if=/dev/zero of=./zerofile bs=1M count=1000

Със защитите и без оптимизация 70-80MB/s. Ако ще правиш 2 сайта трябва да са с клъстерна FS щото искаш active/active и тогава нищо не магаш и ще е голяма бавнотия ако нямаш само оптика за тоя репликейшън  ;)

А VMWare и Cloud - WTF!!

Успех.


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Aug 03, 2011, 09:23
Мога да си кажа моят опит със сторидж и DRBD. Имам 2 с DRBD на 3 дяла между тях от което само OS-а не е в DRBD-то иначе конфизите са.

Личният ми съвет е да се ползва OpenFiler защото е по лека дистрибуцийката и можеш да си я сложиш на флашка ако искаш. 3тия ми сторидж е такъв.

DRBD в различни райони трябва да се опъне Ethernet за да може да се направи репликацията иначе ще яде по много трафик докато репликира между регионите. Ако е малко трафика трябва да се оставят защитите на DRBD които са сложени при кофти трафик или при спиране на интернет-а от едната страна и т.н. Което означава бавна работа.

Ако 2та са Active/Passive в един център махаш защитите оптимизация на TCP/IP стек-а, NFS и съм стигнал ~120MB/s на LACP през 2 карти една VM. Меря с dd if=/dev/zero of=./zerofile bs=1M count=1000

Със защитите и без оптимизация 70-80MB/s. Ако ще правиш 2 сайта трябва да са с клъстерна FS щото искаш active/active и тогава нищо не магаш и ще е голяма бавнотия ако нямаш само оптика за тоя репликейшън  ;)

А VMWare и Cloud - WTF!!

Успех.

Репликацията ще бъде по оптика а колкото до OpenFiler-a разгледах го но няма никаква документация а също так ами прави проблем със създаването на партишаните. А там за клъстеринга няма никаква информация


Титла: Re: Съвет за NAS + Replication
Публикувано от: kalata в Aug 03, 2011, 22:06
А там за клъстеринга няма никаква информация

http://www.howtoforge.com -> search -> openfiler

Успех!


Титла: Re: Съвет за NAS + Replication
Публикувано от: gushtera в Oct 18, 2011, 11:37
Здравейте отново приятели,
след доста лутания и конфигурации накрая подкарах 2та сториджа със Ubuntu + DRBD + iscsitarget

И резултатите са следните:
При пусната репликация на DRBD-то се случва следното:
скорост при тест с dd е около 19-20МБ/с а скороста при тест с hdparm -t е 60МБ/с

При спряна репликация и iscsitarget-a е назначен директно към lvm дяловете трафика е:
скорост при тест с dd е около 65-70МБ/с а скороста при тест с hdparm -t е 120МБ/с

Може ли да споделите от опита който имате как да накарам DRBD-то да репликира с по сериозна скорост при положение че съм сетнал скороста на репликация на 1Г.

P.S. Конфигурацията на DRBD съм я направил с Managment Console-a от сайта на DRBD.
Чакам идеи за справяне с проблема :)


Благодаря Ви предварително ;)