Изпечатай

[dvbb]

Здравейте

Имам дилемата какъв райд да направя: Имам контролер LSI 9266 и 16 диска по 2ТБ. Опциите ми са RAID 6 от контролера или JBOD + RAID Z2(ZFS raid6)
Интересуваме кое ще е по добре като Performance и Reduncancy.


Поздрави

[romeo_ninov]

Здравейте

Имам дилемата какъв райд да направя: Имам контролер LSI 9266 и 16 диска по 2ТБ. Опциите ми са RAID 6 от контролера или JBOD + RAID Z2(ZFS raid6)
Интересуваме кое ще е по добре като Performance и Reduncancy.


Поздрави

Зависи, но лично аз бих препоръчал хардуерното решение. И задължително отделете един диск за spare.
Но ще берете големи грижи с този масив, защото ако замине някой диск ребилдването на масива може да продължи много часове...

[dvbb]

Ако направя масива през контролера ще бъде RAID6 + 2 Hotspare . За файлова система се чудя между ext4 и XFS. Иначе за ребилда знам ,че ще е тегаво но невиждам друга опция за такъв обем данни и да имам някакво redundancy.

[nemanema]

Ако направя масива през контролера ще бъде RAID6 + 2 Hotspare . За файлова система се чудя между ext4 и XFS. Иначе за ребилда знам ,че ще е тегаво но невиждам друга опция за такъв обем данни и да имам някакво redundancy.

Здрасти, решение има ! Въпроса е в парите
Колко използваемо пространство търсиш от тия 16 х 2Т ? Ако го направиш както си написал колко ще е реално използваемото пространство ? Приблизително около 18Т. А ако направиш RAID 60 + 2 Spare, какво ще е положението с пространството и производинелността ?
Преди да се стигне до момента "ПОМООООЩ колеги помагайте, СПЕШНОООО" да разчоплим ако искаш темата ! ? Но да я разчоплим докрай, че преди време друг много питаше за тия контролечи и управлението им, а в крайна сметка нищо не направи.
Успех колега !

[romeo_ninov]

Ако направя масива през контролера ще бъде RAID6 + 2 Hotspare . За файлова система се чудя между ext4 и XFS. Иначе за ребилда знам ,че ще е тегаво но невиждам друга опция за такъв обем данни и да имам някакво redundancy.

В подобни случаи се препоръчва да заложите на повече дискове, но по-малки, така се увеличава скоростта и се намалява времето за възстановяване. Но не повече от 14 (по препоръки на HP) в RAID масив
И добавянето на втори spare увеличава надеждността малко, защото ако ви се появи проблем с два диска натоварването при ребилд ще направи почти невъзможна нормалната работа.
Освен това преоценете решението си за един голям том, няма ли да е по-ефективно да направите няколко по-малки. А файловата система зависи от вид, брой на файлове, брой директории (особено на едно ниво), характеристики на натоварването

[dvbb]

Започвам да се замислям за 2 масива RAID6 с по 1 hostspare , в крайна сметка мястото ще е същото. Мястото мисля да го раздавам през iSCSI за STORAGE на различни машини. Като мисля да ползвам LVM и да им давам пространство на отделните машини от 2-4ТБ.


@nemanema: При 16 x 2TB RAID6 с 2 hotspare , получаваме 24TB (като съм наясно че диск 2ТБ не е реално 2ТБ).

[romeo_ninov]

Започвам да се замислям за 2 масива RAID6 с по 1 hostspare , в крайна сметка мястото ще е същото. Мястото мисля да го раздавам през iSCSI за STORAGE на различни машини. Като мисля да ползвам LVM и да им давам пространство на отделните машини от 2-4ТБ.


@nemanema: При 16 x 2TB RAID6 с 2 hotspare , получаваме 24TB (като съм наясно че диск 2ТБ не е реално 2ТБ).

Не, не е същия обем, 16-2 spare -2 CRC= 12 ->24Т
докато при два масива: 8 - 1 spare- 2 CRC = 5 -> 20Т
И производителността ще е същата (+-3%)

[nemanema]

@nemanema: При 16 x 2TB RAID6 с 2 hotspare , получаваме 24TB (като съм наясно че диск 2ТБ не е реално 2ТБ).

Колега, изобщо не визирам,че 2 терабита са 2 терабайта, както и получения масив от дисковете като обем след инициализация в ОС.
Коментара е направен с цел да прегледаш документацията и да си наясно, къде се пише информацията за формираните масиви, като се обърне специално внимание на миграционните процеси и възможности на закупения контролер. Понеже няма как да закачиш 16 диска чисто на контролера, е добре да си наясно и със спецификата и на експандера на бекплейна на който са набодени дисковете. Предполагам си наясно, че и да се смени контролера като хардуер, ако направи проблем или дефект, като набодеш новия от съшия производител, ще си изгрее масива и няма да имаш никаква драма, за разлика от затворените решения, които пишат инфото си в NVRAM или EEPROM.
И въпреки размислите ти, какво и как да направиш, пак предлагам RAID 60 + 2 Spare.
В довършителен коментар, да ти обърна внимание и на възможността, да подключиш и двата канала на контролера, ако си с i8. Както и да прегледаш инфото, как работи самия режим RAID 6 като разпределение на информацията върфу физическите дискове. Примерно ако имаш 8 диска от по 100 мегабайта в RAID 6, преди форматиране от ОС, колко ще ти е масива ? А след форматиране ? А след експорт през iSCSI ?

Да поразчоплим още малко темата ?

П.П. Само от елементарно любопитство, това iSCSI по какво ще го вадиш от кутията с дисковете ?

[dvbb]

@romeo_ninov: Мерси за корекцията , бях забравил да сметха дисковете за редунданси на 2рия масив.

@nemanema: С RAID60 + 2HotSpare ще ми се вдигне малко прерформанса и до някаде редъндансито. Като цяло ми се струва че 2 масива RAID6 с по един HotSpare ще е малко по добре от гледна точка на редънданси. Ако искаш го наречи пароноя но при RAID60 , ако ти заминат 3диска от едната група и ти заминава всичко , докато при два отделни масива , ако стане нещо с единия другия си остава. Като цяло и 2та варианта са добре , но идва проблема с ефективността от 16 налични диска реално имам 10 , което значително ми оскъпява мястото. Продължавам да се въртя около варианта RAID6 + 2HotSpare , като съм наясно ,че ако се наложи ребилд ще бъде 10-15ч , а може и повече. Всепак планирам да правя всяка нощ rsync на данните към друга машина , та ако се наложи ребилд и скоростта стане прекалено бавна да мога да пусна данните от бекъпа. iSCSI мусля да пусна през 2 x 1Gbit bonding и съответно на клиентските машини по 1 карта Gbit. Машините които ще получават сторидж ще са около 10 , като мисля да им дам по 1-5TB. Като за целта мисля да ползвам LVM.

[nemanema]

@nemanema: С RAID60 + 2HotSpare ще ми се вдигне малко прерформанса и до някаде редъндансито. Като цяло ми се струва че 2 масива RAID6 с по един HotSpare ще е малко по добре от гледна точка на редънданси. Ако искаш го наречи пароноя но при RAID60 , ако ти заминат 3диска от едната група и ти заминава всичко , докато при два отделни масива , ако стане нещо с единия другия си остава. Като цяло и 2та варианта са добре , но идва проблема с ефективността от 16 налични диска реално имам 10 , което значително ми оскъпява мястото. Продължавам да се въртя около варианта RAID6 + 2HotSpare , като съм наясно ,че ако се наложи ребилд ще бъде 10-15ч , а може и повече. Всепак планирам да правя всяка нощ rsync на данните към друга машина , та ако се наложи ребилд и скоростта стане прекалено бавна да мога да пусна данните от бекъпа. iSCSI мусля да пусна през 2 x 1Gbit bonding и съответно на клиентските машини по 1 карта Gbit. Машините които ще получават сторидж ще са около 10 , като мисля да им дам по 1-5TB. Като за целта мисля да ползвам LVM.

Здрасти, само да споделя, впечатление до момента харесва ми, как не се впрягаш като повечето питащи във форума, как съвсем обстойно се оглеждат нещата и съвсем спокойно и добре продължаваш да чоплиш по темата, до пълно изясняване за теб ! Дано повече хора прочетат и си вземат бележка за поведението си !
По същество. Не сподели следните неща:
Колко дисково пространство търсиш ?
Кой е точния модел на контролера ?
Имаш ли батерия на него ?
Какъв е модела на експандера ?
За маскимално "изцеждане" на железарията, провери опционалните настройки и установи на Writeback, провери необходимото време за развъртане на дисковете и го укажи задължително в полето за инициализация, като добавиш поне секунда-две допълнително. Добре е да имаш батерия, и контролера да е подключен през двата порта (ако имаш два) към бекплейна на кутията. Много е важно да си наясно какви ще са основните операции, които ще се изпълняват от машините, на които ще раздаваш iSCSI. Задържително укажи контролера да не ползва кеш-а на дисковете и да ги чете директно. Задай максимален StipeSize примерно 1М. Оптимизирай предварението за четене.
Относно опасенията какво ще стане, ако гръмнат три диска - погледни опцията за плаващо динамично прикачване на недостоверен диск, взет "назаем" от другия масив
Относно експорта на дисковия масив: каквито и режими на RAID конфигурация да избереш при тази бройка дискове неможеш да го извадиш от кутията с две лан карти. Силно ти препоръчвам да инвестираш поне още 80-90 долара за още една двупортова лан карта. Да си направиш bonding-а с четирите карти, за да може поне 5 gb/s да имаш в двете посоки, и да оползотвориш колкото може повече от производителността на дисковия тракт и контролера. Понеже не искам да коментирам от къде и какво си копуваш, само като насока чиповете на лан картите да са поне 82576ЕВ. Силно се надявам на желязото да има поне 8GB RAM, за да не ти "куца" мрежовия стек. Трябва да се съобразят поне следните основни опции на кърнъла: kernel.shmmax, kernel.msgmax, kernel.msgmnb, kernel.shmall.

Успех

П.П. Може и да не ми вярваш, но след като желязото е при теб, не си поиграеш за два дена и да замериш, както получените пространства, така и производителността при различен вид конфигуриран RAID, с различни големини на StipeSize.
Ще чакам отзивите

[dvbb]

Хардуера с който разполагам е :
Шаси: SuperMicro 836E16-R1200B - експандера си е от него.
Дъно: Supermicro X9SCA-F -  ланкарти 2x 1.0Gbit Intel 82574L
РАМ: 2 x 4GB
Райд контролер: LSI 9266-8i със кешволт батерия
Дискрове: Hitachi Ultrastar 2TB

Като пространсто съм казал на ръководството ,че ще имаме 24ГБ като сме наясно (бит ,байт...). И затова не ми допада много идеята от 16диска да имам мястото на 10 или 11
Що се отнася до мрежовите карти мисля да пробвам с 2те вградени и ако се окаже зле да купя още и да ги вкарам в бондинга, това поне лесно се увеличава в процеса на работа.
За iSCSI-то несъм сигурен ,че мога да определя какво ще се слага , ще има както .php .html файлове с малки размери така и архиви и .psd файлове по няколко GB.
Невиждам какво има да определям там , правя през LVM логически устройства с нужните размери и после на клиентската машина ги правя Linux- ext4 и на Windows - NTFS.

[romeo_ninov]

....
За iSCSI-то несъм сигурен ,че мога да определя какво ще се слага , ще има както .php .html файлове с малки размери така и архиви и .psd файлове по няколко GB.
Невиждам какво има да определям там , правя през LVM логически устройства с нужните размери и после на клиентската машина ги правя Linux- ext4 и на Windows - NTFS.

Зависи от вида на натоварването... може да се наложи и FC карти да не стигат за трафика. И ако ще останеш на Ethernet имаше специални iSCSI HBA, които да поемат част от натоварването

[nemanema]

Като пространсто съм казал на ръководството ,че ще имаме 24ГБ като сме наясно (бит ,байт...). И затова не ми допада много идеята от 16диска да имам мястото на 10 или 11
Що се отнася до мрежовите карти мисля да пробвам с 2те вградени и ако се окаже зле да купя още и да ги вкарам в бондинга, това поне лесно се увеличава в процеса на работа.
За iSCSI-то несъм сигурен ,че мога да определя какво ще се слага , ще има както .php .html файлове с малки размери така и архиви и .psd файлове по няколко GB.
Невиждам какво има да определям там , правя през LVM логически устройства с нужните размери и после на клиентската машина ги правя Linux- ext4 и на Windows - NTFS.

Здрасти,
Приятелски съвет: никога не обещавай на ръководството нещо преди желязото да е при теб и да си го видял. Ти ли го избира ?
Щом гониш 24Т, си за RAID50 + 2 Spare, като всеки е доверен за масива си. Добре е, че имаш батерия на контролера, но след като не си го правил ти сървъра, значи е само с един SFF-8087 свързан за бекплейна, който вероятно е EL1. Препоръчвам ти да си огледаш машината много добре, и да прочетеш документацията както на шасито и контролера, така и на дъното. Добре е да се тества бъзера преди да пуснеш машината в продъкшън, че имат грозния навик да ги спират !
Само ти подхвърлям идея, а ти си прецени какво и как да направиш ! Ако не са ти набутали DVD в шасито, не вади панела отпред, но в пролуката отзадната страна може спокойно да си монтираш едно SSD, което да ти вдига работната ОС на машината, за да ползваш максималния обем на интернал сториджа, както и да се предпазиш от драми. Разбира се може и от обикновена флашка-стик да буут-неш машината.
Както ти е обърнал внимание romeo_ninov, наистина има голямо значение какво ще се прави през iSCSI за да се постигне максимален ефект. Един въпрос по този повод. Имаш ли управляем суич, който да поеме бондинга ?
Обмисли нещата още веднъж, прецени какво ще правиш, но задължително направи тестове преди да запуснеш машината в продъкшън !
И не подценявай проблема с iSCSI и пропусквателната му способност по две, а не четири лан карти, още повече, чее ще са и с различни чипове.

Успех !

[dvbb]

@nemanema: Можеш ли да ми дадеш насока за това което ми писа в предния пост:

"Относно опасенията какво ще стане, ако гръмнат три диска - погледни опцията за плаващо динамично прикачване на недостоверен диск, взет "назаем" от другия масив"

[nemanema]

@nemanema: Можеш ли да ми дадеш насока за това което ми писа в предния пост:

"Относно опасенията какво ще стане, ако гръмнат три диска - погледни опцията за плаващо динамично прикачване на недостоверен диск, взет "назаем" от другия масив"

Здравей,
Като се замислих, така написано изглежда много сложно ! Извинявай.
Идеята е задължинелно да се укаже да не е доверен диск, а да определиш spare, който при първа нужда, от който и да е от двата масива да си го вземе. Т.е. реално се взима назаем до възстановяване на проблемния диск. Уффф, и така изглежда сложно !
Да няма достоверен spare дефиниран за масивите.