Linux за българи: Форуми

Въртят ми се някакви работи из главата, та да питам баш ма'сторите......!
За раид5 масив със ссд диск за кеширане, има ли смисъл от bbu и колко голямо ще е препоръчително да бъде ссд-то за кеширане за 8х1ТБ райд5 масив?

Идеята е, че имам 2У шаси с 8 хот суеп гвезда и сносен 4 портов райд контролер и 4х1ТБ дискове Сигейт десктопни, които да ги ползвам на първо време, а по-късно "в движение" един по един с ребилд да ги сменя с хубави сървърни, като преди това сменя и контролера с по-добър и 8 портов като към този масив се добавят и другите 4 за да станат 8х1ТБ в райд5.
Това ми е контролера ($2) от който не очаквам чудеса, но със ссд диск за кеширане се надявам да върши добра работа, на първо време докато е по-малко натоварен, а на по-късен етап вече да го сменя с 9271 8-портов към който де се добавят още 4 диска и в движение да се преконфигурира целия масив.

Дъртите кучета да кажат, но според мен платката не можеш да смениш с друг модел, камо ли друга марка.

По този въпрос съм се информирал в сервиза преди време! 4-те кабелчета за дисковете се събират в една букса която влиза в контролера и ако новия контролер е от същия или по-висок клас, само се сменя платката, мушка се буксата в новата и всичко е ток и жица! Аз не разбирам, чак толкоз, но вярвам на хората от сервиза, а новия, естествено, че ще е от доста по-висок клас!
8 портовите могат да работят и с по-малко от 8 диска, в случая ще бъдат 4 в масив и до колкото съм чел по форумите(но не съм се консултирал със сервиза), поддържат някакви преконфигурирания и добавяне на нови дискове към вече съществуващ масив. Та, този момент не ми е ясен още, щото ако ще е невъзможно, ще ми се объркат сметките и остава да си изясня въпроса със ссд кеширането.
В основата на идеята е, че не ми се дават към 3000 лефа на стартово за нов контролер и дискове, които доста време ще вървят без да има и 20% натоварване, а една такава гимнастика, ако е възможна ще стане за 1 ден дето няма да ми чак толкоз критично спирането на сървъра.

По този въпрос съм се информирал в сервиза преди време! 4-те кабелчета за дисковете се събират в една букса която влиза в контролера и ако новия контролер е от същия или по-висок клас, само се сменя платката, мушка се буксата в новата и всичко е ток и жица! Аз не разбирам, чак толкоз, но вярвам на хората от сервиза, а новия, естествено, че ще е от доста по-висок клас!
8 портовите могат да работят и с по-малко от 8 диска, в случая ще бъдат 4 в масив и до колкото съм чел по форумите(но не съм се консултирал със сервиза), поддържат някакви преконфигурирания и добавяне на нови дискове към вече съществуващ масив. Та, този момент не ми е ясен още, щото ако ще е невъзможно, ще ми се объркат сметките и остава да си изясня въпроса със ссд кеширането.
В основата на идеята е, че не ми се дават към 3000 лефа на стартово за нов контролер и дискове, които доста време ще вървят без да има и 20% натоварване, а една такава гимнастика, ако е възможна ще стане за 1 ден дето няма да ми чак толкоз критично спирането на сървъра.

ТОва с разширяването на РАИД5 го има доколкото знам само при ИБМ контрлерите с техен специфичен софтуер. И малко хора рискуват да го направят.

В краен случай, не ми е кой знае колко голям проблем да разваля стария масив и да създам нов от 8 диска. Виртуалките ще се бекъпнат за нула време и после ще се възстановят върху новия. Веднъж вече минах през това упражнение  :D .
Кажете нещо за ССД-то! Гледам, че в менюто на ESXi-то има за добавяне на такъв диск за кеширане, но при масив от 8х1ТБ в райд5, колко ще е най-добре да бъде голям и при положение, че се ползва ссд за кеширане, има ли смисъл и от ББУ към контролера, щото и той до колкото разбирам е с такава цел!? 

В краен случай, не ми е кой знае колко голям проблем да разваля стария масив и да създам нов от 8 диска. Виртуалките ще се бекъпнат за нула време и после ще се възстановят върху новия. Веднъж вече минах през това упражнение  :D .
Кажете нещо за ССД-то! Гледам, че в менюто на ESXi-то има за добавяне на такъв диск за кеширане, но при масив от 8х1ТБ в райд5, колко ще е най-добре да бъде голям и при положение, че се ползва ссд за кеширане, има ли смисъл и от ББУ към контролера, щото и той до колкото разбирам е с такава цел!?

Мисля си че в случая комбинацията от двете ще има най-голям ефект, защото ESX ще кешира по един начин, кеша на контролера по друг. Не знам колко е ефективен SSD като кеш под управление на ESX, но контролерния кеш работи много добре (макар и на различен слой на абстракция). И ако ще ползваш контролерен кеш не забравяй да следиш батерията

Мисля си, че ESXi-то ще управлява кеширането доста кадърно и до колкото съм чел и схващам принципа на работа и от къде идва предимството, точно за това се чудя, че, ако съм разбрал правилно как работи на теория, някак си ми се губи смисъла от ББУ в случая!

Според това което аз съм разбрал, райд масива  и ссд кеша трябва да работят принципно като един хибриден твърд диск, но пък при продължителна работа с голямо натоварване на масива, май требе да е по-големичък ссд диска, но пък си мисля, че в един момент и от определена големина нагоре май е излишно!
Нямам никакъв опит с такива работи, а съм останал с впечатление, че вече масово се използват за по-големи и натоварени дискови системи(явно има ефект).

Безпокои ме и друг момент, какво се случва при внезапно спиране тока!!!? Не, че ще се случва често, но не е съвсем неизбежно!

Мисля си че двата кеша работят по различне начин, далечна аналогия би била кешовете на процесора. Така че нека повторя че комбинацията от двата кеша ще е най-добра.
А за тока - ами UPS, то и за това споменах за батерията на контролера, тя именно поддържа дърти данните ако спре тока

Знам за UPS-ите, но той поддържа 20-30-40 минути колкото да бъде изключена правилно машината или да обере някакви кратковременни прекъсвания. Варианта с внезапно изключване и веднъж в годината да е си остава напълно реален без резервирано захранване. Предвидил съм инвертор за целта, но няма да е скоро. 2-3-4 пъти в годината за не повече от час и половина-два, не ми е чак толкоз критично важен ъптайма. С ББУ-то са премислени там нещата! Изпробвах го няколко пъти с внезапно спиране на захранването преди да започна реално да го ползвам. ССД-то от друга страна е енерго независима памет, но все пак е кеш/буфер на данните които са на дисковете и дали няма вероятност да се......... не знам как да го нарека, но нещо със синхрона на това което е на диска/масива и това в кеша при внезапното спиране и после тръгване!!!?

Знам за UPS-ите, но той поддържа 20-30-40 минути колкото да бъде изключена правилно машината или да обере някакви кратковременни прекъсвания. Варианта с внезапно изключване и веднъж в годината да е си остава напълно реален без резервирано захранване.

Машината може да бъде изключена правилно автоматично, когато батерията на UPS-а е на привършване, стига да му свържеш USB кабела към компютъра и да му настроиш някое демонче (например, nut ($2)), което да чете сигналите по него.
Или имаш предвид внезапно изключване поради хардуерен проблем в захранването на машината?

Машината е с ЕSXi. Не съм го гледал дали има в менютата за настройка на упс. За десктоп знам, но той ми без упс.
С упс или без упс, въпроса беше повече принципен! Не искам изобщо да си помислям, че след едно единствено изтърване и внезапно спиране и ще се съсипе всичко.
Ако издържи на няколко внезапни нарочни спирания, значи няма да има проблем и в бъдеще при случайно и това задължително ще го тествам преди да започна да рачитам на него, но питам, да не би някой вече да има опит.

Виждам, че няма да те успокои, но за протокола да кажа, че това, че е с ESXi, не е проблем. Инсталираш nut като клиент на реалната машина и на всички виртуални машини, освен на една. На останалата една виртуалка (може да е някоя работна, може да е и малка виртуалка само за целта, може да е и vMA) инсталираш nut като сървър, който ще слуша USB сигналите от UPS-а (чрез usb passthrough), и когато токът спре, ще праща сигнал за изключване към всички nut клиенти, включително и този на реалната машина. Може nut клиентът на реалната машина да се настрои с timeout, достатъчно голям, за да има достатъчно време другите nut клиенти да изключат виртуалките, след което да се изключи и реалната машина. Можеш да намериш nut клиент за ESXi в страницата за изтегляне ($2) на nut.

Благодарско Френд! Страхотен си! Винаги съм се чудил колко ти е рам-а! На всеки засукан въпрос - добър отговор и решение!
Сървъра и десктопа са ми нагласени на ауто старт и щото често отсъствам, в случай, че спре тока, след като дойде, всичко си стартира и възстановява.
В моя случай, този нут, трябва само на хипервайзера да го инсталирам и да се гаси, а той вече да си гаси виртуалките, ама сега от както постоянно отсъставам от къщи, упсто съм го махнал, че последно като го ползвах, за експеримента го изключих от контакта и като му свърши тока, като го включих и сървъра не тръгна сам, а това ми е проблем!
Иначе, ти какво мислиш за буфера/кеша? Дали има вероятност при внезапно прекъсване, после след старта да не успее да се "синхронизира" с масива и да избуши нещо?

Иначе, ти какво мислиш за буфера/кеша? Дали има вероятност при внезапно прекъсване, после след старта да не успее да се "синхронизира" с масива и да избуши нещо?

При внезапно прекъсване има вероятност от всичко - не мога да ти кажа какво би се случило, тъй като всичко е възможно. Гледай да се защитиш доколкото можеш от внезапни прекъсвания и си прави редовни бекъпи, пък в случаите на внезапни спирания просто стискай палци :)
Между другото, сякаш говориш за настройката в ESXi за SSD кеш като за storage кеш, а това всъщност е за memory кеш, т.е. swapping, разширение към RAM, а не дискови I/O операции. Този кеш не влиза в нещо като хибриден диск в комбинация с масива, а влиза в комбинация с RAM паметта, подобно на swap дяла/файла, който вероятно имаш в десктоп системата ти. И трябва да имаш предвид, че колкото и да е по-бързо SSD-то от HDD-то, все още е по-бавно от RAM, така че, що се касае до производителност, повече RAM все още си е за предпочитане пред комбинация със SSD за swapping.
Или говориш за някакъв друг кеш, за който не зная?

Гледам, че по-нагоре е станало дума за смяна на RAID контролера с друг модел (или марка, не ми стана ясно въпросният по-висок клас от същия производител ли е). Това наистина е начинание, което често завършва със счупен масив, заради затворени firmware добавки, които понякога липсват или са различни в други модели контролери на същия производител, пък какво остава за друг производител. Но щом имаш уверението на сервиза и щом имаш готовност при нужда да си направиш масива наново, можеш да си малко по-смел.

П.П.: Тази настройка ($2) за кеш ли имаш предвид?

Точно за този ССД кеш, който се настройва от ЕSXi-то имах в предвид Френд и това не го знаех! Значи, това което имам в предвид, требе да е опция на дъното или контролера в такъв случай!?  Недостиг и на рам не предвиждам да имам и ще ми е съвсем излишен, щом това му е целта.
За райд контролерите, в моя случай става въпрос от все еднакви марки(LSI).

Явно май докато не се пробва като го взема, инсталирам системата и направя няколко внезапни проби, няма да разбера.

Остава само въпроса, колко голям има смисъл да бъде ССД диска за кеширане при масив от 8х1ТБ в райд5.

Ще следя темата с интерес. Аз поръчах преди 2 дни LSI 9271-i8 с 4 диска 3,5", 15000rpm по 300GB за мейл сървъра на работа, но мисля да ги клатя на RAID10...

едит: видях какъв ти е контролера и видях, че не поддържа cachecade. Можеш да го разгледаш това чудо:
http://www.lsi.com/products/raid-controllers/pages/megaraid-cachecade-pro-software.aspx
Да го имаш предвид за следващия ти контролер, защото този май не се поддържа.

На сегашния ми работещ сървър е 4 портов 9271 в райд5 от 4х1ТБ Сигейт Констилейшън, а този който ще събирам е ще е в това шаси ($2), което ми е налично заедно с контролера който по-горе съм споменал и десктоп дисковете, а ще му вземам в последствие като твоя контролер и сървърни дискове, че голям масраф ще направят, ако ги взема сега. За това и мисля шменди капели, да го пусна сега с това което имам и с дъното, процесорите и рама които ще купя, а после да сменя целия масив, но и да ги наредя така, че да стане всичко това за нула време!

Моя сървър май със същата кутия го заръчах. Чудя се дали да вземам батерия, че цената й никак не ми харесва, май е към 400лв, а пък имам 2 различни вериги за тока през 2 различни UPS-а. Все се надявам, че няма да умрат и двата + генератора...

Относно кеширането, сякаш точно cachecade ти трябва, след като смениш контролера... Относно големината на SSD-то, мисля, че няма особено значение, защото играе ролята само на буфер, преди данните да се запишат в масива и то ти трябва само за повече I/O операции, т.е. като записваш 10000 малки файла, реално ги записваш на SSD-то с 500мб/сек без значение колко малко са файловете и след това започват да се записват в масива.
Колко голям диск избереш, може да окаже влияние единствено върху живота му, защото при по-малък размер, ще пишеш по-често на едно и също място.

едит2: като гледам така добавянето на повече SSD-та увеличава ползата от кеширането. също така от LSI ползват 32GB Intel SSD-та.

Моя контролер е с ББУ и преди да пусна системата му направих 3-4 внезапни изключвания през няколко часа и нямаше никакъв проблем!
Не знам как работи без ББУ, но съм се консултирал относно ефекта от ББУ-то и ме убедиха, че си струва. С колега тук от форума с който имам контакти и във ФБ, също коментирахме, че сървър при него е бил без ББУ и като му сложили, чувствително се е ускорил.
Аз гоня максимум перформанс на масива! Там ми е най-големия зор.
И аз от четене съм разбрал, че така работи кеширането, но все си мисля, че ако е по-малко от необходимото ще и по-малък ефекта от него, но пък над определена големина си мисля, че няма смисъл!
Та, въпроса ми е каква да е тази граница за такъв масив? И тук идва въпроса с внезапното спиране какво се случва с инфото в буфера! Дали ще се синхронизира някак си като стартира отново и се развъртят дисковете!?

Други производители имат същата технология и при нея кеша се прехвърля след възстановяването на тока. Не виждам причина тук да е различно при условие, че имаш BBU и SSD-тата пазят инфото в тях.

Защо не RAID10? При 8 канален контролер дали ще ползваш 8 диска в RAID10 или 6 диска в RAID5+2SSD няма разлика в макс. обем. Освен това масив в RAID5 от десктоп дискове вдига около 35-40МБ/сек, защото парити секторите са навсякъде по дисковете и имаш множество рандом достъпи до диска.

SSD-то започва да се ползва едва след напълването на РАМ-а на контролера, така че ако имаш някакви по-дългосрочни (час, ден) графики за натоварването на дисковия масив и iowait, може горе долу да прецениш колко ГБ данни ти висят в опашката и не можеш да ги запишеш. Във всеки случай, 60 или 120ГБ ще ти свършат перфектна работа.

За това ССД кеширане само съм чувал и хич не ми е ясно, ама да не би да искаш да ми кажеш, че ще ми изяде порт от контролера? Аз си правя сметка да ползвам 8 диска в масив от райд5 + ССД за кеш!

Ако използваш възможността на контролера за кеширане с cachecade - да.

Functional Approach
Functional approach to CacheCade

    One or more SSDs will be connected to the RAID controller in addition to the normal hard disks, when using CacheCade.
    Thereby, the conventional hard disks operate completely normally in the RAID array (such as, four hard disks in a RAID 5 array).
    Data that is often read from the RAID array is automatically stored on the SSDs ("working data set").
    Data areas that are often read can therefore be read directly from the SSD, which improves read performance.
    The CacheCade content will remain on the SSDs even during a re-boot.

Ако използваш възможността на контролера за кеширане

А друга възможност има ли? Преди време бях прочел за някаква технология на Интел за кеширането, но защото попаднах на това в търсене на съвсем друго и го прочетох повърхностно, но останах с впечатление, че е нещо като функция на дъното или чипсета за техните или и партньорски дъна, а моето дъно ще е двупроцесорно Супермикро(LGA1366 с процесори x5650 с 18 слота за рам).

Колеги, вкарайте ми малко акъл в тиквата, ама, ако може на по-простичък език, като на ентусиаст експериментатор без техническо образование :D :D :D

Колеги, вкарайте ми малко акъл в тиквата, ама, ако може на по-простичък език, като на ентусиаст експериментатор без техническо образование :D :D :D

Абе правиш се на гугушчук ти, ама ще те разрие някой някой ден! :)

Според мен търсиш някаква златна среда по параметрите цена, скорост и обем на масива. Отговора е, че няма идеална постановка, а трябва да действаш според нуждите ти.
Ако беше сървър за бази данни, щях да ти кажа какво ми трябва на мен и бих се аргументирал защо ще ползвам такива дискове, колко време очаквам да работи сървъра, колко РАМ ще му сложа. Но, много е вероятно ти да имаш коренно различни от моите нужди към дисковите масиви. Затова не трябва да се хвърляш на РАИД5 с 8 диска и да се чудиш как да кешираш, а да направиш едно проучване къде е тясното място на текущата ти система и дали въобще има такова.
Цените на дисковете на фона на целите сървъри са толкова ниски, че РАИД10 според мен е оптималния вариант.

Освен това при РАИД10 имаш по-голям шанс да ти оцелее информацията :) Като пример ще кажа, че преди месец ми се срина дисков масив с 4 диска в РАИД5, 2 диска Seagate Cheetah 300GB изгорели в рамките на 15 минути в неделя през нощта. Шанса да оцелее масива при РАИД5 е 0%, при РАИД10 е 50% :) 2 дни една болница остана без сървър, заради срива. Справката показа, че базата им е голяма 15ГБ и на въпроса защо имат РАИД5 от 4 диска, отговора беше - за да имаме повече място (WTF)!!!

Нямам предишен опит с тези работи, но след като взех първия сървър започнах да добивам такъв и да ми се изяснява от какво точно имам нужда!
Тясното място ми е масива, но от към скорост на запис и по-малко на четене. В моя случай, дисковете ще са натоварени на 100% краткосрочно само, защото не чакам да ми се заеме сичкия ресурс на машината и да започне да недостига и тогава да мисля за нова техника, а преди да стигне 100% натоварването на дисковете, в повечето случаи процесора е в турбо буст, но това са пикови, а не постоянни натоварвания. В много редки случаи, масива ми се натоварва повече от процесора, но това е много рядко.
При това положение, вероятността да се счупи диск е теоретично доста по-малка.
Тъй като не е колокиран в зала дето ще ми го таксуват според мощността на захранването, мога да си позволя и малко по-стара платформа, дето съотношението цена/перформанс и доста по-ниска. На всички сървъри дисковете като са еднакви, мога и да си позволя да държа един или два за speer чисто нов в шкафа и да при нужда веднага да заменя изгърмелия без да чакам и губя време за доставка на нов.
Също така, правя и бекъп на цялата виртуалка всяка седмица. За около 5-7 часа се бекъпват и също толкоз за рестор при нужда за целия сървър, а системата се инсталира от къстъмизирано исо за 20-30 минути и още толкоз за конфигуриране. 

Та, проблем е само масива! Требе як контролер с много рам и процесор за добри скорости в райд5.