Титла: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 22, 2014, 21:25 Въртят ми се някакви работи из главата, та да питам баш ма'сторите......!
За раид5 масив със ссд диск за кеширане, има ли смисъл от bbu и колко голямо ще е препоръчително да бъде ссд-то за кеширане за 8х1ТБ райд5 масив? Идеята е, че имам 2У шаси с 8 хот суеп гвезда и сносен 4 портов райд контролер и 4х1ТБ дискове Сигейт десктопни, които да ги ползвам на първо време, а по-късно "в движение" един по един с ребилд да ги сменя с хубави сървърни, като преди това сменя и контролера с по-добър и 8 портов като към този масив се добавят и другите 4 за да станат 8х1ТБ в райд5. Това ми е контролера ($2) от който не очаквам чудеса, но със ссд диск за кеширане се надявам да върши добра работа, на първо време докато е по-малко натоварен, а на по-късен етап вече да го сменя с 9271 8-портов към който де се добавят още 4 диска и в движение да се преконфигурира целия масив. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: go_fire в Feb 22, 2014, 21:38 Дъртите кучета да кажат, но според мен платката не можеш да смениш с друг модел, камо ли друга марка.
Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 22, 2014, 21:52 По този въпрос съм се информирал в сервиза преди време! 4-те кабелчета за дисковете се събират в една букса която влиза в контролера и ако новия контролер е от същия или по-висок клас, само се сменя платката, мушка се буксата в новата и всичко е ток и жица! Аз не разбирам, чак толкоз, но вярвам на хората от сервиза, а новия, естествено, че ще е от доста по-висок клас!
8 портовите могат да работят и с по-малко от 8 диска, в случая ще бъдат 4 в масив и до колкото съм чел по форумите(но не съм се консултирал със сервиза), поддържат някакви преконфигурирания и добавяне на нови дискове към вече съществуващ масив. Та, този момент не ми е ясен още, щото ако ще е невъзможно, ще ми се объркат сметките и остава да си изясня въпроса със ссд кеширането. В основата на идеята е, че не ми се дават към 3000 лефа на стартово за нов контролер и дискове, които доста време ще вървят без да има и 20% натоварване, а една такава гимнастика, ако е възможна ще стане за 1 ден дето няма да ми чак толкоз критично спирането на сървъра. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: romeo_ninov в Feb 22, 2014, 22:04 По този въпрос съм се информирал в сервиза преди време! 4-те кабелчета за дисковете се събират в една букса която влиза в контролера и ако новия контролер е от същия или по-висок клас, само се сменя платката, мушка се буксата в новата и всичко е ток и жица! Аз не разбирам, чак толкоз, но вярвам на хората от сервиза, а новия, естествено, че ще е от доста по-висок клас!ТОва с разширяването на РАИД5 го има доколкото знам само при ИБМ контрлерите с техен специфичен софтуер. И малко хора рискуват да го направят. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 23, 2014, 13:35 В краен случай, не ми е кой знае колко голям проблем да разваля стария масив и да създам нов от 8 диска. Виртуалките ще се бекъпнат за нула време и после ще се възстановят върху новия. Веднъж вече минах през това упражнение :D .
Кажете нещо за ССД-то! Гледам, че в менюто на ESXi-то има за добавяне на такъв диск за кеширане, но при масив от 8х1ТБ в райд5, колко ще е най-добре да бъде голям и при положение, че се ползва ссд за кеширане, има ли смисъл и от ББУ към контролера, щото и той до колкото разбирам е с такава цел!? Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: romeo_ninov в Feb 23, 2014, 13:43 В краен случай, не ми е кой знае колко голям проблем да разваля стария масив и да създам нов от 8 диска. Виртуалките ще се бекъпнат за нула време и после ще се възстановят върху новия. Веднъж вече минах през това упражнение :D .Мисля си че в случая комбинацията от двете ще има най-голям ефект, защото ESX ще кешира по един начин, кеша на контролера по друг. Не знам колко е ефективен SSD като кеш под управление на ESX, но контролерния кеш работи много добре (макар и на различен слой на абстракция). И ако ще ползваш контролерен кеш не забравяй да следиш батерията Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 23, 2014, 15:04 Мисля си, че ESXi-то ще управлява кеширането доста кадърно и до колкото съм чел и схващам принципа на работа и от къде идва предимството, точно за това се чудя, че, ако съм разбрал правилно как работи на теория, някак си ми се губи смисъла от ББУ в случая!
Според това което аз съм разбрал, райд масива и ссд кеша трябва да работят принципно като един хибриден твърд диск, но пък при продължителна работа с голямо натоварване на масива, май требе да е по-големичък ссд диска, но пък си мисля, че в един момент и от определена големина нагоре май е излишно! Нямам никакъв опит с такива работи, а съм останал с впечатление, че вече масово се използват за по-големи и натоварени дискови системи(явно има ефект). Безпокои ме и друг момент, какво се случва при внезапно спиране тока!!!? Не, че ще се случва често, но не е съвсем неизбежно! Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: romeo_ninov в Feb 24, 2014, 18:00 Мисля си че двата кеша работят по различне начин, далечна аналогия би била кешовете на процесора. Така че нека повторя че комбинацията от двата кеша ще е най-добра.
А за тока - ами UPS, то и за това споменах за батерията на контролера, тя именно поддържа дърти данните ако спре тока Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 24, 2014, 20:10 Знам за UPS-ите, но той поддържа 20-30-40 минути колкото да бъде изключена правилно машината или да обере някакви кратковременни прекъсвания. Варианта с внезапно изключване и веднъж в годината да е си остава напълно реален без резервирано захранване. Предвидил съм инвертор за целта, но няма да е скоро. 2-3-4 пъти в годината за не повече от час и половина-два, не ми е чак толкоз критично важен ъптайма. С ББУ-то са премислени там нещата! Изпробвах го няколко пъти с внезапно спиране на захранването преди да започна реално да го ползвам. ССД-то от друга страна е енерго независима памет, но все пак е кеш/буфер на данните които са на дисковете и дали няма вероятност да се......... не знам как да го нарека, но нещо със синхрона на това което е на диска/масива и това в кеша при внезапното спиране и после тръгване!!!?
Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: neter в Feb 24, 2014, 21:02 Знам за UPS-ите, но той поддържа 20-30-40 минути колкото да бъде изключена правилно машината или да обере някакви кратковременни прекъсвания. Варианта с внезапно изключване и веднъж в годината да е си остава напълно реален без резервирано захранване.Машината може да бъде изключена правилно автоматично, когато батерията на UPS-а е на привършване, стига да му свържеш USB кабела към компютъра и да му настроиш някое демонче (например, nut ($2)), което да чете сигналите по него. Или имаш предвид внезапно изключване поради хардуерен проблем в захранването на машината? Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 25, 2014, 02:15 Машината е с ЕSXi. Не съм го гледал дали има в менютата за настройка на упс. За десктоп знам, но той ми без упс.
С упс или без упс, въпроса беше повече принципен! Не искам изобщо да си помислям, че след едно единствено изтърване и внезапно спиране и ще се съсипе всичко. Ако издържи на няколко внезапни нарочни спирания, значи няма да има проблем и в бъдеще при случайно и това задължително ще го тествам преди да започна да рачитам на него, но питам, да не би някой вече да има опит. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: neter в Feb 25, 2014, 14:00 Виждам, че няма да те успокои, но за протокола да кажа, че това, че е с ESXi, не е проблем. Инсталираш nut като клиент на реалната машина и на всички виртуални машини, освен на една. На останалата една виртуалка (може да е някоя работна, може да е и малка виртуалка само за целта, може да е и vMA) инсталираш nut като сървър, който ще слуша USB сигналите от UPS-а (чрез usb passthrough), и когато токът спре, ще праща сигнал за изключване към всички nut клиенти, включително и този на реалната машина. Може nut клиентът на реалната машина да се настрои с timeout, достатъчно голям, за да има достатъчно време другите nut клиенти да изключат виртуалките, след което да се изключи и реалната машина. Можеш да намериш nut клиент за ESXi в страницата за изтегляне ($2) на nut.
Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 25, 2014, 17:55 Благодарско Френд! Страхотен си! Винаги съм се чудил колко ти е рам-а! На всеки засукан въпрос - добър отговор и решение!
Сървъра и десктопа са ми нагласени на ауто старт и щото често отсъствам, в случай, че спре тока, след като дойде, всичко си стартира и възстановява. В моя случай, този нут, трябва само на хипервайзера да го инсталирам и да се гаси, а той вече да си гаси виртуалките, ама сега от както постоянно отсъставам от къщи, упсто съм го махнал, че последно като го ползвах, за експеримента го изключих от контакта и като му свърши тока, като го включих и сървъра не тръгна сам, а това ми е проблем! Иначе, ти какво мислиш за буфера/кеша? Дали има вероятност при внезапно прекъсване, после след старта да не успее да се "синхронизира" с масива и да избуши нещо? Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: neter в Feb 26, 2014, 10:25 Иначе, ти какво мислиш за буфера/кеша? Дали има вероятност при внезапно прекъсване, после след старта да не успее да се "синхронизира" с масива и да избуши нещо?При внезапно прекъсване има вероятност от всичко - не мога да ти кажа какво би се случило, тъй като всичко е възможно. Гледай да се защитиш доколкото можеш от внезапни прекъсвания и си прави редовни бекъпи, пък в случаите на внезапни спирания просто стискай палци :) Между другото, сякаш говориш за настройката в ESXi за SSD кеш като за storage кеш, а това всъщност е за memory кеш, т.е. swapping, разширение към RAM, а не дискови I/O операции. Този кеш не влиза в нещо като хибриден диск в комбинация с масива, а влиза в комбинация с RAM паметта, подобно на swap дяла/файла, който вероятно имаш в десктоп системата ти. И трябва да имаш предвид, че колкото и да е по-бързо SSD-то от HDD-то, все още е по-бавно от RAM, така че, що се касае до производителност, повече RAM все още си е за предпочитане пред комбинация със SSD за swapping. Или говориш за някакъв друг кеш, за който не зная? Гледам, че по-нагоре е станало дума за смяна на RAID контролера с друг модел (или марка, не ми стана ясно въпросният по-висок клас от същия производител ли е). Това наистина е начинание, което често завършва със счупен масив, заради затворени firmware добавки, които понякога липсват или са различни в други модели контролери на същия производител, пък какво остава за друг производител. Но щом имаш уверението на сервиза и щом имаш готовност при нужда да си направиш масива наново, можеш да си малко по-смел. П.П.: Тази настройка ($2) за кеш ли имаш предвид? Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 26, 2014, 15:03 Точно за този ССД кеш, който се настройва от ЕSXi-то имах в предвид Френд и това не го знаех! Значи, това което имам в предвид, требе да е опция на дъното или контролера в такъв случай!? Недостиг и на рам не предвиждам да имам и ще ми е съвсем излишен, щом това му е целта.
За райд контролерите, в моя случай става въпрос от все еднакви марки(LSI). Явно май докато не се пробва като го взема, инсталирам системата и направя няколко внезапни проби, няма да разбера. Остава само въпроса, колко голям има смисъл да бъде ССД диска за кеширане при масив от 8х1ТБ в райд5. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: wfw в Feb 26, 2014, 18:29 Ще следя темата с интерес. Аз поръчах преди 2 дни LSI 9271-i8 с 4 диска 3,5", 15000rpm по 300GB за мейл сървъра на работа, но мисля да ги клатя на RAID10...
едит: видях какъв ти е контролера и видях, че не поддържа cachecade. Можеш да го разгледаш това чудо: http://www.lsi.com/products/raid-controllers/pages/megaraid-cachecade-pro-software.aspx Да го имаш предвид за следващия ти контролер, защото този май не се поддържа. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 26, 2014, 19:06 На сегашния ми работещ сървър е 4 портов 9271 в райд5 от 4х1ТБ Сигейт Констилейшън, а този който ще събирам е ще е в това шаси ($2), което ми е налично заедно с контролера който по-горе съм споменал и десктоп дисковете, а ще му вземам в последствие като твоя контролер и сървърни дискове, че голям масраф ще направят, ако ги взема сега. За това и мисля шменди капели, да го пусна сега с това което имам и с дъното, процесорите и рама които ще купя, а после да сменя целия масив, но и да ги наредя така, че да стане всичко това за нула време!
Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: wfw в Feb 26, 2014, 19:38 Моя сървър май със същата кутия го заръчах. Чудя се дали да вземам батерия, че цената й никак не ми харесва, май е към 400лв, а пък имам 2 различни вериги за тока през 2 различни UPS-а. Все се надявам, че няма да умрат и двата + генератора...
Относно кеширането, сякаш точно cachecade ти трябва, след като смениш контролера... Относно големината на SSD-то, мисля, че няма особено значение, защото играе ролята само на буфер, преди данните да се запишат в масива и то ти трябва само за повече I/O операции, т.е. като записваш 10000 малки файла, реално ги записваш на SSD-то с 500мб/сек без значение колко малко са файловете и след това започват да се записват в масива. Колко голям диск избереш, може да окаже влияние единствено върху живота му, защото при по-малък размер, ще пишеш по-често на едно и също място. едит2: като гледам така добавянето на повече SSD-та увеличава ползата от кеширането. също така от LSI ползват 32GB Intel SSD-та. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 26, 2014, 22:19 Моя контролер е с ББУ и преди да пусна системата му направих 3-4 внезапни изключвания през няколко часа и нямаше никакъв проблем!
Не знам как работи без ББУ, но съм се консултирал относно ефекта от ББУ-то и ме убедиха, че си струва. С колега тук от форума с който имам контакти и във ФБ, също коментирахме, че сървър при него е бил без ББУ и като му сложили, чувствително се е ускорил. Аз гоня максимум перформанс на масива! Там ми е най-големия зор. И аз от четене съм разбрал, че така работи кеширането, но все си мисля, че ако е по-малко от необходимото ще и по-малък ефекта от него, но пък над определена големина си мисля, че няма смисъл! Та, въпроса ми е каква да е тази граница за такъв масив? И тук идва въпроса с внезапното спиране какво се случва с инфото в буфера! Дали ще се синхронизира някак си като стартира отново и се развъртят дисковете!? Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: wfw в Feb 27, 2014, 01:09 Други производители имат същата технология и при нея кеша се прехвърля след възстановяването на тока. Не виждам причина тук да е различно при условие, че имаш BBU и SSD-тата пазят инфото в тях.
Защо не RAID10? При 8 канален контролер дали ще ползваш 8 диска в RAID10 или 6 диска в RAID5+2SSD няма разлика в макс. обем. Освен това масив в RAID5 от десктоп дискове вдига около 35-40МБ/сек, защото парити секторите са навсякъде по дисковете и имаш множество рандом достъпи до диска. SSD-то започва да се ползва едва след напълването на РАМ-а на контролера, така че ако имаш някакви по-дългосрочни (час, ден) графики за натоварването на дисковия масив и iowait, може горе долу да прецениш колко ГБ данни ти висят в опашката и не можеш да ги запишеш. Във всеки случай, 60 или 120ГБ ще ти свършат перфектна работа. Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 27, 2014, 01:46 За това ССД кеширане само съм чувал и хич не ми е ясно, ама да не би да искаш да ми кажеш, че ще ми изяде порт от контролера? Аз си правя сметка да ползвам 8 диска в масив от райд5 + ССД за кеш!
Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: wfw в Feb 27, 2014, 11:22 Ако използваш възможността на контролера за кеширане с cachecade - да.
Цитат Functional Approach Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 27, 2014, 14:25 Цитат Ако използваш възможността на контролера за кеширане А друга възможност има ли? Преди време бях прочел за някаква технология на Интел за кеширането, но защото попаднах на това в търсене на съвсем друго и го прочетох повърхностно, но останах с впечатление, че е нещо като функция на дъното или чипсета за техните или и партньорски дъна, а моето дъно ще е двупроцесорно Супермикро(LGA1366 с процесори x5650 с 18 слота за рам). Колеги, вкарайте ми малко акъл в тиквата, ама, ако може на по-простичък език, като на ентусиаст експериментатор без техническо образование :D :D :D Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: laskov в Feb 27, 2014, 15:44 Колеги, вкарайте ми малко акъл в тиквата, ама, ако може на по-простичък език, като на ентусиаст експериментатор без техническо образование :D :D :DАбе правиш се на гугушчук ти, ама ще те разрие някой някой ден! :) Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: wfw в Feb 27, 2014, 16:04 Според мен търсиш някаква златна среда по параметрите цена, скорост и обем на масива. Отговора е, че няма идеална постановка, а трябва да действаш според нуждите ти.
Ако беше сървър за бази данни, щях да ти кажа какво ми трябва на мен и бих се аргументирал защо ще ползвам такива дискове, колко време очаквам да работи сървъра, колко РАМ ще му сложа. Но, много е вероятно ти да имаш коренно различни от моите нужди към дисковите масиви. Затова не трябва да се хвърляш на РАИД5 с 8 диска и да се чудиш как да кешираш, а да направиш едно проучване къде е тясното място на текущата ти система и дали въобще има такова. Цените на дисковете на фона на целите сървъри са толкова ниски, че РАИД10 според мен е оптималния вариант. Освен това при РАИД10 имаш по-голям шанс да ти оцелее информацията :) Като пример ще кажа, че преди месец ми се срина дисков масив с 4 диска в РАИД5, 2 диска Seagate Cheetah 300GB изгорели в рамките на 15 минути в неделя през нощта. Шанса да оцелее масива при РАИД5 е 0%, при РАИД10 е 50% :) 2 дни една болница остана без сървър, заради срива. Справката показа, че базата им е голяма 15ГБ и на въпроса защо имат РАИД5 от 4 диска, отговора беше - за да имаме повече място (WTF)!!! Титла: Re: Малко въпроси за RAID, BBU и SSD cache имам Публикувано от: backinblack в Feb 27, 2014, 16:42 Нямам предишен опит с тези работи, но след като взех първия сървър започнах да добивам такъв и да ми се изяснява от какво точно имам нужда!
Тясното място ми е масива, но от към скорост на запис и по-малко на четене. В моя случай, дисковете ще са натоварени на 100% краткосрочно само, защото не чакам да ми се заеме сичкия ресурс на машината и да започне да недостига и тогава да мисля за нова техника, а преди да стигне 100% натоварването на дисковете, в повечето случаи процесора е в турбо буст, но това са пикови, а не постоянни натоварвания. В много редки случаи, масива ми се натоварва повече от процесора, но това е много рядко. При това положение, вероятността да се счупи диск е теоретично доста по-малка. Тъй като не е колокиран в зала дето ще ми го таксуват според мощността на захранването, мога да си позволя и малко по-стара платформа, дето съотношението цена/перформанс и доста по-ниска. На всички сървъри дисковете като са еднакви, мога и да си позволя да държа един или два за speer чисто нов в шкафа и да при нужда веднага да заменя изгърмелия без да чакам и губя време за доставка на нов. Също така, правя и бекъп на цялата виртуалка всяка седмица. За около 5-7 часа се бекъпват и също толкоз за рестор при нужда за целия сървър, а системата се инсталира от къстъмизирано исо за 20-30 минути и още толкоз за конфигуриране. Та, проблем е само масива! Требе як контролер с много рам и процесор за добри скорости в райд5. |