Автор Тема: Съвет за райд контролер и райд5 или 10?  (Прочетена 5319 пъти)

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Другарчета, мисля да купувам нов райд контролер за сървъра с ESXi, че с този нещо не ми харесва скоростите на четене и запис и ще го ползвам на друг компютър с други цели, та вече знам, че требе да е с BBU задължително, не очаквам и да е евтин, та да си дадете мнението за модел и с райд5 или 10 ще постигна най-висока скорост с 4 х 1ТБ дискове!? Надеждността на 5 ме устройва достатъчно, а и още 1ТБ полезно също не ми е излишно.

Сега в момента на единичен диск от същия масив скоростите са тези:


А на целия масив:



Което е по-малко от общата скорост на 2 диска, па съм останал с впечатление от това което съм чел, че требе да е доста по-висока!
Активен

Naka

  • Напреднали
  • *****
  • Публикации: 3395
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #1 -: Aug 22, 2013, 23:34 »
ами при 4 диска raid 5 трябва да даде по висока скорост. Теоретично 3X скоростта на един диск., щото пише и чете едновременно информацията в три диска.

Докато при райд 10 скоростта ще е само X2.
Недей да мислиш за скоростта на запис и забавянето при изчисляването на чек сумите - контролера да се оправя!


Овен това райд 10 няма да те защити от всички видове комбинации на гръмнали дискове. Би трябвало да може да гръмнат 2 диска.... обаче ако гръмналите дискове се случат в райда1 (един под друг) тогава си заминава масива. Така че райд 10 освен че е по-бавен (два пъти) ще те защити само за един или два диска - както се случи.

В този ред на мисли при 4 диска много по-добре е РАЙД6 спрямо райд10: Скоростта и при двата ще е X2, капацитета също ще е X2 - само
дето 6-цата ще те защити при 2 гръмнали диска но при всякаква комбинация на гръмването.

 
И тези дискове дето си ги сложил са десктоп дискове и не са предназначени за 24h работа. Най-близкото е Constellation на seagate. Не са много по-скъпи от десктоп дисковете. Може да са мъничко по-бавни от десктоп еквивалента, но си имат много други благинки.

За скоростите гледаш sustained transfer, така както го дават в документацията на диска.

« Последна редакция: Aug 22, 2013, 23:53 от Naka »
Активен

Perl - the only language that looks the same before and after encryption.

Drago_

  • Напреднали
  • *****
  • Публикации: 34
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #2 -: Aug 23, 2013, 00:00 »
Помисли за :

LSI 9286-8e
8x500GB
SSD Cache
RAID 10


Имам няколко такива машини с десетки виртуалки на тях и дисковете спят, за разлика от процесорите и паметта :)
« Последна редакция: Aug 23, 2013, 00:03 от Drago_ »
Активен

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #3 -: Aug 23, 2013, 01:28 »
Нака, и аз от това което съм чел съм останал с впечатление, че скоростта трябва да е сумарна на трите диска в случая, но уви! Двете снимки горе са от 1 диск и същия, но още 3 такива в масив от райд5. Модела на контролера и дисковете също ги пише, та за това си мисля, че и от контролера си зависи.

Драга, сървъра е наличен 1у с 4х1ТБ дискове и няма място за още 1 ССД! Смятам този наличния контролер да го сложа с 4 диска на десктопа ми, а за сървъра да взема нов контролер.
Активен

romeo_ninov

  • Напреднали
  • *****
  • Публикации: 2155
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #4 -: Aug 23, 2013, 06:49 »
Нака, Бекинтрак, скоростта на 5 ВИНАГИ е по-малка от скоростта на единичен 1 или 0, защото
1 чете от двата диска едновременно и скоростта на четене е два пъти по-голяма от тази на единичен диск, при писане е по-бавно, защото трябява да запише и на двата едно и също
0 скорост и на четене и на писане е два пъти (приблизително) скоростта на единичен диск
5 блока трябва да се разбие на страйпове и трябва да се запише на 3 диска, трябва да се сметне контролната сума и да се запише на четвърти. При четене е по-бързо, но пак има време за проверка на контролна сума

Така че 5 е по-бавен. Той е баланс между надеждност и скорост
Активен

0x2B|~0x2B

Naka

  • Напреднали
  • *****
  • Публикации: 3395
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #5 -: Aug 23, 2013, 12:41 »
Ромео, много съм си играл и съм ги мерил и твърдя, че се получава точно както е теортично. Но съм си играл със софтуерният md райд, където всичко може да се контролира и мери.

Например за диска backinblack
http://www.seagate.com/files/www-content/product-content/barracuda-fam/desktop-hdd/barracuda-7200-14/en-gb/docs/desktop-hdd-data-sheet-ds1770-1-1212gb.pdf

там в документацията пише Max Sustained Data Rate, OD Read (MB/s) 210 MB/s. Това ако го измериш с time dd if=/dev/sda of=/dev/null bs=32768 ще видите, че ще се получи точно 210 MB/s -така като го пишат в документацията. Така че не лъжат. Това ще е скороста в началото на диска. Към средата и към края ще падне (затова пишат и Average Data Rate, Read/Write (MB/s) 156Мб/сек)


сега ако 4 такива диска ги включиш в райд 5. Контролера трябва да запише/ или прочете 4 блока данни. 3 блока данни към всеки диск и един блок чексуми изчислен от трите. но тези 3 блока данни се пишат в отделни физически устройства (дисковете) и затова не си влияят и могът да се пишат паралелно на дисковете. Затова получаваме X3 ускорение на четенето и записа.

Ако всичко е точно би трябвало такъв райд 5 да даде 3х210=630мб/сек при четене и то в началото на масива.


При запис обаче сеагате не дават Sustained Data Rate - той ще малко по малък. Но ако се измери с  time dd  if=/dev/zero of=/dev/sda bs=32768 <- внимание десктруктивна операция !!! пак це се получи X3 спрямо измереното.

Ако обаче някой хардуерен контролер не може да ги постигне тези скорости, значи е слаб контролер!

Трябва да вземе и предвид дали шината там където е включен този контролер (PCIe), може да ги поеме тези сумарни скорости.

Този контролер към каква шина е (ще е) включен?




« Последна редакция: Aug 23, 2013, 12:49 от Naka »
Активен

Perl - the only language that looks the same before and after encryption.

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #6 -: Aug 23, 2013, 12:49 »
Нинов, и на мен нещо такова се опитаха да ми обяснят търговци/асемблатори и за това и пуснах питане. Но като те чета се замислям, дали от ББУ, процесор и рам на контролера не зависи до най-голяма степен това разделяне и от тука вече и скоростта!? Ако с новия контролер ги преконфигурирам на 10 ще трябва да взема и нови 4 диска от по 2ТБ, а в момента имам 2 допълнинелни от същия модел които са на сървъра и ще трябва да купя само 2 х 1ТБ за десктопа и 1 резервен под ръка за "спеар", но еднакъв със всичките на двата компютъра.
Та, ако мога с 1 хубав контролер да постигна поне 2,5 от скоростта на единичен ще ми дойде тамам! То и процесора(Intel Xeon E3-1230 3.20GHz, 8MB cache, 80W (Sandy Bridge), 4 cores, Hyper-Threading) имам съмнение, че няма да понесе по-голямо натоварване на виртуалките.
Изобщо, колко мога да очаквам от хубав контролер(+/-1000 лефа) с ббу при 5 или 10 с тези дискове!?

Нака, ако получа 450-500МБ четене/запис, ще бия гъзъ в тавана! :D
« Последна редакция: Aug 23, 2013, 12:53 от backinblack »
Активен

Naka

  • Напреднали
  • *****
  • Публикации: 3395
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #7 -: Aug 23, 2013, 13:42 »
Но като те чета се замислям, дали от ББУ, процесор и рам на контролера не зависи до най-голяма степен това разделяне и от тука вече и скоростта!?
Нака, ако получа 450-500МБ четене/запис, ще бия гъзъ в тавана! :D


За рамта сигурно е така, защото както ти казах съм ги постигал тези скорости три пъти по, но при софтуерен райд. Но за да ги постигна си спомням че трябваше да пусна много голям рам буфер - 256Мб до 512Мб. Много по-голям отколкото беше по default.

При запис, ще зависи много от скоростта на процесора на контролера. Щото ще трябва да изчислява live чексумите.

При всички случаи при райд 5 и четири диска трябва да получиш повече от два пъти увеличение на скоростта. Иначе Еб***х и в контролера.
« Последна редакция: Aug 23, 2013, 14:11 от Naka »
Активен

Perl - the only language that looks the same before and after encryption.

Drago_

  • Напреднали
  • *****
  • Публикации: 34
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #8 -: Aug 24, 2013, 09:27 »
Naka, аз също съм правил различни опити, но когато трябва да търкалям повече виртуалки на които от своя страна вървят бази данни и уеб приложения писани от "сина на секретарката" само раид 10 успява да удържи.

На писане раид 5/6 дават мн добра производителност, но наложи ли ти се и да четеш рандом и да пишеш също просто си кляка.

backinblack Е3 е прекрасен процесор седмично продавам по 5-6 такива, но си има и своите ограничения едно от тях е 32Г РАМ, ако това те устройва и примерно имаш едни 10-на виртуалки е перфектно.

Помисли все пак дали не можеш да надградиш машината с това което ти посочих, като можеш да вземеш и LSI 9260, като по евтина алтернатива, но в никакъв случай не по лоша.


п.с. Не продавам хардуеър :)
Активен

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #9 -: Aug 24, 2013, 15:32 »
Drago_ , това ми е сървърчето и нямам място къде да го сложа това допълнително ССД.
В момента е с 16ГБ рам и ми стигат, но ми се струва, че масива го спира и за това мисля да взема нов по-хубав контролер, че този си е слабичък. Не ми се даваха тогава кинти за скъп, а сега ако го преместя на десктопа който ми е с i5 ще е супер.
Притеснява ме, да не взема да хакна 1000+ лефа за хубав контролер и да вдигне с 20-тина процента само!
Активен

Drago_

  • Напреднали
  • *****
  • Публикации: 34
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #10 -: Aug 25, 2013, 20:12 »
Какъв ти е сегашния контролер ?
Колко място ти е необходимо ?
Колко виртуалки търкаляш ?
Питай Перситата дали не могат ти бутнат SSD на мястото на CD-то на практика е ненужно имайки IPMI.
Паметта е евтина винаги когато имаш възможност бухай на макс.

 [_]3
Активен

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #11 -: Aug 25, 2013, 20:18 »
LSI 9240-4I e сегашния контролер. Не съм го писал щото си го пише в срииншота горе, а на другия скриитшот е модела да ХДД-то преди да го сложа в райда е правен. Шасито е 1U и нама място нито за СД, нито за нещо друго допълнително. Дори райд платката е запушила другите слотове на дъното.
Активен

gat3way

  • Напреднали
  • *****
  • Публикации: 6050
  • Relentless troll
    • Профил
    • WWW
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #12 -: Aug 25, 2013, 22:59 »
Според мен, RAID10 е малко по-добра идея от RAID5, обаче няма нещо което силно да наклони везните в една от двете посоки. Скоростта на четене с RAID10 е по-добра (съвсем логично), но при писане би следвало да е обратното (блоковото кеширане обаче омекотява това). Отделно пък при четене, в реалността рядко е последователно и с магнитните дискове винаги си има латентност от seek-ване, без значение колко диска и как са организирани, така че теоретичното предимство надали ще се прояви до такава степен на практика. Така че не мисля че би имало радикална разлика в производителността между двете, и да има, за повечето типове workload, RAID10 би следвало да се държи малко по-добре. Оттам нещата опират до това дали ти трябва малко повече място или малко повече сигурност, съответно с RAID5 получаваш първото, с RAID10 - второто. Мисля че далеч по-важното е да си вземеш свестен контролер и свестни дискове, би било доста тъпо ако bottleneck-а се окаже калпавия контролер или пък се налага да сменяш диск през месец.
Активен

"Knowledge is power" - France is Bacon

backinblack

  • Напреднали
  • *****
  • Публикации: 3201
    • Профил
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #13 -: Aug 25, 2013, 23:17 »
Дисковете са 3 броя Сигейт 7200.12 и 1бр 7200.14 на сървъра, щото единия 7200.12 се скапа още в гаранция и сега имам още 2 броя 7200.14 и се каня да купя и още 1 поне и с ребилдване да ги подменя 1 по един да станат всички 7200.14, че малко по-добре се държат ми се струва. Като надеждност ме устройва щото правя бекъп с Veeam на виртуалките, та на десктопа дето си правя и бекъпите(на виртуален Уиндоус) ще туря този слабия контролер, че да ми напрай малко повечко скорост и да ви обедини обемите дето сега са 2 отделни диска, като единия е само за бекъпите, но скоро ще имам недостиг на обем.
Иначе, ако 10 е с някакви си 10-15% по-добър от към скорости, предпочитам да ги жертвам в името на обема.
Значи, за контролер да гледам за такъв който е с възможно най-много рам и Мх на процесора до колкото разбирам!?
Активен

gat3way

  • Напреднали
  • *****
  • Публикации: 6050
  • Relentless troll
    • Профил
    • WWW
Re: Съвет за райд контролер и райд5 или 10?
« Отговор #14 -: Aug 26, 2013, 01:31 »
Ами сметни си го сам - като четеш от RAID10, четеш от 4-те диска, като четеш от RAID5 пак четеш от 4 диска, но на единия от тях има parity информация и дефакто все едно четеш от 3, с други думи с около 33% по-бързо трябва да е. В реалността много вероятно може да е по-малко или повече от това, колко - не знам - зависи и от това колко бързо контролера ще се оправи с RAID5 сметките, от това дали е последователен или случаен достъп и т.н.

При писането обаче при RAID5 ще пишеш едновременно на 3 диска (4, но на единия от тях отива parity информацията), при RAID10 ще пишеш едновременно на 2 (на останалите 2 ще пишеш същото, така че не намазваш), така че писането е с около 50% по-бързо с RAID5. Кеширането обаче доволно добре изкривява нещата поне докато не тръгнеш да пишеш наистина много.

Бекъпът не е алтернатива на RAID масива и обратното, едва ли ще искаш някога да връщаш нещата от бекъп, ако те урежда така, що направо не направиш един RAID0 масив от 4 диска и ще се радваш на много добра производителност :)

Що се отнася до обема, с около 50% отгоре при RAID5 (3 диска срещу два ефективно), което не е  малко. Но пък в днешно време, мястото не е толкова скъпо, та не знам.

Между другото, ако е за по-професионални цели, има смисъл да си вземеш "хубави" сървърни дискове, демек enterprise такива, не десктоп. Много хора не знаят, но има разни неща по дисковете, които съответно в случая със "сървърните" са малко по-различни. Примерно контролерът на десктоп диска когато има грешка при четене на някой сектор (което далеч не става толкова рядко), има навика да повтаря няколко пъти операцията и ако продължава да връща грешки, накрая се отказва и информира контролера на дъното за unrecoverable read грешка. Това е ОК за десктоп система, но за сървърна система с RAID масив същото означава че четенето от целия масив се бави заради това - там е по-добра стратегия веднага да се върне грешка и същото да се изчете от някой друг диск - но пък контролерът си знае че оттам е имало проблем и когато пак се наложи да чете оттам ако пак има грешка при четенето, след известно време връща unrecoverable грешка и RAID контролерът да го обяви за проблемен. Не че съм много вътре в тези неща, но навремето ми беше попаднал един paper по въпроса (май точно от seagate) и оттам разбрах доста неща, които никога не ми бяха минавали през главата.

« Последна редакция: Aug 26, 2013, 01:38 от gat3way »
Активен

"Knowledge is power" - France is Bacon