Изпечатай

[gushtera]

Здравейте отново приятели,
след доста лутания и конфигурации накрая подкарах 2та сториджа със Ubuntu + DRBD + iscsitarget
Конфигурацията на сториджите е следната:
2x Dell Poweredge 850 2xGbit NIC 8GB RAM + 3ware 12port RAID пуснат в RAID 5 + 3HDD Hitachi 2TB 7k300

На тях е инсталирано Ubuntu Server (Linux storage01 3.0.0-11-server #18-Ubuntu SMP Wed Sep 14 01:20:37 UTC 2011 x86_64 x86_64 x86_64 GNU/Linux)

DRBD - последната версия
iscsitarget - последната версия (пробвах и с tgt но там скоростта е на половина по малк
ето и конфигурациите на системата:


root@storage01:~# cat /etc/drbd.d/lun0.res
resource lun0 {
        protocol        C;

        syncer {
                c-max-rate      4G;
                c-min-rate      2G;
        }

        on storage01 {
                device          /dev/drbd0;
                disk            /dev/iSCSI/lun0;
                flexible-meta-disk      internal;
                address         192.168.88.254:7788;
        }
        on storage02 {
                device          /dev/drbd0;
                disk            /dev/iSCSI/lun0;
                flexible-meta-disk      internal;
                address         192.168.88.253:7788;
        }
}


root@storage01:~# cat /etc/drbd.d/lun1.res
resource lun1 {
        protocol        B;

        syncer {
                c-max-rate      4G;
                c-min-rate      2G;
        }

        on storage01 {
                device          /dev/drbd1;
                disk            /dev/iSCSI/lun1;
                flexible-meta-disk      internal;
                address         192.168.88.254:7789;
        }
        on storage02 {
                device          /dev/drbd1;
                disk            /dev/iSCSI/lun1;
                flexible-meta-disk      internal;
                address         192.168.88.253:7789;
        }
}



root@storage01:~# cat /etc/iet/ietd.conf
Target iqn.2011-10.bg.ecloud.storage01:target1
Lun 0 Path=/dev/drbd0,Type=blockio
Lun 1 Path=/dev/drbd1,Type=blockio





P.S. Конфигурацията на DRBD съм я направил с Managment Console-a от сайта на DRBD.
Чакам идеи за справяне с проблема


Благодаря Ви предварително


Поздрави,
Пламен Петков ака Гущера

[Acho]

Ама този въпрос по обед не беше ли в друга тема ? С подобно питане. Или за друг проблем става дума ?

[romeo_ninov]

1. MTU
2. ИП буфери
3. буфери за запис

[gushtera]

Да беше продължение на една стара тема но реших да го отворя в отделна... romeo...
MTU 1500
и никакви буфери в момента дай идея за някаква оптимизация мисля да взема да пусна Jumbo-frames  но дори и без Jumbo не е нормално да минава толкова малко трафик най-интересното е че тази ниска скорост е само при write понеже по пътя на логиката моля да ме поправите ако не е така тествам следното:
write - dd if=/dev/zero of=/root/test.img bs=128k count=10k
трафик - 10-15MB/s

read - dd of=/dev/zero if=/root/test.img bs=128k count=10k
трафик - 100-120MB/s излиза а иначе на iptraf-a izlizat okolo 500-600Mbps

Благодаря Ви предварително и поздрави

[romeo_ninov]

Да беше продължение на една стара тема но реших да го отворя в отделна... romeo...
MTU 1500
и никакви буфери в момента дай идея за някаква оптимизация мисля да взема да пусна Jumbo-frames  но дори и без Jumbo не е нормално да минава толкова малко трафик най-интересното е че тази ниска скорост е само при write понеже по пътя на логиката моля да ме поправите ако не е така тествам следното:
write - dd if=/dev/zero of=/root/test.img bs=128k count=10k
трафик - 10-15MB/s

read - dd of=/dev/zero if=/root/test.img bs=128k count=10k
трафик - 100-120MB/s излиза а иначе на iptraf-a izlizat okolo 500-600Mbps

Благодаря Ви предварително и поздрави

1. имаш гигабитови платки, има ли причина да не пуснеш джъмбо фреймове между двете машини?
2. ИП буферите на ниво ядро и в конфигурацията на DRBD е хубаво да се увеличат
3. буфериране на записа в DRBD, има го в документацията

И има ли причина да ползваш размер на блока, различен от 512 байта, доколкото помня това е стандартния блок. А за тестове имаше една програмка, много подходяща, някакъв бенчмарк от който можеш да видиш какво е положението в зависимост от това какъв ще е твоя товар, не по принцип

[gushtera]

Оказа се че картите не поддържат Jumbo frames а колкото до оптимизацията направих я ефекта е същия... експериментирахме днес с един вече приятел от форума... и логиката до която достигнахме е че най-вероятно RAID-a не смогва да изпълнява заявките за read и  write в едно и също време... след като при спирането на drbd-то скороста скача на 60-70МБ/с а и при чист read с включено дрдб скороста е 20МБ/с значи проблема идва да е някаде в контролера... примерно... ще ъпдейтна с последния фирмуер и ще видим какво ще излезе...


Поздрави.

[gushtera]

А това е бенчмарка от бонние++ върху виртуализираната машина на ESXi-a

   Sequential Output   Sequential Input   Random
Seeks      Sequential Create   Random Create
Size:Chunk Size   Per Char   Block   Rewrite   Per Char   Block   Num Files   Create   Read   Delete   Create   Read   Delete
K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   / sec   % CPU      / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU
slackware   4G   6474   98   13685   99   10627   38   26749   93   68238   60   976.6   98   16   3577   89   +++++   +++   6314   100   3305   92   +++++   +++   5708   74

[romeo_ninov]

А това е бенчмарка от бонние++ върху виртуализираната машина на ESXi-a

   Sequential Output   Sequential Input   Random
Seeks      Sequential Create   Random Create
Size:Chunk Size   Per Char   Block   Rewrite   Per Char   Block   Num Files   Create   Read   Delete   Create   Read   Delete
K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   K/sec   % CPU   / sec   % CPU      / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU   / sec   % CPU
slackware   4G   6474   98   13685   99   10627   38   26749   93   68238   60   976.6   98   16   3577   89   +++++   +++   6314   100   3305   92   +++++   +++   5708   74

Това вие трябва да си го гледате, и то в частта му, която е близка до вашия товар

П.П. Едва сега видях че това са само 3 диска, следващия път сложете 6 х 1Т или 9 х 750Г  и ще видите по-добри I/O резултати

[gushtera]

В последствие ще напълня контролера със 12х2ТБ

[romeo_ninov]

В последствие ще напълня контролера със 12х2ТБ

това са много големи дискове и не мисля че е разумно да ги ползвате точно в подобни конфигурации. Ако искате голям обем дисково пространство ще се наложи да ползвате няколко контролера и по-малки дискове към тях. В противен случай скоростта във вашия случай ще пада с добавяне на всеки нов диск, да не говорим че времето за ресинхронизиране при подмяна на дефектирал диск може да достигне повече от денонощие. И какво ще стане ако в този момент дефектира втори диск от RAID-a?

[gushtera]

В момента правя RAID 10 с 4 диска по 2ТБ и ще постна резултатите

[romeo_ninov]

В момента правя RAID 10 с 4 диска по 2ТБ и ще постна резултатите

Замислете се за spare диск (ако се поддържа от контролера) за да не бъдете изненадан неприятно някоя сутрин