Здравейте колеги,
Ударих малко греда. По принцип нямам много опит с материята и затова ще се допитам до вас.
Имам проблем с IO то на един RAC - нещо не стига на базите.
Закачен е с 2x 4GB Qlogic към HITACHI VSP.
Първото което забелязах: нагледен примерн за разлика м-у директно IO и буферорано такова:
Буферирано, 1М размер на блока (RHEL 5)
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdcn 158867.00 0.00 5334.00 0.00 80.18 0.00 30.78 2.04 0.38 0.16 83.50
sddg 158743.00 0.00 5487.00 0.00 80.20 0.00 29.93 2.09 0.38 0.16 88.10
dm-14 0.00 0.00 328466.00 0.00 160.38 0.00 1.00(?!?) 183.91 0.56 0.00 98.80
A директното:
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdcn 0.00 0.00 280.00 0.00 140.00 0.00 1024.00 0.93 3.31 1.99 55.60
sddg 0.00 0.00 226.00 0.00 113.00 0.00 1024.00 0.75 3.34 1.86 42.00
dm-14 0.00 0.00 506.00 0.00 253.00 0.00 1024.00 1.69 3.34 1.93 97.80
A директното със 128М размер на блока:
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sdcn 0.00 0.00 558.00 0.00 279.00 0.00 1024.00 62.71 102.82 1.52 85.00
sddg 0.00 0.00 579.00 0.00 289.50 0.00 1024.00 64.53 96.75 1.50 87.00
dm-14 0.00 0.00 1148.00 0.00 574.00 0.00 1024.00 127.18 98.78 0.86 98.70
4 основни проблема:
а) Защо при буфериране имаме размер на заявката 1 на dm устройството.
б) Защо пътищата са 50% сатурация,когато имаме 100% на dm устройството. Когато направя размера на блока 128М тогава почти стигам 80 утилизация на пътищата и ~ 500MB/s, но 128М размер на блока не ми звучи нормално.
c) Ако използвам директно io има ли значение read_ahead_kb параметъра на пътя.
д) RHEL 5 има BIO-based мултипатинг. При RHEL 6 е базиран на заявка. Някой може ли да ми обясни подробно какво значи bio-based и как се уравнява с размер на блок 1MB колкото е при нас за Full Table Scans.
е) Защо има разлика размера на заявката в-у пътищата при буферирано и директно IO, след като по документация най–малко трябва да имам rr_min_io * bio size. Или това не важи при директното IO.
ж) Някъде четох, че имало хора който използват dmraid вместо dm-multipath, точно защото последния бил много бавен. Някакъв опит с това?
Благодаря предварително за отговорите!
Автор
Тема: Настройка на Линукс за HITACHI VSP (Прочетена 884 пъти)