Linux за българи: Форуми

Здравейте ,
Имам продакшън рутер шейпещ към 300-400Мбита трафик и вечерно време забелязвам следния проблем:
cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:    8819518    8711776    8817554    8757001    IO-APIC-edge  timer
  1:        149        154        140        121    IO-APIC-edge  i8042
  8:          1          0          0          0    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
 14:          3          3          4          3    IO-APIC-edge  ide0
 17:      81386      80959      82569      81670   IO-APIC-level  3w-xxxx
 18: 1242117631 1236081794 1227890464 1249202608   IO-APIC-level  eth0
 19: 1012144064 1015984715 1017899450 1006577983   IO-APIC-level  eth1
 20:  734133270  736519563  742605480  732676275   IO-APIC-level  eth2
NMI:          0          0          0          0
LOC:   34787462   34787461   35108105   35108104
ERR:          0
MIS:          0

А именно - броя на прекъсвания започва да се начислява в/у LOC: ,а не върху IRQ18,19,20, което от своя страна води до използване само на единия процесор, което за мен е неоптимален вариант. Позвам ядро 2.6.17.7 с подръжка на SMP , е1000-7.2.7-NAPI с InterruptThrottleRate=40000 - прави впечатление , че въпреки него интерфейсите генерират към 50000-70000 прекъсвания. Минава ми през ума да прехвърля примерно единия интерфейс да използва CPU2 , докато другите 2 - CPU0 -  това дали би имало някакъв ефек ?
Какво всъщност ознавава LOC: в /proc/interrupts? Има ли някаква формула по която се изчислява максимума прекъсвания които могат да бъдат обработени от даден процесор?
Мерси предварително

По какво съдиш, че почва да се начислява само на ЛОК? Според мен няма начин да стане това. Пробва ли все пак да разхвърляш ЛАН-ките по различни процесори - файда има ли?

//офф
Другото интересно нещо ми е малките стойности за иде0 - изобщо имаш ли ИДЕ хард?
При мен нормална ситуация е:

Примерен код

cat /proc/interrupts            CPU0       CPU1   0:   94842014          0    IO-APIC-edge  timer   7:          0          0    IO-APIC-edge  parport0   9:          0          0   IO-APIC-level  acpi  14:     659715          0    IO-APIC-edge  ide0  16: 2951429549          0   IO-APIC-level  eth0  17:       1903 2993704371   IO-APIC-level  eth1 NMI:          0          0 LOC:   94839359   94839358 ERR:          0 MIS:          0

Значи има два варианта да се вдигне прекъсване - единият вариант е хардуерно (мрежова карта при получаване на пакет примерно) - х86 архитектурите си имат контролер на прекъсванията, който поема такива сигнали и ги предава към процесора(ите). Тези прекъсвания са ти от тип io-apic edge / io-apic level (разликата между двете е за електротехници )

Другия вариант е софтуерно прекъсване - такива се дефинират на ниво кърнъл и много прост пример за това ти е всеки един syscall. Тези се изобразяват в полето LOC: (това е брояч за този тип прекъсвания, отново за всеки процесор)

Съдейки по твоите данни, прекъсванията се обработват равномерно по отделните процесори (има си IRQ load balancing btw).

Ако имаш натоварени мрежови интерфейси, тогава както си предположил има файда от това да се дедикейт-ва хардуерно прекъсване на конкретен процесор. Така много по-добре се възползваш от L1 кеша, освен което, при фрагментация на пакетите ще се налага за всеки получен фрагмент от целия пакет да се върти известна информация от единия към другия процесор.

Дедикейт-ването е лесно:
echo <CPU#> > /proc/irq/<IRQ#>/smp_affinity

Иначе нямам много ясна идея защо при по-големи натоварвания, броят на софтуерните прекъсвания скача толкова. Може би ако пейстнеш изхода на sar -a мога да ти кажа повече по въпроса. Имам предположение, че като се натовари мрежата се стига до някакъв момент, в който се лог-ва нещо свързано с трафика (нямам идея как стои въпроса при теб). Оттам вероятно идват тези syscalls.

Всъщност да, в грешка съм бил, прав си. Само малко си объркал бинарната математика де

1001(bin - дигнати  1 и 4 бит) = 2^3+2^0=9(dec)=9(hex)

т.е echo 9 > blabla

/off
E... нямах калкулатор с HEX

Дай малко повече информация за това, какви са ти мрежовите карти, които са монтирани в машината. Параметрите на драйвера RxDescriptors, TxDescriptors.
Аз лично не мисля, че ще имаш някакъв реално добър резултат  ако използващ СМП_АФИНИТИ, поради простата причина, че имаш много добър IRQ load balance от чипсета. Използването на  Л1 кеша е немислимо, за разлика от Л2, но при XEON-ите е малко по-различно, защото е кохерентен.
Дай малко повече информация и за CPU load-a. Можеш да експериментираш и с пускане и спиране на Hyper Treading-a.

Хм, виждам че се занимаваш доста с интел-ски хардуер, може ли да задам няколко въпроса?

- Как така се прави хардуерен irq loadbalancing? Смисъл interrupt controler-a на дъното си има логика дето ги пръска по всеки процесор...наистина ми е интересно, не съм хардуерист..
- Каква е връзката с хайпертрединг-а, смисъл този irq schedulling взима под предвид  hyperthreading-a някак си карайки паралелно един процесор да обработва няколко прекъсвания (ако процесора не е многоядрен де, но това все пак е друг случай)

Иначе за rx/tx descriptors мога да се обзаложа че са 64, освен ако не са пипани...но как може това да е вързано с увеличен брой soft interrupts при натоварвания, хммм..

Не се заяждам, наистина ми е много интересно, хардуерните работи за жалост не ги разбирам достатъчно, а бих искал да ги разбирам

Ами не е ли по-добре да го направим това на бира в Кривото всяка сряда. Малко ще ми е доста трудно да напиша всички аспекти на това.
А ако някои репи може и статия да поспретне по върпоса. Аз мога да помогна с тестов хардуер.