Изпечатай

[ROKO__]

http://marek.mahut.sk/blog/wp-content/uploads/2008/05/debian2.jpg

Няма нужда от коментар ;-D

[samiboy]

Аз нямам любима дистрибуция и не е проблем да заменя Дебиан с нещо друго например с Ubuntu server или CentOS но мисля, че ще се държи и на другите така защото проблем е хардуера а не Линукс. Все пак да поясня какво се случва:

Имам два физически XEON-a който са Hyper-Threading и така Линукс кърнела вижда четири логически процесора. Със изключен irqbalance и smp_affinity мога да оказвам коя лан карта кой процесор да ползва но не мога да ги групирам. Приема стойноста f която е за всички ядра но не влиза в сила. В сила влизат само стойности 1, 2, 4, 8 който са съответно само за 1, 2, 3, 4 ядра. Така две от ядрата който и да сa те се товарят на 100% защото от четири лан карти имам две най натоварени. при пинг загубата е минимална да кажем 1% lost но latency стига до 50-150 msec ....

С включен irqbalance нещата седят по същия начин само дето става автоматично.

С taskset мога да окажа всеки един процес кое ядро да го обработва. Тук работи f и въобще всички стойности които се зададат правилно но аз нямам демон който товари а всичко идва от лан картите.

Тъй като няколко пъти се съмнявах в самата конфигурация QOS, Firewall, SNAT/DNAT триех всички правила и оставях едно единствено правило SNAT за да върви трафика и положението не се променя коренно.

Тъй като около 500 клиента получават Интернет свързаност от тази машина съм ограничен в експериментите от рода на пачове, прекомпилиране на кернел, триене и зареждане на модули на лан карти и единствения изход е да върна старата машина утре или вдругиден през ноща за да спестя вълната от недоволни клиенти който ще чакат да линчуват съпорта пред офиса с вили и "коси" ...

След като се освободи машината за експерименти ще направя всичко възможно да подкарам и четирите ядра макар и да съм песимист (единствения шанс е да има нещо в кърнела) Ще и вдигна едно публично ип и който иска ще му дам SSH да влезе и да погледне. Макар и да се повтарям машината е прекрасна но ако не свърши работа ще я продам на половин цена от тази която съм закупил  ...

[senser]

Имам два физически XEON-a който са Hyper-Threading и така Линукс кърнела вижда четири логически процесора. Със изключен irqbalance и smp_affinity мога да оказвам коя лан карта кой процесор да ползва но не мога да ги групирам. Приема стойноста f която е за всички ядра но не влиза в сила. В сила влизат само стойности 1, 2, 4, 8 който са съответно само за 1, 2, 3, 4 ядра. Така две от ядрата който и да сa те се товарят на 100% защото от четири лан карти имам две най натоварени. при пинг загубата е минимална да кажем 1% lost но latency стига до 50-150 msec ....

А експериментирал ли си, ако спреш Hyper threading-a какво ще стане (идеята ми е, да имаш 2 ядра вместо 4)

[samiboy]

Ами не съм но тук намерих ръководство на БИОС-а в което пише.
http://www.serwerydell.eu/1850/ug/p1295c30.htm

Logical Processor
(Enabled default)

Displays when the processors support HyperThreading. Enabled permits all logical processors to be used by the operating system. If Disabled is selected, only the first logical processor for each processor installed in the system is used by the operating system.

Това което аз разбирам е, че когато HT е забранен операционната система вижда само първия логически процесор от физическите. (Между другото не мога да се стърпя да не кажа, че това е адски глупаво, опитвам се да си отговоря на въпроса на кой ще му трябва половин процесор ?!?!?!?!)

[gat3way]

Абсолютно никаква файда нямаш да си правиш сметките с affinity спрямо логическите процесори, които ти вади ядрото покрай hyperthreading-а. Нищо няма да спечелиш от това. Hyperthreading-a е просто една илюзия, която ядрото прави още по-убедителна. В никакъв момент от времето не се изпълнява реално повече от една нишка върху този процесор - просто едната върши аритметики, докато другата чака съдържанието на достъпената памет да се издърпа от РАМ-та и да отиде в процесорния кеш. В нито един момент не се изпълняват дори по този начин два различни процеса, единствено две нишки, които имат общо адресно пространство и между тях няма context switch. Що се отнася до bind-ване на прекъсвания спрямо това, няма почти никакъв смисъл. Това не е като да имаш второ ядро или втори процесор.

[samiboy]

Достатъчно ще е една лан карта да се обработва от двата физически (с по един логически) но и това не става.
Дефакто всеки порт работи само с по едно ядро (логическо) и затова цепи на 100%.
В момента инсталирам предишната машина със същия Дебиан и на първо четене какво виждам:

Код:

root@core2:~# cat /proc/interrupts 
              CPU0      CPU1        CPU2       CPU3
  76:         27         12         10         14   PCI-MSI-edge      eth0
  77:         12         22         14         14   PCI-MSI-edge      eth1
  78:         10         21         23          9   PCI-MSI-edge      eth2
  79:        149        146        159        168   PCI-MSI-edge      eth3

Тук всичко е наред без irqbalance и чудесиии ....

Е картите са по нови найстина но си нямах и представа, че в тях може да се дъни нещо ...

Код:

05:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
05:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
0d:00.0 Ethernet controller: Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (rev 03)
0f:00.0 Ethernet controller: Intel Corporation 82573L Gigabit Ethernet Controller

Утре като сменя машините и остана да се "снимам" с проблемната очаквам предложения какво да и инсталирам за да успеем да подкараме една карта поне на два физически процесора.

[Slevin_]

В момента инсталирам предишната машина със същия Дебиан и на първо четене какво виждам:

Код:

root@core2:~# cat /proc/interrupts 
              CPU0      CPU1        CPU2       CPU3
  76:         27         12         10         14   PCI-MSI-edge      eth0
  77:         12         22         14         14   PCI-MSI-edge      eth1
  78:         10         21         23          9   PCI-MSI-edge      eth2
  79:        149        146        159        168   PCI-MSI-edge      eth3

cat /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       
   0:         41          0          0        682   IO-APIC-edge      timer
   1:          0          0          0        769   IO-APIC-edge      i8042
   8:          0          0          0          1   IO-APIC-edge      rtc0
   9:          0          0          0          0   IO-APIC-fasteoi   acpi
  14:          0          0          0         90   IO-APIC-edge      ata_piix
  15:          0          0          0          0   IO-APIC-edge      ata_piix
  16:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
  18:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb4
  19:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb3
  23:          0          0          0         21   IO-APIC-fasteoi   ehci_hcd:usb1
  34:        962          0         51     157704   IO-APIC-fasteoi   ioc0
  39: 1285446265          0  403191710   23380164   IO-APIC-fasteoi   eth0
  64:  429033522          0 1404256106   15426262   IO-APIC-fasteoi   eth2
  65:      45324          0          0   15918411   IO-APIC-fasteoi   eth3

На пръв поглед горните ти работят с MSi другите са с традиционното прекъсване IO-APIC.
След като дебиан е един и същ, значи дебиянското ядро е компилирано и с MSI поддръжка.
Която явно не се поддържа от хардуера на 1850, в частност мрежовите карти може би.
В последствие открих, че:

That hardware is PCI/PCI-X only and our first design to use MSI-X
interrupt (single vector message based interrupt).  Unfortunately it
didn't work[1].  The solution from the driver side was to make sure that
the driver never enabled it on those parts.  The only parts for gigabit
that correctly support MSI-X are the 82574, 82575 and 82576 based parts.
MSI (single vector) is supported by >= 82571, i.e. 82571/2/3, ESB2,
ICH8/9/10.

което потвърждава, че 82546EB, 82541GI не поддържат MSI.

М/у другото на други места съобщават за проблеми като твоя.
Общо взето из ровене по меил листи, кърнела е 2.6.14, репортнато е 2005-2006 г. , но...
Попаднах на:

I had the same problem, after disabling MSI in the kernel it started to
work. (i use also the daemon irqbalance )

Setting irq affinity stops working when MSI is enabled.

Из:
https://bugzilla.redhat.com/show_bug.cgi?id=172909
http://linux.derkeiler.com/Mailing-Lists/Kernel/2006-01/msg03055.html
http://linux.derkeiler.com/Mailing-Lists/Kernel/2006-01/msg03120.html

Така че след като контролерите ти не поддържат MSI, остава да го изключиш от ядрото.

[Uvigii]

... в резултат на което ми се товарят 1 и 3 ядро почти на 100%...

Q:Какво е Hyper threading?
A:Процесор който е получил шизофрения и се мисли за 2.

Аз бих изключил HT.
Отделно си мисля, че натоварването на 1 + натоварването на 2 <= 100%
и няма как нат.1 + нат.2 = 120% примерно

все едно имаш 1 хдд 120ГБ. Създаваш 2 ЛОГИЧЕСКИ дяла на него. Първия 60ГБ. Втория ? Може ли да е 80ГБ ? или 100 ?

[samiboy]

Slevin_@

Изключвам от ядрото MSI с pci=nomsi и няма ефект.
В сайта на Интел намерих това от което ми стана ясно, че няма шанс.
http://www.intel.com/network/connectivity/resources/technologies/optimized_multicore.htm

Но пък реших да си купя по нов чипсет карта и се оказа, че за PCI-X слот няма по нови.
http://www.intel.com/products/server/adapters/index.htm?iid=embnav1+server_adapter

Във Vyatta има един perl скрипт който точно това се опитва да прави но не успява. Между другото шапка и свалям на тия пичове от един гол Debian всичката функционалност на рутер в един интерфейс.

Честно отказах се да се боря. Сега съм в преговори за един бартер но ще видим.

Uvigii @
Hyper Threading технологията чрез допълнителни регистри създава две логически ядра от един физически процесор. Когато двете работят на макс подобряват с 30% производителноста но въпреки всичко те се държат като две ядра и на скриина отгоре се вижда много ясно. Предполагам си пропуснал какво написах за BIOS-а, че операционнат система вижда само първото логическо ядро и ползва само него (макар то да не съществува на практика не работи като две такива) Затова примера с HDD не е много удачен.

Показвам ти скриин от друг такъв дори е по слаб Power Edge 2850 2XEON x 2800 Mhz на който предназначението е web server. Определено HT тук има значение ....

[savago]

Преди да си се отказал от машината изцяло защо не сложиш за 30 мин едно pfsense v2 и да видиш  какво е положението с бсд-то (с нат и без нат,голо рутиране).При нас такива трафици ги вартят P4.

[gat3way]

Hyper Threading технологията чрез допълнителни регистри създава две логически ядра от един физически процесор. Когато двете работят на макс подобряват с 30% производителноста но въпреки всичко те се държат като две ядра и на скриина отгоре се вижда много ясно. Предполагам си пропуснал какво написах за BIOS-а, че операционнат система вижда само първото логическо ядро и ползва само него (макар то да не съществува на практика не работи като две такива) Затова примера с HDD не е много удачен.

Това не е много вярно. Има два набора регистри, но нямаш две ALU-та, нямаш два load/store unit-а, т.е две нишки не могат пълноценно да работят върху процесора. Идеята е просто докато едната чака бавен достъп от паметта, да не се захабяват процесорни тактове, а да може втора нишка да използва ALU-тата през това време, за да си прави аритметиките там. Също така не може да вървят два различни процеса по този начин - процесите имат различни адресни пространства, с различни page таблици и когато се switch-ва между тях, трябва да се изчисти процесорния кеш, за да има коректни данни. След като двете нишки върху HT процесор си споделят кеша, той няма как да се изчисти.

Държат се като две ядра, защото операционната система го представя така. Да, вярно е че за task scheduling-a това е втори логически процесор, само че първо не може на него да се schedule-не произволен task и второ: дори два task-a споделящи общо адресно пространство (нишки) и вършещи разни аритметики, не могат да работят едновременно, тъй като ALU-то си е само едно.

[samiboy]

savago@
pfsense има ли Quagga или мога ли да я инсталирам ?

gat3way@
Добре, съгласен съм. Но това което се случва е, че имам четири логически ядра и се товарят само две въпреки, че мога да ги сменям всякак. Изключването на HT няма да ми помогне с нищо защото хората са го написали в документацията, че операционна система каквато и да е тя ще вижда само първите логически ядра от физическите въпреки, че ни е ясно, че такива ядра няма а е един трик но операционната система работи с тях все едно са четири.

При Линукс решението е ясно и то е лан карта на PCI-E обаче машината няма такъв слот а и няма какво да се измисли защото е RACK 1U. При BSD нямам представа но след като платформата е доста различна найстина има шанс тази глупост да не се случва. Ще бъде доста авантюристично от моя страна да се опитам да напасна сегашната конфигурация от Linux на BSD от една страна защото почти нямам право на грешки (ще спра интернета на много хора ако се обърка нещо както стана с Vyatta) А от друга имам слаби познания да го наречем инсталирвал съм няколко пъти FreeBSD и съм правил смешен рутер с 5 правила в rc.conf

Маршрутизатора който работи в момента е с тази карта.
http://www.intel.com/products/server/adapters/pro1000pt-dualport/pro1000pt-dualport-overview.htm
Малко по надолу в докунтацията пише следното.

-= Load balancing on multiple CPUs =-
Increases performance on multi-processor systems by efficiently balancing network loads across CPU cores when used with receive-side scaling from Microsoft or Scalable I/O on Linux*

-= Interrupt moderation =-
Delivers increased performance while significantly reducing CPU utilization

Със което всичко става ясно.

ПС ... Загложди ме с това BSD дали няма да стане найстина  ... 

[savago]

В базовите система/пакети на pfsense няма Quagga. В дифлотската базовата ситема имаш Rip/Olsr,а в пакетна  OpenBGPD/OpenOSPFD.
Quagga можеш да си инсталираш и конфигурираш на ръка от пакетната система на самото бсд (pkg_add -r quagga .. etc),това става за 10 мин и няма да е проблем. pfsense ти го дадох като идея за тестинг защото се инсталира и конфигурира в рамките на 30 мин.Не е идея да сваляш продуктивна система на тестинг,освен ако нямаш отделна такава като бекап.

[Uvigii]

...  Определено HT тук има значение ....

Здравейте, интересно би било да се видят разликите с включен и изключен ХТ за да може да се направи сравнение. Така разбирам само, че машината е натоварена на 100%.
Поздрави