Linux за българи: Форуми

Linux секция за напреднали => Хардуерни и софтуерни проблеми => Темата е започната от: samiboy в Sep 21, 2010, 22:53



Титла: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 21, 2010, 22:53
Здравейте, преди около месец сърфирайки из Интернет намерих една фирма която продава сървъри втора употреба. И тъй като аз съм фен на DELL в тази сфера си закупих този звяр.
http://data.itservice-bg.net/screenshot/DELL-1850.JPG
С цел да е бордер рутер във фирмата в която работя (не че стария беше с по лоши характеристики но го предназначих за друго) Машината е DELL Power Edge 1850 2x3.2Ghz dual XEON 2GB RAM 4NIC Giga Intel и така нататък. Тествах я около една седмица като пробвах с Vyatta (много добра дистрибуция но не ми сработиха "натовете") и за жалост се върнах на Debian но този път вместо Lenny инсталирах Squeeze. Монтирах машината и всичко тръгна от раз, След ден два реших да инсталирам малко мониторингов софт и след mrtg пускайки htop застинах - товари се само едното ядро и то на 100%. Зaседнах пред google и що годе добих представа какво се случва. В cat /proc/interrupts се оказа, че и четирите лан карти се обработват от едно ядро. Решението на този проблем е или да се опишат ръчно или да се инсталира irqbalance. С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички. След което инсталирах irqbalance които пък сложи всяка ланка на отделно ядро. Това добре, но големия трафик върви през две от тях в резултат на което ми се товарят 1 и 3 ядро почти на 100%.
http://data.itservice-bg.net/screenshot/htop.png
Надявам се някой от вас да е попадал в подобна ситуация и да е намерил някакво решение. Машината е много добра и в добро състояние но ако не реша този проблем става неизползваема а как мога да продам такова нещо представа си нямам. Трябва да реша този проблем а в google не открих много ясноти по въпроса. Готов съм на всякакви варианти дори на някакъв бартер за друга машина ако не намеря решение ...


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: savago в Sep 22, 2010, 09:10
Здравейте, преди около месец сърфирайки из Интернет намерих една фирма която продава сървъри втора употреба. И тъй като аз съм фен на DELL в тази сфера си закупих този звяр.
http://data.itservice-bg.net/screenshot/DELL-1850.JPG
С цел да е бордер рутер във фирмата в която работя (не че стария беше с по лоши характеристики но го предназначих за друго) Машината е DELL Power Edge 1850 2x3.2Ghz dual XEON 2GB RAM 4NIC Giga Intel и така нататък. Тествах я около една седмица като пробвах с Vyatta (много добра дистрибуция но не ми сработиха "натовете") и за жалост се върнах на Debian но този път вместо Lenny инсталирах Squeeze. Монтирах машината и всичко тръгна от раз, След ден два реших да инсталирам малко мониторингов софт и след mrtg пускайки htop застинах - товари се само едното ядро и то на 100%. Зaседнах пред google и що годе добих представа какво се случва. В cat /proc/interrupts се оказа, че и четирите лан карти се обработват от едно ядро. Решението на този проблем е или да се опишат ръчно или да се инсталира irqbalance. С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички. След което инсталирах irqbalance които пък сложи всяка ланка на отделно ядро. Това добре, но големия трафик върви през две от тях в резултат на което ми се товарят 1 и 3 ядро почти на 100%.
http://data.itservice-bg.net/screenshot/htop.png
Надявам се някой от вас да е попадал в подобна ситуация и да е намерил някакво решение. Машината е много добра и в добро състояние но ако не реша този проблем става неизползваема а как мога да продам такова нещо представа си нямам. Трябва да реша този проблем а в google не открих много ясноти по въпроса. Готов съм на всякакви варианти дори на някакъв бартер за друга машина ако не намеря решение ...


Колко са пакетите и графика като цяло, и през натоварените интерфейси ? Какъв чипсет са картите ?


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 22, 2010, 11:42
Графиката е временна.
http://host.itservice-bg.net/mrtg/

Гледам, че има droped на eth0 където е vlan100 и eth2 което е vlan149 - това са интерфейсите с големия трафик.
Код:
00:00.0 Host bridge: Intel Corporation E7520 Memory Controller Hub (rev 09)
00:02.0 PCI bridge: Intel Corporation E7525/E7520/E7320 PCI Express Port A (rev 09)
00:04.0 PCI bridge: Intel Corporation E7525/E7520 PCI Express Port B (rev 09)
00:05.0 PCI bridge: Intel Corporation E7520 PCI Express Port B1 (rev 09)
00:06.0 PCI bridge: Intel Corporation E7520 PCI Express Port C (rev 09)
00:1d.0 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #1 (rev 02)
00:1d.1 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #2 (rev 02)
00:1d.2 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #3 (rev 02)
00:1d.7 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB2 EHCI Controller (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev c2)
00:1f.0 ISA bridge: Intel Corporation 82801EB/ER (ICH5/ICH5R) LPC Interface Bridge (rev 02)
00:1f.1 IDE interface: Intel Corporation 82801EB/ER (ICH5/ICH5R) IDE Controller (rev 02)
01:00.0 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (A-Segment Bridge) (rev 06)
01:00.2 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (B-Segment Bridge) (rev 06)
02:05.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 08)
02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
05:00.0 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge A (rev 09)
05:00.2 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge B (rev 09)
06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
09:0d.0 VGA compatible controller: ATI Technologies Inc Radeon RV100 QY [Radeon 7000/VE]

eth0: negotiated 1000baseT-FD flow-control, link ok
eth1: no link
eth2: negotiated 1000baseT-FD flow-control, link ok
eth3: negotiated 1000baseT-FD flow-control, link ok

wc -l /proc/net/ip_conntrack 126873
cat /proc/sys/net/nf_conntrack_max 655360

ifconfig
eth0      Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a 
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3806147829 errors:0 dropped:360201 overruns:0 frame:0
          TX packets:2982451720 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:3591400820214 (3.2 TiB)  TX bytes:1877498398906 (1.7 TiB)

eth2      Link encap:Ethernet  HWaddr 00:13:72:52:92:bf 
          inet6 addr: fe80::213:72ff:fe52:92bf/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2795812435 errors:0 dropped:81303 overruns:0 frame:0
          TX packets:3498416619 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:1661450818081 (1.5 TiB)  TX bytes:3224845376764 (2.9 TiB)

eth3      Link encap:Ethernet  HWaddr 00:13:72:52:92:c0 
          inet addr:93.155.130.1  Bcast:93.155.130.15  Mask:255.255.255.240
          inet6 addr: fe80::213:72ff:fe52:92c0/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:15198204 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15085553 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:14218640044 (13.2 GiB)  TX bytes:12039975328 (11.2 GiB)

lo        Link encap:Local Loopback 
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:3611 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3611 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:203011 (198.2 KiB)  TX bytes:203011 (198.2 KiB)

tun1      Link encap:UNSPEC  HWaddr 5D-9B-83-01-39-00-00-00-00-00-00-00-00-00-00-00 
          inet addr:93.155.130.33  P-t-P:93.155.130.34  Mask:255.255.255.252
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1476  Metric:1
          RX packets:1213390 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1822026 errors:36 dropped:0 overruns:0 carrier:36
          collisions:0 txqueuelen:0
          RX bytes:417440876 (398.1 MiB)  TX bytes:2151986432 (2.0 GiB)

tun2      Link encap:UNSPEC  HWaddr 5D-9B-83-01-39-00-00-00-00-00-00-00-00-00-00-00 
          inet addr:93.155.130.37  P-t-P:93.155.130.38  Mask:255.255.255.252
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1476  Metric:1
          RX packets:51406013 errors:0 dropped:0 overruns:0 frame:0
          TX packets:26022403 errors:41 dropped:0 overruns:0 carrier:41
          collisions:0 txqueuelen:0
          RX bytes:63608495738 (59.2 GiB)  TX bytes:5055313921 (4.7 GiB)

vlan100   Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a 
          inet addr:93.155.131.1  Bcast:93.155.131.15  Mask:255.255.255.240
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3702792209 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2847951215 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:3495856914420 (3.1 TiB)  TX bytes:1721091417744 (1.5 TiB)

vlan149   Link encap:Ethernet  HWaddr 00:13:72:52:92:bf 
          inet addr:212.70.158.90  Bcast:212.70.158.91  Mask:255.255.255.252
          inet6 addr: fe80::213:72ff:fe52:92bf/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2795792395 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3498416619 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:1622302640962 (1.4 TiB)  TX bytes:3224845383757 (2.9 TiB)

vlan523   Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a 
          inet addr:93.155.131.17  Bcast:93.155.131.23  Mask:255.255.255.248
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:103335560 errors:0 dropped:0 overruns:0 frame:0
          TX packets:134473215 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:42251030571 (39.3 GiB)  TX bytes:156405183140 (145.6 GiB)

uname -a Linux core2 2.6.32-5-amd64 #1 SMP Wed Aug 25 13:59:41 UTC 2010 x86_64 GNU/Linux
ip route | wc -l 326510

cat /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       
   0:         41          0          0        682   IO-APIC-edge      timer
   1:          0          0          0        769   IO-APIC-edge      i8042
   8:          0          0          0          1   IO-APIC-edge      rtc0
   9:          0          0          0          0   IO-APIC-fasteoi   acpi
  14:          0          0          0         90   IO-APIC-edge      ata_piix
  15:          0          0          0          0   IO-APIC-edge      ata_piix
  16:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
  18:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb4
  19:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb3
  23:          0          0          0         21   IO-APIC-fasteoi   ehci_hcd:usb1
  34:        962          0         51     157704   IO-APIC-fasteoi   ioc0
  39: 1285446265          0  403191710   23380164   IO-APIC-fasteoi   eth0
  64:  429033522          0 1404256106   15426262   IO-APIC-fasteoi   eth2
  65:      45324          0          0   15918411   IO-APIC-fasteoi   eth3
 NMI:          0          0          0          0   Non-maskable interrupts
 LOC:   80785784  102746037  143557904  102930061   Local timer interrupts
 SPU:          0          0          0          0   Spurious interrupts
 PMI:          0          0          0          0   Performance monitoring interrupts
 PND:          0          0          0          0   Performance pending work
 RES:     228063      99687     238886     113258   Rescheduling interrupts
 CAL:      16526        621        242        109   Function call interrupts
 TLB:      34812      27480      82908      77527   TLB shootdowns
 TRM:          0          0          0          0   Thermal event interrupts
 THR:          0          0          0          0   Threshold APIC interrupts
 MCE:          0          0          0          0   Machine check exceptions
 MCP:        682        682        682        682   Machine check polls
 ERR:          3
 MIS:          0

cat /proc/irq/1/smp_affinity 01
cat /proc/irq/8/smp_affinity 0f
cat /proc/irq/9/smp_affinity 0f
cat /proc/irq/14/smp_affinity 0a
cat /proc/irq/15/smp_affinity 0f
cat /proc/irq/16/smp_affinity 0f
cat /proc/irq/18/smp_affinity 0f
cat /proc/irq/19/smp_affinity 0f
cat /proc/irq/23/smp_affinity 0a
cat /proc/irq/34/smp_affinity 0a
cat /proc/irq/39/smp_affinity 04
cat /proc/irq/64/smp_affinity 01
cat /proc/irq/65/smp_affinity 08

dmesg | grep eth
[    1.106244] e1000: eth0: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.258409] e1000: eth1: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.490766] e1000: eth2: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.722996] e1000: eth3: e1000_probe: Intel(R) PRO/1000 Network Connection
[   10.060163] ADDRCONF(NETDEV_UP): eth3: link is not ready
[   10.081931] e1000: eth3 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   10.082338] ADDRCONF(NETDEV_CHANGE): eth3: link becomes ready
[   10.198466] ADDRCONF(NETDEV_UP): eth0: link is not ready
[   10.201133] e1000: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   10.201665] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[   10.278662] ADDRCONF(NETDEV_UP): eth2: link is not ready
[   10.302403] e1000: eth2 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   10.303045] ADDRCONF(NETDEV_CHANGE): eth2: link becomes ready
[   20.208283] eth3: no IPv6 routers present
[   20.744781] eth0: no IPv6 routers present
[   21.008777] eth2: no IPv6 routers present


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Slevin_ в Sep 22, 2010, 13:40
До колкото съм запознат irq balance, не е много добро за големи трафици.
Бих ти предложил да пробваш с ff на affinity-то така ще ходи на всички ядра.
Проблема е, че при тебе са два отделни процесора. A драйвера май не работи много добре с два л2/л3 кеша.

Цитат
С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички.

0f - би трябвало да назначи на cpu 0 и cpu 1.
f0 - на  cpu 2 и cpu 3
Иначе по блок схемата на чипсета Intel E7520 лан картите са на северния мост, което е по-добре.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: n00b в Sep 22, 2010, 13:49
//off

откъде е закупен сървъра? предварително благодаря


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: savago в Sep 22, 2010, 15:12

Код:
02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)

06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)


Пробвай по-големите трафици да са на картите с 82546EB чипсета. Не си показал колко пакета имаш в пиковете и дроп-а тогава ако има такав.Тази машина освен да рутира друго прави ли ?
При мен PowerEdge 860 на същите трафици се товари около 30%   а е много по слаб като машина.
Код:
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls drops
       39K     0        32M        39K     0        32M     0     0
       40K     0        34M        40K     0        33M     0     0
       42K     0        34M        41K     0        34M     0     0
       41K     0        33M        41K     0        33M     0     0
       39K     0        32M        39K     0        32M     0     0
       38K     0        31M        38K     0        31M     0     0
       41K     0        33M        41K     0        33M     0     0
       40K     0        32M        39K     0        32M     0     0
       39K     0        30M        38K     0        29M     0     0
       44K     0        35M        44K     0        35M     0     0
       40K     0        33M        40K     0        32M     0     0
       39K     0        32M        39K     0        32M     0     0
       37K     0        29M        36K     0        29M     0     0
       36K     0        28M        36K     0        28M     0     0
       37K     0        29M        37K     0        29M     0     0
       36K     0        27M        35K     0        27M     0     0
       35K     0        27M        34K     0        27M     0     0
       37K     0        29M        36K     0        29M     0     0
       40K     0        32M        39K     0        32M     0     0


Код:
last pid: 12652;  load averages:  0.00,  0.00,  0.00                                                                                                                                   up 2+07:58:27  15:07:25
28 processes:  1 running, 27 sleeping
CPU 0:  0.0% user,  0.0% nice,  0.8% system, 15.0% interrupt, 84.2% idle
CPU 1:  0.0% user,  0.0% nice,  0.7% system, 21.3% interrupt, 77.9% idle
Mem: 32M Active, 261M Inact, 158M Wired, 68K Cache, 112M Buf, 1546M Free
Swap: 4043M Total, 4043M Free

  PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  749 root       44    0 11424K  8028K select  0   8:37  0.00% snmpd
  614 root       44    0  3344K  1308K select  1   0:30  0.00% syslogd
  394 root       44    0  4140K  2380K select  0   0:08  0.00% ospfd
  839 root       44    0  4864K  2384K select  0   0:08  0.00% ntpd
  904 root       44   r0  3448K  1088K nanslp  0   0:07  0.00% watchdogd
  888 root       44    0  4492K  2976K bpf     0   0:03  0.00% arpwatch
  918 root       44    0  6072K  3576K select  0   0:03  0.00% sendmail
  569 root       44    0  4004K  1408K select  0   0:02  0.00% watchquagga
  388 root       44    0  4004K  1964K select  0   0:01  0.00% zebra
  929 root       44    0  3372K  1360K nanslp  0   0:01  0.00% cron
12585 nikolay    44    0  9400K  4444K select  0   0:00  0.00% sshd
12652 root       44    0  3680K  1888K CPU1    1   0:00  0.00% top
12582 root       45    0  9400K  4416K sbwait  1   0:00  0.00% sshd
  922 smmsp      44    0  6072K  3396K pause   0   0:00  0.00% sendmail
12588 root       44    0  5648K  2636K pause   1   0:00  0.00% csh
12587 nikolay    44    0  3804K  1724K wait    1   0:00  0.00% su
  460 root       44    0  1888K   540K select  1   0:00  0.00% devd
  911 root       44    0  6676K  3696K select  1   0:00  0.00% sshd
12586 nikolay    44    0  3624K  1616K wait    1   0:00  0.00% sh
 1003 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1006 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1007 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1008 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1009 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1004 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1005 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1010 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
  108 root       76    0  1536K   852K pause   1   0:00  0.00% adjkerntz

core# ipfw -d show | wc -l
   11652

Код:



Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 22, 2010, 15:35
Slevin_@
на 01 отива на първото ядро на 02 на второто на 04 на третото и на 08 на четвъртото. Стойности като 0f, f0 и ff ги приема в терминала но прехвърля обработката само на четвъртото ядро. Машината която смених е със Supermicro дъно и XEON X320 който е един с четири ядра но там LAN картите бяха на PCI-EXPRESS speed 4 и се обработваха от всички ядра но тъй като е по нов като поколение го предвидих за виртуализация.

n00b@
http://www.pclife.bg/ Аз съм купил два. DELL PowerEdge 2850 за web и mail и DELL PowerEdge 1850 за рутер който доплатих 50 лева за второ захранване и 40 лева за допълнителна ЛАН карта.

savago@
Код:
02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
Е допълнително сложена ЛАН карта с два порта. От там върви трафика на eth0/VLAN100 тоест най натоварената лан карта.

Код:
06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
Са ланкартите на дъното там е eth2/VLAN149 Променях ги няколко пъти общо взето никакъв резултат защото явно се вижда, че всичко идва от лан картите (просто си сменят ядрата но никога не работят с повече от едно едновременно)

Пиковете ще са довечера когато двете ядра от четирите биат 100% сега са около 70-80%. Тази машина има само Quagga, bind, snmpd, bmon, htop,ntpd и irqbalance като инсталирани пакети. Като задачи има 700 правила в NAT и 700 в tc. Но няколко пъти триех всички правила като оставях само един SNAT и никаква промяна от което става ясно, че и на едно голо рутиране положението е същото. На предишната машина когато работеха и четирите ядра се товаре около 35%-50% в зависимост от пиковете.

Код:
core2:~# ps axf
  PID TTY      STAT   TIME COMMAND
    2 ?        S      0:00 [kthreadd]
    3 ?        S      0:02  \_ [migration/0]
    4 ?        S     18:45  \_ [ksoftirqd/0]
    5 ?        S      0:00  \_ [watchdog/0]
    6 ?        S      0:00  \_ [migration/1]
    7 ?        S      1:37  \_ [ksoftirqd/1]
    8 ?        S      0:00  \_ [watchdog/1]
    9 ?        S      0:01  \_ [migration/2]
   10 ?        S      8:19  \_ [ksoftirqd/2]
   11 ?        S      0:00  \_ [watchdog/2]
   12 ?        S      0:01  \_ [migration/3]
   13 ?        S      6:38  \_ [ksoftirqd/3]
   14 ?        S      0:00  \_ [watchdog/3]
   15 ?        S      0:12  \_ [events/0]
   16 ?        S      0:20  \_ [events/1]
   17 ?        S      0:04  \_ [events/2]
   18 ?        S      0:06  \_ [events/3]
   19 ?        S      0:00  \_ [cpuset]
   20 ?        S      0:00  \_ [khelper]
   21 ?        S      0:00  \_ [netns]
   22 ?        S      0:00  \_ [async/mgr]
   23 ?        S      0:00  \_ [pm]
   24 ?        S      0:00  \_ [sync_supers]
   25 ?        S      0:00  \_ [bdi-default]
   26 ?        S      0:00  \_ [kintegrityd/0]
   27 ?        S      0:00  \_ [kintegrityd/1]
   28 ?        S      0:00  \_ [kintegrityd/2]
   29 ?        S      0:00  \_ [kintegrityd/3]
   30 ?        S      0:00  \_ [kblockd/0]
   31 ?        S      0:00  \_ [kblockd/1]
   32 ?        S      0:00  \_ [kblockd/2]
   33 ?        S      0:00  \_ [kblockd/3]
   34 ?        S      0:00  \_ [kacpid]
   35 ?        S      0:00  \_ [kacpi_notify]
   36 ?        S      0:00  \_ [kacpi_hotplug]
   37 ?        S      0:00  \_ [kseriod]
   42 ?        S      0:00  \_ [kondemand/0]
   43 ?        S      0:00  \_ [kondemand/1]
   44 ?        S      0:00  \_ [kondemand/2]
   45 ?        S      0:00  \_ [kondemand/3]
   46 ?        S      0:00  \_ [khungtaskd]
   47 ?        S      0:00  \_ [kswapd0]
   48 ?        SN     0:00  \_ [ksmd]
   49 ?        S      0:00  \_ [aio/0]
   50 ?        S      0:00  \_ [aio/1]
   51 ?        S      0:00  \_ [aio/2]
   52 ?        S      0:00  \_ [aio/3]
   53 ?        S      0:00  \_ [crypto/0]
   54 ?        S      0:00  \_ [crypto/1]
   55 ?        S      0:00  \_ [crypto/2]
   56 ?        S      0:00  \_ [crypto/3]
  198 ?        S      0:00  \_ [ksuspend_usbd]
  199 ?        S      0:00  \_ [khubd]
  200 ?        S      0:00  \_ [ata/0]
  201 ?        S      0:00  \_ [ata/1]
  202 ?        S      0:00  \_ [ata/2]
  203 ?        S      0:00  \_ [ata/3]
  204 ?        S      0:00  \_ [ata_aux]
  205 ?        S      0:00  \_ [scsi_eh_0]
  206 ?        S      0:00  \_ [scsi_eh_1]
  223 ?        S      0:00  \_ [mpt_poll_0]
  224 ?        S      0:00  \_ [mpt/0]
  227 ?        S      0:00  \_ [scsi_eh_2]
  289 ?        S      0:06  \_ [jbd2/sda1-8]
  290 ?        S      0:00  \_ [ext4-dio-unwrit]
  291 ?        S      0:00  \_ [ext4-dio-unwrit]
  292 ?        S      0:00  \_ [ext4-dio-unwrit]
  293 ?        S      0:00  \_ [ext4-dio-unwrit]
  510 ?        S      0:00  \_ [edac-poller]
  918 ?        S      0:00  \_ [flush-8:0]
    1 ?        Ss     0:00 init [2] 
  362 ?        S<s    0:00 udevd --daemon
  497 ?        S<     0:00  \_ udevd --daemon
  500 ?        S<     0:00  \_ udevd --daemon
 1161 ?        Sl     0:23 /usr/sbin/rsyslogd -c4
 1244 ?        Ss     0:00 /usr/sbin/acpid
 1295 ?        Ss     0:00 /usr/sbin/atd
 1347 ?        Ss     0:00 /usr/bin/dbus-daemon --system
 1361 ?        Ss     0:00 /usr/sbin/sshd
11452 ?        Ss     0:28  \_ sshd: root@pts/0
11454 pts/0    Ss     0:07      \_ -bash
30654 pts/0    R+     0:00          \_ ps axf
 1461 ?        Ssl   62:22 /usr/sbin/named -u bind
 9877 tty2     Ss+    0:00 /sbin/getty 38400 tty2
 9878 tty3     Ss+    0:00 /sbin/getty 38400 tty3
 9879 tty4     Ss+    0:00 /sbin/getty 38400 tty4
 9880 tty5     Ss+    0:00 /sbin/getty 38400 tty5
 9881 tty6     Ss+    0:00 /sbin/getty 38400 tty6
  474 ?        Ss     0:38 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 108:111
  770 ?        Ss     0:57 /usr/lib/quagga/zebra --daemon -A 127.0.0.1
  774 ?        Ss    56:58 /usr/lib/quagga/bgpd --daemon -A 127.0.0.1
18042 tty1     Ss+    0:00 /sbin/getty 38400 tty1
17592 ?        S      0:21 /usr/sbin/snmpd -Lsd -Lf /dev/null -u snmp -g snmp -I -smux -p /var/run/snmpd.pid
11712 ?        Ss     0:00 /usr/sbin/cron
21362 ?        Ss     0:00 /usr/sbin/apache2 -k start
30363 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30364 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30365 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30366 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30367 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30639 ?        S      0:00  \_ /usr/sbin/apache2 -k start
29998 ?        Ss     0:01 /usr/sbin/irqbalance

Код:
top - 16:00:04 up 2 days, 13:30,  1 user,  load average: 0.06, 0.04, 0.00
Tasks: 102 total,   1 running, 101 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 37.3%id,  0.0%wa,  1.4%hi, 61.4%si,  0.0%st
Cpu1  :  0.5%us,  0.5%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni, 24.5%id,  0.0%wa,  0.9%hi, 74.5%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.5%hi,  0.5%si,  0.0%st
Mem:   2060452k total,  1056592k used,  1003860k free,   143224k buffers
Swap:  1971192k total,        0k used,  1971192k free,   281220k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                   
 1461 bind      20   0  273m  84m 2460 S    2  4.2  62:27.94 named                                                                                                     
  774 quagga    20   0  206m 174m  640 S    0  8.7  57:01.66 bgpd                                                                                                       
    4 root      20   0     0    0    0 S    0  0.0  18:45.66 ksoftirqd/0                                                                                               
   10 root      20   0     0    0    0 S    0  0.0   8:19.99 ksoftirqd/2                                                                                               
   13 root      20   0     0    0    0 S    0  0.0   6:38.71 ksoftirqd/3                                                                                               
    7 root      20   0     0    0    0 S    0  0.0   1:38.09 ksoftirqd/1                                                                                               
  770 quagga    20   0  144m 116m  736 S    0  5.8   0:57.10 zebra                                                                                                     
  474 ntp       20   0 38456 2176 1588 S    0  0.1   0:38.67 ntpd                                                                                                       
11452 root      20   0 70488 3340 2616 S    0  0.2   0:28.52 sshd                                                                                                       
 1161 root      20   0  115m 1508  996 S    0  0.1   0:23.66 rsyslogd                                                                                                   
17592 snmp      20   0 48780 5696 3288 S    0  0.3   0:21.79 snmpd                                                                                                     
   16 root      20   0     0    0    0 S    0  0.0   0:20.50 events/1                                                                                                   
   15 root      20   0     0    0    0 S    0  0.0   0:12.42 events/0                                                                                                   
11454 root      20   0 20808 3668 1596 S    0  0.2   0:07.98 bash                                                                                                       
  289 root      20   0     0    0    0 S    0  0.0   0:06.12 jbd2/sda1-8                                                                                               
   18 root      20   0     0    0    0 S    0  0.0   0:06.05 events/3                                                                                                   
   17 root      20   0     0    0    0 S    0  0.0   0:04.88 events/2                                                                                                   
    3 root      RT   0     0    0    0 S    0  0.0   0:02.60 migration/0                                                                                               
    9 root      RT   0     0    0    0 S    0  0.0   0:01.95 migration/2                                                                                               
29998 root      20   0  9064  528  400 S    0  0.0   0:01.81 irqbalance                                                                                                 
   12 root      RT   0     0    0    0 S    0  0.0   0:01.41 migration/3                                                                                               
    1 root      20   0  8352  784  648 S    0  0.0   0:00.79 init                                                                                                       
  918 root      20   0     0    0    0 S    0  0.0   0:00.77 flush-8:0                                                                                                 
   24 root      20   0     0    0    0 S    0  0.0   0:00.51 sync_supers                                                                                               
  223 root      20   0     0    0    0 S    0  0.0   0:00.27 mpt_poll_0                                                                                                 
30656 root      20   0 19064 1324  976 R    0  0.1   0:00.24 top                                                                                                       
21362 root      20   0  123m 9840 5156 S    0  0.5   0:00.18 apache2                                                                                                   
   25 root      20   0     0    0    0 S    0  0.0   0:00.17 bdi-default                                                                                               
   33 root      20   0     0    0    0 S    0  0.0   0:00.16 kblockd/3

Код:
core2:~# lsmod
Module                  Size  Used by
ip6table_filter         2384  0
ip6_tables             15075  1 ip6table_filter
xt_TCPMSS               2919  2
xt_tcpudp               2319  2
sch_tbf                 3588  2
act_police              3636  591
cls_u32                 5466  4
sch_sfq                 4686  589
sch_ingress             1624  3
sch_htb                11942  1
xt_multiport            2267  13
nf_nat_h323             5095  0
nf_conntrack_h323      36992  1 nf_nat_h323
nf_nat_sip              4934  0
nf_conntrack_sip       13546  1 nf_nat_sip
nf_nat_pptp             2034  0
nf_conntrack_pptp       3801  1 nf_nat_pptp
nf_conntrack_proto_gre     3579  1 nf_conntrack_pptp
nf_nat_proto_gre        1245  1 nf_nat_pptp
nf_nat_irc              1366  0
nf_conntrack_irc        3347  1 nf_nat_irc
nf_nat_tftp              966  0
nf_conntrack_tftp       3321  1 nf_nat_tftp
nf_nat_ftp              2031  0
nf_conntrack_ftp        5537  1 nf_nat_ftp
iptable_nat             4299  1
nf_nat                 13388  8 nf_nat_h323,nf_nat_sip,nf_nat_pptp,nf_nat_proto_gre,nf_nat_irc,nf_nat_tftp,nf_nat_ftp,iptable_nat
nf_conntrack_ipv4       9833  3 iptable_nat,nf_nat
nf_conntrack           46535  16 nf_nat_h323,nf_conntrack_h323,nf_nat_sip,nf_conntrack_sip,nf_nat_pptp,nf_conntrack_pptp,nf_conntrack_proto_gre,nf_nat_irc,nf_conntrack_irc,nf_nat_tftp,nf_conntrack_tftp,nf_nat_ftp,nf_conntrack_ftp,iptable_nat,nf_nat,nf_conntrack_ipv4
nf_defrag_ipv4          1139  1 nf_conntrack_ipv4
iptable_mangle          2817  1
iptable_filter          2258  1
ip_tables              13899  3 iptable_nat,iptable_mangle,iptable_filter
x_tables               12845  6 ip6_tables,xt_TCPMSS,xt_tcpudp,xt_multiport,iptable_nat,ip_tables
ipip                    6711  0
tunnel4                 1973  1 ipip
ip_gre                 12291  0
8021q                  17158  0
garp                    5050  1 8021q
stp                     1440  1 garp
loop                   11799  0
radeon                572811  0
snd_pcm                60471  0
ttm                    39986  1 radeon
drm_kms_helper         20065  1 radeon
snd_timer              15582  1 snd_pcm
drm                   142551  3 radeon,ttm,drm_kms_helper
i2c_algo_bit            4225  1 radeon
i2c_core               15712  4 radeon,drm_kms_helper,drm,i2c_algo_bit
snd                    46446  2 snd_pcm,snd_timer
soundcore               4598  1 snd
snd_page_alloc          6249  1 snd_pcm
pcspkr                  1699  0
shpchp                 26264  0
video                  17445  0
rng_core                3006  0
e752x_edac              9393  0
pci_hotplug            21203  1 shpchp
dcdbas                  5048  0
output                  1692  1 video
evdev                   7352  3
edac_core              29261  1 e752x_edac
button                  4650  0
processor              30303  0
ext4                  288969  1
mbcache                 5050  1 ext4
jbd2                   67015  1 ext4
crc16                   1319  1 ext4
sd_mod                 29777  3
crc_t10dif              1276  1 sd_mod
sg                     18744  0
sr_mod                 12602  0
cdrom                  29415  1 sr_mod
ata_generic             2983  0
mptspi                 11185  2
uhci_hcd               18521  0
ata_piix               21124  0
libata                133584  2 ata_generic,ata_piix
mptscsih               16312  1 mptspi
mptbase                48350  2 mptspi,mptscsih
scsi_transport_spi     18774  1 mptspi
e1000                  85485  0
ehci_hcd               31135  0
thermal                11674  0
scsi_mod              122117  7 sd_mod,sg,sr_mod,mptspi,libata,mptscsih,scsi_transport_spi
thermal_sys            11942  3 video,processor,thermal
usbcore               121938  3 uhci_hcd,ehci_hcd
nls_base                6377  1 usbcore


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: plamen_f в Sep 22, 2010, 19:30
До миналата седмица имах борба с един R710 и У 8.04.4- ядеше много %sy (хвърчаха по 5-6000 RES на ядро за секунда) и след няколко дена с гугъл и безсмислени разговори със съпорт на DELL - "според мен чисто индийски съпорт" си реших проблема с УБУНТУ 10.04 с това ядро 2.6.32-21-server #32-ubuntu SMP.

Сега аз боря други демони - яде ми от ресурсите за работа с база данни на ERP , но за мое учудване У 10.04 сървър irqbalance се справя чудесно.
 


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Slevin_ в Sep 22, 2010, 23:54
Като гледам:
Цитат
top - 16:00:04 up 2 days, 13:30,  1 user,  load average: 0.06, 0.04, 0.00
Tasks: 102 total,   1 running, 101 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 37.3%id,  0.0%wa,  1.4%hi, 61.4%si,  0.0%st
Cpu1  :  0.5%us,  0.5%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni, 24.5%id,  0.0%wa,  0.9%hi, 74.5%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.5%hi,  0.5%si,  0.0%st
Mem:   2060452k total,  1056592k used,  1003860k free,   143224k buffers
Swap:  1971192k total,        0k used,  1971192k free,   281220k cached

Товаренето на процесорите идва от софтуерни прекъсвания.

Порових се из мрежата и от документацията на интел
http://www.intel.com/support/network/sb/CS-009209.htm
относно Interrupt Moderation и
по специално на параметъра InterruptThrottleRate, попаднах на един пач:

http://wiki.cita.utoronto.ca/mediawiki/index.php/E1000_performance_patch
Тук е дискутиран:
http://www.mail-archive.com/netdev@vger.kernel.org/msg11403.html

Като цяло синтезирана информацията за драйвера.
http://www.kernel.org/doc/Documentation/networking/e1000.txt



Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 25, 2010, 10:27
Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите. На ifconfig имам droped на пакетитие а на ping нямам загуби което ме успокоява. Все се надявах, че ще подкарам и четирите ядра както беше на предишния но явно това нямам как да стане и може би ще търся друго приложение на тази машина.

Благодаря на всички които се опитаха да помогнат.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Mitaka в Sep 25, 2010, 14:15
Имах подобен проблем с машина, която се "товареше" много.
Щом е за рутер - пробвай с OpenBSD. Аз така си реших проблема.
Не съм голям разбирач, но явно OpenBSD-to управлява картите по съвсем различен начин.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: savago в Sep 25, 2010, 14:43
Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите. На ifconfig имам droped на пакетитие а на ping нямам загуби което ме успокоява. Все се надявах, че ще подкарам и четирите ядра както беше на предишния но явно това нямам как да стане и може би ще търся друго приложение на тази машина.

Благодаря на всички които се опитаха да помогнат.

Не е нормално да се товари толкова много тази  машина при този трафик,било то с обработка с 2 или 4 ядра.Защо не опиташ със стабилен дебиан или друга дистрибуция която ползваш ?

@Митак ,ползвах опън-а до 4.5 но почваше да гърми на трафици (+300) и минах на фрии-то от тогава, та как се държи сега на трафици и товари опъна сега ?


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Mitaka в Sep 25, 2010, 17:37
@Митак ,ползвах опън-а до 4.5 но почваше да гърми на трафици (+300) и минах на фрии-то от тогава, та как се държи сега на трафици и товари опъна сега ?

При мен не минава 120Mbps, но едно Ubuntu издъхваше на тоя трафик, а машинате с слабичка - Dell PowerEdge 1750, Dual XEON 2.4GHz, 1G RAM.

От близо 6 месеца не съм имал проблем с тая машина - т.е. откакто инсталирах ОпенБСД.
Фрии-то пък се сържи супер като файлов сървър и като мейл сървър с qmail. Там положението е - близо 2 години без никакъв проблем :) Ама като казвам никакъв, значи наистина никакъв проблем.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Slevin_ в Sep 26, 2010, 00:27
Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите.

До колкото съм запознат при smp_affinity, ако се ползва ff, 0f, f0 то обикновено прекъсванията се обработват само от едното ядро, в момента при който ресурса на ядрото се изчерпа, прекъсванията започват да се обработват и от следващото ядро(ядра).
Тествай при натоварена машина какво се получава.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: vladi246 в Sep 26, 2010, 01:35
Питай във http://mikrotik-bg.net/ там се борят повече ISP-та със подобни проблеми,може пък да ти излезе късмета :)


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: ROKO__ в Sep 26, 2010, 07:48
http://marek.mahut.sk/blog/wp-content/uploads/2008/05/debian2.jpg

Няма нужда от коментар ;-D


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 26, 2010, 16:34
Аз нямам любима дистрибуция и не е проблем да заменя Дебиан с нещо друго например с Ubuntu server или CentOS но мисля, че ще се държи и на другите така защото проблем е хардуера а не Линукс. Все пак да поясня какво се случва:

Имам два физически XEON-a който са Hyper-Threading и така Линукс кърнела вижда четири логически процесора. Със изключен irqbalance и smp_affinity мога да оказвам коя лан карта кой процесор да ползва но не мога да ги групирам. Приема стойноста f която е за всички ядра но не влиза в сила. В сила влизат само стойности 1, 2, 4, 8 който са съответно само за 1, 2, 3, 4 ядра. Така две от ядрата който и да сa те се товарят на 100% защото от четири лан карти имам две най натоварени. при пинг загубата е минимална да кажем 1% lost но latency стига до 50-150 msec ....

С включен irqbalance нещата седят по същия начин само дето става автоматично.

С taskset мога да окажа всеки един процес кое ядро да го обработва. Тук работи f и въобще всички стойности които се зададат правилно но аз нямам демон който товари а всичко идва от лан картите.

Тъй като няколко пъти се съмнявах в самата конфигурация QOS, Firewall, SNAT/DNAT триех всички правила и оставях едно единствено правило SNAT за да върви трафика и положението не се променя коренно.

Тъй като около 500 клиента получават Интернет свързаност от тази машина съм ограничен в експериментите от рода на пачове, прекомпилиране на кернел, триене и зареждане на модули на лан карти и единствения изход е да върна старата машина утре или вдругиден през ноща за да спестя вълната от недоволни клиенти който ще чакат да линчуват съпорта пред офиса с вили и "коси" ...

След като се освободи машината за експерименти ще направя всичко възможно да подкарам и четирите ядра макар и да съм песимист (единствения шанс е да има нещо в кърнела) Ще и вдигна едно публично ип и който иска ще му дам SSH да влезе и да погледне. Макар и да се повтарям машината е прекрасна но ако не свърши работа ще я продам на половин цена от тази която съм закупил  ...


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: senser в Sep 26, 2010, 18:20
Имам два физически XEON-a който са Hyper-Threading и така Линукс кърнела вижда четири логически процесора. Със изключен irqbalance и smp_affinity мога да оказвам коя лан карта кой процесор да ползва но не мога да ги групирам. Приема стойноста f която е за всички ядра но не влиза в сила. В сила влизат само стойности 1, 2, 4, 8 който са съответно само за 1, 2, 3, 4 ядра. Така две от ядрата който и да сa те се товарят на 100% защото от четири лан карти имам две най натоварени. при пинг загубата е минимална да кажем 1% lost но latency стига до 50-150 msec ....
А експериментирал ли си, ако спреш Hyper threading-a какво ще стане (идеята ми е, да имаш 2 ядра вместо 4)


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 26, 2010, 19:11
Ами не съм но тук намерих ръководство на БИОС-а в което пише.
http://www.serwerydell.eu/1850/ug/p1295c30.htm
Цитат
Logical Processor
(Enabled default)

Displays when the processors support HyperThreading. Enabled permits all logical processors to be used by the operating system. If Disabled is selected, only the first logical processor for each processor installed in the system is used by the operating system.
Това което аз разбирам е, че когато HT е забранен операционната система вижда само първия логически процесор от физическите. (Между другото не мога да се стърпя да не кажа, че това е адски глупаво, опитвам се да си отговоря на въпроса на кой ще му трябва половин процесор ?!?!?!?!)


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: gat3way в Sep 26, 2010, 22:49
Абсолютно никаква файда нямаш да си правиш сметките с affinity спрямо логическите процесори, които ти вади ядрото покрай hyperthreading-а. Нищо няма да спечелиш от това. Hyperthreading-a е просто една илюзия, която ядрото прави още по-убедителна. В никакъв момент от времето не се изпълнява реално повече от една нишка върху този процесор - просто едната върши аритметики, докато другата чака съдържанието на достъпената памет да се издърпа от РАМ-та и да отиде в процесорния кеш. В нито един момент не се изпълняват дори по този начин два различни процеса, единствено две нишки, които имат общо адресно пространство и между тях няма context switch. Що се отнася до bind-ване на прекъсвания спрямо това, няма почти никакъв смисъл. Това не е като да имаш второ ядро или втори процесор.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 26, 2010, 23:50
(http://data.itservice-bg.net/screenshot/p80last.png)

Достатъчно ще е една лан карта да се обработва от двата физически (с по един логически) но и това не става.
Дефакто всеки порт работи само с по едно ядро (логическо) и затова цепи на 100%.
В момента инсталирам предишната машина със същия Дебиан и на първо четене какво виждам:

Код:
root@core2:~# cat /proc/interrupts 
              CPU0      CPU1        CPU2       CPU3
  76:         27         12         10         14   PCI-MSI-edge      eth0
  77:         12         22         14         14   PCI-MSI-edge      eth1
  78:         10         21         23          9   PCI-MSI-edge      eth2
  79:        149        146        159        168   PCI-MSI-edge      eth3

Тук всичко е наред без irqbalance и чудесиии ....

Е картите са по нови найстина но си нямах и представа, че в тях може да се дъни нещо ...
Код:
05:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
05:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06)
0d:00.0 Ethernet controller: Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (rev 03)
0f:00.0 Ethernet controller: Intel Corporation 82573L Gigabit Ethernet Controller

Утре като сменя машините и остана да се "снимам" с проблемната очаквам предложения какво да и инсталирам за да успеем да подкараме една карта поне на два физически процесора.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Slevin_ в Sep 27, 2010, 12:15
В момента инсталирам предишната машина със същия Дебиан и на първо четене какво виждам:

Код:
root@core2:~# cat /proc/interrupts 
              CPU0      CPU1        CPU2       CPU3
  76:         27         12         10         14   PCI-MSI-edge      eth0
  77:         12         22         14         14   PCI-MSI-edge      eth1
  78:         10         21         23          9   PCI-MSI-edge      eth2
  79:        149        146        159        168   PCI-MSI-edge      eth3

Цитат
cat /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       
   0:         41          0          0        682   IO-APIC-edge      timer
   1:          0          0          0        769   IO-APIC-edge      i8042
   8:          0          0          0          1   IO-APIC-edge      rtc0
   9:          0          0          0          0   IO-APIC-fasteoi   acpi
  14:          0          0          0         90   IO-APIC-edge      ata_piix
  15:          0          0          0          0   IO-APIC-edge      ata_piix
  16:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
  18:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb4
  19:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb3
  23:          0          0          0         21   IO-APIC-fasteoi   ehci_hcd:usb1
  34:        962          0         51     157704   IO-APIC-fasteoi   ioc0
  39: 1285446265          0  403191710   23380164   IO-APIC-fasteoi   eth0
  64:  429033522          0 1404256106   15426262   IO-APIC-fasteoi   eth2
  65:      45324          0          0   15918411   IO-APIC-fasteoi   eth3

На пръв поглед горните ти работят с MSi другите са с традиционното прекъсване IO-APIC.
След като дебиан е един и същ, значи дебиянското ядро е компилирано и с MSI поддръжка.
Която явно не се поддържа от хардуера на 1850, в частност мрежовите карти може би.
В последствие открих, че:
Цитат
That hardware is PCI/PCI-X only and our first design to use MSI-X
interrupt (single vector message based interrupt).  Unfortunately it
didn't work[1].  The solution from the driver side was to make sure that
the driver never enabled it on those parts.  The only parts for gigabit
that correctly support MSI-X are the 82574, 82575 and 82576 based parts.
MSI (single vector) is supported by >= 82571, i.e. 82571/2/3, ESB2,
ICH8/9/10.
което потвърждава, че 82546EB, 82541GI не поддържат MSI.

М/у другото на други места съобщават за проблеми като твоя.
Общо взето из ровене по меил листи, кърнела е 2.6.14, репортнато е 2005-2006 г. , но...
Попаднах на:
Цитат
I had the same problem, after disabling MSI in the kernel it started to
work. (i use also the daemon irqbalance )
Цитат
Setting irq affinity stops working when MSI is enabled.
Из:
https://bugzilla.redhat.com/show_bug.cgi?id=172909
http://linux.derkeiler.com/Mailing-Lists/Kernel/2006-01/msg03055.html
http://linux.derkeiler.com/Mailing-Lists/Kernel/2006-01/msg03120.html

Така че след като контролерите ти не поддържат MSI, остава да го изключиш от ядрото.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Uvigii в Sep 28, 2010, 16:34
... в резултат на което ми се товарят 1 и 3 ядро почти на 100%...
Цитат на: неизвестен
Q:Какво е Hyper threading?
A:Процесор който е получил шизофрения и се мисли за 2.
Аз бих изключил HT.
Отделно си мисля, че натоварването на 1 + натоварването на 2 <= 100%
и няма как нат.1 + нат.2 = 120% примерно ;)

все едно имаш 1 хдд 120ГБ. Създаваш 2 ЛОГИЧЕСКИ дяла на него. Първия 60ГБ. Втория ? Може ли да е 80ГБ ? или 100 ?


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 29, 2010, 00:50
Slevin_@

Изключвам от ядрото MSI с pci=nomsi и няма ефект.
В сайта на Интел намерих това от което ми стана ясно, че няма шанс.
http://www.intel.com/network/connectivity/resources/technologies/optimized_multicore.htm

Но пък реших да си купя по нов чипсет карта и се оказа, че за PCI-X слот няма по нови.
http://www.intel.com/products/server/adapters/index.htm?iid=embnav1+server_adapter

Във Vyatta има един perl скрипт който точно това се опитва да прави но не успява. Между другото шапка и свалям на тия пичове от един гол Debian всичката функционалност на рутер в един интерфейс.

Честно отказах се да се боря. Сега съм в преговори за един бартер но ще видим.

Uvigii @
Hyper Threading технологията чрез допълнителни регистри създава две логически ядра от един физически процесор. Когато двете работят на макс подобряват с 30% производителноста но въпреки всичко те се държат като две ядра и на скриина отгоре се вижда много ясно. Предполагам си пропуснал какво написах за BIOS-а, че операционнат система вижда само първото логическо ядро и ползва само него (макар то да не съществува на практика не работи като две такива) Затова примера с HDD не е много удачен.

Показвам ти скриин от друг такъв дори е по слаб Power Edge 2850 2XEON x 2800 Mhz на който предназначението е web server. Определено HT тук има значение ....
(http://data.itservice-bg.net/screenshot/htop-PE2850.png)


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: savago в Sep 29, 2010, 10:41
Преди да си се отказал от машината изцяло защо не сложиш за 30 мин едно pfsense v2 и да видиш  какво е положението с бсд-то (с нат и без нат,голо рутиране).При нас такива трафици ги вартят P4.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: gat3way в Sep 29, 2010, 10:57
Цитат
Hyper Threading технологията чрез допълнителни регистри създава две логически ядра от един физически процесор. Когато двете работят на макс подобряват с 30% производителноста но въпреки всичко те се държат като две ядра и на скриина отгоре се вижда много ясно. Предполагам си пропуснал какво написах за BIOS-а, че операционнат система вижда само първото логическо ядро и ползва само него (макар то да не съществува на практика не работи като две такива) Затова примера с HDD не е много удачен.

Това не е много вярно. Има два набора регистри, но нямаш две ALU-та, нямаш два load/store unit-а, т.е две нишки не могат пълноценно да работят върху процесора. Идеята е просто докато едната чака бавен достъп от паметта, да не се захабяват процесорни тактове, а да може втора нишка да използва ALU-тата през това време, за да си прави аритметиките там. Също така не може да вървят два различни процеса по този начин - процесите имат различни адресни пространства, с различни page таблици и когато се switch-ва между тях, трябва да се изчисти процесорния кеш, за да има коректни данни. След като двете нишки върху HT процесор си споделят кеша, той няма как да се изчисти.

Държат се като две ядра, защото операционната система го представя така. Да, вярно е че за task scheduling-a това е втори логически процесор, само че първо не може на него да се schedule-не произволен task и второ: дори два task-a споделящи общо адресно пространство (нишки) и вършещи разни аритметики, не могат да работят едновременно, тъй като ALU-то си е само едно.



Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: samiboy в Sep 29, 2010, 11:42
savago@
pfsense има ли Quagga или мога ли да я инсталирам ?

gat3way@
Добре, съгласен съм. Но това което се случва е, че имам четири логически ядра и се товарят само две въпреки, че мога да ги сменям всякак. Изключването на HT няма да ми помогне с нищо защото хората са го написали в документацията, че операционна система каквато и да е тя ще вижда само първите логически ядра от физическите въпреки, че ни е ясно, че такива ядра няма а е един трик но операционната система работи с тях все едно са четири.

При Линукс решението е ясно и то е лан карта на PCI-E обаче машината няма такъв слот а и няма какво да се измисли защото е RACK 1U. При BSD нямам представа но след като платформата е доста различна найстина има шанс тази глупост да не се случва. Ще бъде доста авантюристично от моя страна да се опитам да напасна сегашната конфигурация от Linux на BSD от една страна защото почти нямам право на грешки (ще спра интернета на много хора ако се обърка нещо както стана с Vyatta) А от друга имам слаби познания да го наречем инсталирвал съм няколко пъти FreeBSD и съм правил смешен рутер с 5 правила в rc.conf

Маршрутизатора който работи в момента е с тази карта.
http://www.intel.com/products/server/adapters/pro1000pt-dualport/pro1000pt-dualport-overview.htm
Малко по надолу в докунтацията пише следното.
Цитат
-= Load balancing on multiple CPUs =-
Increases performance on multi-processor systems by efficiently balancing network loads across CPU cores when used with receive-side scaling from Microsoft or Scalable I/O on Linux*

-= Interrupt moderation =-
Delivers increased performance while significantly reducing CPU utilization

Със което всичко става ясно.

ПС ... Загложди ме с това BSD дали няма да стане найстина  ...  ::)


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: savago в Sep 29, 2010, 12:15
В базовите система/пакети на pfsense няма Quagga. В дифлотската базовата ситема имаш Rip/Olsr,а в пакетна  OpenBGPD/OpenOSPFD.
Quagga можеш да си инсталираш и конфигурираш на ръка от пакетната система на самото бсд (pkg_add -r quagga .. etc),това става за 10 мин и няма да е проблем. pfsense ти го дадох като идея за тестинг защото се инсталира и конфигурира в рамките на 30 мин.Не е идея да сваляш продуктивна система на тестинг,освен ако нямаш отделна такава като бекап.


Титла: Re: Debian, irqbalance, DELL Power Edge 1850, 300Mbits traffic
Публикувано от: Uvigii в Sep 29, 2010, 14:24
...  Определено HT тук има значение ....
Здравейте, интересно би било да се видят разликите с включен и изключен ХТ за да може да се направи сравнение. Така разбирам само, че машината е натоварена на 100%.
Поздрави