Изпечатай

[samiboy]

Здравейте, преди около месец сърфирайки из Интернет намерих една фирма която продава сървъри втора употреба. И тъй като аз съм фен на DELL в тази сфера си закупих този звяр.
http://data.itservice-bg.net/screenshot/DELL-1850.JPG
С цел да е бордер рутер във фирмата в която работя (не че стария беше с по лоши характеристики но го предназначих за друго) Машината е DELL Power Edge 1850 2x3.2Ghz dual XEON 2GB RAM 4NIC Giga Intel и така нататък. Тествах я около една седмица като пробвах с Vyatta (много добра дистрибуция но не ми сработиха "натовете") и за жалост се върнах на Debian но този път вместо Lenny инсталирах Squeeze. Монтирах машината и всичко тръгна от раз, След ден два реших да инсталирам малко мониторингов софт и след mrtg пускайки htop застинах - товари се само едното ядро и то на 100%. Зaседнах пред google и що годе добих представа какво се случва. В cat /proc/interrupts се оказа, че и четирите лан карти се обработват от едно ядро. Решението на този проблем е или да се опишат ръчно или да се инсталира irqbalance. С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички. След което инсталирах irqbalance които пък сложи всяка ланка на отделно ядро. Това добре, но големия трафик върви през две от тях в резултат на което ми се товарят 1 и 3 ядро почти на 100%.
http://data.itservice-bg.net/screenshot/htop.png
Надявам се някой от вас да е попадал в подобна ситуация и да е намерил някакво решение. Машината е много добра и в добро състояние но ако не реша този проблем става неизползваема а как мога да продам такова нещо представа си нямам. Трябва да реша този проблем а в google не открих много ясноти по въпроса. Готов съм на всякакви варианти дори на някакъв бартер за друга машина ако не намеря решение ...

[savago]

Здравейте, преди около месец сърфирайки из Интернет намерих една фирма която продава сървъри втора употреба. И тъй като аз съм фен на DELL в тази сфера си закупих този звяр.
http://data.itservice-bg.net/screenshot/DELL-1850.JPG
С цел да е бордер рутер във фирмата в която работя (не че стария беше с по лоши характеристики но го предназначих за друго) Машината е DELL Power Edge 1850 2x3.2Ghz dual XEON 2GB RAM 4NIC Giga Intel и така нататък. Тествах я около една седмица като пробвах с Vyatta (много добра дистрибуция но не ми сработиха "натовете") и за жалост се върнах на Debian но този път вместо Lenny инсталирах Squeeze. Монтирах машината и всичко тръгна от раз, След ден два реших да инсталирам малко мониторингов софт и след mrtg пускайки htop застинах - товари се само едното ядро и то на 100%. Зaседнах пред google и що годе добих представа какво се случва. В cat /proc/interrupts се оказа, че и четирите лан карти се обработват от едно ядро. Решението на този проблем е или да се опишат ръчно или да се инсталира irqbalance. С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички. След което инсталирах irqbalance които пък сложи всяка ланка на отделно ядро. Това добре, но големия трафик върви през две от тях в резултат на което ми се товарят 1 и 3 ядро почти на 100%.
http://data.itservice-bg.net/screenshot/htop.png
Надявам се някой от вас да е попадал в подобна ситуация и да е намерил някакво решение. Машината е много добра и в добро състояние но ако не реша този проблем става неизползваема а как мога да продам такова нещо представа си нямам. Трябва да реша този проблем а в google не открих много ясноти по въпроса. Готов съм на всякакви варианти дори на някакъв бартер за друга машина ако не намеря решение ...

Колко са пакетите и графика като цяло, и през натоварените интерфейси ? Какъв чипсет са картите ?

[samiboy]

Графиката е временна.
http://host.itservice-bg.net/mrtg/

Гледам, че има droped на eth0 където е vlan100 и eth2 което е vlan149 - това са интерфейсите с големия трафик.

Код:

00:00.0 Host bridge: Intel Corporation E7520 Memory Controller Hub (rev 09)
00:02.0 PCI bridge: Intel Corporation E7525/E7520/E7320 PCI Express Port A (rev 09)
00:04.0 PCI bridge: Intel Corporation E7525/E7520 PCI Express Port B (rev 09)
00:05.0 PCI bridge: Intel Corporation E7520 PCI Express Port B1 (rev 09)
00:06.0 PCI bridge: Intel Corporation E7520 PCI Express Port C (rev 09)
00:1d.0 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #1 (rev 02)
00:1d.1 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #2 (rev 02)
00:1d.2 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB UHCI Controller #3 (rev 02)
00:1d.7 USB Controller: Intel Corporation 82801EB/ER (ICH5/ICH5R) USB2 EHCI Controller (rev 02)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev c2)
00:1f.0 ISA bridge: Intel Corporation 82801EB/ER (ICH5/ICH5R) LPC Interface Bridge (rev 02)
00:1f.1 IDE interface: Intel Corporation 82801EB/ER (ICH5/ICH5R) IDE Controller (rev 02)
01:00.0 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (A-Segment Bridge) (rev 06)
01:00.2 PCI bridge: Intel Corporation 80332 [Dobson] I/O processor (B-Segment Bridge) (rev 06)
02:05.0 SCSI storage controller: LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 08)
02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
05:00.0 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge A (rev 09)
05:00.2 PCI bridge: Intel Corporation 6700PXH PCI Express-to-PCI Bridge B (rev 09)
06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
09:0d.0 VGA compatible controller: ATI Technologies Inc Radeon RV100 QY [Radeon 7000/VE]

eth0: negotiated 1000baseT-FD flow-control, link ok
eth1: no link
eth2: negotiated 1000baseT-FD flow-control, link ok
eth3: negotiated 1000baseT-FD flow-control, link ok

wc -l /proc/net/ip_conntrack 126873
cat /proc/sys/net/nf_conntrack_max 655360

ifconfig
eth0      Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a  
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3806147829 errors:0 dropped:360201 overruns:0 frame:0
          TX packets:2982451720 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:3591400820214 (3.2 TiB)  TX bytes:1877498398906 (1.7 TiB)

eth2      Link encap:Ethernet  HWaddr 00:13:72:52:92:bf  
          inet6 addr: fe80::213:72ff:fe52:92bf/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2795812435 errors:0 dropped:81303 overruns:0 frame:0
          TX packets:3498416619 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:1661450818081 (1.5 TiB)  TX bytes:3224845376764 (2.9 TiB)

eth3      Link encap:Ethernet  HWaddr 00:13:72:52:92:c0  
          inet addr:93.155.130.1  Bcast:93.155.130.15  Mask:255.255.255.240
          inet6 addr: fe80::213:72ff:fe52:92c0/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:15198204 errors:0 dropped:0 overruns:0 frame:0
          TX packets:15085553 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:14218640044 (13.2 GiB)  TX bytes:12039975328 (11.2 GiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:3611 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3611 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:203011 (198.2 KiB)  TX bytes:203011 (198.2 KiB)

tun1      Link encap:UNSPEC  HWaddr 5D-9B-83-01-39-00-00-00-00-00-00-00-00-00-00-00  
          inet addr:93.155.130.33  P-t-P:93.155.130.34  Mask:255.255.255.252
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1476  Metric:1
          RX packets:1213390 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1822026 errors:36 dropped:0 overruns:0 carrier:36
          collisions:0 txqueuelen:0 
          RX bytes:417440876 (398.1 MiB)  TX bytes:2151986432 (2.0 GiB)

tun2      Link encap:UNSPEC  HWaddr 5D-9B-83-01-39-00-00-00-00-00-00-00-00-00-00-00  
          inet addr:93.155.130.37  P-t-P:93.155.130.38  Mask:255.255.255.252
          UP POINTOPOINT RUNNING NOARP MULTICAST  MTU:1476  Metric:1
          RX packets:51406013 errors:0 dropped:0 overruns:0 frame:0
          TX packets:26022403 errors:41 dropped:0 overruns:0 carrier:41
          collisions:0 txqueuelen:0 
          RX bytes:63608495738 (59.2 GiB)  TX bytes:5055313921 (4.7 GiB)

vlan100   Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a  
          inet addr:93.155.131.1  Bcast:93.155.131.15  Mask:255.255.255.240
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3702792209 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2847951215 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:3495856914420 (3.1 TiB)  TX bytes:1721091417744 (1.5 TiB)

vlan149   Link encap:Ethernet  HWaddr 00:13:72:52:92:bf  
          inet addr:212.70.158.90  Bcast:212.70.158.91  Mask:255.255.255.252
          inet6 addr: fe80::213:72ff:fe52:92bf/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2795792395 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3498416619 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:1622302640962 (1.4 TiB)  TX bytes:3224845383757 (2.9 TiB)

vlan523   Link encap:Ethernet  HWaddr 00:04:23:ab:7d:7a  
          inet addr:93.155.131.17  Bcast:93.155.131.23  Mask:255.255.255.248
          inet6 addr: fe80::204:23ff:feab:7d7a/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:103335560 errors:0 dropped:0 overruns:0 frame:0
          TX packets:134473215 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:42251030571 (39.3 GiB)  TX bytes:156405183140 (145.6 GiB)

uname -a Linux core2 2.6.32-5-amd64 #1 SMP Wed Aug 25 13:59:41 UTC 2010 x86_64 GNU/Linux
ip route | wc -l 326510

cat /proc/interrupts 
            CPU0       CPU1       CPU2       CPU3       
   0:         41          0          0        682   IO-APIC-edge      timer
   1:          0          0          0        769   IO-APIC-edge      i8042
   8:          0          0          0          1   IO-APIC-edge      rtc0
   9:          0          0          0          0   IO-APIC-fasteoi   acpi
  14:          0          0          0         90   IO-APIC-edge      ata_piix
  15:          0          0          0          0   IO-APIC-edge      ata_piix
  16:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb2
  18:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb4
  19:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb3
  23:          0          0          0         21   IO-APIC-fasteoi   ehci_hcd:usb1
  34:        962          0         51     157704   IO-APIC-fasteoi   ioc0
  39: 1285446265          0  403191710   23380164   IO-APIC-fasteoi   eth0
  64:  429033522          0 1404256106   15426262   IO-APIC-fasteoi   eth2
  65:      45324          0          0   15918411   IO-APIC-fasteoi   eth3
 NMI:          0          0          0          0   Non-maskable interrupts
 LOC:   80785784  102746037  143557904  102930061   Local timer interrupts
 SPU:          0          0          0          0   Spurious interrupts
 PMI:          0          0          0          0   Performance monitoring interrupts
 PND:          0          0          0          0   Performance pending work
 RES:     228063      99687     238886     113258   Rescheduling interrupts
 CAL:      16526        621        242        109   Function call interrupts
 TLB:      34812      27480      82908      77527   TLB shootdowns
 TRM:          0          0          0          0   Thermal event interrupts
 THR:          0          0          0          0   Threshold APIC interrupts
 MCE:          0          0          0          0   Machine check exceptions
 MCP:        682        682        682        682   Machine check polls
 ERR:          3
 MIS:          0

cat /proc/irq/1/smp_affinity 01
cat /proc/irq/8/smp_affinity 0f
cat /proc/irq/9/smp_affinity 0f
cat /proc/irq/14/smp_affinity 0a
cat /proc/irq/15/smp_affinity 0f
cat /proc/irq/16/smp_affinity 0f
cat /proc/irq/18/smp_affinity 0f
cat /proc/irq/19/smp_affinity 0f
cat /proc/irq/23/smp_affinity 0a
cat /proc/irq/34/smp_affinity 0a
cat /proc/irq/39/smp_affinity 04
cat /proc/irq/64/smp_affinity 01
cat /proc/irq/65/smp_affinity 08

dmesg | grep eth
[    1.106244] e1000: eth0: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.258409] e1000: eth1: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.490766] e1000: eth2: e1000_probe: Intel(R) PRO/1000 Network Connection
[    3.722996] e1000: eth3: e1000_probe: Intel(R) PRO/1000 Network Connection
[   10.060163] ADDRCONF(NETDEV_UP): eth3: link is not ready
[   10.081931] e1000: eth3 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX
[   10.082338] ADDRCONF(NETDEV_CHANGE): eth3: link becomes ready
[   10.198466] ADDRCONF(NETDEV_UP): eth0: link is not ready
[   10.201133] e1000: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   10.201665] ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[   10.278662] ADDRCONF(NETDEV_UP): eth2: link is not ready
[   10.302403] e1000: eth2 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
[   10.303045] ADDRCONF(NETDEV_CHANGE): eth2: link becomes ready
[   20.208283] eth3: no IPv6 routers present
[   20.744781] eth0: no IPv6 routers present
[   21.008777] eth2: no IPv6 routers present

[Slevin_]

До колкото съм запознат irq balance, не е много добро за големи трафици.
Бих ти предложил да пробваш с ff на affinity-то така ще ходи на всички ядра.
Проблема е, че при тебе са два отделни процесора. A драйвера май не работи много добре с два л2/л3 кеша.

С ръчното не става мога да местя всяка ланка на което ядро искам с echo 01 > /prov/irq.39//proc/irq/39/smp_affinity например на първото ядро но не приема 0f за всички.

0f - би трябвало да назначи на cpu 0 и cpu 1.
f0 - на  cpu 2 и cpu 3
Иначе по блок схемата на чипсета Intel E7520 лан картите са на северния мост, което е по-добре.

[n00b]

//off

откъде е закупен сървъра? предварително благодаря

[savago]

Код:

02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)

06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)

Пробвай по-големите трафици да са на картите с 82546EB чипсета. Не си показал колко пакета имаш в пиковете и дроп-а тогава ако има такав.Тази машина освен да рутира друго прави ли ?
При мен PowerEdge 860 на същите трафици се товари около 30%   а е много по слаб като машина.

Код:

            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls drops
       39K     0        32M        39K     0        32M     0     0 
       40K     0        34M        40K     0        33M     0     0 
       42K     0        34M        41K     0        34M     0     0 
       41K     0        33M        41K     0        33M     0     0 
       39K     0        32M        39K     0        32M     0     0 
       38K     0        31M        38K     0        31M     0     0 
       41K     0        33M        41K     0        33M     0     0 
       40K     0        32M        39K     0        32M     0     0 
       39K     0        30M        38K     0        29M     0     0 
       44K     0        35M        44K     0        35M     0     0 
       40K     0        33M        40K     0        32M     0     0 
       39K     0        32M        39K     0        32M     0     0 
       37K     0        29M        36K     0        29M     0     0 
       36K     0        28M        36K     0        28M     0     0 
       37K     0        29M        37K     0        29M     0     0 
       36K     0        27M        35K     0        27M     0     0 
       35K     0        27M        34K     0        27M     0     0 
       37K     0        29M        36K     0        29M     0     0 
       40K     0        32M        39K     0        32M     0     0 

Код:

last pid: 12652;  load averages:  0.00,  0.00,  0.00                                                                                                                                   up 2+07:58:27  15:07:25
28 processes:  1 running, 27 sleeping
CPU 0:  0.0% user,  0.0% nice,  0.8% system, 15.0% interrupt, 84.2% idle
CPU 1:  0.0% user,  0.0% nice,  0.7% system, 21.3% interrupt, 77.9% idle
Mem: 32M Active, 261M Inact, 158M Wired, 68K Cache, 112M Buf, 1546M Free
Swap: 4043M Total, 4043M Free

  PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  749 root       44    0 11424K  8028K select  0   8:37  0.00% snmpd
  614 root       44    0  3344K  1308K select  1   0:30  0.00% syslogd
  394 root       44    0  4140K  2380K select  0   0:08  0.00% ospfd
  839 root       44    0  4864K  2384K select  0   0:08  0.00% ntpd
  904 root       44   r0  3448K  1088K nanslp  0   0:07  0.00% watchdogd
  888 root       44    0  4492K  2976K bpf     0   0:03  0.00% arpwatch
  918 root       44    0  6072K  3576K select  0   0:03  0.00% sendmail
  569 root       44    0  4004K  1408K select  0   0:02  0.00% watchquagga
  388 root       44    0  4004K  1964K select  0   0:01  0.00% zebra
  929 root       44    0  3372K  1360K nanslp  0   0:01  0.00% cron
12585 nikolay    44    0  9400K  4444K select  0   0:00  0.00% sshd
12652 root       44    0  3680K  1888K CPU1    1   0:00  0.00% top
12582 root       45    0  9400K  4416K sbwait  1   0:00  0.00% sshd
  922 smmsp      44    0  6072K  3396K pause   0   0:00  0.00% sendmail
12588 root       44    0  5648K  2636K pause   1   0:00  0.00% csh
12587 nikolay    44    0  3804K  1724K wait    1   0:00  0.00% su
  460 root       44    0  1888K   540K select  1   0:00  0.00% devd
  911 root       44    0  6676K  3696K select  1   0:00  0.00% sshd
12586 nikolay    44    0  3624K  1616K wait    1   0:00  0.00% sh
 1003 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1006 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1007 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1008 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1009 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1004 root       76    0  3344K  1160K ttyin   0   0:00  0.00% getty
 1005 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
 1010 root       76    0  3344K  1160K ttyin   1   0:00  0.00% getty
  108 root       76    0  1536K   852K pause   1   0:00  0.00% adjkerntz

core# ipfw -d show | wc -l
   11652

Код:

[samiboy]

Slevin_@
на 01 отива на първото ядро на 02 на второто на 04 на третото и на 08 на четвъртото. Стойности като 0f, f0 и ff ги приема в терминала но прехвърля обработката само на четвъртото ядро. Машината която смених е със Supermicro дъно и XEON X320 който е един с четири ядра но там LAN картите бяха на PCI-EXPRESS speed 4 и се обработваха от всички ядра но тъй като е по нов като поколение го предвидих за виртуализация.

n00b@
http://www.pclife.bg/ Аз съм купил два. DELL PowerEdge 2850 за web и mail и DELL PowerEdge 1850 за рутер който доплатих 50 лева за второ захранване и 40 лева за допълнителна ЛАН карта.

savago@

Код:

02:0c.0 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)
02:0c.1 Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller (Copper) (rev 01)

Е допълнително сложена ЛАН карта с два порта. От там върви трафика на eth0/VLAN100 тоест най натоварената лан карта.

Код:

06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet Controller (rev 05)

Са ланкартите на дъното там е eth2/VLAN149 Променях ги няколко пъти общо взето никакъв резултат защото явно се вижда, че всичко идва от лан картите (просто си сменят ядрата но никога не работят с повече от едно едновременно)

Пиковете ще са довечера когато двете ядра от четирите биат 100% сега са около 70-80%. Тази машина има само Quagga, bind, snmpd, bmon, htop,ntpd и irqbalance като инсталирани пакети. Като задачи има 700 правила в NAT и 700 в tc. Но няколко пъти триех всички правила като оставях само един SNAT и никаква промяна от което става ясно, че и на едно голо рутиране положението е същото. На предишната машина когато работеха и четирите ядра се товаре около 35%-50% в зависимост от пиковете.

Код:

core2:~# ps axf
  PID TTY      STAT   TIME COMMAND
    2 ?        S      0:00 [kthreadd]
    3 ?        S      0:02  \_ [migration/0]
    4 ?        S     18:45  \_ [ksoftirqd/0]
    5 ?        S      0:00  \_ [watchdog/0]
    6 ?        S      0:00  \_ [migration/1]
    7 ?        S      1:37  \_ [ksoftirqd/1]
    8 ?        S      0:00  \_ [watchdog/1]
    9 ?        S      0:01  \_ [migration/2]
   10 ?        S      8:19  \_ [ksoftirqd/2]
   11 ?        S      0:00  \_ [watchdog/2]
   12 ?        S      0:01  \_ [migration/3]
   13 ?        S      6:38  \_ [ksoftirqd/3]
   14 ?        S      0:00  \_ [watchdog/3]
   15 ?        S      0:12  \_ [events/0]
   16 ?        S      0:20  \_ [events/1]
   17 ?        S      0:04  \_ [events/2]
   18 ?        S      0:06  \_ [events/3]
   19 ?        S      0:00  \_ [cpuset]
   20 ?        S      0:00  \_ [khelper]
   21 ?        S      0:00  \_ [netns]
   22 ?        S      0:00  \_ [async/mgr]
   23 ?        S      0:00  \_ [pm]
   24 ?        S      0:00  \_ [sync_supers]
   25 ?        S      0:00  \_ [bdi-default]
   26 ?        S      0:00  \_ [kintegrityd/0]
   27 ?        S      0:00  \_ [kintegrityd/1]
   28 ?        S      0:00  \_ [kintegrityd/2]
   29 ?        S      0:00  \_ [kintegrityd/3]
   30 ?        S      0:00  \_ [kblockd/0]
   31 ?        S      0:00  \_ [kblockd/1]
   32 ?        S      0:00  \_ [kblockd/2]
   33 ?        S      0:00  \_ [kblockd/3]
   34 ?        S      0:00  \_ [kacpid]
   35 ?        S      0:00  \_ [kacpi_notify]
   36 ?        S      0:00  \_ [kacpi_hotplug]
   37 ?        S      0:00  \_ [kseriod]
   42 ?        S      0:00  \_ [kondemand/0]
   43 ?        S      0:00  \_ [kondemand/1]
   44 ?        S      0:00  \_ [kondemand/2]
   45 ?        S      0:00  \_ [kondemand/3]
   46 ?        S      0:00  \_ [khungtaskd]
   47 ?        S      0:00  \_ [kswapd0]
   48 ?        SN     0:00  \_ [ksmd]
   49 ?        S      0:00  \_ [aio/0]
   50 ?        S      0:00  \_ [aio/1]
   51 ?        S      0:00  \_ [aio/2]
   52 ?        S      0:00  \_ [aio/3]
   53 ?        S      0:00  \_ [crypto/0]
   54 ?        S      0:00  \_ [crypto/1]
   55 ?        S      0:00  \_ [crypto/2]
   56 ?        S      0:00  \_ [crypto/3]
  198 ?        S      0:00  \_ [ksuspend_usbd]
  199 ?        S      0:00  \_ [khubd]
  200 ?        S      0:00  \_ [ata/0]
  201 ?        S      0:00  \_ [ata/1]
  202 ?        S      0:00  \_ [ata/2]
  203 ?        S      0:00  \_ [ata/3]
  204 ?        S      0:00  \_ [ata_aux]
  205 ?        S      0:00  \_ [scsi_eh_0]
  206 ?        S      0:00  \_ [scsi_eh_1]
  223 ?        S      0:00  \_ [mpt_poll_0]
  224 ?        S      0:00  \_ [mpt/0]
  227 ?        S      0:00  \_ [scsi_eh_2]
  289 ?        S      0:06  \_ [jbd2/sda1-8]
  290 ?        S      0:00  \_ [ext4-dio-unwrit]
  291 ?        S      0:00  \_ [ext4-dio-unwrit]
  292 ?        S      0:00  \_ [ext4-dio-unwrit]
  293 ?        S      0:00  \_ [ext4-dio-unwrit]
  510 ?        S      0:00  \_ [edac-poller]
  918 ?        S      0:00  \_ [flush-8:0]
    1 ?        Ss     0:00 init [2]  
  362 ?        S<s    0:00 udevd --daemon
  497 ?        S<     0:00  \_ udevd --daemon
  500 ?        S<     0:00  \_ udevd --daemon
 1161 ?        Sl     0:23 /usr/sbin/rsyslogd -c4
 1244 ?        Ss     0:00 /usr/sbin/acpid
 1295 ?        Ss     0:00 /usr/sbin/atd
 1347 ?        Ss     0:00 /usr/bin/dbus-daemon --system
 1361 ?        Ss     0:00 /usr/sbin/sshd
11452 ?        Ss     0:28  \_ sshd: root@pts/0 
11454 pts/0    Ss     0:07      \_ -bash
30654 pts/0    R+     0:00          \_ ps axf
 1461 ?        Ssl   62:22 /usr/sbin/named -u bind
 9877 tty2     Ss+    0:00 /sbin/getty 38400 tty2
 9878 tty3     Ss+    0:00 /sbin/getty 38400 tty3
 9879 tty4     Ss+    0:00 /sbin/getty 38400 tty4
 9880 tty5     Ss+    0:00 /sbin/getty 38400 tty5
 9881 tty6     Ss+    0:00 /sbin/getty 38400 tty6
  474 ?        Ss     0:38 /usr/sbin/ntpd -p /var/run/ntpd.pid -g -u 108:111
  770 ?        Ss     0:57 /usr/lib/quagga/zebra --daemon -A 127.0.0.1
  774 ?        Ss    56:58 /usr/lib/quagga/bgpd --daemon -A 127.0.0.1
18042 tty1     Ss+    0:00 /sbin/getty 38400 tty1
17592 ?        S      0:21 /usr/sbin/snmpd -Lsd -Lf /dev/null -u snmp -g snmp -I -smux -p /var/run/snmpd.pid
11712 ?        Ss     0:00 /usr/sbin/cron
21362 ?        Ss     0:00 /usr/sbin/apache2 -k start
30363 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30364 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30365 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30366 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30367 ?        S      0:00  \_ /usr/sbin/apache2 -k start
30639 ?        S      0:00  \_ /usr/sbin/apache2 -k start
29998 ?        Ss     0:01 /usr/sbin/irqbalance

Код:

top - 16:00:04 up 2 days, 13:30,  1 user,  load average: 0.06, 0.04, 0.00
Tasks: 102 total,   1 running, 101 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 37.3%id,  0.0%wa,  1.4%hi, 61.4%si,  0.0%st
Cpu1  :  0.5%us,  0.5%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni, 24.5%id,  0.0%wa,  0.9%hi, 74.5%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.5%hi,  0.5%si,  0.0%st
Mem:   2060452k total,  1056592k used,  1003860k free,   143224k buffers
Swap:  1971192k total,        0k used,  1971192k free,   281220k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                    
 1461 bind      20   0  273m  84m 2460 S    2  4.2  62:27.94 named                                                                                                      
  774 quagga    20   0  206m 174m  640 S    0  8.7  57:01.66 bgpd                                                                                                       
    4 root      20   0     0    0    0 S    0  0.0  18:45.66 ksoftirqd/0                                                                                                
   10 root      20   0     0    0    0 S    0  0.0   8:19.99 ksoftirqd/2                                                                                                
   13 root      20   0     0    0    0 S    0  0.0   6:38.71 ksoftirqd/3                                                                                                
    7 root      20   0     0    0    0 S    0  0.0   1:38.09 ksoftirqd/1                                                                                                
  770 quagga    20   0  144m 116m  736 S    0  5.8   0:57.10 zebra                                                                                                      
  474 ntp       20   0 38456 2176 1588 S    0  0.1   0:38.67 ntpd                                                                                                       
11452 root      20   0 70488 3340 2616 S    0  0.2   0:28.52 sshd                                                                                                       
 1161 root      20   0  115m 1508  996 S    0  0.1   0:23.66 rsyslogd                                                                                                   
17592 snmp      20   0 48780 5696 3288 S    0  0.3   0:21.79 snmpd                                                                                                      
   16 root      20   0     0    0    0 S    0  0.0   0:20.50 events/1                                                                                                   
   15 root      20   0     0    0    0 S    0  0.0   0:12.42 events/0                                                                                                   
11454 root      20   0 20808 3668 1596 S    0  0.2   0:07.98 bash                                                                                                       
  289 root      20   0     0    0    0 S    0  0.0   0:06.12 jbd2/sda1-8                                                                                                
   18 root      20   0     0    0    0 S    0  0.0   0:06.05 events/3                                                                                                   
   17 root      20   0     0    0    0 S    0  0.0   0:04.88 events/2                                                                                                   
    3 root      RT   0     0    0    0 S    0  0.0   0:02.60 migration/0                                                                                                
    9 root      RT   0     0    0    0 S    0  0.0   0:01.95 migration/2                                                                                                
29998 root      20   0  9064  528  400 S    0  0.0   0:01.81 irqbalance                                                                                                 
   12 root      RT   0     0    0    0 S    0  0.0   0:01.41 migration/3                                                                                                
    1 root      20   0  8352  784  648 S    0  0.0   0:00.79 init                                                                                                       
  918 root      20   0     0    0    0 S    0  0.0   0:00.77 flush-8:0                                                                                                  
   24 root      20   0     0    0    0 S    0  0.0   0:00.51 sync_supers                                                                                                
  223 root      20   0     0    0    0 S    0  0.0   0:00.27 mpt_poll_0                                                                                                 
30656 root      20   0 19064 1324  976 R    0  0.1   0:00.24 top                                                                                                        
21362 root      20   0  123m 9840 5156 S    0  0.5   0:00.18 apache2                                                                                                    
   25 root      20   0     0    0    0 S    0  0.0   0:00.17 bdi-default                                                                                                
   33 root      20   0     0    0    0 S    0  0.0   0:00.16 kblockd/3

Код:

core2:~# lsmod
Module                  Size  Used by
ip6table_filter         2384  0 
ip6_tables             15075  1 ip6table_filter
xt_TCPMSS               2919  2 
xt_tcpudp               2319  2 
sch_tbf                 3588  2 
act_police              3636  591 
cls_u32                 5466  4 
sch_sfq                 4686  589 
sch_ingress             1624  3 
sch_htb                11942  1 
xt_multiport            2267  13 
nf_nat_h323             5095  0 
nf_conntrack_h323      36992  1 nf_nat_h323
nf_nat_sip              4934  0 
nf_conntrack_sip       13546  1 nf_nat_sip
nf_nat_pptp             2034  0 
nf_conntrack_pptp       3801  1 nf_nat_pptp
nf_conntrack_proto_gre     3579  1 nf_conntrack_pptp
nf_nat_proto_gre        1245  1 nf_nat_pptp
nf_nat_irc              1366  0 
nf_conntrack_irc        3347  1 nf_nat_irc
nf_nat_tftp              966  0 
nf_conntrack_tftp       3321  1 nf_nat_tftp
nf_nat_ftp              2031  0 
nf_conntrack_ftp        5537  1 nf_nat_ftp
iptable_nat             4299  1 
nf_nat                 13388  8 nf_nat_h323,nf_nat_sip,nf_nat_pptp,nf_nat_proto_gre,nf_nat_irc,nf_nat_tftp,nf_nat_ftp,iptable_nat
nf_conntrack_ipv4       9833  3 iptable_nat,nf_nat
nf_conntrack           46535  16 nf_nat_h323,nf_conntrack_h323,nf_nat_sip,nf_conntrack_sip,nf_nat_pptp,nf_conntrack_pptp,nf_conntrack_proto_gre,nf_nat_irc,nf_conntrack_irc,nf_nat_tftp,nf_conntrack_tftp,nf_nat_ftp,nf_conntrack_ftp,iptable_nat,nf_nat,nf_conntrack_ipv4
nf_defrag_ipv4          1139  1 nf_conntrack_ipv4
iptable_mangle          2817  1 
iptable_filter          2258  1 
ip_tables              13899  3 iptable_nat,iptable_mangle,iptable_filter
x_tables               12845  6 ip6_tables,xt_TCPMSS,xt_tcpudp,xt_multiport,iptable_nat,ip_tables
ipip                    6711  0 
tunnel4                 1973  1 ipip
ip_gre                 12291  0 
8021q                  17158  0 
garp                    5050  1 8021q
stp                     1440  1 garp
loop                   11799  0 
radeon                572811  0 
snd_pcm                60471  0 
ttm                    39986  1 radeon
drm_kms_helper         20065  1 radeon
snd_timer              15582  1 snd_pcm
drm                   142551  3 radeon,ttm,drm_kms_helper
i2c_algo_bit            4225  1 radeon
i2c_core               15712  4 radeon,drm_kms_helper,drm,i2c_algo_bit
snd                    46446  2 snd_pcm,snd_timer
soundcore               4598  1 snd
snd_page_alloc          6249  1 snd_pcm
pcspkr                  1699  0 
shpchp                 26264  0 
video                  17445  0 
rng_core                3006  0 
e752x_edac              9393  0 
pci_hotplug            21203  1 shpchp
dcdbas                  5048  0 
output                  1692  1 video
evdev                   7352  3 
edac_core              29261  1 e752x_edac
button                  4650  0 
processor              30303  0 
ext4                  288969  1 
mbcache                 5050  1 ext4
jbd2                   67015  1 ext4
crc16                   1319  1 ext4
sd_mod                 29777  3 
crc_t10dif              1276  1 sd_mod
sg                     18744  0 
sr_mod                 12602  0 
cdrom                  29415  1 sr_mod
ata_generic             2983  0 
mptspi                 11185  2 
uhci_hcd               18521  0 
ata_piix               21124  0 
libata                133584  2 ata_generic,ata_piix
mptscsih               16312  1 mptspi
mptbase                48350  2 mptspi,mptscsih
scsi_transport_spi     18774  1 mptspi
e1000                  85485  0 
ehci_hcd               31135  0 
thermal                11674  0 
scsi_mod              122117  7 sd_mod,sg,sr_mod,mptspi,libata,mptscsih,scsi_transport_spi
thermal_sys            11942  3 video,processor,thermal
usbcore               121938  3 uhci_hcd,ehci_hcd
nls_base                6377  1 usbcore

[plamen_f]

До миналата седмица имах борба с един R710 и У 8.04.4- ядеше много %sy (хвърчаха по 5-6000 RES на ядро за секунда) и след няколко дена с гугъл и безсмислени разговори със съпорт на DELL - "според мен чисто индийски съпорт" си реших проблема с УБУНТУ 10.04 с това ядро 2.6.32-21-server #32-ubuntu SMP.

Сега аз боря други демони - яде ми от ресурсите за работа с база данни на ERP , но за мое учудване У 10.04 сървър irqbalance се справя чудесно.
 

[Slevin_]

Като гледам:

top - 16:00:04 up 2 days, 13:30,  1 user,  load average: 0.06, 0.04, 0.00
Tasks: 102 total,   1 running, 101 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 37.3%id,  0.0%wa,  1.4%hi, 61.4%si,  0.0%st
Cpu1  :  0.5%us,  0.5%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni, 24.5%id,  0.0%wa,  0.9%hi, 74.5%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni, 99.1%id,  0.0%wa,  0.5%hi,  0.5%si,  0.0%st
Mem:   2060452k total,  1056592k used,  1003860k free,   143224k buffers
Swap:  1971192k total,        0k used,  1971192k free,   281220k cached

Товаренето на процесорите идва от софтуерни прекъсвания.

Порових се из мрежата и от документацията на интел
http://www.intel.com/support/network/sb/CS-009209.htm
относно Interrupt Moderation и
по специално на параметъра InterruptThrottleRate, попаднах на един пач:

http://wiki.cita.utoronto.ca/mediawiki/index.php/E1000_performance_patch
Тук е дискутиран:
http://www.mail-archive.com/netdev@vger.kernel.org/msg11403.html

Като цяло синтезирана информацията за драйвера.
http://www.kernel.org/doc/Documentation/networking/e1000.txt

[samiboy]

Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите. На ifconfig имам droped на пакетитие а на ping нямам загуби което ме успокоява. Все се надявах, че ще подкарам и четирите ядра както беше на предишния но явно това нямам как да стане и може би ще търся друго приложение на тази машина.

Благодаря на всички които се опитаха да помогнат.

[Mitaka]

Имах подобен проблем с машина, която се "товареше" много.
Щом е за рутер - пробвай с OpenBSD. Аз така си реших проблема.
Не съм голям разбирач, но явно OpenBSD-to управлява картите по съвсем различен начин.

[savago]

Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите. На ifconfig имам droped на пакетитие а на ping нямам загуби което ме успокоява. Все се надявах, че ще подкарам и четирите ядра както беше на предишния но явно това нямам как да стане и може би ще търся друго приложение на тази машина.

Благодаря на всички които се опитаха да помогнат.

Не е нормално да се товари толкова много тази  машина при този трафик,било то с обработка с 2 или 4 ядра.Защо не опиташ със стабилен дебиан или друга дистрибуция която ползваш ?

@Митак ,ползвах опън-а до 4.5 но почваше да гърми на трафици (+300) и минах на фрии-то от тогава, та как се държи сега на трафици и товари опъна сега ?

[Mitaka]

@Митак ,ползвах опън-а до 4.5 но почваше да гърми на трафици (+300) и минах на фрии-то от тогава, та как се държи сега на трафици и товари опъна сега ?

При мен не минава 120Mbps, но едно Ubuntu издъхваше на тоя трафик, а машинате с слабичка - Dell PowerEdge 1750, Dual XEON 2.4GHz, 1G RAM.

От близо 6 месеца не съм имал проблем с тая машина - т.е. откакто инсталирах ОпенБСД.
Фрии-то пък се сържи супер като файлов сървър и като мейл сървър с qmail. Там положението е - близо 2 години без никакъв проблем Ама като казвам никакъв, значи наистина никакъв проблем.

[Slevin_]

Опитах да направя оптимизация на драйвера, сякаш в някаква степен нещата се подобриха но проблема всъщност си остана всяка лан карта да товари само едно ядро и така да се товарят само две ядра от четирите.

До колкото съм запознат при smp_affinity, ако се ползва ff, 0f, f0 то обикновено прекъсванията се обработват само от едното ядро, в момента при който ресурса на ядрото се изчерпа, прекъсванията започват да се обработват и от следващото ядро(ядра).
Тествай при натоварена машина какво се получава.

[vladi246]

Питай във http://mikrotik-bg.net/ там се борят повече ISP-та със подобни проблеми,може пък да ти излезе късмета