双光纤1g的网关服务器 流量上了600M 就扛不住了掉包严重,该怎么优化

skybyte

双光纤1g的网关服务器 流量上了600M 就扛不住了掉包严重,该怎么优化\r\n\r\n出现很多下面的信息\r\n

1. \r\n avahi-daemon[5619]: wide-area.c: Ignoring invalid response for wide area datagram.\r\n syslog-ng[5410]: last message repeated 5 times\r\n avahi-daemon[5619]: wide-area.c: Ignoring invalid response for wide area datagram.\r\n kernel: printk: 11 messages suppressed.\r\n kernel: UDP: bad checksum. From xxx.xxx.xxx.xxx:18369 to xxx.xxx.xxx.xxx:64771 ulen 1069\r\n avahi-daemon[5619]: wide-area.c: Ignoring invalid response for wide area datagram.\r\n

复制代码

\r\n\r\nsnat代码是\r\nChain POSTROUTING (policy ACCEPT)\r\ntarget     prot opt source               destination         \r\nSNAT       all  --  anywhere             anywhere            toxx.xxx.xxx.1-xxx.xxx.xxx.254 \r\n\r\n\r\n\r\n服务器是两个4核 2G的CPU 4G内存\r\n系统是 Linux linux-NAT 2.6.22.19-0.3-bigsmp #1 SMP 2009-05-27 10:35:34 +0200 i686 i686 i386 GNU/Linux\r\n内存还很空\r\n# free\r\n             total       used       free     shared    buffers     cached\r\nMem:       4148208    2049220    2098988          0     126008    1528504\r\n-/+ buffers/cache:     394708    3753500\r\nSwap:      2103480          0    2103480\r\n\r\nvmstat  1\r\nprocs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----\r\n r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa\r\n 3  0      0 2099764 126088 1528516    0    0     3    17   36   58 11 17 72  1\r\n 5  0      0 2098576 126088 1528516    0    0     0     0    0 33710 16 30 53  0\r\n 4  0      0 2099448 126088 1528516    0    0     0     0    0 33512 17 31 53  0\r\n 3  1      0 2098480 126092 1528512    0    0     0   148    7 33325 16 30 52  1\r\n 4  1      0 2098996 126096 1528516    0    0     0    32    7 32348 15 30 50  5\r\n 4  0      0 2099272 126096 1528520    0    0     0     0    2 33821 15 31 53  1\r\n 4  0      0 2099696 126096 1528520    0    0     0     0    0 33726 15 31 53  0\r\n 5  0      0 2099640 126096 1528520    0    0     0     0    0 33887 16 31 52  0\r\n 3  1      0 2099956 126096 1528520    0    0     0   104   25 33596 15 31 53  1\r\n 4  1      0 2099556 126096 1528520    0    0     0    32    7 33329 15 30 50  5\r\n 4  0      0 2099592 126096 1528520    0    0     0     0    2 34066 15 31 53  0\r\n 4  0      0 2099500 126096 1528520    0    0     0   100    6 33541 17 30 51  2\r\n 4  0      0 2099420 126096 1528520    0    0     0     0    0 33474 16 31 53  0\r\n 2  1      0 2100996 126096 1528520    0    0     0   124   10 33655 16 31 49  4\r\n 4  1      0 2099764 126096 1528520    0    0     0   132   12 33813 17 30 44  8\r\n 4  0      0 2100208 126096 1528520    0    0     0     4    3 33498 17 31 52  0\r\n 4  0      0 2099828 126096 1528520    0    0     0     0    0 33850 16 31 53  0\r\n 3  0      0 2100376 126096 1528520    0    0     0     0    0 34126 17 30 53  0\r\n\r\n\r\ntop 里面\r\ntop - 10:05:49 up 15:24,  4 users,  load average: 4.37, 4.23, 4.19\r\nTasks: 128 total,   4 running, 122 sleeping,   2 stopped,   0 zombie\r\nCpu(s): 15.3%us,  6.0%sy,  0.0%ni, 52.1%id,  1.7%wa,  0.0%hi, 25.0%si,  0.0%st\r\nMem:   4148208k total,  2048140k used,  2100068k free,   126124k buffers\r\nSwap:  2103480k total,        0k used,  2103480k free,  1528512k cached\r\n\r\n  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                              \r\n    6 root      39  19     0    0    0 R  100  0.0  25:23.91 ksoftirqd/1                                                                                                           \r\n   18 root      39  19     0    0    0 R  100  0.0  25:28.52 ksoftirqd/7                                                                                                           \r\n 3273 ulogd     15   0  6000  688  292 S   72  0.0 389:24.25 ulogd                                                                                                                 \r\n 5946 mysql     15   0  102m  15m 4356 S    8  0.4  63:52.65 mysqld  \r\n\r\n脚本里面有\r\nulimit 0\r\nulimit -f 10240000000\r\nmodprobe ip_conntrack hashsize=1048576\r\necho 3600 > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_established\r\necho 1048576 > /proc/sys/net/netfilter/nf_conntrack_count\r\necho \"1024 65000\" > /proc/sys/net/ipv4/ip_local_port_range\r\necho \"100 1200 128 512 15 5000 500 1884 2\">/proc/sys/vm/bdflush\r\necho \"1\" > /proc/sys/net/ipv4/icmp_echo_ignore_broadcasts\r\necho \"1\" > /proc/sys/net/ipv4/icmp_ignore_bogus_error_responses\r\necho \"1048576\" > /proc/sys/net/netfilter/nf_conntrack_max\r\necho \"1048576\" > /proc/sys/net/ipv4/tcp_max_tw_buckets\r\necho \"1\" > /proc/sys/net/ipv4/ip_forward\r\necho \"268435456\" >/proc/sys/kernel/shmall\r\necho \"536870912\" >/proc/sys/kernel/shmmax\r\necho \"1024\" > /proc/sys/net/ipv4/neigh/default/gc_thresh1\r\necho \"2048\" > /proc/sys/net/ipv4/neigh/default/gc_thresh2\r\necho \"4096\" > /proc/sys/net/ipv4/neigh/default/gc_thresh3\r\necho \"52428800\" > /proc/sys/net/ipv4/route/max_size\r\necho \"1\" > /proc/sys/net/ipv4/conf/all/proxy_arp\r\necho \"1\" > /proc/sys/net/ipv4/tcp_window_scaling\r\n\r\n\r\niptables -A INPUT -p tcp --dport 3306 -j DROP\r\niptables -A INPUT -p tcp --dport 111 -j DROP\r\niptables -A INPUT -p tcp --dport 631 -j DROP\r\niptables -A INPUT -p tcp --dport 6010 -j DROP\r\niptables -A INPUT -p tcp --dport 6011 -j DROP\r\niptables -A INPUT -p tcp --dport 6012 -j DROP\r\niptables -A INPUT -p udp --dport 111 -j DROP\r\niptables -A INPUT -p udp --dport 631 -j DROP\r\n#echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all \r\niptables -A INPUT  -p udp -j DROP\r\niptables -A INPUT  -p tcp --dport ! 22 -j DROP\r\niptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

skybyte

ethtool  -S eth2\r\nNIC statistics:\r\n     rx_packets: 2454702026\r\n     tx_packets: 2236369668\r\n     rx_bytes: 1973021291410\r\n     tx_bytes: 709236276521\r\n     rx_broadcast: 6\r\n     tx_broadcast: 14198060\r\n     rx_multicast: 0\r\n     tx_multicast: 579\r\n     rx_errors: 5\r\n     tx_errors: 0\r\n     tx_dropped: 0\r\n     multicast: 0\r\n     collisions: 0\r\n     rx_length_errors: 1\r\n     rx_over_errors: 0\r\n     rx_crc_errors: 4\r\n     rx_frame_errors: 0\r\n     rx_no_buffer_count: 170718107\r\n     rx_missed_errors: 83998346\r\n     tx_aborted_errors: 0\r\n     tx_carrier_errors: 0\r\n     tx_fifo_errors: 0\r\n     tx_heartbeat_errors: 0\r\n     tx_window_errors: 0\r\n     tx_abort_late_coll: 0\r\n     tx_deferred_ok: 0\r\n     tx_single_coll_ok: 0\r\n     tx_multi_coll_ok: 0\r\n     tx_timeout_count: 0\r\n     tx_restart_queue: 290668\r\n     rx_long_length_errors: 0\r\n     rx_short_length_errors: 1\r\n     rx_align_errors: 0\r\n     tx_tcp_seg_good: 667\r\n     tx_tcp_seg_failed: 0\r\n     rx_flow_control_xon: 0\r\n     rx_flow_control_xoff: 0\r\n     tx_flow_control_xon: 23669502\r\n     tx_flow_control_xoff: 105039312\r\n     rx_long_byte_count: 1973021291410\r\n     rx_csum_offload_good: 2421425478\r\n     rx_csum_offload_errors: 290884\r\n     rx_header_split: 0\r\n     alloc_rx_buff_failed: 0\r\n     tx_smbus: 0\r\n     rx_smbus: 0\r\n     dropped_smbus: 0

skybyte

网卡的信息 \r\n          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1\r\n          RX packets:2258934208 errors:5 dropped:53075393 overruns:0 frame:5\r\n          TX packets:2044851900 errors:0 dropped:0 overruns:0 carrier:0\r\n          collisions:0 txqueuelen:1000 \r\n          RX bytes:240973845 (229.8 Mb)  TX bytes:1154965411 (1101.4 Mb)\r\n          Base address:0x6000 Memory:c7ee0000-c7f00000

skybyte

drop掉的包会不会是 下面的语句DROP的？\r\niptables -A INPUT -p tcp --dport 3306 -j DROP\r\niptables -A INPUT -p tcp --dport 111 -j DROP\r\niptables -A INPUT -p tcp --dport 631 -j DROP\r\niptables -A INPUT -p tcp --dport 6010 -j DROP\r\niptables -A INPUT -p tcp --dport 6011 -j DROP\r\niptables -A INPUT -p tcp --dport 6012 -j DROP\r\niptables -A INPUT -p udp --dport 111 -j DROP\r\niptables -A INPUT -p udp --dport 631 -j DROP\r\n#echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all \r\niptables -A INPUT  -p udp -j DROP\r\niptables -A INPUT  -p tcp --dport ! 22 -j DROP

shijiang1130

都是你自己写的，还是已经有了的啊，iptables -A INPUT  -p tcp --dport ! 22 -j DROP这一条似乎都包括了。

skybyte

是的，都已经加载了的 其实就两条 多了的几条没删\r\niptables -A INPUT  -p udp -j DROP\r\niptables -A INPUT  -p tcp --dport ! 22 -j DROP\r\n\r\n\r\n\r\n\r\n\r\nrx_missed_errors: 83998346 这个错误很多

shijiang1130

我刚才网上找了一下，你看看是不是和网卡驱动有关系。\n\n[ 本帖最后由 shijiang1130 于 2009-7-7 12:05 编辑 ]

skybyte

现在装的是个2.6.22 BIGSMP的内核，包含了PAE\r\nOPENSUSE 没提供KERNEL-HEADERS，编译不起新的驱动\r\n下次换DEBIAN 5  的系统试试。

ssffzz1

软件做NAT，基本就这个极限了。\r\n\r\n没什么大量优化的东西。考虑纯硬件NAT吧。

skybyte

有的人跑上950M的 不晓得他怎么配的。\r\n\r\n还有就是系统装64位和32位性能有没有区别?