免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 12410 | 回复: 19
打印 上一主题 下一主题

[系统管理] nginx并发到1000就出现假死,然后重启就好了,看后台系统的流量图形很怪异见附件 [复制链接]

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-03-18 14:35 |显示全部楼层 |倒序浏览
本帖最后由 royzs 于 2016-03-18 14:35 编辑

看阿里云后台流量图形也很怪异,断断续续的,我怀疑就是程序假死,并发支撑不了超过1000,nginx并发不是4万么,求助求助


nginx_status内容如下
  1. Active connections: 951
  2. server accepts handled requests
  3. 428729 423504 796115
  4. Reading: 0 Writing: 40 Waiting: 911
复制代码
Active connections这个数值从来没超过1000过

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
的内容如下
  1. TIME_WAIT 18216
  2. CLOSE_WAIT 3
  3. SYN_SENT 2
  4. FIN_WAIT1 122
  5. ESTABLISHED 1065
  6. FIN_WAIT2 666
  7. SYN_RECV 7
  8. CLOSING 2
  9. LAST_ACK 48
复制代码

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
2 [报告]
发表于 2016-03-18 14:39 |显示全部楼层
网站运行运行着再看nginx_status就变成这样了,900多变成几百了
  1. Active connections: 510
  2. server accepts handled requests
  3. 528566 519322 966128
  4. Reading: 0 Writing: 510 Waiting: 0
复制代码

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
3 [报告]
发表于 2016-03-18 15:39 |显示全部楼层
网站速度也特别慢,我的nginx配置是这样的
  1. server {
  2.         listen       80;
  3.         server_name www.sc.com;
  4.         index index.html index.htm index.php;
  5.         root  /mnt/www/fanwe;

  6.     location / {
  7.         root  /mnt/www/fanwe;
  8.         index  index.html index.htm index.php;
  9.     }

  10.     location /ngx_status
  11.     {
  12.         stub_status on;
  13.         access_log off;
  14.     }

  15.     location ~ \.php$ {
  16.        root           html;
  17.        fastcgi_pass   127.0.0.1:9000;
  18.        fastcgi_index  index.php;
  19.        fastcgi_param SCRIPT_FILENAME    /mnt/www/fanwe$fastcgi_script_name;
  20.        include        fastcgi_params;
  21.     }

  22.         location ~ .*\.(php|php5)?$ {
  23.                 fastcgi_pass unix:/tmp/php-cgi.sock;
  24.                 fastcgi_index index.php;
  25.                 #include fcgi.conf;
  26.         }

  27.         location ~ .*\.(ico|jpg|jpeg|png|gif)$ {
  28.                 expires 1y;
  29.                 valid_referers none blocked www.sc.com *.google.com *.baidu.com;
  30.                 if ($invalid_referer) {
  31.                         return 404;
  32.                 }
  33.         }
  34. }
复制代码

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
4 [报告]
发表于 2016-03-18 22:24 |显示全部楼层
回复 4# lyhabc


    tw:time_wait
# ehc0 1> /proc/sys/net/ipv4/tcp_tw_reuse
# ehc0 1>/proc/sys/net/ipv4/tcp_tw_recycle
# ech0 6000>/proc/sys/net/ipv4/tcp_max_tw_buckets

前两个参数都改过的,最下面的那个参数最开始是5000,不够用,系统一直报错kernel: TCP: time wait bucket table overflow
我给调成了2万,3万都不行,最后改成5万不再报错了,但是现在网站还是不稳定,刚启动nginx的时候看并发连接从一两百一直涨到900多1000多点,过几分钟或者半小时nginx就假死了,出现502,重启之后又是循环,所以流量图形里面显示断断续续的

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
5 [报告]
发表于 2016-03-19 19:40 |显示全部楼层
本帖最后由 royzs 于 2016-03-19 20:22 编辑

回复 7# lyhabc


    nginx 1.8.0

阿里云的sysctl.conf我改过,贴一下出来
  1. # sysctl -p
  2. net.ipv4.ip_forward = 0
  3. net.ipv4.conf.default.accept_source_route = 0
  4. kernel.sysrq = 0
  5. kernel.core_uses_pid = 1
  6. kernel.msgmnb = 65536
  7. kernel.msgmax = 65536
  8. kernel.shmmax = 68719476736
  9. kernel.shmall = 4294967296
  10. vm.swappiness = 0
  11. net.ipv4.neigh.default.gc_stale_time = 120
  12. net.ipv4.conf.all.rp_filter = 0
  13. net.ipv4.conf.default.rp_filter = 1
  14. net.ipv4.conf.default.arp_announce = 2
  15. net.ipv4.conf.all.arp_announce = 2
  16. net.ipv4.tcp_max_tw_buckets = 6000
  17. net.ipv4.tcp_sack = 1
  18. net.ipv4.tcp_window_scaling = 1
  19. net.core.wmem_default = 8388608
  20. net.core.rmem_default = 8388608
  21. net.core.rmem_max = 16777216
  22. net.core.wmem_max = 16777216
  23. net.core.somaxconn = 262144
  24. net.ipv4.tcp_max_orphans = 3276800
  25. net.ipv4.tcp_max_syn_backlog = 262144
  26. net.ipv4.tcp_timestamps = 0
  27. net.ipv4.tcp_synack_retries = 1
  28. net.ipv4.tcp_syn_retries = 1
  29. net.ipv4.tcp_tw_recycle = 1
  30. net.ipv4.tcp_mem = 94500000 915000000 927000000
  31. net.ipv4.tcp_fin_timeout = 1
  32. net.ipv4.tcp_keepalive_time = 30
  33. net.ipv4.ip_local_port_range = 1024 65000
  34. net.ipv4.tcp_syncookies = 1
复制代码
net.ipv4.tcp_max_tw_buckets = 6000
的时候并发1000就开始假死,我改成50000后勉强4000多并发就不行了

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
6 [报告]
发表于 2016-03-19 19:42 |显示全部楼层
回复 8# lyhabc


nginx.conf我的配置是这样的
  1. worker_processes 16;
  2. worker_cpu_affinity 0000000000000001 0000000000000010 0000000000000100 0000000000001000 0000000000010000 0000000000100000 0000000001000000 0000000010000000 0000000100000000 0000001000000000 0000010000000000 0000100000000000 0001000000000000 0010000000000000 0100000000000000 1000000000000000;

  3. error_log  /var/log/nginx/error.log crit;
  4. pid        /var/run/nginx.pid;
  5. worker_rlimit_nofile 65535;

  6. events {
  7.     use epoll;
  8.     worker_connections  65535;
  9. }
复制代码

评分

参与人数 1信誉积分 +5 收起 理由
action08 + 5 很给力! worker_cpu_affinity这个学习一下.

查看全部评分

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
7 [报告]
发表于 2016-03-19 19:52 |显示全部楼层

现在阿里云的后台截图是这样的

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
8 [报告]
发表于 2016-03-19 20:05 |显示全部楼层
现在最要命的两个问题,一个是打开慢,转圈圈要等四五秒钟,还有一个就是一楼贴出的那些图片,只见并发数升升降降,到一个阶段就有什么东西限制了好像,并发上不去

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
9 [报告]
发表于 2016-03-19 20:43 |显示全部楼层
本帖最后由 royzs 于 2016-03-19 20:43 编辑

回复 13# lyhabc


    好的,我改回来

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
10 [报告]
发表于 2016-03-19 20:56 |显示全部楼层
本帖最后由 royzs 于 2016-03-19 20:57 编辑

回复 13# lyhabc


    改回来之后系统message日志就是一堆
  1. Mar 19 20:55:27 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  2. Mar 19 20:55:27 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  3. Mar 19 20:55:27 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  4. Mar 19 20:55:27 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  5. Mar 19 20:55:32 iZ230e7qzlnZ kernel: __ratelimit: 43 callbacks suppressed
  6. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  7. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  8. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  9. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  10. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  11. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  12. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  13. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  14. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  15. Mar 19 20:55:32 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  16. Mar 19 20:55:37 iZ230e7qzlnZ kernel: __ratelimit: 1492 callbacks suppressed
  17. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  18. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  19. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  20. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  21. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  22. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  23. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  24. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  25. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
  26. Mar 19 20:55:37 iZ230e7qzlnZ kernel: TCP: time wait bucket table overflow
复制代码
502也有
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP