apache服务器集群中httpd进程占用cpu很高（70%-95%）

星之殇洋

20台lamp服务器做集群，48g内存，2个物理cpu，逻辑上是16个；

现在总是有cpu使用率报警，而且是批量的服务器报警，分时间段的报警，具体时间段不能确定，总是持续将近一个小时就恢复，一天会出现3-4次这样的情况

通过top查看httpd进程占用cpu使用率很高。

使用ps -aux查看


apache是用的是worker模式，配置如下
<IfModule mpm_worker_module>
    StartServers        20
    ServerLimit         100
    ThreadLimit         200
    MaxClients          5000
    MinSpareThreads      40
    MaxSpareThreads      50
    ThreadsPerChild      100
    MaxRequestsPerChild   10000
</IfModule>

httpd.conf配置
ServerRoot "/usr/local/apache"
Listen 80

Timeout 15
KeepAlive On
MaxKeepAliveRequests 2000
KeepAliveTimeout 15
LoadModule authn_file_module modules/mod_authn_file.so
LoadModule authn_dbm_module modules/mod_authn_dbm.so
LoadModule authn_anon_module modules/mod_authn_anon.so
LoadModule authn_dbd_module modules/mod_authn_dbd.so
LoadModule authn_default_module modules/mod_authn_default.so
LoadModule authz_host_module modules/mod_authz_host.so
LoadModule authz_groupfile_module modules/mod_authz_groupfile.so
LoadModule authz_user_module modules/mod_authz_user.so
LoadModule authz_dbm_module modules/mod_authz_dbm.so
LoadModule authz_owner_module modules/mod_authz_owner.so
LoadModule authz_default_module modules/mod_authz_default.so
LoadModule auth_basic_module modules/mod_auth_basic.so
LoadModule auth_digest_module modules/mod_auth_digest.so
LoadModule file_cache_module modules/mod_file_cache.so
LoadModule cache_module modules/mod_cache.so
LoadModule disk_cache_module modules/mod_disk_cache.so
LoadModule mem_cache_module modules/mod_mem_cache.so
LoadModule dbd_module modules/mod_dbd.so
LoadModule dumpio_module modules/mod_dumpio.so
LoadModule ext_filter_module modules/mod_ext_filter.so
LoadModule include_module modules/mod_include.so
LoadModule filter_module modules/mod_filter.so
LoadModule deflate_module modules/mod_deflate.so
LoadModule log_config_module modules/mod_log_config.so
LoadModule log_forensic_module modules/mod_log_forensic.so
LoadModule logio_module modules/mod_logio.so
LoadModule env_module modules/mod_env.so
LoadModule mime_magic_module modules/mod_mime_magic.so
LoadModule cern_meta_module modules/mod_cern_meta.so
LoadModule expires_module modules/mod_expires.so
LoadModule headers_module modules/mod_headers.so
LoadModule ident_module modules/mod_ident.so
LoadModule usertrack_module modules/mod_usertrack.so
LoadModule unique_id_module modules/mod_unique_id.so
LoadModule setenvif_module modules/mod_setenvif.so
LoadModule version_module modules/mod_version.so
LoadModule mime_module modules/mod_mime.so
LoadModule dav_module modules/mod_dav.so
LoadModule status_module modules/mod_status.so
LoadModule autoindex_module modules/mod_autoindex.so
LoadModule asis_module modules/mod_asis.so
LoadModule info_module modules/mod_info.so
LoadModule cgid_module modules/mod_cgid.so
LoadModule dav_fs_module modules/mod_dav_fs.so
LoadModule vhost_alias_module modules/mod_vhost_alias.so
LoadModule negotiation_module modules/mod_negotiation.so
LoadModule dir_module modules/mod_dir.so
LoadModule imagemap_module modules/mod_imagemap.so
LoadModule actions_module modules/mod_actions.so
LoadModule speling_module modules/mod_speling.so
LoadModule userdir_module modules/mod_userdir.so
LoadModule alias_module modules/mod_alias.so
LoadModule rewrite_module modules/mod_rewrite.so
LoadModule php5_module        modules/libphp5.so
<IfModule mod_deflate.c>
DeflateCompressionLevel 6
AddOutputFilterByType DEFLATE text/html text/plain text/xml application/x-httpd-php
AddOutputFilter DEFLATE css js
</IfModule>
<IfModule !mpm_netware_module>
User daemon
Group daemon
</IfModule>
ServerAdmin ***********
DocumentRoot "/usr/local/apache/htdocs"
<Directory />
    Options FollowSymLinks
    AllowOverride All
    Order deny,allow
    Deny from all
</Directory>
<Directory "/usr/local/apache/htdocs">
    Options FollowSymLinks
    AllowOverride All
    Order allow,deny
    Allow from all
</Directory>
<IfModule dir_module>
    DirectoryIndex index.php index.htm index.html
</IfModule>
SetEnvIf Request_URI "\.(ico|gif|jpg|png|swf|js|mp3|css)" NOFILES
SetEnvIf Request_URI "\/(iframe|interface)\/" NOFILES
#<FilesMatch "^\.ht">
#    Order allow,deny
#    Deny from all
#    Satisfy All
#</FilesMatch>
ErrorLog logs/error_log
LogLevel warn
<IfModule log_config_module>
    LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
#    LogFormat "%h %l %u %t \"%r\" %>s %b %T %D" common
    LogFormat "%h`%{%Y-%m-%d %H:%M:%S}t`\"%r\"`%>s`%b`%T`%D" common
    <IfModule logio_module>
      LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
    </IfModule>
     customLog logs/access_log common
#    CustomLog logs/access_log common env=!NOFILES
</IfModule>
<IfModule alias_module>
    ScriptAlias /cgi-bin/ "/usr/local/apache/cgi-bin/"
</IfModule>
<IfModule cgid_module>
</IfModule>
<Directory "/usr/local/apache/cgi-bin">
    AllowOverride All
    Options None
    Order allow,deny
    Allow from all
</Directory>
DefaultType text/plain
<IfModule mime_module>
    TypesConfig conf/mime.types
    AddType application/x-compress .Z
    AddType application/x-gzip .gz .tgz
    AddType application/x-httpd-php .php
    AddType application/x-httpd-php-source .phps
</IfModule>
Include conf/extra/httpd-mpm.conf
Include conf/extra/httpd-info.conf
#Include conf/extra/httpd-default.conf
<IfModule ssl_module>
SSLRandomSeed startup builtin
SSLRandomSeed connect builtin
</IfModule>

NameVirtualHost *:80

<VirtualHost *:80>
    ServerName **********
    ServerAlias **********
    DocumentRoot /usr/local/apache/htdocs/info
</VirtualHost>

<VirtualHost *:80>
    ServerName **********
    DocumentRoot /usr/local/apache/htdocs/www/interface
    <Directory "/usr/local/apache/htdocs/www/interface">
        Options FollowSymLinks
        AllowOverride None
        Order allow,deny
        Allow from all
      <IfModule mod_rewrite.c>
          RewriteEngine On
          RewriteBase /
  
          RewriteCond %{REQUEST_FILENAME} !-f
          RewriteCond %{REQUEST_FILENAME} !-d
          RewriteCond $1 !^(index\.php|images|robots\.txt)
          RewriteRule ^(.*)$ index.php?/$1 [L,QSA]
      </IfModule>
    </Directory>
    ErrorLog logs/www_error_log
    <IfModule log_config_module>
        CustomLog logs/www_access_log common
    </IfModule>
</VirtualHost>

<VirtualHost *:80>
    ServerName **********
    ServerAlias **********
    DocumentRoot /usr/local/apache/htdocs/account/account
    <Directory "/usr/local/apache/htdocs/account/account">
        Options FollowSymLinks
        AllowOverride None
        Order allow,deny
        Allow from all
      <IfModule mod_rewrite.c>
          RewriteEngine On
          RewriteBase /

          RewriteCond %{REQUEST_FILENAME} !-f
          RewriteCond %{REQUEST_FILENAME} !-d
          RewriteCond $1 !^(index\.php|images|robots\.txt)
          RewriteRule ^(.*)$ index.php?/$1 [L,QSA]
      </IfModule>
    </Directory>
    ErrorLog logs/account_error_log
    <IfModule log_config_module>
        CustomLog logs/account_access_log common
    </IfModule>
</VirtualHost>

内核参数文件配置
sysctl.conf.rar (534 Bytes, 下载次数: 3)

2013-06-20 11:58 上传

点击文件名下载附件

该怎么排查呢，已经查了好久都没查到原因了

LnBSD

打开apache日志，日志里面加上进程号和执行时间
strace cpu占用高的pid，看看在干啥

sohusina

搜一下百度文库，(apache ip访问量)，有很详细的语句。

星之殇洋

回复 2# LnBSD
使用的是worker模式是strace 进程的pid还是线程的pid？