免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › linux服务器的iowait较高
最近访问板块 发新帖
查看: 8984 | 回复: 6
打印 上一主题 下一主题

linux服务器的iowait较高 [复制链接]

casoul

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2009-10-26 14:32 |只看该作者 |倒序浏览
1.redhat 4.5uname -r
2.6.9-55.ELsmp
2.[root@~]# iostat -x 2
Linux 2.6.9-55.ELsmp         10/26/2009

avg-cpu:  %user   %nice    %sys %iowait   %idle
           4.67    0.00    1.83   13.15   80.35

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda         14.89   8.35 204.64  2.82  506.87   89.38   253.43    44.69     2.87     0.47    5.38   1.72  35.62
sdb          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00    83.75     0.00    6.00   6.00   0.00
sdc          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00    66.55     0.00    4.67   4.67   0.00
sdd          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00    43.40     0.00    1.24   1.24   0.00
sde          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00    83.74     0.00    0.30   0.30   0.00
emcpowera    6.75 197.17 258.39 129.52  244.97  123.04   122.48    61.52     0.95     0.51    1.31   1.11  43.09
emcpowerb    0.11  62.14  2.90  0.83   69.58  503.79    34.79   251.90   153.78     0.12   33.04   1.21   0.45

avg-cpu:  %user   %nice    %sys %iowait   %idle
          10.25    0.00    3.19   11.44   75.12

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda         10.05   0.00 200.50  0.00 42878.39    0.00 21439.20     0.00   213.85    66.17    5.99   5.02 100.55
sdb          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sde          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
emcpowera    0.50 137.69 322.11 155.78 5519.60 2347.74  2759.80  1173.87    16.46     1.59    3.34   2.10 100.15
emcpowerb    0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
           9.31    0.00    2.44   13.99   74.27

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda         10.00  14.00 196.50  3.50 42408.00  140.00 21204.00    70.00   212.74    65.82    6.09   5.00 100.05
sdb          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sde          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
emcpowera    0.00 261.00 216.50 222.00 4220.00 3864.00  2110.00  1932.00    18.44     1.58    3.56   1.77  77.50
emcpowerb    0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          12.37    0.00    2.94   13.93   70.77

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda         12.44   3.48 196.52  1.00 42097.51   35.82 21048.76    17.91   213.32    65.54    6.04   5.04  99.60
sdb          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sde          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
emcpowera    0.00 318.41 317.91 258.71 6407.96 4616.92  3203.98  2308.46    19.12     1.82    3.18   1.57  90.30
emcpowerb    0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sda盘在疯狂的读，%util为100%左右
3.[root@~]# iostat 2
Linux 2.6.9-55.ELsmp         10/26/2009

avg-cpu:  %user   %nice    %sys %iowait   %idle
           4.67    0.00    1.83   13.15   80.35

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             207.46       507.65        89.38 3501869660  616528108
sda1              0.00         0.00         0.00       1724         30
sda2              0.05         0.12         0.24     827904    1634440
sda3              0.34         1.67         1.98   11519279   13678106
sda4              0.00         0.00         0.00          2          0
sda5              0.82         7.56         4.75   52131152   32796268
sda6            215.35       428.93        38.56 2958858170  266021632
sda7             14.15        69.36        43.84  478482853  302396152
sdb               0.00         0.00         0.00      25124          0
sdb1              0.00         0.00         0.00        828          0
sdc               0.00         0.00         0.00      25953          0
sdc1              0.00         0.00         0.00        825          0
sdd               0.00         0.00         0.00      27996          0
sdd1              0.00         0.00         0.00        828          0
sde               0.00         0.00         0.00      25121          0
sde1              0.00         0.00         0.00        825          0
emcpowera       387.92       245.04       123.12 1690323634  849294564
emcpowera1      591.84       244.89       123.09 1689264474  849121700
emcpowerb         3.73        69.58       503.78  479945331 3475164118
emcpowerb1       65.98        69.57       503.78  479933507 3475152078

avg-cpu:  %user   %nice    %sys %iowait   %idle
           9.06    0.00    2.31   14.31   74.31

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             175.76     42238.38        16.16      83632         32
sda1              0.00         0.00         0.00          0          0
sda2              0.00         0.00         0.00          0          0
sda3              1.52         0.00        12.12          0         24
sda4              0.00         0.00         0.00          0          0
sda5              1.52        12.12         0.00         24          0
sda6            183.84     42226.26         4.04      83608          8
sda7              0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdb1              0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0
sdc1              0.00         0.00         0.00          0          0
sdd               0.00         0.00         0.00          0          0
sdd1              0.00         0.00         0.00          0          0
sde               0.00         0.00         0.00          0          0
sde1              0.00         0.00         0.00          0          0
emcpowera       482.32      3858.59      2496.97       7640       4944
emcpowera1      622.73      3858.59      2496.97       7640       4944
emcpowerb         0.00         0.00         0.00          0          0
emcpowerb1        0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice    %sys %iowait   %idle
          11.13    0.00    2.56   13.26   73.05

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             166.67     42201.00       119.40      84824        240
sda1              0.00         0.00         0.00          0          0
sda2              0.00         0.00         0.00          0          0
sda3              0.00         0.00         0.00          0          0
sda4              0.00         0.00         0.00          0          0
sda5              0.00         0.00         0.00          0          0
sda6            190.55     42201.00       119.40      84824        240
sda7              0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdb1              0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0
sdc1              0.00         0.00         0.00          0          0
sdd               0.00         0.00         0.00          0          0
sdd1              0.00         0.00         0.00          0          0
sde               0.00         0.00         0.00          0          0
sde1              0.00         0.00         0.00          0          0
emcpowera       420.90      5540.30      3860.70      11136       7760
emcpowera1      694.03      5540.30      3860.70      11136       7760
emcpowerb         0.00         0.00         0.00          0          0
emcpowerb1        0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice    %sys %iowait   %idle
           9.76    0.00    2.63   13.38   74.23

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             168.34     42749.75        36.18      85072         72
sda1              0.00         0.00         0.00          0          0
sda2              0.00         0.00         0.00          0          0
sda3              0.00         0.00         0.00          0          0
sda4              0.00         0.00         0.00          0          0
sda5              4.52         0.00        36.18          0         72
sda6            177.39     42749.75         0.00      85072          0
sda7              0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdb1              0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0
sdc1              0.00         0.00         0.00          0          0
sdd               0.00         0.00         0.00          0          0
sdd1              0.00         0.00         0.00          0          0
sde               0.00         0.00         0.00          0          0
sde1              0.00         0.00         0.00          0          0
emcpowera       383.42      2154.77      3891.46       4288       7744
emcpowera1      664.32      2154.77      3891.46       4288       7744
emcpowerb         0.00         0.00         0.00          0          0
emcpowerb1        0.00         0.00         0.00          0          0

avg-cpu:  %user   %nice    %sys %iowait   %idle
          18.75    0.00    2.88   10.44   67.94

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             166.67     42197.01        39.80      84816         80
sda1              0.00         0.00         0.00          0          0
sda2              0.00         0.00         0.00          0          0
sda3              1.49         0.00        11.94          0         24
sda4              0.00         0.00         0.00          0          0
sda5              0.00         0.00         0.00          0          0
sda6            178.11     42197.01        27.86      84816         56
sda7              0.00         0.00         0.00          0          0
sdb               0.00         0.00         0.00          0          0
sdb1              0.00         0.00         0.00          0          0
sdc               0.00         0.00         0.00          0          0
sdc1              0.00         0.00         0.00          0          0
sdd               0.00         0.00         0.00          0          0
sdd1              0.00         0.00         0.00          0          0
sde               0.00         0.00         0.00          0          0
sde1              0.00         0.00         0.00          0          0
emcpowera       423.88      3076.62      2515.42       6184       5056
emcpowera1      563.68      3076.62      2515.42       6184       5056
emcpowerb         0.00         0.00         0.00          0          0
emcpowerb1        0.00         0.00         0.00          0          0

4.看出来了，是sda6在疯狂的读，操作系统上安装在sda6上，oracle安装在sda6上但是数据文件、日志文件都在emcpowera1上。
如何去查找那个进程在读取sda6上的文件呢？
谢谢
casoul

论坛徽章:
0
2楼 [报告]
发表于 2009-10-26 14:41 |只看该作者
[root(hqcrmdb01)@~]# ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}'
4285 oracle   wait_on_buffer    D oraclecrm (LOCAL=NO)
29930 oracle   wait_on_buffer    D ora_dbw0_crm

我抓到的进程都是oracle的，但是oracle的数据文件不在sda6上啊，sda6上面的读一直持续很高
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
casoul

论坛徽章:
0
3楼 [报告]
发表于 2009-10-26 16:04 |只看该作者
那位大哥大姐有这个经验，给俺说说，我应该怎么去找这个读硬盘的进程。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
troyme

论坛徽章:
0
4楼 [报告]
发表于 2009-10-27 16:18 |只看该作者
数据不在sda6上，看看是不是把redo放在这上面了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kns1024wh

论坛徽章:
0
5楼 [报告]
发表于 2009-10-28 22:28 |只看该作者

回复 #4 troyme 的帖子

就是要 io过高一定有其中的原因的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jardon_zhao

论坛徽章:
0
6楼 [报告]
发表于 2009-12-07 17:19 |只看该作者
redo or archive文件？或者是tmp文件？
这几个都是热点，还有就是flashbackup区
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
casoul

论坛徽章:
0
7楼 [报告]
发表于 2010-05-19 22:49 |只看该作者
这个帖子不好意思，放了这么久。

问题找到了，客户的一个jboss程序在上面跑，这个进程应该是遗漏了的，早该删除的，但是忘了。
数据库的文件确实没有放在sda6上，我是一个一个进程去查，才发现这个问题。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP