一台SF V440 vmstat状态查看如下！

wushifeng

Memory　　１６Ｇ
cpu      4 x CPU(1062)
harddisk     4 x 72G
os version   solaris 5.8  release

vmstat　情况如下：
procs     memory            page            disk          faults      cpu
r b w   swap  free  re  mf pi po fr de sr s0 s1 s2 s3   in   sy   cs us sy id
0 1 14 32202520 1813744 501 1 22142 393 393 0 0 0 0 0 44 1076 6413 5547 32 5 63
0 2 14 32202552 1805088 715 0 19460 0 0 0 0 0 0  0 15  489 3356 3125 17  4 79
0 2 14 32202512 1796952 405 57 19731 196 196 0 0 0 3 0 43 1053 6675 5883 34 6 60
0 1 14 32202504 1790072 396 0 22600 590 590 0 0 0 7 1 64 1517 7894 6677 40 8 52
0 2 14 32202536 1784592 806 8 20851 196 196 0 0 0 0 93 29 1046 5738 4947 23 6 71
0 1 14 32202560 1779800 1083 0 22603 0 0 0 0 0 0 171 1 831 3555 2869  9  5 87
0 1 14 32202560 1775808 1110 36 24979 0 0 0 0 0 0 182 1 846 3703 2873 10 6 84
0 1 14 32202536 1771992 486 720 22062 0 0 0 0 0 0 0 1  499 3542 1991 10  3 87
0 2 14 32202528 1770696 563 775 22020 198 198 0 0 0 2 0 35 1014 7886 5513 31 6 63
0 2 14 32202504 1771792 362 722 13136 196 196 0 0 0 5 20 51 1238 8401 6323 33 5 62
0 2 14 32202472 1774864 418 721 14672 590 590 0 0 0 0 0 83 2332 12414 9399 56 8 35
0 3 14 32202496 1779136 357 721 13297 393 393 0 0 0 0 0 62 1585 10280 7725 43 6 51
0 2 14 32202488 1782464 430 716 14304 393 393 0 0 0 0 0 83 2179 11740 8881 53 8 38
0 2 14 32202440 1780944 478 728 13696 395 395 0 0 0 0 0 102 2909 14967 10614 71


现象就是：b列为２，３　等待io过多　　mf　列很多页面错误提示　　id列cpu资源比较多．
请问哪为有见过这样的情况？一般怎么解决？

风之幻想

利用其他几个工具命令在看看输出结果,对比一下.

wushifeng

我的分析是：disk 经常不等于0， 且在 b中的队列大于3， 表示io性能不好
　　　　　　pi，po 长期不等于0，表示内存不足
　　　　　　mf经常不等于o，说明内存页面出错
ps 了一把，显示如下：
F S   UID   PID  PPID  C PRI NI     ADDR     SZ    WCHAN TTY      TIME CMD
19 T     0     0     0  0   0 SY        ?      0          ?        0:40 sched
8 S     0     1     0  0  41 20        ?    105        ? ?        2:16 init
19 S     0     2     0  0   0 SY        ?      0        ? ?        0:13 pageout
19 S     0     3     0  2   0 SY        ?      0        ? ?       8764:16 fsflush
8 S     0   512     1  0  40 20        ?    229        ? ?        0:00 sac
8 S     0   515   512  0  40 20        ?    229        ? ?        0:00 ttymon
8 S     0   268     1  0  41 20        ?    303        ? ?       10:08 inetd
8 S     0   244     1  0  41 20        ?    303        ? ?        0:00 rpcbind
8 S     0    29     1  0  40 20        ?    117        ? ?        3:44 in.mpath
8 S     0   295     1  0  41 20        ?    464        ? ?        0:26 syslogd
8 S     0    62     1  0  44 20        ?    196        ? ?        0:00 sysevent
8 S     0    72     1  0  61 20        ?    481        ? ?       227:07 picld
8 S     0   332     1  0  49 20        ?    183        ? ?        0:00 powerd
8 S     0   319     1  0  46 20        ?    389        ? ?        0:00 lpsched
8 S     0   341     1  0  40 20        ?    131        ? ?        0:03 utmpd
8 S     0   287     1  0  40 20        ?    560        ? ?        0:01 automoun
8 S     0   104     1  0  41 20        ?    322        ? ?        0:00 devfsadm
8 S     0   342     1  0  69 20        ?    205        ? ?        0:00 cimomboo
8 S     0   301     1  0  41 20        ?    245        ? ?        0:27 cron
8 S     0   344     1  0  41 20        ?    328        ? ?        0:00 vold
8 S     0   283     1  0  87 20        ?    242        ? ?        0:00 lockd
8 S     0   314     1  0  44 20        ?    455        ? ?       11:57 nscd
8 S     1   284     1  0  77 20        ?    318        ? ?        0:00 statd
8 S     0   500     1  0  41 20        ?    459        ? ?        0:00 snmpXdmi
8 S     0 15442     1  0  51 20        ?     42        ? console  0:00 sh
8 S     0   372     1  0  41 20        ?    643        ? ?        0:00 dtlogin
8 S     0   492     1  0  40 20        ?    272        ? ?        0:00 snmpdx
8 S     0   499     1  0  59 20        ?    387        ? ?        0:00 dmispd
8 S     0   507     1  0  40 20        ?   1142        ? ?        5:11 nco_m_ss
8 S     0   534   492  0  41 20        ?   3186        ? ?       187:53 mibiisa
8 S     0   569     1  0  41 20        ?    533        ? ?        0:05 sendmail
8 S   100  7208  7207  0  70 30        ?   7153        ? ?        0:03 java
8 S   100  7254  7208  0  99 30        ?   7034        ? ?       343:10 java
8 S   100 11619  7208  0  99 30        ?   7029        ? ?       745:34 java
8 S  1521  9391     1  0  41 20        ?1104980        ? ?       465:17 oracle
8 S   100 12159  7208  0  99 30        ?   7033        ? ?        8:56 java
8 S   100  7552     1  0  41 20        ?   2217        ? ?        7:36 tnslsnr
8 S   100  8392  7208  0  71 30        ?   7026        ? ?       269:00 java
8 S   100 11950  7208  0  89 30        ?   7050        ? ?       814:46 java
8 S  1521 25709     1  9  99 20        ?1104476        ? ?       293:15 oracle
8 S     0 14240 15442  0  44 20        ?     42        ? console  0:00 sh
8 S  1521 10531     1  0  46 20        ?1104215        ? ?        6:08 oracle
8 S     0  9905   268  0  61 20        ?    228        ? ?        0:00 in.rlogi
8 S   100 10807  7208  0  99 30        ?   7047        ? ?       729:49 java
8 S  1521  4446  4442  1  67 22        ?1104291        ? ?        6:25 oracle
8 S   100 15337  7208  0  99 30        ?   6726        ? ?        0:02 java
8 S  1521   277     1  0  57 20        ?1104203        ? ?        1:04 oracle
8 S  1521 10612     1  0  46 20        ?1104219        ? ?        6:51 oracle
8 S  1521 10620     1  0  46 20        ?1104215        ? ?        5:27 oracle
8 S  1521 10568     1  0  67 20        ?1104217        ? ?       13:45 oracle
8 S  1521 10358     1  0  46 20        ?1104215        ? ?        6:47 oracle
8 S   100  7990  7208  1  78 30        ?   7035        ? ?       399:04 java
8 S  1521  9388     1  0  41 20        ?1105205        ? ?       986:40 oracle
8 S   100 11008  7208  0  99 30        ?   7047        ? ?       755:15 java
8 S   100 12122  7208  0  78 30        ?   7058        ? ?       653:49 java
8 S   100  7209  7208  0  71 30        ?   6814        ? ?        0:08 java
8 S  1521 19512     1  0  41 20        ?1104237        ? ?       60:32 oracle
8 S  1521 10468     1  0  57 20        ?1104213        ? ?        5:37 oracle
8 S     0 13658   268  0  61 20        ?    228        ? ?        0:00 in.rlogi
8 S     0  8129  8124  0  51 20        ?     42        ? pts/1    0:00 sh
8 S   100 11216  7208  0  78 30        ?   7030        ? ?       747:09 java
8 S   100 10203  7208  0  79 30        ?   7034        ? ?       344:34 java
8 S   100 10605  7208  0  99 30        ?   7034        ? ?       348:42 java
8 S  1522  1367   268  1  41 20        ?    248        ? ?        0:02 in.ftpd
8 S  1521  9385     1  0  40 20        ?1104307        ? ?        0:02 oracle
8 S   100  7219  7208  0  88 30        ?   7110        ? ?        0:21 java
8 S  1521 10572     1  0  47 20        ?1104217        ? ?        6:15 oracle
8 S     0  8124   268  0  61 20        ?    228        ? ?        0:00 in.rlogi
8 S  1521 10602     1  0  46 20        ?1104215        ? ?       15:41 oracle
8 S  1521 10588     1  0  47 20        ?1104219        ? ?        5:21 oracle
8 S  1521  9398     1  0  41 20        ?1104183        ? ?        1:41 oracle
8 S  1521 15002     1  0  41 20        ?1104730        ? ?        2:24 oracle
8 S     0 13661 13658  0  41 20        ?     42        ? pts/4    0:00 sh
8 S   100  9204  7208  1  78 30        ?   7030        ? ?       425:45 java
8 S  1521 15074     1  0  67 20        ?1104199        ? ?        1:00 oracle
8 S   100  8797  7208  0  99 30        ?   7050        ? ?       345:27 java
8 S   100 18043  8129  0  59 20        ?    234        ? pts/1    0:00 ksh
8 S   100  7385  7208  0  78 30        ?   7035        ? ?       324:28 java
8 S   100 11417  7208  0  70 30        ?   7042        ? ?       601:21 java
8 S  1521 10610     1  2  46 20        ?1104215        ? ?       10:45 oracle
8 S  1521 18238 18203  0  41 20        ?1104172        ? ?        0:00 oracle
8 O   100 12156  7208  4  79 30        ?   7033          ?       746:07 java
8 S   100  8192  7208  0  77 30        ?   7031        ? ?       345:01 java
8 S   100  7586  7208  0  79 30        ?   7029        ? ?       396:08 java
8 S   100   367   268  2  56 20        ?    248        ? ?       1232:16 in.ftpd
8 S  1521 15084     1  0  56 20        ?1104203        ? ?        0:52 oracle
8 S     0  9907  9905  0  51 20        ?     42        ? pts/3    0:00 sh
8 S   100  7207     1  0  51 20        ?    133        ? ?        0:00 nm-run
8 O     0  2799  9907  0  41 20        ?    242          pts/3    0:00 ps
8 S   100  8595  7208  0  99 30        ?   7028        ? ?       347:26 java
8 S  1521 10633     1  0  46 20        ?1104217        ? ?       12:04 oracle
8 S  1521 10564     1  0  57 20        ?1104215        ? ?        5:13 oracle
8 S   100  9607  7208  1  78 30        ?   7050        ? ?       423:32 java
8 S  1521 10548     1  0  57 20        ?1104219        ? ?        6:00 oracle
8 S   100  9411  7208  0  99 30        ?   7050        ? ?       356:44 java
8 S   100 28349     1  0  71 30        ?  16703        ? ?        1:24 java
8 S  1521 10520     1  0  54 20        ?1104215        ? ?        6:29 oracle
8 S  1521 10402     1  1  56 20        ?1104215        ? ?        6:37 oracle
8 S   100 10001  7208  1  99 30        ?   7043        ? ?       343:49 java
8 S   100  9001  7208  0  78 30        ?   7034        ? ?       423:45 java
8 S  1521 10345     1  0  46 20        ?1104217        ? ?        5:04 oracle
8 S  1521 10582     1  0  66 20        ?1104215        ? ?       12:00 oracle
8 S   100 10404  7208  0  78 30        ?   7035        ? ?       350:31 java
8 S   100  4406  4404  0  73 22        ?    133        ? ?        0:00 test.sh
8 S  1521 10486     1  0  46 20        ?1104211        ? ?        5:40 oracle
8 S  1521 10336     1  0  56 20        ?1104219        ? ?       14:26 oracle
8 S  1521  9394     1  0  40 20        ?1104480        ? ?       10:33 oracle
8 S   100  4404   301  0  77 22        ?    133        ? ?        0:00 sh
8 S  1521 11063     1  0  47 20        ?1104197        ? ?        0:59 oracle
8 S   100  9801  7208  1  99 30        ?   7034        ? ?       413:19 java
8 S   100  7787  7208  0  99 30        ?   7031        ? ?       390:27 java
8 S   100 18203 18043  0  41 20        ?   2039        ? pts/1    0:00 sqlplus
8 S   100  4442  4406  8  99 22        ?   2046        ? ?       60:46 sqlplus
8 S  1521  9401     1  0  40 20        ?1104163        ? ?        0:00 oracle
8 S  1521 10606     1  0  46 20        ?1104215        ? ?       13:18 oracle
8 S  1521 10539     1  0  56 20        ?1104215        ? ?        5:47 oracle

该时间段的messages消息显示为空．

请高手帮助分析一下，可能的原因在哪里？

jackylau

lz的机器好强呀！从来没见过！

zhaopingzi

关注中啊

alfee

感觉象应用编程的问题：

CPU idle time 空闲时间很多：38% - 87%  //系统运行时，越少idle越好

系统自身CPU消耗不大：3％ - 8％    //系统运行时，负载所占比例越少越好

应用CPU负载也不大：17％ - 53％  //系统运行时，70-80％较好，毕竟是花钱所在

有不少pi/po，即内存与硬盘交互：

假定8KB/pages

内存从硬盘读入（pi）: 从13136 pages/s * 8 == 100MB/s  到 24979 pages/s * 8 == 200MB/s,  大规模读入啊！
内存写回硬盘（po）  : 从 0 MB/s 到 590 pages/s * 8 == 4MB/s, 小写硬盘输出，

内存扫描速度sr0常为0，无变化，且内存pi/po为非对称读入读出，非正常物理内存与硬盘虚拟内存交互，即在该32GB内存的系统未觉内存短缺，而为应用正常的pi/po，是典型大量读硬盘数据产生小量结果的应用，属于类似CRM/DSS等决策分析的应用。

CPU上线程等待b>0，w>0, 即常有应用线程阻塞，是否程序进程的各LWP存在大量互锁？即一个LWP线程的执行需与另一LWP线程有交互，没得到结果，系统时间片到了，系统自动切换到另一排队的LWP线程，即会存在大量content switch, cs数值变大， 与你的vmstat cs部分一致。

如真是这样，则为编程问题，非系统（内存或I/O)的问题，可将程序尽量并行处理，进程间不要依赖，进程间通讯通过共享内存或IPC，而线程间也不要互相依赖，线程间通讯最好通过共享的全局变量，。。。就这些喽，