交换进程的问题

gendera

系统是solaris 2。6 的，这几天发现有很多进程被交换出去，但有没有发现有内存不足的现象。
vmstat 和top 命令结果如下：
#vmstat －S 3

procs     memory            page            disk          faults      cpu
r b w   swap  free  si  so pi po fr de sr f0 m0 m1 m2   in   sy   cs us sy id
0 0 25 8642736 64032 0   0 3560 250 2626 8424 354 0 0 0 0 1136 24646 831 36 4 60
0 1 25 8642728 63624 0   0 6354 538 5002 6152 658 0 0 0 0 1659 22847 938 29 7 64
0 2 25 8642640 63328 0   0 5093 528 3730 4496 489 0 0 0 0 1571 11868 1114 30 4 66
0 2 25 8642624 63720 0   0 2616 277 1589 3288 203 0 0 0 0 1592 10483 1096 40 3 58
0 1 25 8642616 63832 0   0 2162 149 976 2400 127 0 0 0 0 1297 11067 1040 40 2 58
0 0 25 8642624 63960 0   0 2232 237 1285 1752 158 0 0 0 0 1334 11870 1043 26 3 70
0 1 25 8642584 63584 0   0 2538 242 1162 1264 145 0 0 0 0 1259 10956 889 27 2 71
0 1 25 8642584 63344 0   0 3074 333 1789 784 227 0 0 0 0 1255 10648 929 22 5 74
0 1 25 8642576 63280 0   0 2656 421 2013 304 260 0 0 0 0 1356 10767 1040 26 3 70
0 1 25 8642560 63816 0   0 3936 314 1098 0 129 0 0 0 0 1773 10971 1638 22 4 74
0 0 25 8642528 63736 0   0 1117 325 1336 0 165 0 0 0 0 1012 8665 868 12  2 86
0 0 25 8641088 62760 0   0 2176 442 2178 0 282 0 0 0 0 1172 8452 996 17  2 82
0 2 25 8641008 64400 0   0 2397 448 912 0 70 0 0 0  0 1720 8537 1454 18  7 75


last pid: 11318;  load averages:  1.36,  1.52,  1.61                                       14:27:47
584 processes: 580 sleeping, 2 zombie, 2 on cpu
CPU states: 63.5% idle, 25.3% user,  2.2% kernel,  9.0% iowait,  0.0% swap
Memory: 4096M real, 62M free, 2859M swap in use, 8435M swap free

#top

  PID USERNAME LWP PRI NICE  SIZE   RES STATE    TIME    CPU COMMAND
9339 ora805    11  60    0  670M  660M sleep    7:14 15.19% oracle
11297 ora805     1  59    0  662M  651M sleep    1:27  1.68% oracle
10790 appmgr     1   8    0   52M   27M sleep    0:11  0.75% f45webm
7346 appmgr     1  38    0   50M   24M sleep    1:59  0.52% f45webm
8516 appmgr     1  48    0   49M   19M sleep    2:13  0.49% f45webm
11287 ora805     1  33    0   18M   12M sleep    0:01  0.45% OEORPC
11313 ora805     1  59    0  334M  327M sleep    0:03  0.39% oracle
9896 apptest    1  54    0   40M   18M sleep    0:02  0.38% f45webm
10745 appmgr     1  28    0   42M   19M cpu/0    0:05  0.29% f45webm
11318 root       1  45    0 2240K 1752K cpu/3    0:00  0.23% top
7617 appmgr     1  48    0   43M   19M sleep    0:39  0.15% f45webm
6478 appmgr     1  54    0   14M 6552K sleep    0:20  0.10% INCTM
6511 appmgr     1  22    0  663M  653M sleep    1:36  0.09% oracle
6508 appmgr     1  58    0  662M  653M sleep    0:17  0.09% oracle
10760 ora805     1  42    0  663M  654M sleep    0:02  0.08% oracle
7961 appmgr     1  58    0   43M   19M sleep    1:11  0.08% f45webm
10389 appmgr     1  52    0   42M   17M sleep    0:05  0.08% f45webm
7650 ora805     1  59    0  663M  654M sleep    0:26  0.07% oracle
10804 ora805     1  59    0  662M  651M sleep    0:02  0.06% oracle

把应用都停掉了，还是没法解决这个问题，各位看看有什么办法把这些进程找出来。

race

pi po已经很大了，内存不足的表现

infinite

Yes, lack of memories... 'sr' colume is always greater than zero.

If you stop all user processes and the problem is the same, there might be possible that there's memory leak in your system.  But I don't know how to check it in Solaris 2.6.

In Solaris 8, you can use /usr/sbin/crash; in 9, you can use mdb to find if there's a memory leak.