内存使用(附图)－性能问题－告急！

matata

一台P570主机（４CPU，１２G　RAM），自上线以来，内存占用一直居高不下上（９６％），应用是基于JAVA的，请高手帮忙分析下：

使用NMON收集数据来分析，CPU和I/0使用率正常。

-bash-3.00$ ps aux
USER       PID %CPU %MEM   SZ  RSS    TTY STAT    STIME  TIME COMMAND
user2     53292  1.9  0.0 23576 23288      - A      Jul 29 573:17 JavaServer -C d
om
user1     53922  1.3  1.0 146276 146108      - A    08:50:11 48:44 user1LoginSvr -
C d
user2     26838  0.1  0.0 24548 23500      - A      Jul 28 42:17 JavaServer -C do
m
user1     39560  0.1  0.0 11108 11112      - A    08:50:23  2:42 user1IDR -C dom=g
x
root      7246  0.0  0.0 1488  944      - A      Jul 27 11:06 dtgreet
user1     40256  0.0  0.0  832  832      - A      Jul 29  2:50 IIMLS -c 9 -d /dev/
user1     41546  0.0  0.0  848  844      - A      Jul 29  2:45 IIMLS -c 9 -d /dev/
user1     41288  0.0  0.0  840  840      - A      Jul 29  2:40 IIMLS -c 9 -d /dev/
user1     40514  0.0  0.0  828  828      - A      Jul 29  2:31 IIMLS -c 9 -d /dev/
user1     41030  0.0  0.0  844  844      - A      Jul 29  2:11 IIMLS -c 9 -d /dev/
root      4644  0.0  0.0   68   68      - A      Jul 27  2:45 gil
user1     39998  0.0  0.0  832  832      - A      Jul 29  1:47 IIMLS -c 9 -d /dev/
root      5524  0.0  0.0  488  432      - A      Jul 27  1:25 /usr/sbin/syncd 6
user2     31744  0.0  0.0  832  824      - A      Jul 28  0:39 IIMLS -c 9 -d /dev/
user2     30966  0.0  0.0  832  832      - A      Jul 28  0:39 IIMLS -c 9 -d /dev/
user2     30448  0.0  0.0  836  836      - A      Jul 28  0:39 IIMLS -c 9 -d /dev/
user2     30708  0.0  0.0  832  832      - A      Jul 28  0:38 IIMLS -c 9 -d /dev/
user2     37712  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     28128  0.0  0.0  836  836      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     30190  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     29674  0.0  0.0  832  820      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     31740  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     31228  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     31236  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     29416  0.0  0.0  836  836      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     29158  0.0  0.0  832  832      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     28390  0.0  0.0  836  836      - A      Jul 28  0:37 IIMLS -c 9 -d /dev/
user2     35872  0.0  0.0  836  836      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2     28642  0.0  0.0  832  832      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2     36650  0.0  0.0  836  836      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2     27354  0.0  0.0  832  832      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2     27612  0.0  0.0  832  832      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2     28900  0.0  0.0  832  832      - A      Jul 28  0:35 IIMLS -c 9 -d /dev/
user2      6144  0.0  0.0  828  828      - A      Jul 28  0:34 IIMLS -c 9 -d /dev/
user2     26322  0.0  0.0  832  832      - A      Jul 28  0:34 IIMLS -c 9 -d /dev/
user2     26580  0.0  0.0  832  832      - A      Jul 28  0:34 IIMLS -c 9 -d /dev/
user2     26062  0.0  0.0  836  836      - A      Jul 28  0:33 IIMLS -c 9 -d /dev/
user2     27096  0.0  0.0  832  832      - A      Jul 28  0:33 IIMLS -c 9 -d /dev/
user2     23998  0.0  0.0  832  832      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     24514  0.0  0.0  832  816      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     24258  0.0  0.0  836  836      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     25288  0.0  0.0  836  836      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     25546  0.0  0.0  836  836      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     25030  0.0  0.0  832  832      - A      Jul 28  0:32 IIMLS -c 9 -d /dev/
user2     24772  0.0  0.0  832  820      - A      Jul 28  0:30 IIMLS -c 9 -d /dev/
root      9646  0.0  0.0 4952 1556      - A      Jul 27  0:21 /usr/lpp/X11/bin/
root      1032  0.0  0.0   16   16      - A      Jul 27  0:18 lrud
user2     37420  0.0  0.0 3436 3436      - A      Jul 28  0:14 IIMLS -c 9 -d /dev/
root     51886  0.0  0.0  696  672      - A      Jul 29  0:06 /usr/sbin/xntpd
root      2322  0.0  0.0   20   20      - A      Jul 27  0:09 xmgc
user2     16360  0.0  0.0  912  840      - A      Jul 27  0:07 TMSYSEVT -C dom=B
user2     23738  0.0  0.0 1328 1216      - A      Jul 27  0:05 TMFFNAME -C dom=B
user2     25804  0.0  0.0  856  828      - A      Jul 28  0:04 IIMLS -C dom=Billin
user2     32004  0.0  0.0  856  828      - A      Jul 28  0:04 IIMLS -C dom=Billin
user2     29932  0.0  0.0  852  824      - A      Jul 28  0:04 IIMLS -C dom=Billin
user2     27870  0.0  0.0  852  824      - A      Jul 28  0:04 IIMLS -C dom=Billin
user2     17106  0.0  0.0 1872 1716      - A      Jul 27  0:04 BBL -C dom=Billin
root      2064  0.0  0.0   20   16      - A      Jul 27  0:04 pilegc
user2     35614  0.0  0.0  828  828      - A      Jul 28  0:03 IIMLS -c 9 -d /dev/
root      8782  0.0  0.0   20   16      - A      Jul 27  0:03 j2pg
user1     41806  0.0  0.0  848  820      - A      Jul 29  0:02 IIMLS -C dom=gxbill
user1     40772  0.0  0.0  848  820      - A      Jul 29  0:02 IIMLS -C dom=gxbill
user2     34320  0.0  0.0  848  820      - A      Jul 28  0:02 IIMLS -C dom=Billin
user2     36902  0.0  0.0  852  824      - A      Jul 28  0:02 IIMLS -C dom=Billin
user2     17578  0.0  0.0 1140  996      - A      Jul 27  0:02 TMFFNAME -C dom=B
root      7560  0.0  0.0 2792 1876      - A      Jul 27  0:02 /usr/sbin/rsct/bi
root      8106  0.0  0.0  468  316      - A      Jul 27  0:02 /usr/sbin/cron
user1     38458  0.0  0.0 1588 1548      - A      Jul 29  0:01 BBL -C dom=gxbill
root         1  0.0  0.0  632  492      - A      Jul 27  0:01 /etc/init
root      4386  0.0  0.0   16   16      - A      Jul 27  0:01 netm
user1     42114  0.0  0.0 1324 1280      - A      Jul 29  0:00 TMFFNAME -C dom=g
user1     44144  0.0  0.0  912  900      - A      Jul 29  0:00 TMSYSEVT -C dom=g
root     46672  0.0  0.0  780  592      - A    16:36:56  0:00 rlogind
user3    50182  0.0  0.0  972  988  pts/0 A    16:41:41  0:00 ps aux
user2     42784  0.0  0.0  828  828      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user1     43372  0.0  0.0 1140 1096      - A      Jul 29  0:00 TMFFNAME -C dom=g
user1     43922  0.0  0.0 1136 1092      - A      Jul 29  0:00 TMFFNAME -C dom=g
user2     33030  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     33288  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     33546  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     32262  0.0  0.0  796  792      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     32520  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     32778  0.0  0.0  824  824      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     33812  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     35094  0.0  0.0  828  828      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     35352  0.0  0.0  828  828      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     36388  0.0  0.0  824  824      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     34062  0.0  0.0  796  796      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     34580  0.0  0.0  828  828      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
user2     34838  0.0  0.0  824  824      - A      Jul 28  0:00 IIMLS -c 9 -d /dev/
root      9318  0.0  0.0  728  668      - A      Jul 27  0:00 /usr/lib/errdemon
root      9096  0.0  0.0 2112 1100      - A      Jul 27  0:00 /usr/sbin/rsct/bi
root     10208  0.0  0.0  256  148      - A      Jul 27  0:00 /usr/sbin/qdaemon
root      9822  0.0  0.0  448   84      - A      Jul 27  0:00 /usr/dt/bin/dtlog
root      6806  0.0  0.0 1200 1024      - A      Jul 27  0:00 /usr/sbin/rsct/bi
root      6588  0.0  0.0   16   16      - A      Jul 27  0:00 random
root      8536  0.0  0.0   80   40      - A      Jul 27  0:00 dog
root      8282  0.0  0.0   16   16      - A      Jul 27  0:00 lvmbb
root     11876  0.0  0.0   16   16      - A      Jul 27  0:00 rtcmd
root     11620  0.0  0.0   16   16      - A      Jul 27  0:00 rgsr
root     12384  0.0  0.0   16   16      - A      Jul 27  0:00 nfsSM
root     12126  0.0  0.0   16   12      - A      Jul 27  0:00 kbiod
root     10748  0.0  0.0  748  568      - A      Jul 27  0:00 /usr/sbin/srcmstr
root     10338  0.0  0.0  596   88      - A      Jul 27  0:00 dtlogin <:0>;
root     11320  0.0  0.0  432  320      - A      Jul 27  0:00 /usr/sbin/inetd
root     10838  0.0  0.0   88   60      - A      Jul 27  0:00 /usr/ccs/bin/shla
root      1806  0.0  0.0   16   16      - A      Jul 27  0:00 psgc
root      1548  0.0  0.0   16   16      - A      Jul 27  0:00 memgrdd
root      2838  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root      2580  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root       516  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root         0  0.0  0.0   20   20      - A      Jul 27  0:00 swapper
root      1290  0.0  0.0   16   16      - A      Jul 27  0:00 xmfreed
root       774  0.0  0.0   16   16      - A      Jul 27  0:00 sched
root      4902  0.0  0.0   16   16      - A      Jul 27  0:00 wlmsched
root      4128  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root      5962  0.0  0.0   16   16      - A      Jul 27  0:00 n4bg
root      5722  0.0  0.0   20   16      - A      Jul 27  0:00 usbCfgDev
root      3354  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root      3096  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root      3870  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root      3612  0.0  0.0   12   12      - A      Jul 27  0:00 wait
root     20898  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     20640  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     21414  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     21156  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     19866  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     19608  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     20382  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     20124  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     22962  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     22704  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     23478  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     23220  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     21930  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     21672  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     22446  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     22188  0.0  0.0   16   12      - A      Jul 27  0:00 aioserver
radiusd  14452  0.0  0.0  744   60      - A      Jul 27  0:00 /usr/radius/bin/r
radiusd  14204  0.0  0.0  752   56      - A      Jul 27  0:00 /usr/radius/bin/r
root     15482  0.0  0.0  456  224   lft0 A      Jul 27  0:00 /usr/sbin/getty /
root     15236  0.0  0.0 2100 1740      - A      Jul 27  0:00 /usr/sbin/rsct/bi
root     13238  0.0  0.0   72   16      - A      Jul 27  0:00 /usr/sbin/uprintf
root     12590  0.0  0.0  276  136      - A      Jul 27  0:00 /usr/sbin/writesr
root     13816  0.0  0.0  416  276      - A      Jul 27  0:00 /usr/sbin/portmap
root     13476  0.0  0.0  336  224      - A      Jul 27  0:00 /usr/sbin/syslogd
root     18834  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     18062  0.0  0.0   16   12      - A      Jul 27  0:00 aioserver
root     19350  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     19092  0.0  0.0   16   12      - A      Jul 27  0:00 aioserver
radiusd  15998  0.0  0.0  756   52      - A      Jul 27  0:00 /usr/radius/bin/r
user2     15824  0.0  0.0 1140  948      - A      Jul 27  0:00 TMFFNAME -C dom=B
user3    16758  0.0  0.0 1416 1256  pts/0 A    16:36:56  0:00 -bash
root     16532  0.0  0.0 1636 1500      - A      Jul 27  0:00 /usr/sbin/rsct/bi


-bash-3.00$ ps aux | head -1;ps aux | sort -rn +3 | head
USER       PID %CPU %MEM   SZ  RSS    TTY STAT    STIME  TIME COMMAND
user1     53922  1.3  1.0 146344 146176      - A    08:50:11 48:54 user1LoginSvr -C d
user3    50266  0.0  0.0  984 1000  pts/0 A    16:45:25  0:00 ps aux
user3    46336  0.0  0.0  192  204  pts/0 A    16:45:25  0:00 sort -rn +3
user3    45314  0.0  0.0  136  144  pts/0 A    16:45:25  0:00 head
user3    16758  0.0  0.0 1420 1260  pts/0 A    16:36:56  0:00 -bash
root     51886  0.0  0.0  696  672      - A      Jul 29  0:06 /usr/sbin/xntpd
root     46672  0.0  0.0  780  592      - A    16:36:56  0:00 rlogind
root     23478  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     23220  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
root     22962  0.0  0.0   16   16      - A      Jul 27  0:00 aioserver
-bash-3.00$ ps vx | head -1 ; ps vx | grep -v PID | sort -rn +6 | head -10
   PID    TTY STAT  TIME PGIN  SIZE   RSS   LIM  TSIZ   TRS %CPU %MEM COMMAND
16758  pts/0 A     0:00    0   484  1132 32768   945   784  0.0  0.0 -bash
46342  pts/0 A     0:00    0   928  1000 32768    60    72  0.0  0.0 ps vx
50270  pts/0 A     0:00    0   184   216 32768    21    32  0.0  0.0 grep -v P
45316  pts/0 A     0:00    0   168   204 32768    27    36  0.0  0.0 sort -rn
51984  pts/0 A     0:00    0   144   152 32768     4     8  0.0  0.0 head -10

-bash-3.00# svmon -G
               size      inuse       free        pin    virtual
memory      2998272    2798479     199793     120768     861750
pg space    2097152       6020

               work       pers       clnt      lpage
pin          120768          0          0          0
in use       858932          0    1939547          0

matata

写错了，是8个1.5GHZ的CPU。
附下图：TOPAS输出

aixcq

是不是作了什么备份,没有重启动.物理mem看上去没用这么多,不过这么高的配置让人看了都眼馋

matata

楼上，你的意思是？
需要重启机器来释放内存？？

dzg_sy

你的机器的NONCOMP占的内存太多了，一般都是进行了文件备份等操作，而文件型内存占用后系统并不主动释放。可以用以下命令减少文件型内存的占用率：
/usr/samples/kernel/vmtune -p 5 -P 40 -h 1

matata

看得出，是文件型内存占用太多而且一直没释放。。。
使用VMSTAT查看，并没有反应出系统的内存告急(Memory Bound)；

问题是内存占用率长期９６％的居高不下，对系统性能是否有什么影响？？

matata

性能管理－顶一下．....

koala_mel

if you are not short of using the memory then just let it be. although vmtune can change the occupy pencent of the file system but normally it will use 50percent memory.

rainy_gong

没啥问题,只要没有频繁的page in/page out 就行

qian1110

有什么磁盘的写操作啊？看看磁盘吧