有一高性能进程，接受200左右的节点请求。JAVA,用pmap观察此进程的内存不断增加65536M

cuijiwei1989

有一高性能进程，接受200左右的节点请求。JAVA,用pmap观察此进程的内存不断增加65536M
的anon 内存片，求解。。。。。

cuijiwei1989

实际堆与堆外内存设置：
-Xms512m -Xmx900m -XXermSize=64M -XX:MaxPermSize=128m

cuijiwei1989

00007fea80000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea84000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea88000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea8c000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea90000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea94000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea98000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007fea9c000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feaa0000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feaa4000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feaa8000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feaac000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feab0000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feab4000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feab8000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feabc000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feac0000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feac4000000  65536K  65536K  65536K  65536K      0K rw-p [anon]
00007feac8000000  65536K  65536K  65536K  65536K      0K rw-p [anon]

action08

对java不熟悉，你最好找有java经验的讨论，

貌似linux这边，运维的同学较多

Shell_HAT

这个不用太担心，不出现OutOfMemory就行。我们一个设置 Xmx=2048m 的占用10G VIRT，反正RES又不高。
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  SWAP COMMAND
6087 root      20   0 9882m 1.1g  55m S  8.5  7.3   5:56.69    0 java
7462 root      20   0 10.7g 753m  10m S  0.0  4.7   0:17.34    0 java
23291 root      20   0 6735m 463m  10m S  0.7  2.9   0:30.03    0 java

cuijiwei1989

回复 5# Shell_HAT


    跟您说的问题感觉上不是同一个问题。RES占用内存当时也很高，虚拟内存达到5.9G,而占用内存RES达到4.9G，共享内存只有64.3M.
也就是说实际占用聂存在4.9G左右了。远远超过了堆内存的设置。我抓了家里一套真实问题版本的信息（模拟了200节点并发请求）：

jstat -gccapacity 5116
NGCMN    NGCMX     NGC     S0C   S1C       EC      OGCMN      OGCMX       OGC         OC      PGCMN    PGCMX     PGC       PC     YGC    FGC
175104.0 307200.0 217088.0 3072.0 1024.0 191488.0   349696.0   614400.0   349696.0   349696.0  65536.0 131072.0  65536.0  65536.0    567     1
min新生代 max新生代 cur新生              当前伊甸   min老年代  max老年代  当前老年代

http://docs.oracle.com/javase/7/ ... l#gccapacity_option
-gccapacity Option
Memory Pool Generation and Space Capacities
Column        Description
NGCMN        Minimum new generation capacity (KB).
NGCMX        Maximum new generation capacity (KB).
NGC        Current new generation capacity (KB).
S0C        Current survivor space 0 capacity (KB).
S1C        Current survivor space 1 capacity (KB).
EC        Current eden space capacity (KB).
OGCMN        Minimum old generation capacity (KB).
OGCMX        Maximum old generation capacity (KB).
OGC        Current old generation capacity (KB).
OC        Current old space capacity (KB).
PGCMN        Minimum permanent generation capacity (KB).
PGCMX        Maximum Permanent generation capacity (KB).
PGC        Current Permanent generation capacity (KB).
PC        Current Permanent space capacity (KB).
YGC        Number of Young generation GC Events.
FGC        Number of Full GC Events.

------  感觉类似问题：
http://www.linkedin.com/groups/O ... -105986.S.107977309
http://www.dongliu.net/post/504141

Shell_HAT

回复 6# cuijiwei1989


你的日志里面有OutOfMemory吗？
生成一个heapdump看看JVM具体使用情况。
那个帖子里面说的设置MaxDirectMemorySize好使吗？

cuijiwei1989

回复 7# Shell_HAT


    遇到的这个问题， 做了下验证，不是MaxDirectMemorySize问题。
（多线程申请直接内存，默认是cpu数目*8个最多的64M,但是实际上环境是双核，事实证明不可能出现49个）
   请教了一些java专家。

   做了一些demo验证：
   发现：是JNI本地内存申请就会导致类似的内存泄露。
   应当属于 “JVM调用的OS的libc库中的泄露函数”导致。
---------------------------------------- 当前措施   ----------------------------------------

1. 找一与问题环境对齐的环境：
    部署内存申请函数的跟踪工具，予以跟踪问题进程。取用定时生成的内存-函数关系文件，综合分析哪些函数申请内存不释放，从而达到寻找到泄露源头的目的。

2. 参考开源Nagios监控处理，其对自身插件出现内存泄露进行重启处理予以故障恢复（防止堆外内存泄露情况导致OS内存持续消耗，导致其他进程异常甚至OS内存消耗殆尽等连带情况）。更新进程监控脚本，在status检查项中增加内存量检查，超过堆内存*2；予以记录并重启自愈。

Shell_HAT

回复 8# cuijiwei1989


    部署的什么跟踪工具？给大家分享一下吧

cuijiwei1989

回复 9# Shell_HAT


  原理：操作系统层面是使用c的malloc分配内存的，使用google：perftools
http://koven2049.iteye.com/blog/1142768