关于系统内存的oom killer和内存监控

我还没醒

最近一台pc-server突然无任何响应，22端口不通。日志报的错误如下:
    Aug  9 16:40:46 C01 kernel: Node 0 HighMem per-cpu: empty
Aug  9 16:40:46 C01 kernel:
Aug  9 16:40:46 C01 kernel: Free pages:       36988kB (0kB HighMem)
Aug  9 16:40:46 C01 kernel: Active:894279 inactive:996671 dirty:51 writeback:0 unstable:0 free:9247 slab:123527 mapped:434410 pagetables:4900
Aug  9 16:40:46 C01 kernel: Node 0 DMA free:10328kB min:8kB low:16kB high:24kB active:0kB inactive:0kB present:16384kB pages_scanned:0 all_unreclaimable? no
Aug  9 16:40:46 C01 kernel: lowmem_reserve[]: 0 8943 8943
Aug  9 16:40:46 C01 kernel: Node 0 Normal free:26660kB min:6044kB low:12088kB high:18132kB active:3577116kB inactive:3986684kB present:9158652kB pages_scanned:0 all_unreclaimable? no
Aug  9 16:40:46 C01 kernel: lowmem_reserve[]: 0 0 0
Aug  9 16:40:46 C01 kernel: Node 0 HighMem free:0kB min:128kB low:256kB high:384kB active:0


    如此，这个应用研发时候加了很多缓存机制，经常会因内存不足出毛病。我的pc-server还是8G物理，8G swap的 IBM 3950M2机器。
现在跟应用和数据库讨论，一直不知道具体吃内存的是那个进程，以及进程调用过程中，那些地方吃内存。建议我写一个脚本来监控，项目越详细越好。
  
   我想到的方法使用top 找出最占内存的那条进程，然后pmap -x  pid  ，每10分钟扫描一次，并将结果导入一个scan.txt.本想使用sar ，发现sar是扫描整体的参数（-r -R等），没有具体到那个线程的。
   各位有更好的建议吗？ 谢谢大家啦！

zhgbwin

期待～～