关于 Linux 打开文件数限制的问题

runintostar

回复 20# reyleon
我这边服务器限制的limit都比较少，而且程序不是我能随便重启了，也没法帮您测试。
搜了一下看到的唯一一个跟文件有关系的就是MAXFDLIMIT，不知道是这个可以限制么。以后有机会我要测下

Sorry，刚才搜了下，原来这个参数是sol系统才能用的，而且功能是是否遵从操作系统的openfilelimits，看来不是这个

   

reyleon

回复 21# runintostar


    你有使用 resin 吗? 或java进程


可以帮我看看, /proc/[resinpid]/limits 这个文件里的 Max open files 相关值 与 使用 ulimit -a 看到的 open files 是否是一样的

Shell_HAT

1. jni_open_file(JNIEnv *env,
   
2.               jbyteArray name,
   
3.               jint length)
   
4. {
   
5.   char buffer[8192];
   
6.   int fd;
   
7.   int flags;
   
8.   int offset = 0;
   
9. 
   
10.   if (! name || length <= 0 || sizeof(buffer) <= length) {
    
11.     return -1;
    
12.   }
    
13. 
    
14.   (*env)->GetByteArrayRegion(env, name, offset, length, (void*) buffer);
    
15. 
    
16.   buffer[length] = 0;
    
17. 
    
18.   flags = O_RDONLY;
    
19.   
    
20. #ifdef O_BINARY
    
21.   flags |= O_BINARY;
    
22. #endif
    
23.   
    
24. #ifdef O_LARGEFILE
    
25.   flags |= O_LARGEFILE;
    
26. #endif
    
27. 
    
28.   fd = open(buffer, flags, 0664);
    
29. 
    
30.   return fd;
    
31. }

复制代码

resin-4.0.38\modules\c\src\resin_os\jni_socket.c 里面看到的代码
不知道是不是有关系

runintostar

回复 22# reyleon
全是was，而且都是aix，只有一台rh的机器并且装着was的

1. $ cat /proc/21479/limits
   
2. Limit                     Soft Limit           Hard Limit           Units
   
3. Max cpu time              unlimited            unlimited            seconds
   
4. Max file size             unlimited            unlimited            bytes
   
5. Max data size             unlimited            unlimited            bytes
   
6. Max stack size            10485760             unlimited            bytes
   
7. Max core file size        0                    unlimited            bytes
   
8. Max resident set          unlimited            unlimited            bytes
   
9. Max processes             40960                40960                processes
   
10. Max open files            1024                 1024                 files
    
11. Max locked memory         32768                32768                bytes
    
12. Max address space         unlimited            unlimited            bytes
    
13. Max file locks            unlimited            unlimited            locks
    
14. Max pending signals       40960                40960                signals
    
15. Max msgqueue size         819200               819200               bytes
    
16. Max nice priority         0                    0
    
17. Max realtime priority     0                    0
    

复制代码

1. $ ulimit -a
   
2. core file size          (blocks, -c) 0
   
3. data seg size           (kbytes, -d) unlimited
   
4. scheduling priority             (-e) 0
   
5. file size               (blocks, -f) unlimited
   
6. pending signals                 (-i) 40960
   
7. max locked memory       (kbytes, -l) 32
   
8. max memory size         (kbytes, -m) unlimited
   
9. open files                      (-n) 1024
   
10. pipe size            (512 bytes, -p) 8
    
11. POSIX message queues     (bytes, -q) 819200
    
12. real-time priority              (-r) 0
    
13. stack size              (kbytes, -s) 10240
    
14. cpu time               (seconds, -t) unlimited
    
15. max user processes              (-u) 40960
    
16. virtual memory          (kbytes, -v) unlimited
    
17. file locks                      (-x) unlimited

复制代码

看了dmgr ndagent server 都一样。不过我这个没参考价值，因为开始就说，系统限制的太小了。。

reyleon

应该跟系统的打开文件数限制没关系!我用安装个了个虚拟机搞了个 resin 看了下,最大打开文件数限制也是 131072 ,而系统默认是 1024 的,我在虚拟机里没有更改此值.

就是不知道在哪儿找到 131072 这个配置项! @Shell_HAT @runintostar

1. [root@centos6-1 bin]# ps -ef | grep java
   
2. root      2612     1 23 17:13 pts/0    00:00:04 /usr/java/jdk1.7.0_40/bin/java -Dresin.watchdog=app-0 -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/usr/local/resin/ -Dresin.root=/usr/local/resin/ -Xrs -Xss256k -Xmx32m -d64 -server com.caucho.boot.WatchdogManager start --log-directory /usr/local/resin/log
   
3. root      2654  2612 34 17:13 pts/0    00:00:02 /usr/java/jdk1.7.0_40/bin/java -Dresin.server=app-0 -Djava.util.logging.manager=com.caucho.log.LogManagerImpl -Djava.system.class.loader=com.caucho.loader.SystemClassLoader -Djava.endorsed.dirs=/usr/java/jdk1.7.0_40/jre/lib/endorsed:/usr/local/resin//endorsed:/usr/local/resin//endorsed -Djavax.management.builder.initial=com.caucho.jmx.MBeanServerBuilderImpl -Djava.awt.headless=true -Dresin.home=/usr/local/resin/ -Xss1m -Xmx256m -d64 -server com.caucho.server.resin.Resin --root-directory /usr/local/resin/ -conf /usr/local/resin/conf/resin.xml -server app-0 -socketwait 45310 start --log-directory /usr/local/resin/log
   
4. root      2686  2454  0 17:13 pts/0    00:00:00 grep java
   
5. [root@centos6-1 bin]#
   
6. [root@centos6-1 bin]#
   
7. [root@centos6-1 bin]#
   
8. [root@centos6-1 bin]# cat /proc/2654/limits
   
9. Limit                     Soft Limit           Hard Limit           Units     
   
10. Max cpu time              unlimited            unlimited            seconds   
    
11. Max file size             unlimited            unlimited            bytes     
    
12. Max data size             unlimited            unlimited            bytes     
    
13. Max stack size            10485760             unlimited            bytes     
    
14. Max core file size        0                    unlimited            bytes     
    
15. Max resident set          unlimited            unlimited            bytes     
    
16. Max processes             1754                 1754                 processes
    
17. Max open files            131072               131072               files     
    
18. Max locked memory         65536                65536                bytes     
    
19. Max address space         unlimited            unlimited            bytes     
    
20. Max file locks            unlimited            unlimited            locks     
    
21. Max pending signals       1754                 1754                 signals   
    
22. Max msgqueue size         819200               819200               bytes     
    
23. Max nice priority         0                    0                    
    
24. Max realtime priority     0                    0                    
    
25. Max realtime timeout      unlimited            unlimited            us        
    
26. [root@centos6-1 bin]# ulimit -a
    
27. core file size          (blocks, -c) 0
    
28. data seg size           (kbytes, -d) unlimited
    
29. scheduling priority             (-e) 0
    
30. file size               (blocks, -f) unlimited
    
31. pending signals                 (-i) 1754
    
32. max locked memory       (kbytes, -l) 64
    
33. max memory size         (kbytes, -m) unlimited
    
34. open files                      (-n) 1024
    
35. pipe size            (512 bytes, -p) 8
    
36. POSIX message queues     (bytes, -q) 819200
    
37. real-time priority              (-r) 0
    
38. stack size              (kbytes, -s) 10240
    
39. cpu time               (seconds, -t) unlimited
    
40. max user processes              (-u) 1754
    
41. virtual memory          (kbytes, -v) unlimited
    
42. file locks                      (-x) unlimited
    
43. [root@centos6-1 bin]#

复制代码

reyleon

不研究了, 系统是: CentOS 5.5 x86_64 .内核版本:2.6.18-194.el5 不给力呀.. @runintostar@Shell_HAT


在 内核为 2.6.32-358.el6.x86_64 的系统上 可以直接修改:

1. echo -n "Max open files=409600:409600" > /proc/<pid>/limits

复制代码

蛋疼,不搞了,让开发自己去看程序得了,13万的打开文件数还不够,只能说明程序太烂.  

q1208c

回复 26# reyleon

如果是我, 根本不会去找.

13w 还不够, 说明打开了文件根本就没有关闭. 不用看代码我都知道, 一定是哪里的循环打开了文件, 但在循环最后忘了关了, 结果, 这个循环执行多少次, 就打开多少文件.

以上, 纯YY.
   

sohusina

java程序的话 ，最好是直接查怎么报的错误，然后谷歌一下就行了。
本贴的话，先看一下resin too many open files相关的错误提示，然后谷歌之。

expert1

可能在/etc/security/limit.d/xxx.conf里面 这个优先级要高于limit.conf

expert1

http://blog.yufeng.info/archives/2568