免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 6678 | 回复: 13
打印 上一主题 下一主题

bash命令下printf语句占用大量内存,想知道一下原因 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-12-01 19:46 |只看该作者 |倒序浏览
执行了这个命令,当前窗口就不能用了,命令如下:
tso:/data $ printf "%d\n" {10000..30000000} > uin.txt
tso:/data $ ls -lh uin.txt
-bash: fork: Cannot allocate memory
在此窗口执行任何命令都是相同的如下输出:
-bash: fork: Cannot allocate memory

另外一个窗口可用,可以看到如下信息:
tso:/data $ ls -lh uin.txt
-rw-r--r-- 1 tso users 247M Dec  1 19:00 uin.txt

tso:/data $ free -m
             total       used       free     shared    buffers     cached
Mem:          7980       5696       2283          0          3         41
-/+ buffers/cache:       5651       2329
Swap:         1961         14       1946

top可以看到前一个窗口的bash 占用了8G内存机器的68.8%,近5.5G的内存
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                 
31298 tso    15   0 5505m 5.4g 1640 S    0 68.8   2:18.72 bash   

tso:/data $ bash --version
GNU bash, version 3.1.17(1)-release (x86_64-suse-linux)
Copyright (C) 2005 Free Software Foundation, Inc.

想知道这个命令生成250M的文件,为什么会占用5G多的内存,而且命令执行完成后bash占用的内存并没有释放。必须杀掉出错的窗口后,5G的内存才得以释放。

论坛徽章:
1
巳蛇
日期:2013-10-28 15:55:33
2 [报告]
发表于 2011-12-01 20:17 |只看该作者
执行了这个命令,当前窗口就不能用了,命令如下:
tso:/data $ printf "%d\n" {10000..30000000} > uin.txt ...
wttxnn 发表于 2011-12-01 19:46



    不是printf, 是{..}.
要生成大量序列, 用seq.

论坛徽章:
0
3 [报告]
发表于 2011-12-01 20:33 |只看该作者
本帖最后由 wttxnn 于 2011-12-01 20:34 编辑

回复 2# 惟吾无为


    {..}也是bash的Brace Expansion,感觉bash不应该有这个问题的。

论坛徽章:
8
摩羯座
日期:2014-11-26 18:59:452015亚冠之浦和红钻
日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者
日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东
日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川
日期:2016-02-16 16:08:30程序设计版块每日发帖之星
日期:2016-06-29 06:20:002017金鸡报晓
日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山
日期:2017-02-27 20:41:19
4 [报告]
发表于 2011-12-01 21:16 |只看该作者
回复 3# wttxnn


    bash没问题扩展成命令行参数就有问题了,有兴趣可以搜索一下ARG_MAX

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
5 [报告]
发表于 2011-12-01 21:22 |只看该作者
.....
{10000..30000000}
你太夸张了

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
6 [报告]
发表于 2011-12-01 21:38 |只看该作者
回复 3# wttxnn


感觉?
还是亲自试试2楼的方法吧

论坛徽章:
0
7 [报告]
发表于 2011-12-01 21:43 |只看该作者
补充一下,生成的文件是没有问题的,是从10000到3000W。

另外如果是参数过长,应该会报“Argument list too long”这个错误。

论坛徽章:
0
8 [报告]
发表于 2011-12-01 21:50 |只看该作者
生成序列肯定有很多更好的方法,这个生成序列的方法效率不高,而且直接把一台线上服务器搞死了,所以想定位一下原因,以避免以后犯同样的错误。请大牛们多多指点,谢谢

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
9 [报告]
发表于 2011-12-01 23:16 |只看该作者
回复 1# wttxnn

$ set -x

$ seq 100 105
+ seq 100 105
100
101
102
103
104
105

$ printf "%d\n" {100..105}
+ printf '%d\n' 100 101 102 103 104 105
100
101
102
103
104
105

论坛徽章:
8
摩羯座
日期:2014-11-26 18:59:452015亚冠之浦和红钻
日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者
日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东
日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川
日期:2016-02-16 16:08:30程序设计版块每日发帖之星
日期:2016-06-29 06:20:002017金鸡报晓
日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山
日期:2017-02-27 20:41:19
10 [报告]
发表于 2011-12-02 08:43 |只看该作者
补充一下,生成的文件是没有问题的,是从10000到3000W。

另外如果是参数过长,应该会报“Argument list  ...
wttxnn 发表于 2011-12-01 21:43



    是我想错了 缺省的printf是bash的内置命令,所以不受exec的ARG_MAX的限制

history -c 能释放内存么?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP