免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2785 | 回复: 5

嘿嘿 awk: Out of Memory. [复制链接]

论坛徽章:
0
发表于 2010-09-21 21:32 |显示全部楼层
awk  'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{$4=a[$2];print $0}'  lala.data a.data >result.data


awk: Out of Memory.

The input line number is 7.94467e+06. The file is lala.data.
The source line number is 1.
文件 超过1G
>more a.data
22025252790|230008160161222|346600512206049B1222
22025252792|230008077042759|34660070220478552790
22025252793|230008177020217|34660070220478600248
22025252800|230000070570073|34660055220701990073
22025252806|230002224801263|34660098220477231294
22025252808|230008059032345|34660090220408162376
22025252829|230008027040733|34660070220448010764
22025252831|230008930674942|3466005622070ADB4942
22025252832|230002194811365|34660098220473971396
22025252852|230008930642557|34660056220602D52557
>more lala.data
230008177020217|ffff34660070220478600248c
230000070570073|dfd34660055220701990073d2
230002224801263|dfd34660098220477231294de
230008027040733|df34660070220448010764fdd
230008059032345|fdffff34660090220408676dw
230002194811365|dd34660098220473971396ead
230008930642557|ddd34660056220602D525572d
230008160161222|fddfd34660051220604B1222a
230008077042759|dfds34660070220478552790b
230008930674942|dd3466005622070ADB4942cad

论坛徽章:
0
发表于 2010-09-22 08:15 |显示全部楼层
awk  'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{$4=a[$2];print $0}'  lala.data a.data >result.data

此贴已经有人发过了...
22025252790|230008160161222|346600512206049B1222|fddfd34660051220604B1222a
22025252792|230008077042759|34660070220478552790|dfds34660070220478552790b

语句不是很复杂,也比较好理解
但awk: Out of Memory.
这是怎么回事,是数据量太大导致的?它不是行处理的?期待回复。谢谢

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2010-09-22 09:43 |显示全部楼层
你的内存多大?

你在NR==FNR的时候,创建了一个hash表,用得是lala.data全表,这个需要的内存就需要这个表这么大。。

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2010-09-22 12:47 |显示全部楼层
  1. awk  'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$2]}'  lala.data a.data >result.data
复制代码
不知道这样省却记忆$4. 能减少内存吗?


还有, 两个文件的是否正好是一一对应的? 如果是的话,用 sort + past.

论坛徽章:
0
发表于 2010-09-22 23:12 |显示全部楼层
回复 3# liaosnet


    内存就几十G的
dragon23452345 该用户已被删除
发表于 2010-09-26 18:48 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP