论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-09-21 21:32 |只看该作者 |倒序浏览

awk 'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{$4=a[$2];print $0}' lala.data a.data >result.data

awk: Out of Memory.

The input line number is 7.94467e+06. The file is lala.data.
The source line number is 1.
文件超过1G
>more a.data
22025252790|230008160161222|346600512206049B1222
22025252792|230008077042759|34660070220478552790
22025252793|230008177020217|34660070220478600248
22025252800|230000070570073|34660055220701990073
22025252806|230002224801263|34660098220477231294
22025252808|230008059032345|34660090220408162376
22025252829|230008027040733|34660070220448010764
22025252831|230008930674942|3466005622070ADB4942
22025252832|230002194811365|34660098220473971396
22025252852|230008930642557|34660056220602D52557
>more lala.data
230008177020217|ffff34660070220478600248c
230000070570073|dfd34660055220701990073d2
230002224801263|dfd34660098220477231294de
230008027040733|df34660070220448010764fdd
230008059032345|fdffff34660090220408676dw
230002194811365|dd34660098220473971396ead
230008930642557|ddd34660056220602D525572d
230008160161222|fddfd34660051220604B1222a
230008077042759|dfds34660070220478552790b
230008930674942|dd3466005622070ADB4942cad

文库|博客

aili_chinaunix

白手起家

论坛徽章:: 0

2楼 [报告]

发表于 2010-09-22 08:15 |只看该作者

awk 'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{$4=a[$2];print $0}' lala.data a.data >result.data

此贴已经有人发过了...
22025252790|230008160161222|346600512206049B1222|fddfd34660051220604B1222a
22025252792|230008077042759|34660070220478552790|dfds34660070220478552790b

语句不是很复杂，也比较好理解
但awk: Out of Memory.
这是怎么回事，是数据量太大导致的?它不是行处理的?

期待回复。谢谢

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liaosnet

大富大贵

论坛徽章:: 11

3楼 [报告]

发表于 2010-09-22 09:43 |只看该作者

你的内存多大？

你在NR==FNR的时候，创建了一个hash表，用得是lala.data全表，这个需要的内存就需要这个表这么大。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

rdcwayx

版主

论坛徽章:: 15

4楼 [报告]

发表于 2010-09-22 12:47 |只看该作者

awk 'BEGIN{OFS=FS="|"} NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$2]}' lala.data a.data >result.data

复制代码

不知道这样省却记忆$4. 能减少内存吗？

还有, 两个文件的是否正好是一一对应的？如果是的话，用 sort + past.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

presidentccj

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2010-09-22 23:12 |只看该作者

回复 3# liaosnet

内存就几十G的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

dragon23452345 该用户已被删除	6楼 [报告] 发表于 2010-09-26 18:48 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
dragon23452345 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 嘿嘿 awk: Out of Memory.

嘿嘿 awk: Out of Memory. [复制链接]