对a、b俩文档混合，效率高有研究的大神请进！

bmne

a.txt   b.txt两个文档混合，a.txt 大小是2.3GB     b.txt大小是12个字节


awk 'NR==FNR{a[$1]=$1}NR>FNR{for(i in a) {print a[i]$1}}'  a.txt b.txt>混合.txt


我是8GB内存，结果是效率非常、非常慢，没办法我停止运行了

然后，把a文档分割为6份，每份是357MB大小，结果还是慢，没办法，停止运行了。来求助下

请大神给想个办法，感谢！

关阴月飞

怎么个混合法？举个例子吧

bmne

回复 2# 关阴月飞



谢大神


比如：
a.txt
s
xc
frt
bgtj
bfgeh
chbxrs

b.txt

@yrtgv.com


混合成
s@yrtgv.com
xc@yrtgv.com
frt@yrtgv.com
bgtj@yrtgv.com
bfgeh@yrtgv.com
chbxrs@yrtgv.com







   

q1208c

回复 3# bmne

如果你的Ｂ文件只有一行， 不如试试替换， 可能效率更高些。

for 这样的循环， 效率很差的。
   

bmne

回复 5# 99超人


谢大神


假如，我的b.txt里面有30-50行，应该咋办？有好办法？




   

Herowinter

回复 1# bmne

这样要多少时间？

1. 
   
2. while read suff;do while read line;do echo "$line$suff">>混合.txt;done<b.txt;done<a.txt
   

复制代码

RE_HASH

a已经2.3G了，为啥还要往里加东西啊？本身这需求就没效率，你还花时间找个高效的方法去完成低效的目标。
真是艾服了优。

bmne

回复 5# 99超人


谢大神

只有一行b文档，这个厉害。运行时间2分钟左右（上述的最大文件混合）

如果以后实在没有好办法，假如b文件行数少，我想可以手动设置成用管道。费点事总比awk强太多，awk运行时几乎是死过去了






   

bmne

回复 7# Herowinter


大神，这个我不明白是怎么运行的。整体复制后放在bin里面运行很慢。我又偿试了个很小的文档运行，但输出没有结果

估计效率快不了的

谢大神进来指导