1楼 [报告]

发表于 2017-09-15 12:10 |显示全部楼层

回复 1# bmne

给些sample

2楼 [报告]

发表于 2017-09-22 09:42 |显示全部楼层

回复 1# bmne

把b文件split成几个文件，大小由内存来决定
然后分别处理，类似如下
seq 1000 > b.txt # 与b文件一样
split -b1000 -d b.txt s
awk 'FNR==5' s* |sort -R > file.test # 与a文件一样
ls
b.txt file.test s00 s01 s02 s03
执行：
#>res;
#rm -f tmp;
for file in s*;
do
if [ -f 'tmp' ];
then
file_in="tmp" ;
else
file_in="file.test";
fi;
awk 'NR==FNR{a[$0]=FNR;b[FNR]=$0;next}{if($0 in a){c[$0]=a[$0]}else{print >"tmp"}}END{l=asort(c,d);for(i=1;i<=l;i++){print b[d[i]] >>"res"}}' $file $file_in;
done
cat res

复制代码

3楼 [报告]

发表于 2017-09-23 07:54 |显示全部楼层

回复 21# aaaa_123

之前代码上有bug, awk 代码中文件输出和输入的文件名重了,导致tmp文件缩水, 多谢提醒

seq 10000000 > b.txt
seq 10000000 > file.test
split -b10000000 -d b.txt s
>res;
rm -f tmp;
for file in s[0-9]*;
do
if [ -f 'tmp' ];
then
file_in="tmp" ;
else
file_in="file.test";
fi;
awk 'NR==FNR{a[$0]=FNR;b[FNR]=$0;next}{if($0 in a){c[$0]=a[$0]}else{print >"tmp1"}}END{l=asort(c,d);print l;for(i=1;i<=l;i++){print b[d[i]] >>"res"}}' $file $file_in;
cat tmp1 > tmp;
done
rm -f tmp*
wc -l file.test b.txt res
10000000 file.test
10000000 b.txt
10000000 res
30000000 总用量
diff b.txt res
diff file.txt res

复制代码

[文本处理] 请帮助！a与b文档对比后，按b文档顺序重新排序 [复制链接]