请帮助！a与b文档对比后，按b文档顺序重新排序

bmne

回复 10# william_djj


谢谢指导

我一直在等大牛出手中，估计只是人家可能太忙，没时间

请问牺牲时间，换回来占用小内存，别死机，用上8-12个小时运行结束也可。请问：可否行的通？有没有办法？


谢谢，添麻烦了

aaaa_123

完全没问题，有问题只是大脑有问题而已
有时候代码是死的，脑子懂转弯才是更重要，
使用一样代码，A君会受到硬件限制而不能达到目的，而B君也是用A君代码很好的完成了目的。这就要懂得如何巧妙运用相同完成目的，嘻嘻，这也许就是脑壳问题
其实问题很简单，只是不懂转弯而已

提示/分割B文件就能达到你要求了哦

bmne

回复 12# aaaa_123


说我傻、缺心眼，没问题，我很高兴。否则，我不会来这里的

你的办法还是牺牲时间，换来能运行

请问
你总不能让我把b文件手动一个一个切割，然后一个一个运行吧？（这样的话，可就真的傻掉了）

麻烦给出组合命令？

谢谢

aaaa_123

bmne 发表于 2017-09-20 08:11
回复 12# aaaa_123

几十g的东西
竟然不想花费时间 又想换来运行

yinyuemi

回复 1# bmne

1. 把b文件split成几个文件，大小由内存来决定
   
2. 然后分别处理，类似如下
   
3. 
   
4. seq 1000 > b.txt  # 与b文件一样
   
5. split -b1000 -d b.txt s
   
6. 
   
7. awk 'FNR==5' s* |sort -R > file.test # 与a文件一样
   
8. ls
   
9. b.txt  file.test  s00  s01  s02  s03
   
10. 
    
11. 执行：
    
12. 
    
13. #>res;
    
14. #rm -f tmp;
    
15. for file in s*;
    
16.   do  
    
17.      if [ -f 'tmp' ];
    
18.      then
    
19.         file_in="tmp" ;
    
20.      else
    
21.         file_in="file.test";
    
22.      fi;
    
23.      awk 'NR==FNR{a[$0]=FNR;b[FNR]=$0;next}{if($0 in a){c[$0]=a[$0]}else{print >"tmp"}}END{l=asort(c,d);for(i=1;i<=l;i++){print b[d[i]] >>"res"}}' $file $file_in;
    
24.   done
    
25. 
    
26. cat res
    

复制代码

bmne

回复 14# aaaa_123


我上面说过多次的

可以用时间换来能够运行

比如：用时8-10个小时

bmne

回复 15# yinyuemi



谢谢大牛帮助。牛气的大牛

你的帮助可能是最理想的命令

谢谢、谢谢

wh7211

回复 1# bmne


先用split命令按行拆分文件b.txt，如果按大小拆分可能会断行。-l5是按每个新文件5行来拆分。

1. split -l5 -d b.txt x

复制代码

你可以多拆分出几个新文件，然后测试一下执行效率。假如拆分结果是3个新文件x00，x01，x02。

1. awk 'function t(){if(a[$0]){print}};FILENAME==ARGV[1]{a[$0]++;next}FILENAME==ARGV[2]||FILENAME==ARGV[3]||FILENAME==ARGV[4]{t()}' a.txt x00 x01 x02

复制代码

bmne

回复 18# wh7211



谢谢、谢谢

aaaa_123

回复 15# yinyuemi

难道觉得这种逻辑 跑出来结果会对