有2个问题要请大大们帮帮忙

unix520

要强制加3个好友任务才得以发言，这过程非常煎熬，很多人不愿意，或者会忽略掉，或者看不到。在此先谢谢那些加我好友的朋友哈。


吃完饭回来忙着发，
有2个问题要来这请大拿们解决，问题如下：

问题1：在文件夹1放上几个文本，在文件夹2也放几个文本
执行
cd D:/1/

ls *.txt >b

while read i; do awk 'NR==FNR{a[$0];next} !($0 in a)' "$i" D:/2/*.txt ; done < b

我想使用这个awk命令将文件夹1的所有文本与文件夹2的所有文本循环做个对比，如果文件夹2含有文件夹1的内容就删除，但是我套用这个awk命令时写不出处理文件循环利用问题，即完成后的文件以什么方式存储，以便下一次循环可以直接利用它来做对比，不用再一次产生临时文件后再来做对比，这样就得以节省很多时间。


问题2：和上面那个命令需求一样


但是写法有点bug，对比处理后有些重复行无法删除bug，重复行仍然存在文件中，但是这个命令每一次都会产生临时文件，效率不太理想
这个想改写好能够得到正确输出，和改善效率问题
水平有限没法修好，只得来麻烦大佬们了帮忙解决一下，


在文件夹1放上几个文本，在文件夹2也放几个文本
执行
cd D:/1/

ls *.txt >b

while read i; do perl -i.bak -lane 'BEGIN{$F=$ARGV[0]}{if($ARGV eq $F){$h{$_}=1;print}else{if(!$h{$_}){print $_}}}' "$i" D:/1/*.txt; done < b


核心问题就是，如果文件夹1里的文本1与文件夹2里的文本内容相同，就删除文件夹2的，意思就是去重复行
最后非常感谢大大们

unix520

例如：文件夹1里面有多个文本
1.txt
0
2
32.txt
4
5
1
6
3.txt
7
8
9
文件夹2里也有多个文本
1a.txt
1
a

2a.txt
2
b
0
3a.txt
3
c3

循环去重复后得到文件2各个结哥
1a.txt
a
2a.txt
b
3a.txt
c3

unix520

不重新编辑了，编辑一次就要重新审核一次的

上面1.txt向下数等4行前后拼接了
32.txt
应该是
3
2.txt

jzsjm1002

1. [root@vh122 awk]# tree /mnt/awk
   
2. /mnt/awk
   
3. ├── folder1
   
4. │   ├── 1.txt
   
5. │   ├── 2.txt
   
6. │   └── 3.txt
   
7. ├── folder2
   
8. │   ├── 1a.txt
   
9. │   ├── 2a.txt
   
10. │   └── 3a.txt
    
11. └── test.awk
    
12. 
    
13. /mnt/awk/test.awk
    
14. #!/usr/bin/awk -f
    
15. 
    
16. BEGIN{
    
17.   path1="/mnt/awk/folder1"
    
18.   path2="/mnt/awk/folder2"
    
19.   cmd1=sprintf("cat `ls %s/*.txt`",path1)
    
20.   while(cmd1|getline > 0)
    
21.     f1[$0]
    
22.   while("ls "path2|getline file > 0){
    
23.     j=0
    
24.     cmd2=sprintf("cat %s/%s",path2,file)
    
25.     while(cmd2|getline > 0){
    
26.       if(!($0 in f1))
    
27.         f2[++j]=$0
    
28.     }
    
29.     cmd3=sprintf("> %s/%s",path2,file)
    
30.     system(cmd3)
    
31.     for(i=0;++i<=length(f2);){
    
32.       cmd4=sprintf("echo %s >> %s/%s",f2[i],path2,file)
    
33.       system(cmd4)
    
34.     }
    
35.     delete f2
    
36.   }  
    
37. }

复制代码

unix520

回复 5# jzsjm1002

看起来好复杂，如何执行它？

unix520

按你步骑路径执行
返回这个

unix520

回复 5# jzsjm1002
谢谢，
修好我自己路径后可以，看起来效率比上面那些命令要慢很多，另外似乎循环不够完全（即要先拿1文件夹中的每一本去比对，删除文件夹2下的所有文本重复行）。重复行似乎删除不够完整，目前还没找到问题所在

希望有更快更准确写法出来，，，

unix520

我不知道为什么要写得那么复杂
事实上，拿文件夹1里所有文本和文件夹2里所有文本比对删除，如果发现在文件夹2存在，就删除。

过程，
cd 文件夹1
ls *txt > 1
得到文件夹1里面所有文本，然后拿第一本去和文件夹2里面所有文本比对，如果相同，就删除文件夹2里面重复行

第一本做完，到第二本，又到第三个，直到做完文件夹1任务。

最大问题是要考虑文件夹2输出定向，在下一次循环时无法直接使用

elu_ligao

你这个是自己玩还是处理问题呀， 数据量大不大
你的思路是： 拿过滤文件夹下的N文件依次去处理待过滤文件夹下的M个文件， 共要处理N*M次，这过程中前N-1次循环每次都要生成M个逐级过滤的中间文件，现在你问题在这里是吧

所以我感觉你文件是不是比较大呀， 可不可以先将过滤文件夹下的N个文件先整到一个总文件： cat dir1/* >> filter_src， 然后在去处理过滤  awk 'NR==FNR{a[$0]++;next}!a[$0]{print > FILENAME".ok"}' filter_src dir2/*

或者grep 呢， 先grep出每个文件对应的在filter_src 出现的filte**件，然后再来一次
for filr in `ls dir2`; do grep -xf filter_src dir2/$file > tmp/$file; done
for file in `ls tmp`; do grep -xvf tmp/$file dir2/$file > dir2/$file."ok"; done