[求助]将文本中数据合并

debateshang

将文本中含有相同数据（只要有一个数据相同就行）的行合并为一行并去除重复

1. cat test.2
   
2. 2 3
   
3. 8 9 10
   
4. 7 8
   
5. 12
   
6. 3 4
   
7. 6 11
   
8. 5 7
   
9. 8 12
   

复制代码

希望得到的结果

1. cat result.2
   
2. 2 3 4
   
3. 8 9 10 7 5 12
   
4. 6 11
   

复制代码

数据这样得到的
{2,3}{3,4}因为有共同数3所以合并为一行
{8,9,10}{7,8}{5,7}{12}{8,12}因为分别有共同数，7,8,12也合并为一行
而{6,11}没有与其他行有共同数，单独成行
==========================================================================
贴子以前发过 感谢 yinyuemi 的解答
但是那个帖子我的问题描述不清，导致得到的解答的结果有问题
==========================================================================
特从新贴出来，希望哪位大侠给予解答

ly5066113

try:

1. sed -n '
   
2. s/.*/ & /
   
3. H
   
4. ${
   
5.         g
   
6.         :a
   
7.         s/\n\([0-9 ]*\)\( [0-9]\{1,\} \)\([0-9 ]*\)\(\n\)\(.*\)\2/\4\5\1\2\3/
   
8.         ta
   
9.         s/^\n//p
   
10. }' file

复制代码

debateshang

回复 2# ly5066113
非常感谢您的回复，虽然对您的代码表示看不懂，但是执行情况很好
但是我的数据量非常大，有几千行数据，用您的算法，计算的时间非常长，
计算半小时了，结果还没有出来
所以有没有办法将算法加速呢

ly5066113

回复 3# debateshang


真实的数据贴几行，看看是不是会造成有死循环，否则几千行数据没理由跑那么久。

debateshang

回复 4# ly5066113


    data.tar.gz (78.09 KB, 下载次数: 23)

2013-04-15 18:24 上传

点击文件名下载附件
数据

我将数据传上取了，但是请问我怎么看有没有死循环，确实计算一个小时也没有计算出来，应该是有死循环
那这说明数据有问题？

cao627

1. awk '{for(i=1;i<=NF;i++)c[NR]=$0;b[NR]=NF;++nr}END{for(k=nr;k>=2;k--){split(c[k],d);for(j=k-1;j>=1;j--){for(n=1;n<=b[k];n++)if(c[j] ~ d[n]){sub(d[n],"",c[k]);c[j]=c[j]" "c[k];b[j]=b[j]+b[k]-1;c[k]="";n=100000000;j=0}}}for(i=1;i<=nr;i++)if(c[i])print c[i]}' test.txt

复制代码

debateshang

回复 7# cao627
感谢您的指点，但是程序好像有点问题

1. cat test1
   
2. 2 3 4 5 9 8
   
3. 7 8
   
4. 5 6
   
5. 11 12
   
6. 4 2 3
   

复制代码

1. awk '{for(i=1;i<=NF;i++)c[NR]=$0;b[NR]=NF;++nr}END{for(k=nr;k>=2;k--){split(c[k],d);for(j=k-1;j>=1;j--){for(n=1;n<=b[k];n++)if(c[j] ~ d[n]){sub(d[n],"",c[k]);c[j]=c[j]" "c[k];b[j]=b[j]+b[k]-1;c[k]="";n=100000000;j=0}}}for(i=1;i<=nr;i++)if(c[i])print c[i]}' test1
   
2. 2 3 4 5 9 8 11 12   3   6 7
   

复制代码

应该得到的结果

1. 2 3 4 5 9 7 6 8
   
2. 11 12
   

复制代码

将每一行如果有相同的元素，就去重复合并，没有就另起一行，对于每行输出的顺序没有要求

rubyish

看看:

1. #!/usr/bin/perl
   
2. # abc.pl
   
3. my %h;
   
4. while (<>) {
   
5.     my ( @a, %g ) = split;
   
6.     @g{@a} = (undef) x @a;
   
7.     for (@a) {
   
8.         next if !$h{$_} or $g{$_};
   
9.         map $g{$_}++, keys %{ $h{$_} };
   
10.     }
    
11.     my @k = keys %g;
    
12.     my $t = { map { $_, 1 } @k };
    
13.     @h{@k} = ($t) x @k;
    
14. }
    
15. while ( my ( undef, $v ) = each %h ) {
    
16.     my @v = keys $v;
    
17.     print "@v$/";
    
18.     delete @h{@v};
    
19. }

复制代码

1. perl abc.pl test.txt

复制代码

ly5066113

回复 5# debateshang


行与行之间的冗余项很多，原来的代码有点小问题，改成这样虽然可以得到正确的结果，但速度确实很慢很慢。

1. sed -n '
   
2. s/.*/ & /
   
3. H
   
4. ${
   
5.         g
   
6.         :a
   
7.         :b
   
8.         s/ \([0-9]\{1,\}\) \([0-9 ]*\)\1 / \1 \2/
   
9.         tb
   
10.         s/\n\([0-9 ]*\)\( [0-9]\{1,\} \)\([0-9 ]*\)\(\n\)\(.*\)\2/\4\5\1\2\3/
    
11.         ta
    
12.         s/^\n//p
    
13. }' file

复制代码

用下面的awk试试，我这里3分钟可以跑出来。

1. awk '{m=NR;for(i=1;i<=NF;i++)if($i in a)m=m<a[$i]?m:a[$i];for(i=1;i<=NF;i++){k=a[$i];for(j in a)if(a[j]==k)a[j]=m}}END{for(i in a)b[a[i]]++;for(i in b){for(j in a)if(a[j]==i)printf j" ";print ""}}' file

复制代码