［awk］数据归类

orctyr

我有一组大约10万行的数据，如下：
10000001        10000003
10000001        10000006
10000006        10000003
10000004        10000006
10000020        10000021
10000005        10000007
10000008        10000005
10000005        10000009
10000016        10000017
10000023        10000024
10000023        10000025
10000024        10000025
。。。。。。

每一行的两个数据是相关联的，不同行中的相同数据也是相关联的，我需要将它们归总在一起，得到的结果如下：
1        10000001
1        10000003
1        10000006
1        10000004
2        10000005
2        10000007
2        10000008
2        10000009
3        10000016
3        10000017
4        10000020
4        10000021
5        10000023
5        10000024
5        10000025

补充：比如第一行是“10000001        10000003”，那么这两个数是一组，以后出现任意一个含有这两个数的行，另外一个数据也可归在一起（“10000001        10000006”），此时10000001        10000003 10000006是一组。
处理之前先排序也是可以的，但是效果不明显。

wtuter

回复 1# orctyr

没什么规历吗？

709101040516

完全看不懂。。强大！

Shell_HAT

眼拙，看不错规律。

ywlscpl

1. awk '!($1 in a)&&!($2 in a){for (i in a) print n,i;n++;delete a}{a[$1];a[$2]}END{for (i in a) print n,i}' file | sort -k1,1n -k2,2n

复制代码

709101040516

这规律太强大了。

orctyr

回复 5# ywlscpl
测试了一个4000行的数据，发现存在问题。附件中：比如10004895这个数出现在了两个不同组中。还有一些其他不对的地方。 test.tar.gz (48.29 KB, 下载次数: 59)

2010-03-31 16:27 上传

点击文件名下载附件
测试结果

其中out.txt是我用c写的脚本得到的结果（速度极慢，不过是正确的）

ywlscpl

回复 7# orctyr


    5楼的依赖于同组的是连续的
如
1 3
2 3
1 4
7 8

后面不会再出现第1组中的数据如2 4

sunbw001

试试：

1. awk 'BEGIN{t=1;a[0]=1;b=1}{for(i=1;i<length(a);i++){if(index(a[i],$1)){a[i]=a[i]"\n"i"\t"$2;b=0}else{if(index(a[i],$2)){a[i]=a[i]"\n"i"\t"$1;b=0}else{b=1}}};if(b==1){a[t]=t"\t"$1"\n"t"\t"$2;t++}}END{for(j=1;j<length(a);j++){print a[j]}}' data |sort -u
   

复制代码

709101040516

怎么都流行单行脚本啊。。。。。脚本不一定非得写成一行啊。。。写的行多反倒比较好理解。好修正