请问如何找文本中的重复项

自由男人

有如下文本:
1005|2001|屏山1组|1|11123
1005|2001|屏山1组|2|2334
......
1005|2002|屏山2组|1|9998
......
第2列是分组,第4列是每组的序号,每组均从1开始编,每组不能有重复序号.即第2列和第4列不能有重复记录,用程序找出来.
请问用awk或shell怎么实现?

Edengundam

输出格式类似:
2001 2:  2 4

表示2001年, 2号记录出现重复, 在这个文件的第二行, 第四行.

1. 
   
2. awk -F"|" '
   
3. {
   
4.     key = $2" "$4;
   
5.     count[key]++;
   
6.     value[key] = value[key]" "NR;
   
7. }
   
8. END {
   
9.     for (key in count)
   
10.         if (count[key] > 1)
    
11.             printf("%s: %s\n", key, value[key]);
    
12. }
    
13. ' urfile
    

复制代码

自由男人

多谢

awk就是awp加ak

try

1. awk -F'|' '!dup[$2,$4]++' urfile

复制代码

[ 本帖最后由 awk就是awp加ak 于 2006-12-11 09:07 编辑 ]

自由男人

原帖由 awk就是awp加ak 于 2006-12-11 09:05 发表
try

1. awk -F'|' '!dup[$2,$4]++' urfile

复制代码

老大，你的程序段有问题，运行结果是错误的。

awk就是awp加ak

我是把重复的直接去掉了

自由男人

不是要去掉,而是要找出来重新编号.