有这么个需求，不知用shell能否实现？

o0o520

关阴月飞 发表于 2013-10-28 13:10
回复 7# o0o520

第一列是指： abc_11.K_W_201102   还是指（不带日期）的：  abc_11.K_W

最好进行匹配 ，后期日期不同 前面关键字一样的，匹配md5

刚才忘记考虑了一种情况就是表不满足5个，例如只有3个 ，但md5都相同，这样的情况也需要全部去重

o0o520

rdcwayx 发表于 2013-10-28 13:16
猜一下

版主再给看看哈

关阴月飞

回复 11# o0o520


    最好给个例子说明一下想要什么

o0o520

关阴月飞 发表于 2013-10-28 13:47
回复 11# o0o520

abc_11.EventClick_201303    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201304    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201305    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201306    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201307    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201308    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201309    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201310    ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.EventClick_201311    99a9b08c4a387af34155b576ba197a3d  -
abc_11.EventClick_201312    d24327fef393ea33e662d362c96926bc  -
abc_11.IdeaRev_201306       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201307       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201308       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201309       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201310       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201311       318716f8b5a8d598b729a2fd8226686f  -
abc_11.IdeaRev_201312       318716f8b5a8d598b729a2fd8226686f  -
abc_11.Rev_201306        23fe872bcadc7549a71eedc7151bd7d5  -
abc_11.Rev_201307        23fe872bcadc7549a71eedc7151bd7d5  -
abc_11.Rev_201308        ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.Rev_201309        ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.Rev_201310        ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.Rev_201311        ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.Rev_201312        ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.K_W_201101        b6c1ba230fe87d13ed2f291698d008fd  -
abc_11.K_W_201102        b6c1ba230fe87d13ed2f291698d008fd  -
abc_11.K_W_201103        b6c1ba230fe87d13ed2f291698d008fd  -


想要的结果

abc_11.EventClick_201310    ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.EventClick_201312    d24327fef393ea33e662d362c96926bc  -
abc_11.Rev_201306        23fe872bcadc7549a71eedc7151bd7d5  -

或者
abc_11.EventClick_201310    ae6aadd913c8a4d6e409e7921b19fc84  -
abc_11.EventClick_201312    d24327fef393ea33e662d362c96926bc  -

rdcwayx

回复 14# o0o520

有输出结果啊。

1. awk '{str=$1;gsub(/_[^_]*$/,"",str)}NR==FNR{a[str FS $2]++;next} a[str FS $2]<5 ' infile infile
   
2. 
   
3. abc_11.EventClick_201310    ae6aadd913c8a4d6e409e7921b19fc84  -
   
4. abc_11.EventClick_201312    d24327fef393ea33e662d362c96926bc  -
   
5. abc_11.Rev_201306        23fe872bcadc7549a71eedc7151bd7d5  -
   
6. abc_11.Rev_201307        23fe872bcadc7549a71eedc7151bd7d5  -
   
7. abc_11.K_W_201101        b6c1ba230fe87d13ed2f291698d008fd  -
   
8. abc_11.K_W_201102        b6c1ba230fe87d13ed2f291698d008fd  -
   
9. abc_11.K_W_201103        b6c1ba230fe87d13ed2f291698d008fd  -
   

复制代码

看看你的awk 是不是gawk.

o0o520

rdcwayx 发表于 2013-10-28 14:11
回复 14# o0o520

有输出结果啊。看看你的awk 是不是gawk.

是awk      换成gawk 同样没输出

Shell_HAT

回复 16# o0o520


什么操作系统？
看看你的文件是不是windows格式的：

1. cat -A infile | head

复制代码

o0o520

Shell_HAT 发表于 2013-10-28 14:34
回复 16# o0o520

linux

Shell_HAT

回复 18# o0o520


    请17楼第二行和第三行

o0o520

Shell_HAT 发表于 2013-10-28 14:48
回复 18# o0o520

$ file test
test: ASCII text
$ cat -A test |head
abc_11.EventClick_201303    99a9b08c4a387af34155b576ba197a3d  -$
abc_11.EventClick_201304    99a9b08c4a387af34155b576ba197a3d  -$