如何去除部分内容重复的行

sbyond

如何去除部分内容重复的行

#cat aaa
显示：
333asdf
333asdfg
1234asdf
1234asdfg
2222asdf
4444asdfg


要求对文件aaa操作结果为：
2222asdf
4444asdfg

实际就是说字母a前面部分有重复的行都不要。
由于字母a出现的位置不固定所以无法使用uniq -u -w4  这样来实现

请教大家有什么好方法

[ 本帖最后由 sbyond 于 2008-8-15 16:59 编辑 ]

blackold

如果数字少于5位：
uniq -uw 5 urfile

sorry, 没有仔细看题。

$ sed 's/\([0-9]\+\)\(.*\)/\2 \1/' 1.txt|uniq -uf1|sed 's/\(.*\) \(.*\)/\2\1/'

[ 本帖最后由 blackold 于 2008-8-15 17:15 编辑 ]

ly5066113

1. awk -Fa '{a[$1]++;b[$1]=$0}END{for(i in a) if(a[i]==1) print b[i]}' urfile

复制代码

jinl

1. 
   
2. awk -Fa '{a[$1]++;if (a[$1]<2) b[$1]=$0} END{for (i in a) if a[i]==1 print b[i]}' ufile
   

复制代码

sbyond

谢谢楼上的三位

爱知

大家用 awk 太绝了！
学 awk !!!

springwind426

1. 
   
2. awk -F '[^0-9]' '{a[$1]++;b[$1]=$0}END{for(i in a)if(a[i]==1)print b[i]}' 数据文件
   

复制代码

思路就是用非数字字符作为分隔符，那么，$1就是开头的连续的数字

ggff112

原帖由 ly5066113 于 2008-8-15 17:10 发表
awk -Fa '{a[$1]++;b[$1]=$0}END{for(i in a) if(a==1) print b}' urfile

第一次见这样的a[$1]表达式，不知道什么意思，能否指点，不知道这样的表达是什么用途，也就不知道网上怎么找这些相关资料，还望提示提示
谢谢

blackold

看本版关于awk的例子，有很多这样的例子。

多看贴。

ggff112

原帖由 blackold 于 2008-8-19 12:08 发表
看本版关于awk的例子，有很多这样的例子。

多看贴。

谢谢指点，

正在努力！！！！！