如何删掉某一个域相同的重复的行

落魄剑客

有一个文本，形式如下：
aaa:bbb:cccc:dddd
bbb:111:dddd:yyyy
222:bbb:3333xxx
vvv:aaa:pppp:jjjjjj
ooo:bbbxxxx:vvvv
假如现在我想把只要是第二域相同的行，只显示第一行，其余的行删除，用shell怎么实现，没想到好的办法，请高手赐教！多谢！

寂寞烈火

try:
awk -F: '!a[$2]++'

落魄剑客

烈火兄，我试验了你的code ，没问题，但 ！a[$2]++是什么意思？偶系新手不太明白，请指教，另 我是这样写的awk -F ':' '{if($2=line) print $0;line=$2}' 但实验结果不正确，请烈火兄赐教，不胜感谢！！！

落魄剑客

上面我的code写错了应当是
awk '{if ($2!=line) print;line=$0}' file

ly5066113

原帖由 寂寞烈火 于 2007-7-5 23:45 发表
try:
awk -F: '!a[$2]++'

赞一个。
又学了一招。

dengyin

awk '{if ($2!=line) print;line=$0}' file
这种写法理论上应该是对的，但是前提是重复的行都是相邻的情况下才行，像前面给的文件内容，显然是不对的
可以用另一种方法，即先排序然后再排重
sort -t: -k2 test2.txt|awk '{if ($2!=line) print;line=$0}' file
试过了，这种是可以的，关键是排序后源文件的顺序就乱了，保留下来的行的顺序可能跟你想要的不一样，还是寂寞烈火  的写法猛

shihk

awk -F: '!a[$2]++' 很猛
但是一直没看懂

springwind426

原帖由 shihk 于 2007-10-27 15:50 发表
awk -F: '!a[$2]++' 很猛
但是一直没看懂

-F:  表示用:作分隔符

在awk中，表达式由  条件{} 组成，其中，{...}是操作，如果省略的话，就表示 print $0 就是打印读取到的行
a[$2]++ 表示用第二个字段做数组的下标（awk中，数组都是关联数组，即 key=>value），同时将这个数组项+1
!a[$2]++ 是先对数组项a[$2]进行非逻辑判断，如果a[$2]为空、不存在、0的话，逻辑表达式的结果为true，判断完成后，对a[$2]进行+1运算
因为这个表达式中没有{}，因此，用缺省的print $0来操作

因此，!a[$2]++就表示，如果第二个字段的字符串第一次出现的话，就打印本行的内容，否则略过不操作


不知道这样解释你是否满意