怎么不获取（或跳过）重复的字符串

_lpq

各位大神，求助！！！
一个文件file：
d,g,j,l,l
s,f,h,k,l
z,r,y,j,k
d,v,n,k,r
a,f,j,r,o
s,f,y,i,e

我要通过读行，获取第二列的关键字，然后通过这个关键字去处理文件，while read line

现在我要的是如果第二列，关键字假如有多个重复的，我只要第一次出现的，如果出现了下一次则不获取（或跳过）这个关键字

sync_1521

假如你处理关键字的命令是ls -l
awk -F, '!a[$2]++{CMD="ls -l "$2;system(CMD)}' file

_lpq

回复 2# sync_1521


    谢谢大神，
但是 ，额。。新手
我是对文件经行处理，获取每行有f关键字的第4个域
通过grep “关键字f” 查找到那一行，假如那一行是 s,f,h,k,l
然后对那行进行处理cut 获取关键字 k
然后获取k在文件中的所有相关的信息

我上面的file可能不全，我再整理下哈~

d,g,j,l,l
s,f,h,k,l
z,r,y,j,k
d,v,n,k,r
s,f,h,k,j 这一行为f和k都在上一行的同一个位置，因为在在上一行中已经获取了k这个关键字，所以这个k就不获取（或跳过）
a,f,j,r,o
s,f,y,i,e

这样子，谢谢~

关阴月飞

回复 3# _lpq

目测一下：

1. awk -F, '!a[$2]++{print $4}'  urfile

复制代码

_lpq

回复 4# 关阴月飞


    试过了，可以把第四列打印出来，但是我要的结果是不打印第四列重复的
第四列有三个k
我只要第一个就可以了


d,g,j,l,l
s,f,o,k,l
z,r,y,j,k
d,v,n,k,r
q,f,h,k,j 这一行为f和k都在上一行的同一个位置，因为在在上一行中已经获取了k这个关键字，所以这个k就不获取（或跳过）
a,f,j,r,o
s,f,y,i,e


我需要的结果是
k
r
i

谢谢啦~~

_lpq

回复 5# _lpq


    看着不清~~~
重新写一遍

    试过了，可以把第四列打印出来，但是我要的结果是不打印第四列重复的
第四列有三个k
我只要第一个就可以了


d,g,j,l,l
s,f,o,k,l
z,r,y,j,k
d,v,n,k,r
q,f,h,k,j 这一行为f和k都在上一行的同一个位置，因为在在上一行中已经获取了k这个关键字，所以这个k就不获取（或跳过）
a,f,j,r,o
s,f,y,i,e


我需要的结果是
k
r
i

谢谢啦~~

jason680

回复 5# _lpq

$ awk -F, '$2=="f"{if(!a[$4]++)print$4}' file
k
r
i

   

_lpq

回复 7# jason680


   
    谢谢iason

1.  因为我要处理的文件比较大

然后是
grep "f" | cut -d" " -f4  与  awk -F, '$2=="f"{if(!a[$4]++)print$4}' file
就是同样的结果    这两者相比较哪个速度更快，


2.
awk '$0 ~/(Yellow|Brown)/' grade.txt

为抽取级别为y e l l o w或b r o w n的记录，使用竖线符|。意为匹配| 两边模式之一。

然后我想再加一个匹配Green
不知是否可以
awk '$0 ~/(Yellow|Brown|Green)/' grade.txt

3.

对于2的问题是否还有速度更快的解决办法


终于可以与大神对话了，嘿嘿

jason680

1. ...哪个速度更快...
  不一定,但少用管道...
  grep "f" file | cut -d" " -f4  
  awk -F, '$2=="f"{if(!a[$4]++)print$4}' file
注：上面两者（功能）作用不同...
有时结果相同，但有时结果不同...

2&3. ...不知是否可以 awk '$0 ~/(Yellow|Brown|Green)/' grade.txt
可以
  awk '/Yellow|Brown|Green/' grade.txt
  grep -E 'Yellow|Brown|Green' grade.txt

time 可以帮助你，了解何者较快/慢（要多测几次）...
time awk ...
time grep ...

$ time awk  '/99999|11234|65432/' file
11234
65432
99999

--------------------
$ seq 100000 > file

$ time grep -E '99999|11234|65432' file
1. real    0m0.111s
2. real    0m0.099s
3. real    0m0.102s

$ time awk  '/99999|11234|65432/' file
1. real    0m0.146s
2. real    0m0.099s
3. real    0m0.126s

_lpq

回复 9# jason680


    非常感谢~~~