还是文本处理，估计要awk。请大神分享经验

ywmkelly

回复 10# ly5066113


    就以5位为例好了

ly5066113

回复 11# ywmkelly


try:

1. awk -vl=5 '!a[substr($0,length-l+1)]++' file

复制代码

ywmkelly

回复 12# ly5066113


    同上面那位一样，只能处理一行。
[root@localhost ~]# cat -n abc
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     4  179837-2-42-78901
     5  123546
     6  654321
     7  156888651/2349990-65488
     8  147987-280532465488
[root@localhost ~]# awk -vl=5 '!a[substr($0,length-l+1)]++' abc
awfjlaa
faw
589-1/2345678901
179837-2-42-78901
123546
654321
156888651/2349990-65488

ly5066113

回复 13# ywmkelly


$ cat -n file
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     4  179837-2-42-78901
     5  123546
     6  654321
     7  156888651/234999065488
     8  147987-280532465488
$ awk -vl=5 '!a[substr($0,length-l+1)]++' file
awfjlaa
faw
589-1/2345678901
123546
654321
156888651/234999065488

你的文件结尾有空白？$0改成$1
awk -vl=5 '!a[substr($1,length($1)-l+1)]++' file

ywmkelly

回复 14# ly5066113

1. [root@localhost ~]# cat abc
   
2. awfjlaa
   
3. faw
   
4. 589-1/2345678901
   
5. 179837-2-42-78901
   
6. 123546
   
7. 654321
   
8. 156888651/2349990-65488
   
9. 147987-280532465488
   
10. [root@localhost ~]# awk -vl=5 '!a[substr($1,length-l+1)]++' abc
    
11. awfjlaa
    
12. faw
    
13. 589-1/2345678901
    
14. 179837-2-42-78901
    
15. 123546
    
16. 654321
    
17. 156888651/2349990-65488
    
18. [root@localhost ~]#

复制代码

这是怎么回事？

ywmkelly

回复 14# ly5066113


    好吧，发现那行末尾有个空格。汗。

jason680

回复 16# ywmkelly

$ cat -A FILE
     1  awfjlaa$
     2  faw$
     3  589-1/2345678901 $
     4  179837-2-42-78901$
     5  123546$
     6  654321$
     7  156888651/2349990-65488$
     8  147987-280532465488$

$ awk -vFS='' '{sub("[\t ]+$","");P=(N==$NF)?0:1;N=$NF}P' FILE
     1  awfjlaa
     2  faw
     3  589-1/2345678901
     5  123546
     6  654321
     7  156888651/2349990-65488

   

ywmkelly

回复 17# jason680


    [root@localhost ~]# cat -A file
21$
451$
23948$
888$
3448948$
3824982975888$
[root@localhost ~]# awk -vFS='' '{sub("[\t ]+$",""=(N==$NF)?0:1;N=$NF}P' file
21
23948

大神，你这样匹配文档都要删完了

KoomIer

！！！！你没有说明你的数据格式
1. 你说的行尾关键字，你好像没有说你的关键字长度，如果我自行取为1的话，你的数据处理出来就最多十行了吧
2.  看你处理好像只出了长度很长的数据，短的要考虑么

如果短的不考虑，长度为5的话就简单了吧

if len(line)<10
   newfile.write(line)
else
   keywords=linelast5words()
   if  （check keyworks in dict）
   else
         add keysworks in dict
         newfile.write(line)



回复 1# ywmkelly


   

ywmkelly

回复 19# KoomIer


    请问这个是shell脚本么，还是其他语言？