shell怎么针对中文排重呢？

wadeheat2

例如一个txt文档，一行一个：

中文1
中文2
中文3
中文4
中文2
中文3

要变成：

中文1
中文2
中文3
中文4


中文2和中文3重复了，保留一个就好了。谢谢

elu_ligao

sort -u file  这样子就可以了吧

如果前面中文一样值是后面数字不一样的话
awk -F '[^0-9]+' '{print $0,$NF}' file | sort -u -k2,2n | awk '{print $1}'
这个可实现， 有好方法希望可以分享， 谢谢

yestreenstars

1. sort -u

复制代码

这个最简单了~

kernel69

1. [@~]$ cat 11
   
2. 中文1
   
3. 中文2
   
4. 中文3
   
5. 中文4
   
6. 中文2
   
7. 中文3
   
8. [@~]$ perl -lane '$h{$F[0]}++;END{print $_ for sort keys%h}' 11
   
9. 中文1
   
10. 中文2
    
11. 中文3
    
12. 中文4
    
13. [@~]$

复制代码

回复 1# wadeheat2


   

kernel69

学习了
回复 3# yestreenstars