如何在文本文件中排除重复的行

shinobiyan_cu

程序生成出来的文本文件有几万行，怎么去掉重复的行并重新生成一个文本文件呢。

yestreenstars

1. awk '!a[$0]++' old > new

复制代码

1. uniq old > new

复制代码

关阴月飞

回复 2# yestreenstars


    uniq 只能去除连续在一起的重复行,要达到目的得先sort一下：

1. sort file |uniq >new

复制代码

那样的话还不如直接用sort了：

1. sort -u file >new

复制代码

Shell_HAT

1. sort -u a.txt > b.txt

复制代码

yestreenstars

回复 3# 关阴月飞
嗦嘎~

   

bikong0411

搜噶

shinobiyan_cu

谢各位楼上的，偶需要再熟悉下。

Herowinter

回复 7# shinobiyan_cu
可以参考下面的解释


对于awk '!a[$3]++'，需要了解3个知识点
1、awk数组知识，不说了
2、awk的基本命令格式 awk 'pattern{action}'
    省略action时，默认action是{print}，如awk '1'就是awk '1{print}'
3、var++的形式：先读取var变量值，再对var值+1

以数据
1  2  3
1  2  3
1  2  4
1  2  5
为例，对于awk '!a[$3]++'
awk处理第一行时： 先读取a[$3]值再自增，a[$3]即a[3]值为空(0)，即为awk '!0'，即为awk '1'，即为awk '1{print}'
awk处理第二行时： 先读取a[$3]值再自增，a[$3]即a[3]值为1，即为awk '!1'，即为awk '0'，即为awk '0{print}'
.............

最后实现的效果就是对于$3是第一次出现的行进行打印，也就是去除$3重复的行