问一个关于过滤文本文件的问题。

lizhenjia

1.txt :
        1,2
        2,3
        3,4
     2.txt:
        1,2
如何得到,在1.txt文件中存在,但在2.txt中不存在的文本行呢？(1.txt,2.txt的数据量非常大,数万条)
我用cat 1.txt | grep -v $(cat 2.txt),不好使，提示:
bin/bash: /usr/bin/grep: The parameter or environment lists are too long,如何实现呢？

dong_1997

用awk等命令编辑成insert语句插入到表中，用sql不就搞定了。

yoursmile

那就用更原始的方法，循环来grep.

lizhenjia

用数据库肯定是可以解决的，不过太麻烦了，能否有比较简单的方法呢？

admirer

原帖由 "lizhenjia" 发表：
1.txt :
        1,2
        2,3
        3,4
     2.txt:
        1,2
如何得到,在1.txt文件中存在,但在2.txt中不存在的文本行呢？(1.txt,2.txt的数据量非常大,数万条)
我用cat 1.txt | grep -v $(cat 2.tx..........

   

1. comm -23 f1 f2

复制代码

bjgirl

[quote]原帖由 "admirer"][/quote 发表：
     
还是版主厉害呢!我也用comm实验了半天,就没有想到-23这样的用法!

yoof

-23 是什么参数？

bjgirl

[quote]原帖由 "yoof"]-23 是什么参数？[/quote 发表：
     
comm命令是逐行比较已经排序好的文件.
他的格式:comm [-1|-2|-3] leftfile rightfile
-23的意思是说不显示仅在rightfile中有的行而且也不显示在leftfile文件,rightfile文件中都存在的行,,

admirer

原帖由 "bjgirl"] [quote:14419bb5a6="yoof" 发表：
写到:
-23 是什么参数？

comm命令是逐行比较已经排序好的文件.
他的格式:comm [-1|-2|-3] leftfile rightfile
-23的意思是说不显示仅在rightfile中有的行而且也不显示在leftfile文件,rightfile文件中都存在的行,, [/quote]
对！
-13:就是只显示第二个文件特有的行
-23:就是只显示第一个文件特有的行

yoursmile

原帖由 "bjgirl" 发表：
   
还是版主厉害呢!我也用comm实验了半天,就没有想到-23这样的用法!

   

linux 真是博大精深啊。
还有comm这个命令，我是第一次听说。

你们都厉害啊。