2个文件内容匹配

strong_sjhi

请教一个shell
目的:2个文本a.txt b.txt
a.txt
hello
good
txt
go

b.txt
he is a good boy
i'm happy today
how are you.
go on

现在想统计出a.txt 中哪些单词没有在b.txt 中出现过. 请问如何写.

mcshell

刚才看反了。。。

1. perl -ne 'while(/([a-zA-Z'\'']+)/g){$hash{$1}++}END{open FA,"a.txt";while(<FA>){chomp;print "$_\n" if !exists $hash{$_} }}' b.txt
   
2. hello
   
3. txt
   

复制代码

vectorT

#!/bin/bash
while read line
do
if [ ! "$line" ];then
continue
fi
grep "$line" b.txt >/dev/null 2>&1
if [ $? -ne 0 ];then
echo "the world: [$line] doesn't exist in b.txt "
fi
done <a.txt

yinyuemi

如果不考虑标点符号的话
awk 'NR==FNR{for(i=1;i<=NF;i++)a[$i];next}! ($0 in a)' b.txt a.txt
如果考虑的话，把代表标点符号的RE填上，比如/[\.":;]/等
awk 'NR==FNR{gsub(/RE/,"",$0);for(i=1;i<=NF;i++)a[$i];next}! ($0 in a)' b.txt a.txt

strong_sjhi

vectorT 发表于 2012-11-05 17:31
#!/bin/bash
while read line
do

可以但是效率太低

strong_sjhi

yinyuemi 发表于 2012-11-05 17:41
如果不考虑标点符号的话
awk 'NR==FNR{for(i=1;i

精确匹配可以,现在还想模糊匹配 譬如: bond  匹配 james.bond

vectorT

回复 5# strong_sjhi


    的确 能尽量单条语句就单条语句，但是处理不谨慎的话，后果还是很严重的

yinyuemi

回复 6# strong_sjhi


    模糊匹配的原则再具体点，因为 bond 匹配 james.bond 是不是可以推测 me 匹配 name 呢？

greysky-zfj

awk 'NR==FNR{a=a"\n"$0} NR>FNR{s[$0]=$0} END {for(i in s) {if(a !~ s[i])print s[i]}}' b.txt a.txt

strong_sjhi

yinyuemi 发表于 2012-11-05 17:52
回复 6# strong_sjhi

是的.是这个样的.