awk查重不完美问题疑惑

galford433

写了个awk查重复字段的脚本。目的是把两个文件中共有的字段找出来输出并且去除重复。代码函数段如下：


find_same()
{
echo "start at `date | awk '{print $5}'`"
echo -n "now rebuilding input files..."
awk '{count[$1]++}END{for(number in count)print number","count[number] }' $file1 | awk -F, '{print $1 > "find-final1.txt"}'
awk '{count[$1]++}END{for(number in count)print number","count[number] }' $file2 | awk -F, '{print $1 > "find-final2.txt"}'
cat find-final1.txt >> find-final2.txt
echo -ne "ok! \n analyze files..."
awk '{count[$1]++}END{for(number in count)print number","count[number] }' find-final2.txt | awk -F, '$2 > 1 {print $1 > "find-same.txt"}'
echo -ne "ok! \n output files..."
sort find-same.txt > same_$file3
echo -e "ok! \n output file is same_$file3"
rm -f find-*.txt
echo "end at `date | awk '{print $5}'`"
read anything
......
}


但是如果文件1的最后一行刚好在文件2里有的话。输出的结果却没有这一行，代码实现肯定没有问题，但是为什么遇到最后一行匹配时，这行就没法输出呢？实在不解。。

[ 本帖最后由 galford433 于 2007-12-5 17:07 编辑 ]

ly5066113

咋这么复杂？

1. awk 'NR==FNR{a[$1]++}NR>FNR&&($1 in a)&&!b[$1]++{print $1}' $file1 $file2 > same_$file3

复制代码

[ 本帖最后由 ly5066113 于 2007-12-5 17:23 编辑 ]

nuclearxin

awk '!a[$重复字段]++' file1 file2

galford433

回楼上两位。前面两个awk是对源文件自身去重，可以忽略不计的。红字那个就是不解的。
如果不用nr和fnr，仅针对红字那段为什么会出现我说的问题。我关心的不是代码，是我这样用awk数组值大于1的算法找重复的为什么无法把文件1最后一行匹配条件的给t出来。。。。

galford433

找到问题了。不是awk的原因。。。。。
文件是从windows下上传的，文件末尾有个该死的^M。没用vi看没发现。导致awk检索的时候认为aaa！=aaa^M。彻底昏迷ing。。。。