唉 笔试题

Tanacore

现有两个磁盘文件file1 和file 2。file 1有2个字段，分别是A（整数）、B（字符串），字段间以tab分割，共计1千万行，其中A不重复；file 2有2个字段，分别是a（整数）和 d（整数），字段间以tab分割，共计10万行，其中a不重复。需要生成一个新的文件，列出包含所有A=a的情况的B、d两列，tab分隔；对B按ASCII升序排序。请给出如果让你完成本项工作你会采用的工具和具体方式，务必注意实现效率。

ly5066113

awk 'NR==FNR{a[$1]=$2}NR>FNR&&($1 in a){print $2"\t"a[$1]}' file2 file1 | sort

xwmhmily

原帖由 ly5066113 于 2008-10-16 17:54 发表
awk 'NR==FNR{a[$1]=$2}NR>FNR&&($1 in a){print $2"\t"a[$1]}' file2 file1 | sort

请教Tim 的思路,还有NR=FNR的用意

leetaedong

呵呵, Tim方法不错.

leetaedong

原帖由 xwmhmily 于 2008-10-16 18:31 发表


请教Tim 的思路,还有NR=FNR的用意

用来区分两个文件的.
man awk 可以知道具体意思.

无声无息

NR=FNR表示在第一个文件中

找找NR和FNR的定义

merlin852

原帖由 ly5066113 于 2008-10-16 17:54 发表
awk 'NR==FNR{a[$1]=$2}NR>FNR&&($1 in a){print $2"\t"a[$1]}' file2 file1 | sort

不知道效率怎么样!!

springwind426

1. 
   
2. awk '{print "^" $1 "\\>" }' File2 >F2  取出10万行的文件的第一字段形成一个新的文件
   
3. grep -Ef F2 File1 >F1 提取出1千万行的文件中与File2第一字段相同的行
   
4. awk 'NR==FNR{a[$1]=$2}NR!=FNR{print a[$1] "\t" $2}' F1 File2 | sort -k1,1
   

复制代码

思路是缩小文件，因为直接中awk的话，1千万行的数据，每行数据都需要在10万个项的hash数组中寻找，这个开销肯定不小。

用grep 先从File1中找到与File2第一字段相同的行，那么这个行肯定不大于10万

因为生成的F2中的第一字段肯定在File2中出现，因此，用awk的时候就不需要在hash数组中寻找以判断了，这个应该能够减少一部分开销

ly5066113

原帖由 springwind426 于 2008-10-17 09:18 发表

awk '{print "^" $1 "\\>" }' File2 >F2  取出10万行的文件的第一字段形成一个新的文件
grep -Ef F2 File1 >F1 提取出1千万行的文件中与File2第一字段相同的行
awk 'NR==FNR{a[$1]=$2}NR!=FNR{print a[$1]  ...

光这一句 grep -Ef F2 File1 >F1 就已经和 ($1 in a) 不相上下，还要那么多次IO。

zhuyubei

为什么我这么写就什么反应都没有？能指导下吗

1. awk 'NR=FNR{a[$1]=$2;next;}'' NR>FNR {if(a[$1]!=""){print a[$1]"\t"$2}}'  file1 file2|sort

复制代码

也就是我先处理file1后处理file2

[ 本帖最后由 zhuyubei 于 2008-10-17 10:06 编辑 ]