请教一个面试题，关于大文件处理的

luyi1983

原帖由 nuclearxin 于 2009-7-24 11:17 发表
awk基础教程不就是他吗？
而且io最小
awk是最佳解决办法～

我知道的是grep和awk

但是 为什么awk是最佳呢？

wtuter

[2]cat 1
1
3
4
6
87
9

[2]
[2]cat 2
2
4
6
7
[2]
[2]
[2]grep -vFf 1 2
2
7
[2]grep -vFf 2 1
1
3
9

[2]grep -Ff 2 1
4
6
87
[2]grep -Ff 1 2
4
6

nuclearxin

原帖由 luyi1983 于 2009-7-24 13:07 发表


我知道的是grep和awk

但是 为什么awk是最佳呢？

呵呵.不好意思
是据我所知.因为awk用数组的话只有一次io读写 两个文件各一次.   效率第一啊
其他的的话.
你用c重新专门写个的话效率也许更高~

olivenan

发一个awk版的
b 比a多的
awk '{if(NR==FNR) { a[$1] } else  { if (! ($1 in a)) print $1} }' a b
a 比 b多的
awk '{if(NR==FNR) { a[$1] } else  { if (! ($1 in a)) print $1} }' b a
awk '{if(NR==FNR) { a[$1] } else  { if ($1 in a) print $1} }' a b

beginner-bj

感觉是awk效率高。comm需要先排序，类似数据库的merge join;awk类似数据库的hash join。

谁能实测下，看看结果快慢如何？

lostdream

这个好。

非凡公子

你要是想效率,我觉得导入oracle最效率,10万行不算什么...实现的sql也很简单

gingerhot

那用office access也可以吧。

tocai

好帖，学习了