Shell 中的执行效率

eeeef

echo 123 | grep -E "1|2|3|4|5|6|7|8|9|10|11|12|13|14|15|16|17|18|19|20|21|22|23|24"

我的还没暴。

ddgfff

原帖由 eeeef 于 2008-7-30 12:22 发表


显然不对，grep速度最快，awk速度最慢

sed是按照行来查找替换的，显然上千万行数据会耗时较多
grep主要用途是查找，可是处理文本也不能总用这个命令来只查找不处理吧，所以还是要把找到的东西传给其他命令去做，显然还是慢了
awk本身有查找匹配和对找到的数据操作的功能，而且awk本身是可编程的，可以说用awk本身的功能而非shell就可以搞定很多文本处理工作

ailms

gawk 应该是最快。

我用 awk 导入一个 37w 行的 ip 地址库，再查询 300w 个 ip ，只用 3秒

zenith518

一行长度不会暴，是我脚本自动生成命令行有问题，现已解决。
一次100个数据检索测试。

呵呵，我的场景中测试了一下。
sed(51732)             5秒  /千行
grep(85060)           8秒 /千行
gawk(320416)        25秒 /千行

看来还是sed的系统开销少很多啊，不过对于复杂操作，要有多次调用的还是，用gawk，调用一次全部搞定为好。

ly5066113

原帖由 zenith518 于 2008-7-30 15:26 发表
一行长度不会暴，是我脚本自动生成命令行有问题，现已解决。
一次100个数据检索测试。

呵呵，我的场景中测试了一下。
sed(51732)             5秒  /千行
grep(85060)           8秒 /千行
gawk(320416) ...

只查询的话，肯定是grep快。

原帖由 woodie 于 2006-8-18 16:57 发表

这个应该和locale有关，GNU的grep在多字节的locale下速度很慢。试比较：
LANG=en grep pattern
LANG=C grep pattern
和：
LANG=zh_CN grep pattern
速度差距之大令人咋舌。^_^
几年前就有人问过我这个问题，当时没找到原因。这次waker兄又提起，好好google了下，终于找到了答案。^_^
所以，以后大家用GNU grep时建议加上LANG=C。

walkerxk

原帖由 ly5066113 于 2008-7-30 15:36 发表


只查询的话，肯定是grep快。

加上LANG＝C是查询中有[a-z]才会有用的吧，如果是grep abc的话有用么？