用egrep多条件过滤效率低，有什么好的推荐吗？

wjlcn

昨天在另外一个版块发了这篇文章，现在发在shell版问问各位大侠~~~

egrep 多条件过滤的效率问题，有没好的代替方法？
http://bbs.chinaunix.net/forum.p ... mp;fromuid=21879027



egrep 多条件过滤的效率问题，有没好的代替方法？

dump_test_file.sql 文件大小4.2GB
1.过滤单个条件：
$ time cat -n dump_test_file.sql |egrep "CREATE DATABASE \/\*\!32312 IF NOT EXISTS\*\/"
  2326  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db1` /*!40100 DEFAULT CHARACTER SET utf8 */;
10594  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db2` /*!40100 DEFAULT CHARACTER SET latin1 */;
14254  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db3` /*!40100 DEFAULT CHARACTER SET utf8 */;

real    0m11.936s
user    0m7.358s
sys     0m12.659s

2.过滤单个条件
$ time cat -n dump_test_file.sql |egrep "Dump completed on"
14628  -- Dump completed on 2012-05-19  4:01:32

real    0m12.569s
user    0m8.986s
sys     0m11.718s

3.合并过滤上面2个条件：
$ time cat -n dump_test_file.sql |egrep "CREATE DATABASE \/\*\!32312 IF NOT EXISTS\*\/|Dump completed on"
  2326  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db1` /*!40100 DEFAULT CHARACTER SET utf8 */;
10594  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db2` /*!40100 DEFAULT CHARACTER SET latin1 */;
14254  CREATE DATABASE /*!32312 IF NOT EXISTS*/ `db3` /*!40100 DEFAULT CHARACTER SET utf8 */;
14628  -- Dump completed on 2012-05-19  4:01:32

real    3m8.444s
user    3m3.850s
sys     0m13.049s

为什么第三次执行的时间，比前面2次时间相加还久？？？

还好egrep 过滤3个或更多条件时，过滤的时间跟2个条件差不多 。。。
上面执行过滤的时候用了cat -n 是因为需要知道过滤出来的结果的所在行号；若直接用egrep的话，执行速度会快5%左右；

还测试一下，过滤一个230GB的文件，单个条件的过滤需要19分钟，当时的IO 读 220rMB/s，egrep 单线程cpu使用率大约20%；而过滤2个(或2个以上)条件的话，则大概需要3小时，当时IO 读 23rMB/s，egrep 单线程cpu使用率大约90%；

用egrep多条件过滤效率低，有什么好的推荐吗？

或者说，需要过滤出某字符串以及显示所在的行号，有什么方法比较快吗？  sed & awk ？

blackold

grep -n 就可以显示行号啊。

ulovko

1. 
   
2. AWK就能显示行号
   
3. > cat aa.txt
   
4. ID        NAME                        STATE
   
5. ---------------------------------------
   
6. 2        ubuntu-1204-test-02        running
   
7. 33        mini-02                        running
   
8. 34        XCP                        running
   
9. 35        mini-05                        running
   
10. 36        mini-03                        running
    
11. > awk '{print NR,$0}' aa.txt
    
12. 1 ID        NAME                        STATE
    
13. 2 ---------------------------------------
    
14. 3 2        ubuntu-1204-test-02        running
    
15. 4 33        mini-02                        running
    
16. 5 34        XCP                        running
    
17. 6 35        mini-05                        running
    
18. 7 36        mini-03                        running
    

复制代码

回复 1# wjlcn


   

mpstat

正则表达式有分支的话的确很慢.你可以看看<精通正则表达式>这本书里介绍的.

你试试-P看看能不能好一些

__lxmxn__

fgrep == fast grep

dn833

干啥都先cat。。。。。。把这个省去应该还能快些

wjlcn

回复 4# mpstat


    当年也看过一下关于perl的正则表达式的，基本上忘了，久了没用就很容易忘记，呵呵
在这里加上-P确实快了些，谢谢~~


加上cat -n 是没注意到grep也有-n参数，呵呵。。。

__lxmxn__

回复 7# wjlcn


    你还好意思说加-P更快

Shell_HAT

回复 7# wjlcn


    fgrep耗时多少？

wjlcn

回复 8# __lxmxn__


    哪里说错了吗？请指教。。。