关于脚本执行效率的问题！（太慢）!（结帖）

linuxnextyear

还说那个读xml文件，进行匹配的问题：
替换程序大致如下：
filename是网页文件，通过参数指定！

1. 
   
2. while read url keyword urlto
   
3. do
   
4.         #echo sed -i "s@<a href=[^>]*>${keyword}</a>([^)]*)@${keyword}@g;s@${keyword}@${url}@g" $pathname$tmp
   
5.         #echo $url
   
6.         #echo $keyword
   
7.         #echo $urlto
   
8.         sed -i -e "s@\&lt;@gmmlt@g" -e "s@\&gt;@gmmgt@g" $filename
   
9.         sed -i "s@<a href=[^>]*>${keyword}</a>([^)]*)@${keyword}@g" $filename
   
10.         sed -i -e ':a;$!{N;ba}' -e "s@${keyword}@${urlto}@" $filename
    
11.         sed -i -e "s@gmmlt@<@g" -e "s@gmmgt@>@g" $filename
    
12. done    < /root/stock/zzz

复制代码

我用./script filename执行的时候，估算一下至少5秒以上，我要替换的网页文件数量上百万了，时间就没法算啦啊！
如何能解决这个替换过慢的问题呢？

1. 
   
2. [root@cache251-216 stock]# time ./filemm.sh 1.html
   
3. 
   
4. real    0m8.548s
   
5. user    0m1.955s
   
6. sys     0m7.117s
   

复制代码

[ 本帖最后由 linuxnextyear 于 2008-3-19 17:18 编辑 ]

ly5066113

为啥进行了4次sed，不能合并成1次么？

galford433

1.把内存虚拟成硬盘，文件放虚拟盘里处理可以加点速。
2.用c写工具替换吧，shell在速度上不可能超过程序语言，他本来就是解释语言。
3.sed换成awk/perl实现，后两者的处理速度要比sed快，耗资源也更多（相比c写出来的还是很慢）。

linuxnextyear

原帖由 ly5066113 于 2008-1-10 09:40 发表
为啥进行了4次sed，不能合并成1次么？

第二句sed必须在第一句sed的对整个文件替换完成才能执行，
第三句sed必须在第二句sed的对整个文件替换完成才能执行，
第四句sed必须在第三句sed的对整个文件替换完成才能执行，
这样可以写在一一句嘛？

linux_paly

半路过来,看的不是很明白.

为什么不替换写在一起? 分开写?  -i有点慢的.

read url keyword urlto ?  文件?  for in 可能快点吧

ly5066113

原帖由 linuxnextyear 于 2008-1-10 09:47 发表


第二句sed必须在第一句sed的对整个文件替换完成才能执行，
第三句sed必须在第二句sed的对整个文件替换完成才能执行，
第四句sed必须在第三句sed的对整个文件替换完成才能执行，
这样可以写在一一句嘛？

那就把整个文件都读到pattern space，在做替换。

linux_paly

可以

davistar

循环 外部命令fork sed -i又使用临时文件。。
看着就慢

ly5066113

还是从0开始吧，给点实际的数据，和你想要的结果。
读已经写好的脚本比自己写个还累。

prc

原帖由 galford433 于 2008-1-10 09:41 发表
1.把内存虚拟成硬盘，文件放虚拟盘里处理可以加点速。
2.用c写工具替换吧，shell在速度上不可能超过程序语言，他本来就是解释语言。
3.sed换成awk/perl实现，后两者的处理速度要比sed快，耗资源也更多（相比c ...

不建议2，对于大部分人来说，没有能力写出一个bug-free的替换工具来，还是使用更高效的工具或者优化脚本程序本身来考虑吧。