sed 和awk处理文件占CPU太高，求优化方案

psmzs

我遇到这么一个情况，100多个文件大小不一，最大的有几百M，里面记录分隔使用的逗号，但是字段里的数据可能含有回车和换行，每条记录分隔是以|$|作为标记。由于为了用sort能对每个文件进行排序（貌似sort是以换行符作为记录的分隔,但是由于字段也含有回车和换行，因此排序会受影响。）因此想了一个方案删除了每个文件的回车\r和换行\n,然后在|$|之后再加个换行\n，因此写了如下代码

files.txt 包含了所有文件的名字
while  read  fileName

do

   tr -d '\r\n' < $fileName | sed 's/|\$|/&\n/' | sort > ${fileName}_bak(此法程序运行卡卡住了，CPU被sed占到了100%，等了很长时间没运行完)

#后来尝试了改为awk 以为awk能快点，貌似还是很慢 ，CPU也到了100%，现象同上  cat  $fileName | awk 'BEGIN{FS=",";RS="\\|\\$\\|"}{gsub(/[\r\n]+/,"");print}'| sort > ${fileName}_bak
#后来考虑是不是管道的影响，把命令拆开，还是不行，求高手优化，帮忙分析CPU占过高的原因！！

done  < files.txt

自己以前还碰到一个情况就是N多文件，想删除每个文件里的空格，写了一个循环，遍历每个文件，在循环里用sed删空格，但是程序也卡住了，很长时间没运行完，后来改为awk删除空格才没卡住，求大，家分析原因给出好的法子。

MMMIX

回复 1# psmzs


    你的机器内存多大？

psmzs

这个和内存有关系吗？我没注意，是公司里的一个服务器。。代码方面有优化的余地吗？最后都是感觉程序卡住了，CPU到了100%

MMMIX

psmzs 发表于 2015-09-11 21:55
这个和内存有关系吗？

当然了。

我没注意，是公司里的一个服务器。。

那应该不会太小。

代码方面有优化的余地吗？

很大。例如，你需要先删除一遍 \r, \n 然后再添加 \n 么？你知道对一个几百M的字符串进行正则匹配然后替换有多慢么？（sed 卡住了……）排序的时候需要用整行作为 key 么？

psmzs

排序是整行排就可以，不用分字段，但是不调整的话会把字段里的换行也sort了，所以想删除文件里所有的\r\n猴在记录末尾在加上\n,哪里能优化一下?

MMMIX

psmzs 发表于 2015-09-11 22:11
排序是整行排就可以，

整行排序它慢呀

MMMIX

psmzs 发表于 2015-09-11 22:11

哪里能优化一下?

把那个 tr 和 sed 都去了，只用 awk，逐个记录读取，进行调整（删除中间的换行啥的）；然后排序的时候最好是能把需要的 key 取出来，用整行做 key 会比较慢。

MMMIX

psmzs 发表于 2015-09-11 22:11
想删除文件里所有的\r\n猴在记录末尾在加上\n

这就是你代码慢的原因。

psmzs

回复 8# MMMIX


   哪对于多个文件的用了正则的话，有优化的地方吗，比如我的第二个情况就一个删多个文件里的空格，sed也卡住了。

psmzs

回复 8# MMMIX

哪对于大文件的多个正则操作，怎么办？一般注意什么?增加机器配置的是一个方面，代码方面有什么建议吗？