免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: jiangxu67
打印 上一主题 下一主题

[文本处理] sed处理大文件时效率低的问题 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2014-11-07 12:40 |只看该作者
回复 6# qq5910225


   mawk还没接触过   

论坛徽章:
1
2015亚冠之柏太阳神
日期:2015-09-29 10:00:55
12 [报告]
发表于 2014-11-07 13:12 |只看该作者
回复 11# jiangxu67
和awk用法完全一样。但是执行效率要比gnu awk高很多。

   

论坛徽章:
1
2015亚冠之柏太阳神
日期:2015-09-29 10:00:55
13 [报告]
发表于 2014-11-07 13:53 |只看该作者
回复 7# yestreenstars
sed应用场景在很早之前是用来给文本做格式化排版的,他是行编辑,每次读取一行,所以文件越大,行数越多执行越慢。而awk属于结构化文本数据,他每次会开辟一个内存空间,比如16k,每次他都读取16k文件到内存进行数据处理,所以很快,适合大文件。虽然有些事sed和awk都能干,但是要根据应用场景选择合适的语言。
参考文档:
http://awk.info/?doc/news/mawkIsFast.html

   

论坛徽章:
0
14 [报告]
发表于 2014-11-07 14:56 |只看该作者
回复 13# qq5910225


    好的,谢谢,我研究一下

论坛徽章:
2
数据库技术版块每日发帖之星
日期:2015-08-03 06:20:00IT运维版块每日发帖之星
日期:2015-08-07 06:20:00
15 [报告]
发表于 2014-11-07 15:02 |只看该作者
为何不从mysql备份策略上找解决点

论坛徽章:
0
16 [报告]
发表于 2014-11-07 17:35 |只看该作者
回复 15# linuxforlive


    有何推荐么,目前我们用的是mysql5.5,如果有5.6的延迟复制功能可能会好一些吧
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP