免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › Shell 中的执行效率
12下一页
最近访问板块 发新帖
查看: 4051 | 回复: 15
打印 上一主题 下一主题

Shell 中的执行效率 [复制链接]

zenith518

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2008-07-30 11:58 |只看该作者 |倒序浏览
如何提高10M行文本处理的效率？
KSH快，还是BASH快？
在百万行数据中检索，用sed、grep和awk 那个更快些？

Bash中数组发现，10万号以上的数组成员访问就越来越慢了。
Ksh还没试过，谁有这方面的经验？
爱知

论坛徽章:
0
2楼 [报告]
发表于 2008-07-30 12:08 |只看该作者
只知道尽量减少I/O操作
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
可可熊

论坛徽章:
0
3楼 [报告]
发表于 2008-07-30 12:12 |只看该作者
grep 相对awk,sed要快。
操作简单的话可以考虑自己用C写程序。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ddgfff

论坛徽章:
0
4楼 [报告]
发表于 2008-07-30 12:20 |只看该作者
我觉得awk速度快，但是占用cpu和内存瞬间数值会很高~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wendaozhe

论坛徽章:
0
5楼 [报告]
发表于 2008-07-30 12:20 |只看该作者
原帖由 ddgfff 于 2008-7-30 12:20 发表
我觉得awk速度快，但是占用cpu和内存瞬间数值会很高~

正解！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
eeeef

论坛徽章:
0
6楼 [报告]
发表于 2008-07-30 12:22 |只看该作者
原帖由 ddgfff 于 2008-7-30 12:20 发表
我觉得awk速度快，但是占用cpu和内存瞬间数值会很高~


显然不对，grep速度最快，awk速度最慢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
liaosnet

论坛徽章:
11
金牛座 日期:2015-03-19 16:56:22数据库技术版块每日发帖之星 日期:2016-08-02 06:20:00数据库技术版块每日发帖之星 日期:2016-04-24 06:20:00数据库技术版块每日发帖之星 日期:2016-04-13 06:20:00IT运维版块每日发帖之星 日期:2016-04-13 06:20:00数据库技术版块每日发帖之星 日期:2016-02-03 06:20:00数据库技术版块每日发帖之星 日期:2015-08-06 06:20:00季节之章：春 日期:2015-03-27 15:54:57羊年新春福章 日期:2015-03-27 15:54:37戌狗 日期:2015-03-19 16:56:41数据库技术版块每日发帖之星 日期:2016-08-18 06:20:00
7楼 [报告]
发表于 2008-07-30 12:23 |只看该作者
sed、grep 似乎比awk要快一些~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
eeeef

论坛徽章:
0
8楼 [报告]
发表于 2008-07-30 12:33 |只看该作者
测试了一下，发现sed，awk，grep之间的速度比较很难说清楚。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zenith518

论坛徽章:
0
9楼 [报告]
发表于 2008-07-30 12:58 |只看该作者
问一下，grep -E "aaa|bbb| . . ." filename 能连接多长，我怎么用20个就报toomany argument了，暴了？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hansfly

论坛徽章:
0
10楼 [报告]
发表于 2008-07-30 13:01 |只看该作者
凑凑热闹，等正解。。。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP