免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › 还有个问题：大量文件读写、匹配的效率问题

最近访问板块

发新帖

查看: 2960 | 回复: 6

上一主题

下一主题

还有个问题：大量文件读写、匹配的效率问题 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2009-05-08 09:47 |只看该作者 |倒序浏览

Windows环境下，MEM:2G，CPU:1.4G
从某个分区根目录开始使用os.walk遍历，遍历所有文件，并查找特定后缀的文本，然后读文本的内容并匹配特定字符串（特定字符串不只一个，大概有10多条），分区大小30G左右，已使用空间超过20G
程序效率不高，主要是CPU占用率较大，有什么办法进行改善吗？谢谢

[ 本帖最后由 xki 于 2009-5-8 09:49 编辑 ]

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2009-05-08 10:28 |只看该作者

用Google desktop

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2009-05-08 11:21 |只看该作者

原帖由 yaksavage 于 2009-5-8 10:28 发表
用Google desktop

google desktop那几个G的文件 ……

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2009-05-08 12:28 |只看该作者

搜索时候正则用o预编译下，性能能提升不少
最近我在分析apache日志时候用来一下，提升了几倍速度了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2009-05-08 15:15 |只看该作者

用o预编译是什么？re.compile?

原帖由 xiaoyu9805119 于 2009-5-8 12:28 发表
搜索时候正则用o预编译下，性能能提升不少
最近我在分析apache日志时候用来一下，提升了几倍速度了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2009-05-09 17:42 |只看该作者

顶起，与楼上同问版主，谢谢

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2009-05-12 11:54 |只看该作者

应该就是compile吧，我是套用perl里的预编译
s/aa/bb/o;这样，编译一次以后速度会提升很多

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Python › 还有个问题：大量文件读写、匹配的效率问题

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP