免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › 如何提高perl读取文件的速度

最近访问板块

发新帖

查看: 4771 | 回复: 4

上一主题

下一主题

如何提高perl读取文件的速度 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2008-01-27 23:42 |只看该作者 |倒序浏览

如果只是直接使用<FH>的方式,由于缓冲区的大小是perl默认的,具体大小不知,虽然占用内存很小,但在处理上亿条记录时,这样读取的效率是比较低的;而且CPU占用比较高(本人电脑上测试).
从方法上讲可以扩大perl一次读取文件内容的缓冲区大小,有没有办法在使用<>运算符的前提下提高交文件缓冲的大小?
不知道perl有没有为<>留下提高性能的方法???
使用sysread的方法网上已经很多了,在此就不说了.

请各位高人指点一二!
谢谢

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2008-01-28 00:20 |只看该作者

http://search.cpan.org/perldoc?Mmap

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2008-01-28 14:26 |只看该作者

谢谢

有没有办法在使用<>运算符的前提下提高读文件缓冲的大小?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

4楼 [报告]

发表于 2008-01-28 14:30 |只看该作者

用这个思路提高性能的可能很少。
实际上，就算是一个字节一个字节读，也不会成为瓶颈。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2008-01-28 14:55 |只看该作者

http://search.cpan.org/~uri/File ... 04/ReadBackwards.pm

这个就是通过提高文件缓冲区大小来提高读取效率的！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › 如何提高perl读取文件的速度

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP