perl语言文本处理能力测试

shangyilong

perl语言文本处理能力测试

1.实验环境

pc：CPU 2.5Ghz；MEM 1.5GB；HD 120G

system：windows xp sp3

perl：ActivePerl 5.8.9 Build 826

2.测试脚本自备

被测试文件：纯文本，中文，130MB，1027600行，字符数（不含空格）134946000个

正则表达式查询内容：中间件

测试脚本工作：统计匹配次数

3.测试结果

整个处理时间：3秒

找到匹配 441000个

4.测试分析

Perl 一般被称为“实用报表提取语言”（Practical Extraction and Report Language）

对于文本文件处理比C语言快，原因是
a.perl使用C语言开发，保持C语言的高效性。
b.C语言按字符流读取数据，perl语言按行流读取数据，按行流读比按字符流读要快得多。
c.针对文本处理进行了优化。

5.测试小结

海量文本文件处理应该使用perl语言，这也是Larry Wall设计perl语言的原因。

perl的存在使得在windows平台处理海量文本文件成为可能，UNIX/LINUX中还有awk、sed、shell（grep）可以选择，而windows平台不提供高效的处理程序。

6.测试引申

整个处理时间：3秒，还有误差，有兴趣的同学可以自己实验将输入数据量提高到1GB，这样测试样本处理时间的准确率更高。

[ 本帖最后由 shangyilong 于 2009-9-15 11:10 编辑 ]

windfail

什么快不快的，围观楼主就是了。

hitsubunnu

效率有两种  开发效率 和 执行效率  
我从没质疑过perl的开发效率 但是执行效率perl确实不如c 要不也不会有那么多xs的模块

楼主你描述的测试结果都是在说 perl的执行效率比c快 你又提到 perl处理远东字符执行效率比c好  
可是 perl的字符处理用的就是c  你怎么解释？

其实你应该在标题上写清： 结果是针对您老人家自己的
您老人家写的perl比您老人家写的c快

[ 本帖最后由 hitsubunnu 于 2009-9-18 10:27 编辑 ]

jixlong

原帖由 smileyg 于 2009-9-15 18:55 发表
c可以块读取阿。不是比这个更快么

C和C++都没有正则表达式吧？！

shangyilong

如果perl效率低，那Larry Wall就是智商低了。

cx6445

围观ing

LZ写C写了13年，居然认识到c还有默认打开文件方式，还认为perl文本处理效率（非开发效率）优化得比C好。

smileyg

c可以块读取阿。不是比这个更快么

DQP

原帖由 shangyilong 于 2009-9-15 09:07 发表
1.perl使用C语言开发，你不信可以去问Larry Wall

是我没说清楚， 不好意思。 perl当然是c写的.   
我的意思是说

a.perl使用C语言开发，保持C语言的高效性。

这句话的因果关系不成立.

hitsubunnu

不跟你扯没用的 你自己好好看看

perl处理 语言字符的Encode 用的就是  xs 写的

http://cpansearch.perl.org/src/DANKOGAI/Encode-2.37/Encode.xs

你确说 perl比c 快  不知所云

[ 本帖最后由 hitsubunnu 于 2009-9-15 12:29 编辑 ]

shangyilong

那好，你就用钢管切肉吧！

[ 本帖最后由 shangyilong 于 2009-9-18 08:51 编辑 ]

hitsubunnu

原帖由 shangyilong 于 2009-9-15 11:16 发表
C语言对远东语言支持不如perl语言。

如果说C是钢材的话  perl是匕首  你要是是牛x的话可以用C做成枪去杀人 你要是水平不行就还是拿刀吧

但是你最好不要 去讽刺那些能做枪的  不服你把这个帖子发到 C版 试试

[ 本帖最后由 hitsubunnu 于 2009-9-15 11:40 编辑 ]