perl语言文本处理能力测试

shangyilong

perl语言文本处理能力测试

1.实验环境

pc：CPU 2.5Ghz；MEM 1.5GB；HD 120G

system：windows xp sp3

perl：ActivePerl 5.8.9 Build 826

2.测试脚本自备

被测试文件：纯文本，中文，130MB，1027600行，字符数（不含空格）134946000个

正则表达式查询内容：中间件

测试脚本工作：统计匹配次数

3.测试结果

整个处理时间：3秒

找到匹配 441000个

4.测试分析

Perl 一般被称为“实用报表提取语言”（Practical Extraction and Report Language）

对于文本文件处理比C语言快，原因是
a.perl使用C语言开发，保持C语言的高效性。
b.C语言按字符流读取数据，perl语言按行流读取数据，按行流读比按字符流读要快得多。
c.针对文本处理进行了优化。

5.测试小结

海量文本文件处理应该使用perl语言，这也是Larry Wall设计perl语言的原因。

perl的存在使得在windows平台处理海量文本文件成为可能，UNIX/LINUX中还有awk、sed、shell（grep）可以选择，而windows平台不提供高效的处理程序。

6.测试引申

整个处理时间：3秒，还有误差，有兴趣的同学可以自己实验将输入数据量提高到1GB，这样测试样本处理时间的准确率更高。

[ 本帖最后由 shangyilong 于 2009-9-15 11:10 编辑 ]

Perl_Er

很好!

DQP

ＬＺ的分享精神值得表扬．．．．．．

还是忍不住要泼下冷水．．．．　　不好意思．
希望ＬＺ不要介意。

a.perl使用C语言开发，保持C语言的高效性。

这个不一定．．．．

b.C语言按字符流读取数据，perl语言按行流读取数据，按行流读比按字符流读要快得多。

1. c也可以按行读．
2. 按行读有时会比较快，　但要具体问题具体分析．

c.针对文本处理进行了优化。

这个正确　 但我感觉说成　perl针对文本处理中的那些最常见情况进行了优化比较好。

正则表达式查询内容：中间件

这个指的是什么

hitsubunnu

测试是要贴代码的 快慢跟你写的代码有直接关系  理论上C是要比perl快的  实现上的快慢取决于人

flw

shangyilong

1.perl使用C语言开发，你不信可以去问Larry Wall

2.没听说C可以按行流读数据。

[ 本帖最后由 shangyilong 于 2009-9-15 09:09 编辑 ]

ly5066113

原帖由 shangyilong 于 2009-9-15 09:07 发表
1.perl使用C语言开发，你不信可以去问Larry Wall

2.没听说C可以按行流读数据。

虽然不懂C，但怎么感觉这2条说的明显矛盾呢。

既然perl是用C开发的，而C又不能实现按行流读数据，那么perl是怎么实现按行流读数据的呢？

shangyilong

原帖由 ly5066113 于 2009-9-15 09:13 发表


虽然不懂C，但怎么感觉这2条说的明显矛盾呢。

既然perl是用C开发的，而C又不能实现按行流读数据，那么perl是怎么实现按行流读数据的呢？

C可以编程实现按行流读数据，但是不是从文件读数据的默认方式，这么说应该没有歧义。

flw

率领大家围观楼主，呵呵。

楼主的特点就是故作惊人之语，尤其喜欢在 Perl 版这样做。

shangyilong

C语言对远东语言支持不如perl语言。