一个小测试，不明白为啥python快这么多呢？求解释

PinkOrient

说下背景，本人是5+年的Perl老用户，最近对Ruby比较长草，顺便也了解了一下Python.
最近遇到一个需求是分析大量实时生成的csv格式话单，对性能有一定对要求。这种情况下包含了大量的读入字符串并根据分割符做split的操作，做个对比看看3种语言对处理速度如何。

步骤1：写个perl脚本产生50000行每行150个field对csv文件 input_file.txt

1. pink@pink-desktop:~/_perform$ perl gen_line.pl > input_file.txt
   
2. pink@pink-desktop:~/_perform$ cat gen_line.pl
   
3. #!/usr/bin/perl
   
4. #
   
5. $str="string";
   
6. for($i=1;$i<150;$i++)
   
7. {
   
8.     $st=sprintf("string%d", $i);
   
9.     $str=$str.",$st";
   
10. }
    
11. for($i=0;$i<50000;$i++)
    
12. {
    
13.     print "$str\n";
    
14. }
    

复制代码

步骤2：perl脚本上场，逐行读入，split成数组

1. $ cat split.pl
   
2. #!/usr/bin/perl
   
3. 
   
4. open(FF,"input_file.txt");
   
5. while(<FF>)
   
6. {
   
7.     @l=split/,/;
   
8.     #print $l[2],"\n";
   
9. }
   
10. close(FF);
    

复制代码

time一下看成绩：

1. pink@pink-desktop:~/_perform$ time ./split.pl
   
2. 
   
3. real        0m2.285s
   
4. user        0m2.260s
   
5. sys        0m0.024s
   

复制代码

步骤3： ruby脚本上场，做一样的操作

1. #!/usr/bin/ruby
   
2. 
   
3. a=Array.new
   
4. f=File.open("input_file.txt","r")
   
5. f.each_line do |l|
   
6.     a=l.split(/,/)
   
7.     #puts a[2]
   
8. end
   
9. f.close()
   

复制代码

成绩不是很理想：

1. pink@pink-desktop:~/_perform$ time ./split.rb
   
2. 
   
3. real        0m3.426s
   
4. user        0m3.408s
   
5. sys        0m0.008s
   

复制代码

步骤4：python脚本上场，做一样对操作

1. pink@pink-desktop:~/_perform$ cat split.py
   
2. #!/usr/bin/python
   
3. 
   
4. fobj=open("input_file.txt","r")
   
5. for eachLine in fobj:
   
6.     l = eachLine.split(',')
   
7.     #print l[2]
   
8. fobj.close()
   

复制代码

成绩让我很意外啊！！

1. pink@pink-desktop:~/_perform$ time ./split.py
   
2. 
   
3. real        0m0.480s
   
4. user        0m0.444s
   
5. sys        0m0.032s
   

复制代码

步骤5： 用Ruby 1.9的CSV库，这个据说已经是FasterCSV了

1. pink@pink-desktop:~/_perform$ cat split_csv.rb
   
2. #!/usr/bin/ruby
   
3. 
   
4. require "csv"
   
5. 
   
6. CSV.foreach("input_file.txt") do |row|
   
7.     #puts row[2]
   
8. end
   

复制代码

成绩相当对没法看啊啊啊啊啊....

1. pink@pink-desktop:~/_perform$ time ./split_csv.rb
   
2. 
   
3. real        0m9.381s
   
4. user        0m9.337s
   
5. sys        0m0.024s

复制代码

以Perl作为基准来比较

Language	real	percent
Perl	2.285	100%
Ruby	3.426	149.9%
Ruby#CSV	9.381	410.5%
Python	0.480	21%

为什么Python会快这么多？求解释

mcshell

我来解释下。。不是split速度慢。。
我举个别人测过的例子：

1. 
   
2. 一个文件，每行都有18项，各项之间用\t分割，使用时用到了第6项
   
3. 1：my @array = split("\t",$_); my $var = $array[6];   测试文件平均用时8.2s
   
4. 2. my($var) = (split("\t",$_))[6];  测试平均用时5.1s
   
5. 3. my(undef,undef,undef,undef,undef,undef,$var) = split("\t",$_); 平均用时3.53s
   
6. 4. my(undef,undef,undef,undef,undef,undef,$var) = split("\t",$_,7);平均用时3.52s
   
7. 5. my $var = (split("\t",$_,7))[6]; 平均用时3.53s
   
8. 
   

复制代码

而你用了效率最低的

PinkOrient

回复 2# mcshell

从Perl内部的纵向比较来看，我完全理解你的代码所产生的效率差异的原因，我的代码是全部field都保存到大数组导致的效率不高。
不过从横向比较来说，这个操作其他几个语言也一样做了，我只是想不通Python用了什么办法让耗时变得这么突出的。

PinkOrient

回复 2# mcshell

根据你的方法优化后的成绩，依然和python有较大对差异啊

1. pink@pink-desktop:~/_perform$ time ./split.pl
   
2. 
   
3. real        0m0.960s
   
4. user        0m0.936s
   
5. sys        0m0.020s
   
6. pink@pink-desktop:~/_perform$ cat split.pl
   
7. #!/usr/bin/perl
   
8. 
   
9. open(FF,"input_file.txt");
   
10. while(<FF>)
    
11. {
    
12.     $f2=(split/,/)[2];
    
13.     #print "$f2\n";
    
14. }
    
15. close(FF);

复制代码

rubyish

让我很意外啊！！

斯文牛氓

楼主应该试试csv的模块和unpack再来比较,python是封装过的 ，perl看你自己怎么写了。。。。

PinkOrient

回复 6# 斯文牛氓


我主要是想比较各个语言提供的标准库，要不直接都调C扩展了。

zhlong8

python 那个 split 不是正则表达式，要想同一起跑线请用 re.split

kidaaaa

楼上说出了真相，python的这个split方法内部根本不是正则表达式。

q1208c

关注一下.
一直以为应该是 python慢.