[有趣的Python 8] 使用C模块来提高性能

sakulagi

Python毕竟是解释型的语言，在复杂算法上的速度还是比C要差一点。另外大量的C的Library的重用也是一个很重要的话题。好在Python可以很容易的使用C编写的module来提高关键路径的性能和复用已有的C的Library。

OK，我们先来写个大整数乘法来看一下Python的性能。我对性能方面不是高手，这个例子不一定恰当。全当是个小实验。另外重点还是放在如何使用C编写的模块上。为了突出重点，就假设我们有C的Library的source code，或者C的module就是为了Python程序开发的。好，开始。先写个Python的实现。

1. 
   
2. #! /usr/bin/python
   
3. 
   
4. #main.py
   
5. 
   
6. import time
   
7. import timeP
   
8. import timeC
   
9. 
   
10. t1 = time.time()
    
11. timeP.time()
    
12. t2 = time.time()
    
13. timeC.time()
    
14. t3 = time.time()
    
15. 
    
16. print "Python module time: %f seconds" % (t2 - t1)
    
17. print "C module time: %f seconds" % (t3 - t2)
    

复制代码

timeP是用Python写的Module，而timeC就是用C写的了。计算的内容都是一样的。

1. 
   
2. #! /usr/bin/python
   
3. 
   
4. #timeP.py
   
5. 
   
6. def time():
   
7.     for i in range(0,100000):
   
8.         x = 123498
   
9.         y = 98082432
   
10.         z = x * y
    

复制代码

在看C的module之前。我们要先学习几个基础知识。首先，每一个module都要告诉Python Interpreter到底这个模块有几个函数。这个是由"initMODULE_NAME"函数来实现的，其实就是把一个List作为参数传给Python/C API里的一个特殊函数做到的。
另外为了交换数据，c的module里的函数要以PyObject*作为返回类型，即使是不需要返回值的，也要返回Py_None，就是Python里的None啦。俺就是一开始没有注意，结果一直segmentation fault。

最后，一定要include Python.h（废话）

1. 
   
2. #include <Python.h>;
   
3. #include "time_test.h"
   
4. 
   
5. ///timeC.c
   
6. /// the wrapper for time_test.c
   
7. static PyObject* timeC_time()
   
8. {
   
9.     time_test();
   
10.     return Py_None;
    
11. }
    
12. 
    
13. static PyMethodDef timeCMethods[] = {
    
14.     {"time",  timeC_time, METH_VARARGS,
    
15.         "Execute a shell command."},
    
16.     {NULL, NULL, 0, NULL}        /* Sentinel, end of list of functions*/
    
17. };
    
18. 
    
19. 
    
20. PyMODINIT_FUNC inittimeC()
    
21. {
    
22.         Py_InitModule("timeC", timeCMethods);
    
23. }
    

复制代码

这个module其实是一个C的Library（库的例子，没有这么mini的库啦，呵呵）的wrapper。我顺便把C的Library的code也贴在这里：

1. 
   
2. #ifndef _TIME_TEST_H
   
3. #define _TIME_TEST_H
   
4. 
   
5. extern void time_test();
   
6. 
   
7. #endif
   

复制代码

1. 
   
2. #include "time_test.h"
   
3. 
   
4. ///time_test.c
   
5. void time_test()
   
6. {
   
7.     int x = 123498;
   
8.     int y = 98082432;
   
9.     int z = 0;
   
10.     int i;
    
11.     for (i = 0 ; i < 100 ; i++)
    
12.     {
    
13.         z = x * y;
    
14.     }
    
15. }
    
16. 
    
17. int main()
    
18. {
    
19.     time_test();
    
20.     return 0;
    
21. }
    

复制代码

接下来该编译了（需要编译的语言好麻烦，:p）。Python提供了编译C的module的简单方法。就是写一个setup脚本：

1. 
   
2. #! /usr/bin/python
   
3. 
   
4. from distutils.core import setup, Extension
   
5. 
   
6. module1 = Extension('timeC', sources = ['timeC.c', 'time_test.c'])
   
7. 
   
8. setup (name = 'PackageName', version = '1.0', description = 'This is a demo package', ext_modules = [module1])
   

复制代码

只要执行一下./setup.py build，就可以编译了。
编译好了之后，把生成的.so文件copy到当前目录。Run一下main.py看看结果。我的机器是P4 1.8, RHEL4WS。结果如下：

1. 
   
2. Python module time: 4.386378 seconds
   
3. C module time: 0.000432 seconds
   

复制代码

sakulagi

我回头学习一下，看能不能再发个封装C++的。

sakulagi

呵呵，你说的有道理。看来我写入门文章的能力还有待加强。主要是觉得很多知识在各个语言里都是相通的，所以写的时候可能更多的是假设读者已经对C/C++/Java有一定的了解。然后先有个感性认识，能把这些代码当作cheat sheet 用，是最大的目的，要是深究，我的Python知识实在是太有限了。刚学了没有多久，而且是业余自己看着玩的，要是有个项目，时间多些，估计能深入一些。