Chinaunix

标题: Python的C/C++扩展 [打印本页]

作者: 千年沉寂 时间: 2009-10-10 16:34
标题: Python的C/C++扩展

Python的C/C++扩展

可扩展性是Python的一大特色，一方面，由于Python是解释执行的，这导致运行速度会比编译型语言慢，因此可以通过使用C/C++重写核心部分代码以解决性能上的瓶颈(程序90%的时间再运行10%的代码)；另一方面，可以通过扩展，达到添加整合一些额外的功能以及保持专有源代码的目的。在本文接下来的部分中我们将讨论如何编写C/C++扩展代码，并使用它们的功能。
我们要建立的是一个可以在Python内运行的C/C++模块，因此需要解决如何使C代码和Python代码能够进行交互以及数据共享。扩展是通过为C代码编写包装函数(类似适配器)实现双向交互和数据共享的。

一．一般的包装模式

每一个包装函数主要做三件事：
1.把输入的Python对象转换为C/C++对象；
2.调用C/C++函数；
3.转换C/C++函数处理的输出结果为Python对象，并返回；

先用一个简单样例描述模块大体的过程：

//wrap.cpp

//1.C代码

#include "Python.h"
int add(int arg1, int arg2)
{
return arg1 + arg2;
}
//2.add的包装函数：

static PyObject* wrap_add(PyObject *self, PyObject *args)
{
//把输入的Python对象转换为C/C++能识别的数据

int arg1, arg2;
if(!PyArg_ParseTuple(args, "ii", &arg1, &arg2))
return NULL;
//调用C/C++函数，得到结果

int result = add(arg1,arg2);
//把得到的结果包装成Python对象，并返回

return (PyObject*)Py_BuildValue("i", result);
}
//3.为模块添加PyMethodDef方法数组

static PyMethodDef wrap_methods[] ={
{"add", wrap_add, METH_VARARGS},
{NULL, NULL}
};
//4.增加模块初始化函数InitModule

PyMODINIT_FUNC initwrap (void)
{
Py_InitModule("wrap ", wrap_methods);
}

把上面的代码编译，生成wrap.pyd。
Visual Studio 2005编译方法参考：
http://blog.csdn.net/solo_lxy/archive/2007/07/20/1700515.aspx
启动控制台切换到相应的工程目录，即可测试生成的模块：

(PS:似乎只有Release模式生成的模块才能正常运行)

相关说明
每个包装函数都有如下形式：
      PyObject * wrap_function(PyObject *, PyObject * args)
函数第一个参数，有特殊用途，通常选择忽略。第二个参数是一个PyTuple(PyObject的子类型，和Python中的Tuple对应)，是调用时Python传入的参数。
函数PyArg_ParseTuple把Python对象转换为C的数据类型，其声明如下:
      int PyArg_ParseTuple(PyObject* args, char* format, ...);
参数args必须是一个tuple对象，包含传递过来的参数， format 参数必须是格式化字符串。剩余参数是各个变量的地址，类型要与格式化字符串对应。如：
      int arg1, arg2;
      PyArg_ParseTuple(args, "ii", &arg1, &arg2);
函数Py_BuildValue可以说是PyArg_ParseTuple的逆过程，它把C的数据类型包装为Python对象。
      return (PyObject*)Py_BuildValue("i", result);
把调用C函数的结果result包装为Python的int对象，并返回。
      static PyMethodDef wrap_methods[] ={
         {"add", wrap_add, METH_VARARGS},
         {NULL, NULL}
      };
这个数组包含多个数组，其中的每个数组都包含了一个函数的信息，以便解释器能够导入并调用它们，最后一个NULL数组表示列表的结束。METH_VARARGS常量表示参数以元组形式传入。
      PyMODINIT_FUNC initwrap (void)
      {
         Py_InitModule("wrap ", wrap_methods);
      }
模块初始化函数void initModuleName(),这部分代码在模块被导入的时候被解释器调用。这样所有的包装就已经完成了。

二．C++类的包装

// Example.cpp

class Numbers
{
public:
Numbers(int first, double second)
: m_first( first), m_second(second){}
double NumMemberMult(void){ return m_first*m_second;}
private:
int m_first;
double m_second;
};
static void PyDelNumbers(void *ptr)
{
Numbers * oldnum = static_cast<Numbers *>(ptr);
delete oldnum;
return;
}
PyObject *Example_new_Numbers(PyObject *, PyObject* args)
{
int arg1;
double arg2;
int ok = PyArg_ParseTuple(args,"id",&arg1,&arg2);
if(!ok) return NULL;
//动态创建一个新对象

Numbers *newnum = new Numbers(arg1, arg2);
//把指针newnum包装成PyCObject对象并返回给解释器

return PyCObject_FromVoidPtr( newnum, PyDelNumbers);
}
PyObject * Example_Numbers_MemberMult(PyObject *, PyObject* args)
{
PyObject *pynum = 0;
int ok = PyArg_ParseTuple( args, "O", &pynum);
if(!ok) return NULL;
//把PyCObject转换为void指针

void * temp = PyCObject_AsVoidPtr(pynum);
//把void指针转换为一个Numbers对象指针

Numbers * thisnum = static_cast<Numbers *>(temp);
//调用函数

double result = thisnum->NumMemberMult();
//返回结果

return Py_BuildValue("d",result);
}

static PyMethodDef Example_methods[] = {
{"Numbers", Example_new_Numbers, METH_VARARGS},
{"NumMemberMult", Example_Numbers_MemberMult, METH_VARARGS},
{NULL, NULL}
};
PyMODINIT_FUNC initExample (void)
{
Py_InitModule("Example", Example_methods);
}

C++类的包装和C函数的包装大同小异，因为对类的包装是对函数的包装，所以仍需要用Python代码对扩展模块进行包装，才可以像类一样的使用。

#example.py
from Example import *

class example(object):
def __init__(self,arg1,arg2):
self._base = Numbers(arg1,arg2)
def MemberMult(self):
return NumMemberMult(self._base)

这样C++类的包装也完成了。

三．C/C++中创建Python list

static PyObject* Windy_dict(PyObject *self, PyObject *args)
{
//创建列表
PyObject *newlist = PyList_New(0);
PyList_Append(newlist, PyString_FromString("first"));
PyList_Append(newlist, PyString_FromString("second"));
PyList_Append(newlist, PyString_FromString("third"));
//返回给解释器
return newlist;
}

创建其它Python对象也类似list的创建，返回给解释器的都是一个对象指针。C/C++对Python对象的解析差不多是创建时的逆过程。具体的对象模型及API可以查阅相关参考文档。
Python v2.6.2 documentation » Python/C API Reference Manual » Concrete Objects Layer

[ 本帖最后由千年沉寂于 2009-10-10 16:45 编辑 ]

作者: smallfish_xy 时间: 2009-10-10 16:50
谢谢分享，原创么？

作者: 千年沉寂 时间: 2009-10-10 16:56
标题: 回复 #2 smallfish_xy 的帖子

有参考了一些东西，Python的扩展差不多就这些内容了

作者: gawk 时间: 2009-10-12 15:48
不错，学习

作者: liuerguying 时间: 2010-01-13 11:00
:wink:

作者: int32 时间: 2010-01-13 12:20
好文，学习。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)