SPDataPickle: C语言的结构体和 xml/json/protobuf 的自动转化（移植到 win32 平台）

iunknown

SPDataPickle 是一个用于在 C语言的结构体和 xml/json 之间做自动转化的库。

http://code.google.com/p/spdatapickle
http://spdatapickle.googlecode.c ... ckle-0.5.src.tar.gz

大家可能对 google 的 protocol buffers 都早有耳闻。SPDataPickle 和 protobuf 很相似。

仿照 google protobuf 的例子，也来一个 Person 的简单例子。

对应 a.proto ，要写一个 a.xml

1. 
   
2. <metainfo prefix="XYZ" filename="account">
   
3.     <struct name="Person">
   
4.         <field name="id"    type="int32" />
   
5.         <field name="name"  type="*char" />
   
6.         <field name="email" type="*char" />
   
7.     </struct>
   
8. </metainfo>
   

复制代码

然后使用 spxml2struct 处理这个 a.xml，生成具体的 structure 定义和 metainfo 。

1. 
   
2. enum {
   
3.     eTypeXYZPerson = eTypeSPDPUserDefine + 1
   
4. };
   
5. 
   
6. typedef struct tagXYZPerson {
   
7.     int mId;
   
8.     char * mName;
   
9.     char * mEmail;
   
10. } XYZPerson_t;
    
11. 
    
12. typedef struct tagSP_DPMetaInfo SP_DPMetaInfo_t;
    
13. extern SP_DPMetaInfo_t * gXYZAccountMetaInfo;
    

复制代码

然后就可以对这个 XYZPerson_t 结构进行序列化和反序列化。

1. 
   
2. int main( int argc, char * argv[] )
   
3. {
   
4.     XYZPerson_t person;
   
5. 
   
6.     person.mId = 123;
   
7.     person.mName = strdup( "Bob" );
   
8.     person.mEmail = strdup( "bob@example.com" );
   
9. 
   
10.     SP_XmlStringBuffer buffer;
    
11. 
    
12.     SP_XmlPickle pickle( gXYZAccountMetaInfo );
    
13.     pickle.pickle( &person, sizeof( person ), eTypeXYZPerson, &buffer );
    
14. 
    
15.     printf( "xml: %s\n", buffer.getBuffer() );
    
16. 
    
17.     XYZPerson_t other;
    
18.     pickle.unpickle( buffer.getBuffer(), buffer.getSize(), eTypeXYZPerson, &other, sizeof( other ) );
    
19. 
    
20.     printf( "id %d, name %s, email %s\n", other.mId, other.mName, other.mEmail );
    
21. 
    
22.     SP_DPAlloc alloc( gXYZAccountMetaInfo );
    
23. 
    
24.     alloc.free( &person, sizeof( person ), eTypeXYZPerson );
    
25.     alloc.free( &other, sizeof( person ), eTypeXYZPerson );
    
26. 
    
27.     return 0;
    
28. }
    

复制代码

输出结果

1. 
   
2. xml: <Person>
   
3. <id>123</id>
   
4. <name>Bob</name>
   
5. <email>bob@example.com</email>
   
6. </Person>
   
7. 
   
8. id 123, name Bob, email [email]bob@example.com[/email]
   

复制代码

[ 本帖最后由 iunknown 于 2009-11-6 23:14 编辑 ]

iunknown

发布 0.2 版本，新增特性
1.增加了对 json 的支持
2.xml pickle 和 json pickle 用一个统一的接口，方便使用
3.在 metainfo 中支持指定某个字段是可选的，在解包的时候，如果对应的字段不存在，直接跳过

http://spdatapickle.googlecode.c ... ckle-0.2.src.tar.gz

1. 
   
2. <metainfo prefix="XYZ" filename="addrbook">
   
3.     <struct name="Email">
   
4.         <field name="Type"    type="char" arraysize="10" />
   
5.         <field name="Address" type="*char" />
   
6.         <field name="Nickname" type="*char" required="0" />
   
7.     </struct>
   
8. </metainfo>
   

复制代码

1. 
   
2. void testEmail( SP_DataPickle * pickle )
   
3. {
   
4.     XYZEmail_t email;
   
5.     memset( &email, 0, sizeof( email ) );
   
6. 
   
7.     strncpy( email.mType, "work", sizeof( email.mType ) - 1 );
   
8.     email.mAddress = strdup( "foo <[email]foo@bar.com[/email]>" );
   
9. 
   
10.     SP_XmlStringBuffer buffer;
    
11. 
    
12.     pickle->pickle( &email, sizeof( email ), eTypeXYZEmail, &buffer );
    
13. 
    
14.     printf( "%s\n\n", buffer.getBuffer() );
    
15. 
    
16.     SP_DPAlloc alloc( gXYZAddrbookMetaInfo );
    
17.     alloc.free( &email, sizeof( email ), eTypeXYZEmail );
    
18. }
    

复制代码

序列化的结果

1. 
   
2. {
   
3.         "Email" : {
   
4.                 "Type" : "work",
   
5.                 "Address" : "foo <[email]foo@bar.com[/email]>"
   
6.         }
   
7. }
   

复制代码

[ 本帖最后由 iunknown 于 2009-8-2 18:09 编辑 ]

vbs100

用c语言序列化成xml/json我觉得是很恶心的事件 为什么不定义个协议用二进制方式传？

iunknown

原帖由 vbs100 于 2009-8-2 18:32 发表
用c语言序列化成xml/json我觉得是很恶心的事件 为什么不定义个协议用二进制方式传？

如果整个系统都是用 C/C++ 的话，那么直接用二进制协议就非常方便。

但事情有另外的一面。这个问题其实相当于是在问 xml和json 存在的理由。
关于这一点，可以看看 xmlrpc 列举的理由：

http://www.xmlrpc.com/spec

Strategies/Goals

Firewalls. The goal of this protocol is to lay a compatible foundation across different environments, no new power is provided beyond the capabilities of the CGI interface. Firewall software can watch for POSTs whose Content-Type is text/xml.

Discoverability. We wanted a clean, extensible format that's very simple. It should be possible for an HTML coder to be able to look at a file containing an XML-RPC procedure call, understand what it's doing, and be able to modify it and have it work on the first or second try.

Easy to implement. We also wanted it to be an easy to implement protocol that could quickly be adapted to run in other environments or on other operating systems.

vbs100

存在即合理吧 学习了 可能以后工作上也会遇到

iunknown

发布 0.3 版本，新增特性
1.增加了对 ProtoBuf wire format 的支持

http://spdatapickle.googlecode.c ... ckle-0.3.src.tar.gz

这个功能没有使用 google 的代码，而是重新实现了 wire format 的编码解码器。
http://iunknown.javaeye.com/blog/482683

这个实现，比起 google 的更轻量。google 的 protobuf 代码量太大了。

yulihua49

原帖由 vbs100 于 2009-8-2 18:32 发表
用c语言序列化成xml/json我觉得是很恶心的事件 为什么不定义个协议用二进制方式传？

在网络上，各种不同系统，二进制不方便。
实际上是用模板映射结构，要很仔细保持模板和结构的关系。
使用xml格式做模板效率较低，在C语言里我更喜欢用结构做模板，其他语言可以用xml。

我也搞了一个JSON的，可以支持SQL和JSON之间的映射。
那里起先叫DTO，后来改称DAU（DATA Access Unit)

数据模板从数据库生成，结构根据模板分配。

DAU_init(DAU,SQL_Connect,tablename,0,0);//后边两个参数=0，要求数据库以表名生成模板和结构，否则，一个是结构，一个是模板。
DAU里包含了数据库连接句柄，表名，结构，模板，还有其他资源。

sprintf(where,"WHERE .....",,,,);
DAU_select(DAU,where,0);//以where里的条件从数据库读。语句是内部生成的（也使用模板）。
DAU_next(DAU);//从结果集中提取1行倒结构；
json=json_object_new_object(); //生成一个空JSON

DAU_toJSON(DAU,json,0);//结构内容进入JSON对象
char *p=json_object_to_json_string(json);//JSON变字符串；这个字符串可以输出了；
。。。。。

下贴1楼是过程，2楼是结果，以后是关于功能和性能的讨论：
http://www.itpub.net/thread-1088197-1-1.html

还没有做XML的，感觉包太大，处理效率较低，在OLTP里不合适。

DAU系统完成 结构-关系映射（有点像JAVA的ORM），结构的序列化是其中一部分内容。所以它的模板比较复杂，完成的功能超过了序列化要求。
看来你的工作与我有类似之处，特来探讨一下。
你也可以考虑模板自动生成的问题，可以依赖数据库进行。

我没有采取XML或JSON定义模板，主要是感觉在一个大型事务系统里，要附带一大堆XML文件挺累赘的，何况这些文件在运行时环境里，万一被改动，程序就死掉不明不白。
我的模板是在编译环境里，运行时看不见。所以安全一些。

上边帖子很长，后边有模板的样式。

[ 本帖最后由 yulihua49 于 2009-10-10 16:49 编辑 ]

sbc19861004

序列化是个说大就大，说小就小的问题，和兼容性，异构度有关，好像json比较受吹捧

yulihua49

原帖由 sbc19861004 于 2009-10-10 16:14 发表
序列化是个说大就大，说小就小的问题，和兼容性，异构度有关，好像json比较受吹捧

json比较轻便，效率也好。我们现在通信协议就用JSON。
比JSON在精简就是传统字符串和分隔符了，双方用同样用模板也可以解析复杂的字符串结构。
字符串还有保密作用，没有模板你很难看懂数据的含义。

[ 本帖最后由 yulihua49 于 2009-10-10 16:54 编辑 ]

flw

原帖由 vbs100 于 2009-8-2 18:32 发表
用c语言序列化成xml/json我觉得是很恶心的事件 为什么不定义个协议用二进制方式传？

二进制不方便调试。
流行的 internet 协议几乎全是文本的，
HTTP FTP SMTP POP