SPDataPickle: C语言的结构体和 xml/json/protobuf 的自动转化（移植到 win32 平台）

yulihua49

xphh2008 发表于 2014-11-06 22:38
那么多年过去了，不知道楼主还在么嘿嘿

最近因为项目需求，我也需要一个类似protobuf的东西。但是因 ...

尝试值得鼓励。
问题：
不是普通的原生态的结构。
每一个结构都要做一个元数据生成。
我的做法：
1.使用原生态的结构。
2.直接使用生成好的模板，不需要再走一遍生成。但是有一个隐式的模板初始化。

模板生成器是外置的，生成好的文件被应用程序include即可。

cobras

我觉得csv不错。适合传统的SQL数据库。json适合NOSQL数据库。都不错。

cobras

我写了一个轻量的SQL数据库服务器就是使用CSV传输数据。

cobras

CSV数据生成、解析就是几十行的代码。相当轻量。

yulihua49

cobras 发表于 2014-11-07 16:09
我觉得csv不错。适合传统的SQL数据库。json适合NOSQL数据库。都不错。

csv不如用分隔符的字符串，那个引号转意规则处理起来开销很大的。
json做关系数据库也很好，带着列名，解析很方便。
csv解析也就十几行，但是解析开销一点不比json少。
json的解析就一行，至于里边是几百行或几千行，跟我没关系。

JSON_OBJECT json=json_tokener_parse(rqst);
int ret;
DAU dau；
      ret=DAU_init(&dau,SQL_Connect,tabname,NULL,NULL);//dau特化成数据库表tablename
char stmt[10240];//生成语句的空间

然后反序列化：

DAU_fromJSON(&dau,json,NULL);//json按列名装载到dau里边的Record
*stmt=0;
ret=DAU_insert(&dau,stmt);//插入到数据库
......
commit;

完了，就这么简单。
DAU_free(&dau);
json_object_put(json);

DAU_init时，用tabname的数据字典生成模板和数据结构->dau。
后来的所有操作都依靠模板。

cobras

josn也有字符串对象。也需要引号ESC。相比较，CSV的引号转义更简单。另外的说的代码量是从0写的代码量。不是调用什么库的。
因为csv就是为数据库而生的。一行一条记录。一节一个字段。所以CSV适用于SQL，而且冗余代码少。控制代码就只有',','"'和'\n'三种。而json就多了去了。
CSV而且是迭代的。而json是递归定义的。

yulihua49

cobras 发表于 2014-11-07 16:45
josn也有字符串对象。也需要引号ESC。相比较，CSV的引号转义更简单。另外的说的代码量是从0写的代码量。不是 ...

上边说了二者解析开销差不多。json更方便些。数据量json大一些，但是，在我们的中间件里，传输是压缩的，压缩后各种格式大小差不多。
XML的解析明显要慢。
有轮子何必自己造。csv也有解析器，不过得自己找。

cobras

递归定义有个缺点，就是需要将整个数据缓存才通解析。而迭代定义的就没有这个问题，完全是流式的，走到哪黑就在哪歇。

cobras

这两种我都自己写了一套解析库。所以比较了解。还有xml也是递归定义的。

yulihua49

cobras 发表于 2014-11-07 16:49
递归定义有个缺点，就是需要将整个数据缓存才通解析。而迭代定义的就没有这个问题，完全是流式的，走到哪黑 ...

这不是问题。通信过来的本来就是整个的数据包。