免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5268 | 回复: 1

[MongoDB] MongoDB的JavaScript性能 [复制链接]

论坛徽章:
0
发表于 2012-02-22 15:02 |显示全部楼层
MongoDB的JavaScript性能





两个多月前,我与下文作者dulao5兄有过一次关于MongoDB JavaScript执行效率的聊天,昨天dulao5完成此文,将链接发给我,我看完后对测试结果很是震惊,下面是原文,欢迎对MongoDB JavaScript引擎有研究的同学共同探讨。

原文:www.dulao5.com

mongodb的db.eval
mongodb使用javascript做shell, mongodb的db.eval可以提供给数据驱动与这种javascript shell类似的js接口. 这算是一种移动代码风格(Mobile Code Sytles)的架构设计吧. 我期望可以利用这个接口, 将一些处理逻辑放在mongodb的节点上运行. 避免在PHP里面多次获取和操作mongodb的数据. (这个需求类似传统数据库的存储过程)

但是测试却发现, 在mongodb里面跑javascript性能很不理想. 我写了一段测试代码, 跑10000次循环:
  1. [code]<?php
  2. $mongo = new Mongo("mongodb://localhost:20237/");
  3. $db = $mongo->selectDB("attl");

  4. $echo_func = <<<JAVASCRIPT
  5. function() {
  6.         var str = "xxxxxxxxxxxxxxxxx0000000000";
  7.         var data = str + str + str + str;
  8.         var data = data + data + data + data;
  9.         var max = 10000;
  10.         var arr = [];
  11.         var total = 0;

  12.         for(var a=0; a<100; a++) {
  13.                 for(var i=0; i<max; i++) {
  14.                         arr.push( data + " . " + data);
  15.                 }
  16.                 for(var i=0; i<arr.length; i++) {
  17.                         total += arr[i].length;
  18.                 }
  19.                 arr = [];
  20.         }
  21.         return total;
  22. }
  23. JAVASCRIPT;

  24. $bgtime = microtime(true);

  25. $echo_code = new MongoCode($echo_func);
  26. $obj = (object)array("name"=>"dzg", "values"=>array(1,2,3), "bool"=>true) ;
  27. $arr = array(1,2,3,4,5,6,7,8);
  28. $map = array("a"=>1, "b"=>2);
  29. $response = $db->execute($echo_code, array($obj, $arr, $map));
  30. var_dump($response);

  31. $endtime = microtime(true);

  32. echo "\n time : ".($endtime - $bgtime)."\n";执行 :

  33. php ab-mongo.php
  34. array(2) {
  35.   ["retval"]=>  float(867000000)
  36.   ["ok"]=>  float(1)
  37. }
复制代码
time : 6.0353651046753这段js居然执行6秒之久! 在其他环境下测试同样功能代码:[/code]Google Chrome : 只需70毫秒
Firefox 5 : 只需180毫秒
用PHP 5执行类似代码: 只需630毫秒
显然相比以上测试, mongodb的javascript性能差太大了.

排除测试干扰
根据mongodb官方文档 Server-side Code Execution : Limitations of eval > Write locks 一节, 我怀疑也许是Write locks导致的. 但这种怀疑和本例关系不大, locks应该只影响并发执行, 现在的问题是一次执行都这么慢.

另外, 我还担心从PHP到mongodb的js代码传递环节慢.

于是花了两种手段排除这两个因素:

使用 db.system.js.save({_id: “mytestfunc”, value: function () { … }}); 的方式, 将测试的js代码作成mongodb支持的Stored JavaScript

使用 db.runCommand({$eval: function() {return mytestfunc();}, nolock: true}) 的方式, 进行nolock调用

结果发现问题依旧. 结论是mongodb的JavaScript执行环节有问题

测试Mongodb + V8 JavaScript引擎
我知道Mongodb的JavaScript引擎是SpiderMonkey, 于是想尝试再编译一个v8版本的Mongodb, 准备用如下JavaScript文件测试一下.

准备测试代码
  1. function dotest() {
  2.         var str = "xxxxxxxxxxxxxxxxx0000000000";
  3.         var data = str + str + str + str;
  4.         var data = data + data + data + data;
  5.         var max = 10000;
  6.         var arr = [];
  7.         var total = 0;

  8.         for(var a=0; a<100; a++) {
  9.                 for(var i=0; i<max; i++) {
  10.                         arr.push( data + " . " + data);
  11.                 }
  12.                 for(var i=0; i<arr.length; i++) {
  13.                         total += arr[i].length;
  14.                 }
  15.                 arr = [];
  16.         }
  17.         return total;
  18. }

  19. myecho = (typeof console !== 'undefined' && typeof console.log == 'function') ? console.log : print;

  20. a = new Date();
  21. myecho("begin:\t" + a);

  22. myecho("result:\t" + dotest());

  23. b = new Date();
  24. myecho("end:\t" + b);

  25. myecho("total time:\t" + (b - a));这个JavaScript脚本能同时跑在4种环境下:

  26. Chrome / Firefox等浏览器环境
  27. node js的shell
  28. SpiderMonkey 的js shell
  29. mongo 的js shell
  30. 我准备编译完Mongodb的v8版本后, 四个环境都比较测试一下.

  31. 编译mongodb + v8
  32. 我在OpenSuse11.4下, 用linux的包管理工具准备编译环境, 还是很容易的:

  33. #已安装的包: g++ subversion git python

  34. sudo zypper install scons tcsh boost-devel pcre-devel readline-devel

  35. svn checkout http://v8.googlecode.com/svn/trunk/ v8
  36. cd v8
  37. scons
  38. cd ..

  39. git clone git://github.com/mongodb/mongo.git
  40. cd mongov8
  41. scons

  42. #run mongodb v8
  43. ./mongod --quiet --shardsvr --dbpath /home/dzg/data/mongodb/test/mongod --port 20237 --nohttpinterface --fork --pidfilepath /home/dzg/data/mongodb/test/mongod.pid --logpath /home/dzg/log/mongodb/test/mongod.log --logappend执行测试
  44. 执行~/opt/mongov8/mongo localhost:20237 dotest.js

  45. mongo+v8 : 93毫秒
  46. nodejs : 68毫秒
  47. SpiderMonkey : 442毫秒
  48. 初步结论:
复制代码
mongodb + v8性能非常好, 接近node.js里面的执行性能
SpiderMonkey 1.9 比v8慢5倍
mongodb使用SpiderMonkey肯定有一些环节还存在问题, 导致mongodb+SpiderMonkey比mongodb+v8慢60多倍
也许是mongodb的SpiderMonkey版本低? 我目前还不知道mongodb的发行版内, SpiderMonkey的确切版本
我上面测试SpiderMonkey 的js命令是来自xulrunner-192
测试代码很短, 比较片面, 上面的性能倍数只是大体估计, 不是全面精确的评估

论坛徽章:
0
发表于 2012-02-24 17:35 |显示全部楼层
谢谢分享
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP