免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4078 | 回复: 1

[MongoDB] PHP操作MongoDB时的整数问题及对策 [复制链接]

论坛徽章:
0
发表于 2012-02-23 19:03 |显示全部楼层
]
PHP操作MongoDB时的整数问题及对策





本文是一篇转载文章,对MongoDB PHP驱动中的一个bug进行了描述,其间对MongoDB和Group操作和MapReduce操作都给出了典型的例子,值得一看。

原文链接:http://huoding.com/2011/03/13/55

本文所说的整数问题,其实并不是MongoDB的问题,而是PHP驱动的问题:MongoDB本身有两种整数类型,分别是:32位整数和64位整数,但旧版的PHP驱动不管操作系统是32位还是64位,把所有整数都当做32位整数处理,结果导致64位整数被截断。为了在尽可能保持兼容性的前提下解决这个问题,新版PHP驱动加入了mongo.native-long选项,以期在64位操作系统中把整数都当做64位来处理,有兴趣的可参考:64-bit integers in MongoDB。

那么PHP驱动真的完全解决了整数问题么?NO!在处理group操作的时候还有BUG:

为了说明问题,我们先来生成一些测试数据:
  1. selectCollection('test', 'test');

  2. for ($i = 0; $i < 10; $i++) {
  3.     $instance->insert(array(
  4.         'group_id' => rand(1, 5),
  5.         'count'    => rand(1, 5),
  6.     ));
  7. }
  8. ?>下面让我们使用group操作,根据group_id分组,汇总计算count:

  9. selectCollection('test', 'test');
  10. $keys = array('group_id' => 1);
  11. $initial = array('count' => 0);

  12. $reduce = '
  13.     function(obj, prev) {
  14.         prev.count += obj.count;
  15.     }
  16. ';

  17. $result = $instance->group($keys, $initial, $reduce);
  18. var_dump($result);
复制代码
?>结果和预想的有出入,count没有实现累加,而是变成了[object Object],目前,如果必须使用group操作,那么有两种方法可以缓解这个问题:

方法一:

ini_set('mongo.native_long', 0);方法二:

$initial = array('count' => (float)0);这两种方法都是治标不治本的权宜之计,既然当前PHP驱动里group的实现有问题,那我们就绕开它,用其它的方式实现同样的功能,这个方式就是MapReduce:
  1. selectDB('test');

  2. $map = '
  3.     function() {
  4.         emit(this.group_id, this.count);
  5.     }
  6. ';

  7. $reduce = '
  8.     function(key, values) {
  9.         var sum = 0;

  10.         for (var index in values) {
  11.             sum += values[index];
  12.         }

  13.         return sum;
  14.     }
  15. ';

  16. $result = $instance->command(array(
  17.     'mapreduce' => 'test',
  18.     'out'       => 'name',
  19.     'map'       => $map,
  20.     'reduce'    => $reduce
  21. ));

  22. $result = iterator_to_array($instance->{$result['result']}->find());
  23. var_dump($result);
  24. ?>
复制代码
说明:虽然从表面上看MapReduce要生成一个新的Collection,显得有些低效,但我们可以定期预生成它,相当于维护一个缓存表,只要对实时性要求不太高就没问题。

把大象放冰箱里需要三步,而使用MapReduce仅仅需要Map和Reduce两步即可,这里有一个PDF文档生动的说明了MySQL中GROUP BY和MongoDB中MapReduce的对应关系:


SQL-to-MongoDB.png
此外,还有很多资料可供参考,如:MongoDB Aggregation III: Map-Reduce Basics。

说明:软件版本为MongoDB(1.6.5),PECL Mongo(1.1.4)。不同版本结论可能不同。

论坛徽章:
0
发表于 2012-02-24 17:06 |显示全部楼层
希望与楼至多多交流
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP