[原创] MongoDB管理与开发精要《红丸出品》8 MapReduce
http://blog.chinaunix.net/attachment/201205/26/26785103_1338009683Kvjx.jpg第八章 MapReduceMongoDB的MapReduce相当于Mysql中的"group by"，所以在MongoDB上使用 Map/Reduce 进行并行"统计"很容易。 使用MapReduce要实现两个函数 Map函数和Reduce函数，Map函数调用emit(key, value)，遍历collection中所有的记录，将key与value传递给Reduce函数进行处理。Map函数和Reduce函数可以使用JavaScript来实现，可以通过db.runCommand或mapReduce命令来执行一个MapReduce的操作：db.runCommand( { mapreduce : <collection>, map : <mapfunction>, reduce : <reducefunction> [, query : <query filter object>] [, sort : <sorts the input objects using this key. Useful for optimization, like sorting by the emit key for fewer reduces>] [, limit : <number of objects to return from collection>] [, out : <see output options below>] [, keeptemp: <true|false>] [, finalize : <finalizefunction>] [, scope : <object where fields go into javascript global scope >] [, verbose : true] });
参数说明:lmapreduce: 要操作的目标集合。lmap: 映射函数 (生成键值对序列，作为 reduce 函数参数)。lreduce: 统计函数。lquery: 目标记录过滤。lsort: 目标记录排序。llimit: 限制目标记录数量。lout: 统计结果存放集合 (不指定则使用临时集合，在客户端断开后自动删除)。lkeeptemp: 是否保留临时集合。lfinalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。lscope: 向 map、reduce、finalize 导入外部变量。lverbose: 显示详细的时间统计信息。 下面我们先准备一些数据:
> db.students.insert({classid:1, age:14, name:'Tom'})> db.students.insert({classid:1, age:12, name:'Jacky'})> db.students.insert({classid:2, age:16, name:'Lily'})> db.students.insert({classid:2, age:9, name:'Tony'})> db.students.insert({classid:2, age:19, name:'Harry'})> db.students.insert({classid:2, age:13, name:'Vincent'})> db.students.insert({classid:1, age:14, name:'Bill'})> db.students.insert({classid:2, age:17, name:'Bruce'})>
接下来，我们将演示如何统计1班和2班的学生数量8.1 MapMap 函数必须调用 emit(key, value) 返回键值对，使用 this 访问当前待处理的 Document。
> m = function() { emit(this.classid, 1) }function () { emit(this.classid, 1);}>
value 可以使用 JSON Object 传递 (支持多个属性值)。例如:emit(this.classid, {count:1})8.2 ReduceReduce函数接收的参数类似 Group 效果，将 Map 返回的键值序列组合成 { key, } 传递给 reduce。
> r = function(key, values) {... var x = 0;... values.forEach(function(v) { x += v });... return x;... }function (key, values) { var x = 0; values.forEach(function (v) {x += v;}); return x;}>
Reduce 函数对这些 values 进行 "统计" 操作，返回结果可以使用 JSON Object。8.3 Result
> res = db.runCommand({... mapreduce:"students",... map:m,... reduce:r,... out:"students_res"... });{ "result" : "students_res", "timeMillis" : 1587, "counts" : { "input" : 8, "emit" : 8, "output" : 2 }, "ok" : 1}> db.students_res.find(){ "_id" : 1, "value" : 3 }{ "_id" : 2, "value" : 5 }>
mapReduce() 将结果存储在 "students_res" 表中。8.4 Finalize利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
> f = function(key, value) { return {classid:key, count:value}; }function (key, value) { return {classid:key, count:value};}>
我们再重新计算一次，看看返回的结果:
> res = db.runCommand({... mapreduce:"students",... map:m,... reduce:r,... out:"students_res",... finalize:f... });{ "result" : "students_res", "timeMillis" : 804, "counts" : { "input" : 8, "emit" : 8, "output" : 2 }, "ok" : 1}> db.students_res.find(){ "_id" : 1, "value" : { "classid" : 1, "count" : 3 } }{ "_id" : 2, "value" : { "classid" : 2, "count" : 5 } }>
列名变与 “classid”和”count”了，这样的列表更容易理解。8.5 Options我们还可以添加更多的控制细节。
> res = db.runCommand({... mapreduce:"students",... map:m,... reduce:r,... out:"students_res",... finalize:f,... query:{age:{$lt:10}}... });{ "result" : "students_res", "timeMillis" : 358, "counts" : { "input" : 1, "emit" : 1, "output" : 1 }, "ok" : 1}> db.students_res.find();{ "_id" : 2, "value" : { "classid" : 2, "count" : 1 } }>
可以看到先进行了过滤，只取age<10的数据，然后再进行统计，所以就没有1班的统计数据了。
-------------------------------------------------------------------
免费收几个想学数据库IT技术的徒弟(限北京)
《MongoDB管理与开发精要》、《Redis实战》作者
新浪博客 http://blog.sina.com.cn/u/2446082491
ChinaUnix.net专家 http://cdhongwan.blog.chinaunix.net
@CD红丸 http://weibo.com/u/2446082491
红丸IT培训群 http://q.weibo.com/1282646
http://service.t.sina.com.cn/widget/qmd/2446082491/9e768382/1.png
页:
[1]