L_WC 发表于 2016-08-29 09:39

目前存储用的分布式mongodb, 现在想对mongo里的数据做处理

目前存储用的分布式mongodb, 现在想对mongo里的数据做处理，怎么做比较好。之前讨论过换hadoop，成本比较大。

jelon521 发表于 2016-08-29 11:09

想问一下，想对mongo里的数据做处理，是怎么个处理法

L_WC 发表于 2016-08-29 12:20

回复 2# jelon521

简单字符串处理和 去重处理，考虑过分片后去重，没想好怎么分片，因为临界线也可能是重复的。 数据量大概2500万


jelon521 发表于 2016-08-29 14:14

貌似遇到过mongodb里有重复，都是手动弄的:em17:
页: [1]
查看完整版本: 目前存储用的分布式mongodb, 现在想对mongo里的数据做处理