由大数据引发的概念潮，关于“大数据”你想聊点啥？

laputa73

我现在的需求有两类，感觉都和大数据有关，但是有些区别。
一类是插入为主，例如一天500G的日志分析和查询.  这个目前用的ES
一类是更新为主, 一天1亿次的更新，但总记录数在500w左右。  这个之前用的oracle，后来换成了redis。但是感觉不太好用。
现在用什么框架最合适?
峰值插入/更新速度  5000~10000QPS就可以
查询速度  不用太高。 秒级就行。
spark?elasticsearch?solr?
还是mongodb,mysql+handlesocket?

laputa73

目前大数据量的查询需求主要是ES实现的。主要遇到的一些问题也是ES的部署使用相关的，比如参数调整，索引规划等，还有就是感觉ES的写入性能没有想象中高。
ES做一个大集群，和分开几个集群，写入性能会不会有不同？

redis的主要问题是它是一个KV型的，不是文档型的，不能使用主键之外的查询。这就需要自己维护多个表。这样相当于降低了性能。
也许用lua做一些类似trigger的操作，能有提升。

laputa73

还有ES和hadoop的选型问题。
实际项目里，用户经常说已有建好一套hadoop大数据平台了，就不要再搞一套了。
ES使用HDFS有没有实际的使用？性能是不是会差很多？感觉不靠谱。
或者说,基于hadoop平台，现在有没有和ES类似的准实时搜索引擎？

laputa73

回复 19# heguangwu


    商业方案是不优先考虑的，
    voltdb的社区版只能玩玩，持久化，集群，ha特性都没有。
   巨杉准备了解一下，上次在大数据峰会有看到它的介绍，有些印象，那时好像还没有开源。

laputa73

还有TSDB,有没有好的方案推荐？这个不算海量数据，不过也挺多的。
influxdb这个还不成熟，集群方案还不可用。
现在也是直接拿es当tsdb使。