大数据量情况下的统计功能的设计

kiss2003

存量数据约30万，每天新增几百到几千条数据不等。

用户点“统计”功能的时候，一旦选择的时间段、部门、分类等的交集稍大一点，统计结果的显示就会很慢。现在几乎是没有任何性能考虑和优化的，直接查询统计的做法。而且当目标结果集比较大的时候，服务器的CPU也好一下高很多的样子，致使整个系统都呆滞一小段时间。


请教大家有些什么策略。


我看SAP里面的一些报表，貌似是系统定时会更新的。还没想到他的实现逻辑。不知道会不会在生成的瞬间也导致CPU等资源的紧张。


我在想的是，是否能将一些花时间和计算量的内容，分散到平时进行。

如果统计只是分部门，或者分类，那么貌似还容易提前做些处理。但是统计是分部门、分类、时间段的，就没想到怎么搞了。

gvim

30万算小量。可以先考虑语句优化。
用的什么库？较新的库基本都支持部分统计语法。OVER ，PARTITION BY等等。

kiss2003

谢谢版主的答复。

我这就想要以此为背景，讨论一下如何从架构层面设计一个能支持较大的数据量的统计模式。

gvim

回复 3# kiss2003


30W数据如果都已经出现瓶颈，那么我的建议是，如果使用的关系库，设计合理的表结构，编写高效的SQL，挖掘数据库引擎的能力，使用适当的索引，才是高效的基础。其它的都空了吹。

另外，不知做应用的时候有没有考虑系统的主要目标和设计容量？OLAP和OLTP肯定是不一样的。

一介村夫

30W的统计，1秒应该就能解决了，前提是合理的数据结构设计。

duanjigang

30万不多啊。。。
我们搞netflow的统计，每秒5万条，一分钟300万条，感觉也还行，4CPU，不感觉多卡
存储结构和统计算法很重要

皇家救星

具体的统计逻辑是怎么样的？

如果是简单的count，group应该很快啊