【讨论中】遇到个大数据表的问题 1个月的数据在2G左右

chinafenghao

回复 1# badeager

楼主的硬件估计不太给力了，所以要想方法来处理了。
看你的sql，主要是where a group by b。
可以考虑一下几种方案。
1、使用分区表，以a为键来分区，这样每次group by就在一个分区里。
2、group by最好能够limit一下。
3、group by b的目的我不太清楚，如果你是为了取数量，你可以做一个临时表，不用实时跑。
4、硬件方面，这种group by肯定会用到临时表。所以可以监控硬件，group的时候哪方面的硬件资源不足，可以适当增加一些。
5、可以考虑将日志转出到infobright引擎做查询，效率会高非常多
   

chinafenghao

@shang2010 where a = '' group by b.
如果按b来分区的话，where a的时候对磁盘的IO还是很比较大。读不存在并发问题，主要是IO问题。

我是这么理解的，

chinafenghao

@cenalulu
嗯，如果没有where b这种和直接group by b。联合索引肯定比单独做两个索引好。

chinafenghao

其实看楼主的描述，这个应该是他的一个测试，不是业务环境。应该最大的问题是硬件。