【讨论中】遇到个大数据表的问题 1个月的数据在2G左右

badeager

创建了一个表，字段有20多个， 数据一个月表大小2G-4G，
数据记录在8000万左右，
结果造成了查询一个数据记录需要20多秒，
搜索采用了多步查询，
  select  a from  testtable group by a
  select b from testtable where a='??' group by b
  ....
  基本数据是这样子的，

  针对这样的表，有什么优化的方法？

fengshijie

遇到 同样的问题，我的数据比你的还大。。。不晓得mysql是不是可以承受得住

chinafenghao

回复 1# badeager

楼主的硬件估计不太给力了，所以要想方法来处理了。
看你的sql，主要是where a group by b。
可以考虑一下几种方案。
1、使用分区表，以a为键来分区，这样每次group by就在一个分区里。
2、group by最好能够limit一下。
3、group by b的目的我不太清楚，如果你是为了取数量，你可以做一个临时表，不用实时跑。
4、硬件方面，这种group by肯定会用到临时表。所以可以监控硬件，group的时候哪方面的硬件资源不足，可以适当增加一些。
5、可以考虑将日志转出到infobright引擎做查询，效率会高非常多
   

cenalulu

单从语句来看，最直接的是加 (a,b)的联合索引。
这两个语句如果有这个联合索引，在8000w的数据量下应该是不成问题的。

后期的优化可以参考楼上的意见，分区，历史数据清理，转入数据仓库处理等

badeager

现在因为是数据库比较老， MYSQL5.1以下，导致了没有办法使用分区，不过后期决定解决。
还想问一个问题，分区可以做多层次的子分区吗？

可能分表也是个不错的选择

shang2010

@chinafenghao 1、使用分区表，以a为键来分区，这样每次group by就在一个分区里。


从理论上讲，应该以b为分区键的说才为合理，，这样多个分区可以并行计算。。。


不太懂mysql，，请拍砖

shang2010

@fengshijie

业务优化最先。。

chinafenghao

@shang2010 where a = '' group by b.
如果按b来分区的话，where a的时候对磁盘的IO还是很比较大。读不存在并发问题，主要是IO问题。

我是这么理解的，

chinafenghao

@cenalulu
嗯，如果没有where b这种和直接group by b。联合索引肯定比单独做两个索引好。