【讨论中】mysql分组统计

hanking123

求大仙，，本人大数据量有几千万条数据，分组统计的时候，sql语句 为 “insert into 表1 select id,x,y,count(*) from 表2 group by id,x,y;”但是查询效率特别慢，，基本得不到结果。。那位高人指点一下，，怎么进行优化呢。。。

bikong0411

该建的索引都建了吗

seesea2517

语句看上去是没啥优化的余地了吧。

hanking123

我的数据没有主键，因为所有字段都有重复的值，我以id，x，y建立了索引，，但是分组查询的时候感觉作用不是很大啊，，没看到有什么作用。。。望解答，，不胜感激啊回复 2# bikong0411


   

G8bao7

select id,x,y,count(*) from 表2 group by id,x,y
执行这个sql需要多长时间？并且贴下explain

如果explain用到了索引，但如果select的结果集很大，肯定也比较耗时，可以拆分多批次insert，比如根据ID值进行划分，这个要看具体的数据分布，

bikong0411

回复 4# hanking123


    按楼上说的，先看执行计划

hanking123

我运行了一天一夜都没有得到结果，，结果集我估计得有1千万左右吧，，这跟插入的批次有关系吗？不插入只是查询也需要很长时间吧，，有没有啥好方法呢。。回复 5# G8bao7


   

G8bao7

单次查询结果返回1千万左右的数据，即使能返回你也不会用到返回所有结果。

不一定能满足你的需求，但应该比1条sql效果好点，大概思路:
先观察下ID的分布情况，select id,count(*)  as num from 表2 group by id order by null;
    如果每个ID对应的num都不是很大，假设返回1K行，每个num在1W左右
    循环，每次查询1个iD对应的数据select id,x,y,count(*) from 表2 where id=查询ID group by x,y ORDER BY null;

  当然，真实数据可能分布的没这么均匀，就需要再用x/y进行进一步细分，保证每次select命中的结果范围别太大效率应该没什么问题
   

hanking123

可以值得一试
回复 8# G8bao7


   

hanking123

但是ID有几百万个那，，难道还要一个一个查询码回复 8# G8bao7