免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3526 | 回复: 3
打印 上一主题 下一主题

【讨论中】遇到个大数据表的问题 1个月的数据在2G左右 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-09-15 17:51 |显示全部楼层 |倒序浏览
本帖最后由 cenalulu 于 2012-09-17 09:20 编辑

创建了一个表,字段有20多个, 数据一个月表大小2G-4G,
数据记录在8000万左右,
结果造成了查询一个数据记录需要20多秒,
搜索采用了多步查询,
  select  a from  testtable group by a
  select b from testtable where a='??' group by b
  ....
  基本数据是这样子的,

  针对这样的表,有什么优化的方法?

论坛徽章:
0
2 [报告]
发表于 2012-09-18 10:24 |显示全部楼层
现在因为是数据库比较老, MYSQL5.1以下,导致了没有办法使用分区,不过后期决定解决。
还想问一个问题,分区可以做多层次的子分区吗?

可能分表也是个不错的选择

论坛徽章:
0
3 [报告]
发表于 2012-09-22 21:03 |显示全部楼层
呵呵,现在只是测试,不过,以后会是业务的,机器不是问题,但是性能肯定是个问题,所以决定最后肯定需要分表,可能会涉及到分区。
这样应该可以解决这个问题。

论坛徽章:
0
4 [报告]
发表于 2012-10-04 10:58 |显示全部楼层
后来发现,硬件问题固然是一个点,但是硬件绝对没有办法完全解决这个问题。
现在采用了分表的方式,很好的解决了两个多月,近三个月的数据查询。
但是下一步还是需要分区, 以保证每个区的数据大小需要维持在这个状态即可。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP