求助：mysql 数据量太大的问题

cxr1217

现在我面临这样一个问题：
      现在有个项目，数据库中其中一个表有近4千万的数据，mysql的确很强大了，从这4千万的数据里面现在进行查询操作没有什么问题。可是这个表现在在以每天50万条的速度在增加，项目已经完成了，现在处于后期维护阶段，
      1.我担心这个巨大的数据量会有一天出问题。
      2.而且现在数据总共有2G，而索引就有2.4G，所以大于了数据的大小，这也是个问题。索引也会越来越大，因为是各个条件的查询，几乎每个字段都要建立索引。
      3.在维护阶段，我想把隐含的这些问题解决掉，防止它们万一哪天突然就爆发了，可是，我该怎么解决呢，能最少限度的改变现在的程序。程序是多人开发的，我一个人维护，所以希望能改动小些。
       希望兄弟姐妹s给出个主意，谢谢。
       我现在脑子里有的方法是拆表，还有别的么？

gogo407

原帖由 cxr1217 于 2008-10-15 10:29 发表
现在我面临这样一个问题：
      现在有个项目，数据库中其中一个表有近4千万的数据，mysql的确很强大了，从这4千万的数据里面现在进行查询操作没有什么问题。可是这个表现在在以每天50万条的速度在增加，项目 ...

我想把隐含的这些问题解决掉，防止它们万一哪天突然就爆发了
呵呵，你能想到什么问题，分表从应用层处理是最容易的
50w一天
一年360*50w=18000w
所以我认为要么就把逻辑交代清楚，每天会删除多少数据，还是有多少数据可以进行归档
要不然麻烦，你又不想分表
这么搞一年是2亿条数据 ，单个数据库够呛：）

cxr1217

原帖由 gogo407 于 2008-10-15 10:54 发表

我想把隐含的这些问题解决掉，防止它们万一哪天突然就爆发了
呵呵，你能想到什么问题，分表从应用层处理是最容易的
50w一天
一年360*50w=18000w
所以我认为要么就把逻辑交代清楚，每天会删除多少数据，还 ...

谢谢gogo407 ，我的这些数据是不删除的，都在表里面存着。
我能想到的问题是，
    1.一个表里面的数据太多，可能会造成表损坏。虽然说一次损坏我可以修复。但是如果总损坏，我可受不了。不忙别的，老修复他们了。
    2.还有就是现在查询速度虽然还OK，但是数据如果再增加一定会影响查询的速度。
    3.还有就是，索引太大了，不会有问题么，这个心里没底……
    4.你说的应用层处理能详细些么？

yueliangdao0608

拆吧。按照你们的逻辑进行拆。当然你们的逻辑我不清楚，服务器的参数也不清楚。

gogo407

原帖由 cxr1217 于 2008-10-15 11:09 发表


谢谢gogo407 ，我的这些数据是不删除的，都在表里面存着。
我能想到的问题是，
    1.一个表里面的数据太多，可能会造成表损坏。虽然说一次损坏我可以修复。但是如果总损坏，我可受不了。不忙别的，老修复 ...

    1.一个表里面的数据太多，可能会造成表损坏。虽然说一次损坏我可以修复。但是如果总损坏，我可受不了。不忙别的，老修复他们了。
单个myisam表的修复，随着表原来越大，修复的时间也是越来越长
    2.还有就是现在查询速度虽然还OK，但是数据如果再增加一定会影响查询的速度。
  数据肯定有影响，而且你如此快的速度增加，索引这样多，插入也会收到一定影响
    3.还有就是，索引太大了，不会有问题么，这个心里没底……
见2
    4.你说的应用层处理能详细些么？
比如你每次都是新插入数据，而老数据并不会修改，只负责查询，这样，你每周都可以写到一个新的数据表里面，而以前的数据可以按年或者按月进行归档！当然我的建议是假设你的数据库是类似广告点击记录的形式

cxr1217

原帖由 gogo407 于 2008-10-15 15:48 发表

    1.一个表里面的数据太多，可能会造成表损坏。虽然说一次损坏我可以修复。但是如果总损坏，我可受不了。不忙别的，老修复他们了。
单个myisam表的修复，随着表原来越大，修复的时间也是越来越长
    2. ...

  呵呵 谢谢，的确是你说的记录广告点击的。 看来我只有拆了。
  对了，数据库分区可以解决这个问题么？

ruochen

还是拆表
按历史归档吧