免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 8573 | 回复: 10
打印 上一主题 下一主题

如何能快速从亿级别数据量表中删除数据? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-05-21 01:11 |只看该作者 |倒序浏览
mysql 5.1
mysql> select count(*) from old_task_result;
+-----------+
| count(*)  |
+-----------+
| 2586906034 |
+-----------+
1 row in set (40.15 sec)

表是myisam类型

现在需要删除大约80%数据
是否关闭binlog,关闭从备份服务器,drop表上的索引,然后运行delete语句会快点?

谢先!

论坛徽章:
8
综合交流区版块每周发帖之星
日期:2015-12-02 15:03:53数据库技术版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每日发帖之星
日期:2015-09-14 06:20:00金牛座
日期:2014-10-10 11:23:34CU十二周年纪念徽章
日期:2013-10-24 15:41:34酉鸡
日期:2013-10-19 10:17:1315-16赛季CBA联赛之北京
日期:2017-03-06 15:12:44
2 [报告]
发表于 2010-05-21 08:35 |只看该作者
drop表上的索引
------------

disable->enable

论坛徽章:
0
3 [报告]
发表于 2010-05-21 16:53 |只看该作者
既然要删除80%的数据,1亿总量(假设表名aa)有用的也就2kw,为何不讲这两千万先导到一个新表a中,完了之后执行
  1. truncate aa;
  2. rename table a to aa;
复制代码
这样岂不是更快些?!

论坛徽章:
0
4 [报告]
发表于 2010-05-21 23:20 |只看该作者
既然要删除80%的数据,1亿总量(假设表名aa)有用的也就2kw,为何不讲这两千万先导到一个新表a中,完了之后 ...
jimnopq 发表于 2010-05-21 16:53



这个法子不错

论坛徽章:
0
5 [报告]
发表于 2010-05-22 13:00 |只看该作者
select into new_table 这个方法不错。

数据量是25亿,最后保留5亿。

插入5亿数据是否还有优化方法?
确认的包括:
1.binlog关闭,能提高1倍速度
2.slave同步关闭,能提高x倍速度


还有几个问题:
select into快,还是程序取出数据,然后批量execute_many insert插入快?前者数据免除了和客户端传递时间。但
独立insert可疑采用delayed特性,
select into可疑延时写数据库文件吗?

再谢!

论坛徽章:
0
6 [报告]
发表于 2010-05-22 13:12 |只看该作者
再请教一个问题
myisam格式数据文件操作,每次删除数据不知道是采用了什么策略?
标记删除,以后重用数据段?  (如果是这个方式,速度应该最快)
标记删除,下次找机会真正减小数据文件?(如果是这个方式,什么时候会真正减少文件大小呢?)
立即删除,立即重新减小数据文件?

删除操作对索引影响呢?
立即更新索引?
标记一下,以后再找机会更新索引文件?(可能性似乎不大,临时去掉索引可能最佳)

问题比较多,见谅

论坛徽章:
0
7 [报告]
发表于 2010-05-22 13:18 |只看该作者
写存储过程 , 用游标 删除

100万一次 瓶装sql 删除 。

这样不至于tmp空间不够。

另外这个25实在太大 ,最后有人维护

评分

参与人数 1可用积分 +4 收起 理由
枫影谁用了 + 4 方法很正确。

查看全部评分

论坛徽章:
0
8 [报告]
发表于 2010-05-22 13:19 |只看该作者
既然要删除80%的数据,1亿总量(假设表名aa)有用的也就2kw,为何不讲这两千万先导到一个新表a中,完了之后执行

   1. truncate aa;
   2. rename table a to aa;

复制代码
这样岂不是更快些?


----------这个方法用过,但是是失败
因为在线表 ,在10s的时间造成ui丢失很多数据

论坛徽章:
1
白银圣斗士
日期:2015-11-23 08:33:04
9 [报告]
发表于 2010-05-24 12:09 |只看该作者
写存储过程 , 用游标 删除

100万一次 瓶装sql 删除 。

这样不至于tmp空间不够。

另外这个25实在太 ...
liyihongcug 发表于 2010-05-22 13:18


YES  类似这样的方法 自动 。不太影响在线系统。或可以shell类的。

论坛徽章:
1
白银圣斗士
日期:2015-11-23 08:33:04
10 [报告]
发表于 2010-05-24 12:11 |只看该作者
drop表上的索引
------------

disable->enable
ruochen 发表于 2010-05-21 08:35


有关闭索引的时候等待,不如用这个时间来直接删除咯。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP