sed处理大文件时效率低的问题

jiangxu67

各位好，最近我在写一个把mysql binlog拼成SQL的回滚脚本，我现在是通过用sed把一个大事务的每个DML操作拿出来拼成SQL
但是因为通常一个DML SQL可能影响少说几十万数据，这样记录到binlog内容可能超过千万行，mysqlbinlog解压后的binlog文件可能达到几个G

我先是通过把每个DML操作处理完就从binlog文件中删除首部的这个DML操作的行数
sed -i '1,'$dml_rows'd'  ./binlog.txt
但是发现这样处理大binlog需要很久，仔细想想确实不妥，处理文件需要重新保存这个过程太耗时
后来我改了脚本不去处理binlog源文件，而是把每个DML语句首行位置定位用sed找到每一个DML的位置打印出来处理
sed -n ''$dml_begin_pos','$dml_end_pos'p'  ./binlog.txt
这样比直接删除文件要快，但是对于1G左右几千万行的文本打印出来也要1秒多，请问还有什么更快的方法么？

ly5066113

回复 1# jiangxu67


数据库有个命令叫：

rollback

jiangxu67

回复 2# ly5066113


    mysql 我们现在配置是auto-commit...

另外淘宝大神改写的mysqlbinlog源码，我测试不好用，所以自己写脚本处理

jiangxu67

自己顶一下

Herowinter

1G1秒多还要更快,目测难度不小.

qq5910225

sed适合格式化文本，适合小文件，大文件推荐用mawk。

yestreenstars

回复 6# qq5910225

这是依据什么呢？
   

seesea2517

听起来好高级，操作binlog再来做回滚这样的操作方法不会造成数据丢失或不一致什么的，这得挺高端的技术啊，搬凳子学习学习。

jiangxu67

回复 8# seesea2517


    会有这个风险，毕竟生产环境数据实时在变化
我这个工具想法是把每个行变化的binlog说明截断出来做处理，可以选择条件字段和更新字段拼接成SQL
前几天有个开发手潮更新数据没加条件，全表20万数据嗷嗷的就毁了
话说MySQL自己的binlog回滚这方面做得让人头疼

jiangxu67

回复 5# Herowinter


    是啊，已经把1G文件打碎成100个速度提高的可怜...整体效率还是慢的一B啊