mysql大数据插入删除同时进行，删除出错

xiaojuan198411

现在公司在做一个项目，需要对同一张表进行日志的插入与删除，插入采用批处理的方式，进行新日志的插入，删除用delete方式，删除过期的日志，每天插入的日志量大约是15个G左右，那删除过期日志也是按天，也大约是15个G，在删除过程中，总出现这样的问题，java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055)
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3515)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3447)
    at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)
    at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
    at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:254
    at com.mysql.jdbc.StatementImpl.executeUpdate(StatementImpl.java:1605)
    at com.mysql.jdbc.StatementImpl.executeUpdate(StatementImpl.java:1524)
    at org.apache.commons.dbcp.DelegatingStatement.executeUpdate(DelegatingStatement.java:196)
    at com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto.dellastlog(logmgmt_DelLogAuto.java:209)
    at com.lenovo.soc.logmgmt.LogDelService.delEarliestLog(LogDelService.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.run(LogDelService.java:114)
(1281547 ms) [Thread-120] INFO : com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto#info : 删除最早一天的记录错误
16:03:34,937 INFO  [         db.logmgmt_DelLogAuto]   - 删除最早一天的记录错误
java.sql.SQLException: Connection is closed.
    at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.checkOpen(PoolingDataSource.java:219)
    at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.setAutoCommit(PoolingDataSource.java:337)
    at com.lenovo.soc.logmgmt.logconfig.db.logmgmt_DelLogAuto.dellastlog(logmgmt_DelLogAuto.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.delEarliestLog(LogDelService.java:233)
    at com.lenovo.soc.logmgmt.LogDelService.run(LogDelService.java:114)
请教各们高手，该如何解决？

在线等，都3天了，还没有找到解决方法！

xiaojuan198411

是因为数据库操作有优先级的原因吗？删除的优先级要低于插入的，所以一直申请不到资源，所以一直删除不了数据？

909413335

对于你这个业务特点，用日期做分区，按天分区，删除数据的时候，一个alter table drop partition就搞定，非常的迅捷。

909413335

数据操作的默认优先级是DML操作高于SELECT操作，DML里的三种操作，是平级关系。
MYSQL可以通过参数调整语句优先级。

xiaojuan198411

请问楼上，怎么调整语句DEL为优先级最高啊？可以加我QQ：1448214847

ning_lianjie

Lock wait timeout exceeded; try restarting transaction

看报错信息,是所等待超时,这种删除应该在程序中设置成分批删除.
MySQL有没有异常?数据是否删除?

xiaojuan198411

mysql有异常，数据没有删除的了
请问楼上，设置分批删除，语句怎么写？谢谢:wink:

xiaojuan198411

回复 6# ning_lianjie
请问这个怎么写循环删除啊？


   

xiaojuan198411

回复 4# 909413335
请问怎么调整DEL优先级为最高？

   

cenalulu

从报错来看就是锁等待超时，简单了说就是delete时无法得到需要的LOCK（很可能是被Select阻塞）。
最好的解决方法是分析当时互相阻塞的语句。
但从现在的情况来猜测的话，是由于你的delete没有走上索引，导致全表扫描，需要获得table lock（我理解你需要删除的数据是不应该再有访问的）。
如果是这种原因造成的，解决方法就比较简单。
A. 对于delete的条件添加索引
B. 通过主键条件来进行删除。