shell 怎么处理mysql的批量更新

kakaliu

1. 
   
2. #!/bin/bash
   
3. dir=/home/kaka/mysqltest
   
4. TODAY=$(date -d now)
   
5. echo $TODAY
   
6. for i in `cat $dir/phone10W`
   
7. do
   
8. mysql -uroot -p123456 <<EOF
   
9.         use kaka;
   
10.         #select * from testuser;
    
11.         update testuser set birth='2014-01-24 15:00:00' where phone='$i';
    
12.         #select * from testuser where phone='$i'
    
13. EOF
    
14. done
    
15. echo "update done!!!"
    

复制代码

平常经常会用客户端做mysql的批量更新，基本都是通过手机号码作为查询的条件，有时候需要一次性批量更新20-30多万的手机号码某个字段值
但是客户端一次性批量更新 ，顶多一次性到5到6万的样子，如果一次性更新8万的时候 就会提示失败。
如果是20多W以上的号码，我都是每次选择5W一组一组的去更新，感觉手动太累了。
想到用shell，但是for循环这样去做更新 速度效率都太慢了吧！
看看各位大神 有没有什么办法 能写个快捷的shell ，或者python！谢谢！

Shell_HAT

一次更新5W你是怎么做的？

关阴月飞

回复 1# kakaliu


    先把所有UPDATE语句生成好，再导入mysql执行，这样会快很多.

q1208c

写个程序吧. perl, python 都可以.

kakaliu

Shell_HAT 发表于 2014-01-24 16:15
一次更新5W你是怎么做的？

比如phone.txt
13812345678
13912345678
.......

然后批量换成13812345678,13912345678，... 这样的格式

然后在客户端执行 update testuser set birth='2014-01-24 15:00:00' where phone in (13812345678,13912345678,...)  

我试过执行10万，客户端执行了一段时间报错,没有一个更新成功，如果是5W以下 一会儿就执行完毕了！

kakaliu

回复 4# q1208c


    python 咋写
用mysqldb模块的话

Shell_HAT

回复 5# kakaliu


你先用split命令把10W行的文件分成5W行的小文件

q1208c

回复 6# kakaliu

  这得去python版问问.
   

这个冬天不冷

用shell，挺折腾的，php多好，php和mysql是绝配啊

tzjz_8

楼主用这种方法：mysql -uUSER -pPASS -e "MYSQL COMMAND";