shell解析日志，插入mysql数据库效率很低，请教大家如何提高效率，非常感谢！

bzh_516

日志sdc_02_17_2016(2).log：每个日志文件大概200M左右，日志行数10万行左右。
#Remark: DCS-p
#Software: WebTrends Data Collector        
#Version: 1.0
#Date: 2016-02-06 08:56:35
#Fields: date time c-ip  cs-uri-stem
2016-02-17 07:05:54 210.10.22.6  /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试号码
2016-02-17 07:05:54 21.13.33.6   /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试号码
2016-02-17 07:05:55 213.112.44.6 /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息
2016-02-17 07:05:55 211.14.55.6   /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试
.....

通过shell程序，解析日志中数据，并插入mysql数据库，5万条数据大概插入1个小时，效率比较低，还需大家帮忙看下程序，如何能提高效率，非常感谢。

#!/bin/sh
a="sdc_02_17_2016(2).log"
HOSTNAME="10.22.0.17"
PORT="3306"
USERNAME="test"
PASSWORD="test"
DBNAME="dbtest"
TABLENAME="tabletest"

sed -i '/^#/d' $a

while read c1 c2 c3 c4
do
if [ "$c4" = "cs-uri-stem" ]; then
continue
fi

cg_page=$(echo $c4|grep -oP '(?<=WT.cg_page=)[^&]*')
cg_onclick=$(echo $c4|grep -oP '(?<=WT.cg_onclick=)[^&]*')

insert_sql="insert into ${TABLENAME}(dateid,times,ip,uristem,cg_page,cg_onclick,createdate) values('"$c1"','"$c2"','"$c3"','"$c4"','"$cg_page"','"$cg_onclick"',now())"

mysql --default-character-set=utf8  -h${HOSTNAME} -P${PORT} -u${USERNAME} -p${PASSWORD} ${DBNAME} -e  "${insert_sql}"  

done <$a

我是一隻羊

加上并发试试...并发数自己控制下...loop_operation里的注释行部分放你的操作...循环条件自己改下....

1. #!/bin/bash
   
2. basePath=$(cd $(dirname $0);pwd)
   
3. operationList="$basePath/iplist"
   
4. threadFile="$basePath/thread.pipe"
   
5. threadNum=50
   
6. 
   
7. Init_thread(){
   
8.     thread_file=$1
   
9.     thread_num=$2
   
10.         rm -rf $thread_file
    
11.         mkfifo $thread_file
    
12.         exec 9<>$thread_file
    
13.     if [ "$2" == 0 ];then
    
14.         return
    
15.     else
    
16.         for num in $(seq 1 $thread_num);do
    
17.             Operate_fd insert
    
18.         done
    
19.     fi
    
20. }
    
21. 
    
22. Operate_fd(){
    
23.         case $1 in
    
24.                 insert) echo " " 1>&9   ;;
    
25.                 delete) read -u 9   ;;
    
26.         esac
    
27. }
    
28. 
    
29. loop_operation(){
    
30.     for host in $(awk '$0=$1' $operationList);do
    
31.         Operate_fd delete
    
32.         {
    
33. 
    
34.             # ur cmds
    
35. 
    
36.             Operate_fd insert
    
37.         }&
    
38.     done
    
39.     wait
    
40. }
    
41. Main(){
    
42.     Init_thread $threadFile $threadNum
    
43.     loop_operation
    
44. }
    
45. Main

复制代码

bzh_516

谢谢您，我也是这周才接触shell的。通过查找资料及咨询，才写的上面的程序。您写的好多看不太懂，毕竟我学的不精，不好意思，不知道能否在我写的上面进行优化，可以解决此事。再次感谢您的回复。回复 2# 我是一隻羊


   

moperyblue

先将处理完的数据生成文件 再用mysql的load方式 把文件里的数据加载进数据库

vagrant_1220

先判断你导入慢的瓶颈在哪，如果排除是本机IO或数据库服务器瓶颈，只是你脚本效率问题，可以先格式化你的日志，使用mysql 的load data infile  速度会很快的。

bzh_516

我刚接触shell，上面的语句也是写起来挺费劲的，能否在上面的基础上处理，多谢！回复 5# vagrant_1220


   

seesea2517

找找慢在哪里，是连接慢，还是IO慢，是硬盘慢，还是网络慢，或是数据表结构不合理造成数据库操作慢。
看这个情况，每一条日志就要做一次数据库连接，建立连接是比较耗时的操作，建议在循环里生成所有的插入语句（使用扩展的插入语句），然后在循环外执行一次mysql操作即可。这只是根据现有的程序结构来说，楼上几位说的 load data 的方法更好，速度飞快哦。

baby_神

感觉你那个每插入一条数据，就要重新连接数据库，是不是这个原因引起的？

bzh_516

您好，能根据我的程序，调整为load file的方式吗？毕竟我刚接触shell，这样如果方便提供，我参考下，非常感谢！回复 7# seesea2517


   

seesea2517

回复 9# bzh_516

大概类似这样，没有测试，请参考：

1. #!/bin/sh
   
2. a="sdc_02_17_2016(2).log"
   
3. HOSTNAME="10.22.0.17"
   
4. PORT="3306"
   
5. USERNAME="test"
   
6. PASSWORD="test"
   
7. DBNAME="dbtest"
   
8. TABLENAME="tabletest"
   
9. 
   
10. temp_file="xxxxxxxxxxxx.sql.tmp"    #### 修改的地方
    
11. 
    
12. sed -i '/^#/d' $a
    
13. 
    
14. while read c1 c2 c3 c4
    
15. do
    
16. if [ "$c4" = "cs-uri-stem" ]; then
    
17. continue
    
18. fi
    
19. 
    
20. cg_page=$(echo $c4|grep -oP '(?<=WT.cg_page=)[^&]*')
    
21. cg_onclick=$(echo $c4|grep -oP '(?<=WT.cg_onclick=)[^&]*')
    
22. 
    
23. echo "$c1\t$c2\t$c3\t$c4\t$cg_page\t$cg_onclick" >> $temp_file  #### 修改的地方
    
24. 
    
25. done <$a
    
26. 
    
27. #### 修改的地方
    
28. #### createdate 设置为默认值为当前时间就不用导入它了
    
29. mysql --default-character-set=utf8  -h${HOSTNAME} -P${PORT} -u${USERNAME} -p${PASSWORD} ${DBNAME} -e  "lode data local infile $temp_file into table ${TABLENAME}"
    

复制代码