解析日志文件（200M），然后插入MYSQL数据库中，求大家指点，perl程序编写。多谢！

bzh_516

恳请大家帮帮忙，时间比较紧，我对perl也不怎么会，用shell写好了，领导一定让用perl。求帮助
目标，把日志中的字段解析出来，并对第四个字段中的WT.cg_page和WT.cg_onclick也单独保存在mysql库中的表。

日志sdc_02_17_2016(2).log：每个日志文件大概200M左右，日志行数10万行左右。每天有6个这样的不同的日志。
#Remark: DCS-p
#Software: WebTrends Data Collector         
#Version: 1.0
#Date: 2016-02-06 08:56:35
#Fields: date time c-ip  cs-uri-stem
2016-02-17 07:05:54 210.10.22.6  /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试号码
2016-02-17 07:05:54 21.13.33.6   /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试号码
2016-02-17 07:05:55 213.112.44.6 /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息
2016-02-17 07:05:55 211.14.55.6   /NetCar/chehao.onclick agentId=&WT.cg_page=基本信息&WT.cg_onclick=测试
.....

通过shell程序，解析日志中数据，并插入mysql数据库，5万条数据大概插入1个小时，效率比较低，还需大家帮忙能否帮写个perl的程序，多谢大家。

#!/bin/sh
a="sdc_02_17_2016(2).log"
HOSTNAME="10.22.0.17"
PORT="3306"
USERNAME="test"
PASSWORD="test"
DBNAME="dbtest"
TABLENAME="tabletest"

sed -i '/^#/d' $a

FILE="${TABLENAME}.sql"
rm -f $FILE

echo "insert into ${TABLENAME}(dateid,times,ip,uristem,cg_page,cg_onclick,createdate) values "> $FILE

while read c1 c2 c3 c4
do

if [ "$c4" = "cs-uri-stem" ]; then
continue
fi

cg_page=$(echo $c4|grep -oP '(?<=WT.cg_page=)[^&]*')
cg_onclick=$(echo $c4|grep -oP '(?<=WT.cg_onclick=)[^&]*')
echo "('"$c1"','"$c2"','"$c3"','"$c4"','"$cg_page"','"$cg_onclick"',now())," >> $FILE

done <$a

sed -i '$s/,$/;/' $FILE
mysql --default-character-set=utf8  -h${HOSTNAME} -P${PORT} -u${USERNAME} -p${PASSWORD} ${DBNAME} <  "$FILE"

laputa73

新手的话也就不推荐DBD了。
换成perl无非是把shell壳子换成perl壳子。
单条入就这个水平了，要快可以处理为csv文件，直接load data,不要写sql文件

bzh_516

换个壳子也可以啊。能帮我吗？回复 2# laputa73


   

RE_HASH

建议把标题上的“指点”改为“代工”。