求助 sheel 解析日志中的字段问题

bzh_516

sheel解析日志中，第一行的第3列中没有utm_source字段，如果没有此字段，放置为空置。并把解析的date、time 、cs-uri-query 、和cs-uri-query中的子字段areaCode、utm_source保存到mysql数据库中。

日志内容：
date time cs-uri-query  sc-status
2016-01-11 06:05:38 agentId=&comCode=&areaCode=W00110002&paraMap.cno=&WT.vt_f_tlh=1452493802&WT.co_f=24f5bbc4169de5bd57d1452493802886 200
2016-01-11 06:05:42 utm_source=P05-ADWBBDWX-WX1-SDTY-013677-150814&utm_medium=ad&utm_campaign=car&areaCode=W00210014&WT.co_f=21e9bbe4a1c0b7624361452493825701 200

下面我写的程序：需麻烦大家指点，如何解析出第3列中没有的字段设置为空置，并把想要解析的数据保存到数据库中。多谢

a=dcsgk64sl0000008yb6al4ec3_9x2w_sdc_02_15_2016
while read c1 c2 c3 c4
do

echo $c1
echo $c2
st=${c3#*agentCode=}
agentCode=${st%%&*}
##下面有问题，如何对没有的字段，设置为空置！
st=${c3#*utm_source=}     
utm_source=${st%%&*}

st=${c3#*WT.tz=}
tz=${st%%&*}

echo "agentCode1=" $agentCode "utm_source2=" $utm_source  "WT.tz3="  $tz  

#下面如何对解析的数据保存到mysql，第一次用sheel
done <$a

sync_1521

1. 先用awk生成sql语句，然后执行sql语句，思路仅供参考
   
2. awk --re-interval '/^[0-9]{4}(-[0-9]{2}){2}/{match($3,"utm_source=([^&]*)",a);match($3,"areaCode=([^&]*)",b);print "insert into table values(\""$1"\",\""$2"\",\""a[1]"\",\""b[1]"\");"}' file
   
3. insert into table values("2016-01-11","06:05:38","","W00110002");
   
4. insert into table values("2016-01-11","06:05:42","P05-ADWBBDWX-WX1-SDTY-013677-150814","W00210014");

复制代码

bzh_516

回复 2# sync_1521


谢谢您的回复，但是我把此按照此代码，还是报错。我对sheel刚接触，不好意思。

   

moperyblue

1. #!/bin/sh
   
2. 
   
3. while read c1 c2 c3 c4
   
4. do
   
5. 
   
6. if [ "$c3" = "cs-uri-query" ]; then
   
7. continue
   
8. fi
   
9. 
   
10. utm_source=$(echo $c3|grep -oP '(?<=utm_source=)[^&]*')
    
11. areaCode=$(echo $c3|grep -oP '(?<=areaCode=)[^&]*')
    
12. 
    
13. #echo $utm_source,$areaCode
    
14. 
    
15. echo 'insert into table values("'$c1'","'$c2'","'$utm_source'","'$areaCode'");'
    
16. 
    
17. done <file

复制代码

bzh_516

回复 4# moperyblue
非常感谢您，已经解决。真的太谢谢您了。

   

bzh_516

插入到阿里云mysql数据库乱码。
程序中也处理：cg_page=$(echo $c8 | iconv -f gb2312 -t utf8 |grep -oP '(?<=WT.cg_page=)[^&]*')
MYSQL字符集：
xuhao        Variable_name                Value
1        character_set_client                utf8
2        character_set_connection        utf8
3        character_set_database        utf8
4        character_set_filesystem        binary
5        character_set_results                utf8
6        character_set_server                utf8
7        character_set_system                utf8

Xshell中打印echo 是cg_page= 车辆信息，中午，mysql中保存乱码è&frac12，请帮助查看下，多谢

bzh_516

已经解决，谢谢大家