免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3533 | 回复: 7
打印 上一主题 下一主题

[文本处理] awk循环后,在shell获得其最后累计的值 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-06-25 11:32 |只看该作者 |倒序浏览
for type in ${types[@]}
do
        awk '/public\/static\/'${type}'\.html/{print $4}' $log | sort | uniq | awk 'BEGIN{FS="?"}{print $2}' | while read line
      do
           ......................
           show_sql="INSERT INTO ..............."
           show_sql=${show_sql}","'('${values}')'  #拼接SQL
          echo $show_sql #能获得想要的SQL
    done
   echo $show_sql #想获得最后的拼接好的SQL。。。。没有值输出
done
求大神指点啊???新手刚刚学习shell。。求解答,求思路。。。。现在啥也达不到。。。

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
2 [报告]
发表于 2014-06-25 11:41 |只看该作者
回复 1# 请叫我包包大人

管道会发起子进程,子进程里的变量不影响当前环境:
改一下while循环的结构:
    for type in ${types[@]}
do
      while read line
      do
           ......................
           show_sql="INSERT INTO ..............."
           show_sql=${show_sql}","'('${values}')'  #拼接SQL
          echo $show_sql #能获得想要的SQL
    done < <(awk '/public\/static\/'${type}'\.html/{print $4}' $log | sort | uniq | awk 'BEGIN{FS="?"}{print $2}' )
   echo $show_sql #想获得最后的拼接好的SQL。。。。没有值输出
done

论坛徽章:
5
未羊
日期:2014-08-04 16:15:21天秤座
日期:2014-08-13 13:52:372015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:112015亚冠之浦和红钻
日期:2015-06-29 15:30:48
3 [报告]
发表于 2014-06-25 11:43 |只看该作者
lz,给两样东西

1、$log来几行
2、types数组写出来


论坛徽章:
0
4 [报告]
发表于 2014-06-25 11:53 |只看该作者
118.186.64.232 - "GET /public/static/show.html?adid=5357209ee802435c728b456b&ad_type=CPC&type=1&at=1402848109000&app_id=534ba280e80243954b8b4567&udid=860037020239605&imsi=460025303541122&net=cmwap&app_version=1.0&sdk_version=2.0.3&device_name=vollo%20Vk202&device_brand=Spreadtrum&y=d78328c08263358e82903e8cabf6eb15&device_type=android&os_version=4.0.3&country_code=CN&root=true&channel=WAPS&device_width=480&device_height=800 HTTP/1.0" 200 2 "-" "-" "-"
118.186.64.232 - "GET /public/static/active.html?adid=5357209ee802435c728b456b&ad_type=CPC&type=1&at=1402848109000&app_id=534ba280e80243954b8b4567&udid=860037020239605&imsi=460025303541122&net=cmwap&app_version=1.0&sdk_version=2.0.3&device_name=vollo%20Vk202&device_brand=Spreadtrum&y=d78328c08263358e82903e8cabf6eb15&device_type=android&os_version=4.0.3&country_code=CN&root=true&channel=WAPS&device_width=480&device_height=800 HTTP/1.0" 200 2 "-" "-" "-"
118.186.64.232 - "GET /public/static/click.html?adid=5357209ee802435c728b456b&ad_type=CPC&type=1&at=1402848109000&app_id=534ba280e80243954b8b4567&udid=860037020239605&imsi=460025303541122&net=cmwap&app_version=1.0&sdk_version=2.0.3&device_name=vollo%20Vk202&device_brand=Spreadtrum&y=d78328c08263358e82903e8cabf6eb15&device_type=android&os_version=4.0.3&country_code=CN&root=true&channel=WAPS&device_width=480&device_height=800 HTTP/1.0" 200 2 "-" "-" "-"
types="active click download install show"
回复 3# dn833


   

论坛徽章:
0
5 [报告]
发表于 2014-06-25 12:13 |只看该作者
按照你说的试了试。。不行呢。。不执行。。。还有什么好的办法没???大神。。。回复 2# 关阴月飞


   

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
6 [报告]
发表于 2014-06-25 12:26 |只看该作者
回复 5# 请叫我包包大人
echo $show_sql #能获得想要的SQL
    done
   echo $show_sql #想获得最后的拼接好的SQL。。。。没有值输出
done

    你测试的结果中,哪一步不行?  上面所说的while循环内 变量外传 这个问题应该解决了吧???

论坛徽章:
0
7 [报告]
发表于 2014-06-25 14:05 |只看该作者
我卡卡——行了——老大——牛X——大神就是大神。。。非常感谢!!!回复 6# 关阴月飞


   

论坛徽章:
5
未羊
日期:2014-08-04 16:15:21天秤座
日期:2014-08-13 13:52:372015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:112015亚冠之浦和红钻
日期:2015-06-29 15:30:48
8 [报告]
发表于 2014-06-25 14:37 |只看该作者
号号lz的脉啊

lz你有一段log,你想取第四个字段也就是访问的url符合/public/static/(active|click|download|install|show)这样的规则,并且只要第一次出现的行,然后把这些结果再insert到库里

是这么个想法吗?


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP