免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1548 | 回复: 3
打印 上一主题 下一主题

[文本处理] grep过滤优化 [复制链接]

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-03-07 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-03-22 11:03 |只看该作者 |倒序浏览
有21个url记录,需要从日志中过滤处理,这样写显得很臃肿,是否有简单些的方式?请教各位




find /data/  -type f  -name "*gz"    -exec zcat {} \;|grep -aE "$url1|$url2|$url3|$url4|$url5|$url6|$url7|$url8|$url9|$url10|$url11|$url12|$url13|$url14|$url15|$url16|$url17|$url18|$url19|$url20|$url21"


尝试使用for循环,但是效率太低了。压缩文件要重复zcat很多次。

for  url  in $urllist
do
    find   /data/  -type f  -name "*gz"    -exec zcat {} \;|grep -a  $url      

done

论坛徽章:
3
程序设计版块每日发帖之星
日期:2016-02-23 06:20:0015-16赛季CBA联赛之八一
日期:2017-10-26 17:58:2515-16赛季CBA联赛之北控
日期:2017-11-02 10:50:56
2 [报告]
发表于 2016-03-22 11:08 |只看该作者
本帖最后由 过过招 于 2016-03-22 11:09 编辑

1 21url内容使用变量替换。这个是无法避免的,要查找的内容有这么多。
2 不用find,直接zgrep查找。

评分

参与人数 1信誉积分 +5 收起 理由
x95527 + 5

查看全部评分

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-03-07 06:20:00
3 [报告]
发表于 2016-03-22 11:26 |只看该作者
直接用zgrep 是否比zcat效率更高?

回复 2# 过过招


   

论坛徽章:
3
程序设计版块每日发帖之星
日期:2016-02-23 06:20:0015-16赛季CBA联赛之八一
日期:2017-10-26 17:58:2515-16赛季CBA联赛之北控
日期:2017-11-02 10:50:56
4 [报告]
发表于 2016-03-22 11:34 |只看该作者
这就好比cat filename | grep xxxx  和grep xxxx filename。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP