免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1183 | 回复: 2
打印 上一主题 下一主题

[文本处理] curl命令输出过滤问题 [复制链接]

论坛徽章:
6
羊年新春福章
日期:2015-03-03 17:16:28双子座
日期:2015-03-03 17:16:56巳蛇
日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建
日期:2016-03-11 09:05:00黑曼巴
日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林
日期:2016-11-14 09:23:07
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-09-22 17:54 |只看该作者 |倒序浏览
今天遇到一个问题,使用curl访问一个页面,抓取页面内容
举个例子:
比如
curl http://www.baidu.com 正常输出html

curl http://www.baidu.com |grep 'html' 会打印速率

我不想用 curl http://www.baidu.com -o test.txt >/dev/null 2>&1然后再grep,因为这样会有很多个文件

然后我发现这样是可以的
curl http://www.baidu.com 2>&1 |grep 'html'
虽然输出中也会有速率,但是不影响我正常去过滤内容

我暂时的理解就是
curl http://www.baidu.com 2>&1 |grep 'html'
会将全部的内容通过管道进行处理
curl http://www.baidu.com |grep 'html'
只会将html内容进行处理,然后再最后打印的时候先输出速率再输出过滤内容

这里的速率是因为curl使用重定向造成的?使用管道和-o都会产生这个速率的输出

请各位大神,帮忙给细讲讲

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
2 [报告]
发表于 2016-09-22 21:44 |只看该作者
try:
curl -s

论坛徽章:
6
羊年新春福章
日期:2015-03-03 17:16:28双子座
日期:2015-03-03 17:16:56巳蛇
日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建
日期:2016-03-11 09:05:00黑曼巴
日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林
日期:2016-11-14 09:23:07
3 [报告]
发表于 2016-09-23 09:05 |只看该作者
回复 2# 关阴月飞

好用,谢谢
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP