免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: lxyscls
打印 上一主题 下一主题

[其他] 想学HTTP,请问怎么入手呢? [复制链接]

论坛徽章:
0
11 [报告]
发表于 2015-07-09 16:06 |只看该作者
HTTP只是个固定协议格式,看一次就够了。
还要什么其他高大上的东西?

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
12 [报告]
发表于 2015-07-10 09:51 |只看该作者
回复 11# nameofhsw


    我是想学学构建一个可用的HTTP模块:譬如代理什么的,反过来也掌握一下协议本身

论坛徽章:
0
13 [报告]
发表于 2015-07-10 15:22 |只看该作者
代理的配置是和socket相关的,其实和http本身没有什么关系。
可以找一些开源的HTTP爬虫

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
14 [报告]
发表于 2015-07-13 10:07 |只看该作者
nameofhsw 发表于 2015-07-10 15:22
代理的配置是和socket相关的,其实和http本身没有什么关系。
可以找一些开源的HTTP爬虫


嗯,您说得对,不过我找到的爬虫基本都是Java base的

论坛徽章:
0
15 [报告]
发表于 2015-07-15 10:42 |只看该作者
回复 14# lxyscls
HTTP爬虫本质上来说就是高效率访问多个网址。所以实际上用到的可能就是:
1.并发(异步IO,多进程,多线程都可以)
2.发送HTTP请求,获取响应(socket直接建立tcp通信)
3.解析HTTP响应,head和body

所以,我觉得HTTP本身并不是难点所在。按照协议构造请求包,以及按照协议分析响应包就好。
我仅仅知道几个脚本语言写的开源软件,所以这方面也帮不上忙了。



   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP