免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › C/C++ › linux如何用C实现通过HTTP协议得到网页源代码(就是下载 ...
12下一页
最近访问板块 发新帖
查看: 15093 | 回复: 17
打印 上一主题 下一主题

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页) [复制链接]

kofj

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2005-03-30 12:42 |只看该作者 |倒序浏览
C标准库里面有没有类似的函数
哪里能够参考到资料,谢谢
man的话,请告知字段...
iwhy

论坛徽章:
0
2楼 [报告]
发表于 2005-03-30 13:08 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

好像你得自己实现一个简单的http服务器/客户端源代码（简单的http协议栈实现即可，提供一些基本的http协议包的解析，封装等）底层的发送采用socket。

至于怎么实现，你可以参考unix网络编程。或者近几个月比较产销的《深入理解计算机系统》，里面有一个Http服务的小例子。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lnux

论坛徽章:
0
3楼 [报告]
发表于 2005-03-30 14:12 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

这篇文章可能对你有帮助
http://bbs.chinaunix.net/forum/viewtopic.php?t=506598
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
benlan

论坛徽章:
0
4楼 [报告]
发表于 2005-03-30 14:25 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

wget url
就可以了

《深入理解计算机系统》  电子版 有没有下的...
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
capasult

论坛徽章:
0
5楼 [报告]
发表于 2005-03-30 14:49 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

如果只是Get的话还是很容易，不就是socket编程 + http协议，如果你想弄复杂的话，可以参考网上现有的程序，比如说一个著名的爬虫程序larbin
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
samuelz

论坛徽章:
0
6楼 [报告]
发表于 2005-03-30 15:14 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

man wget
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
windflowers1976

论坛徽章:
0
7楼 [报告]
发表于 2005-03-31 08:02 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

libcurl
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kofj

论坛徽章:
0
8楼 [报告]
发表于 2005-04-01 17:37 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

多谢大家了
wget
libcurl

至于建议的另外个帖子,我看过了,是通过socket底层自己构造http请求,呵呵,我也想这么编了,锻炼下自己~~而且这样的灵活性更好点我觉得

深入理解计算机系统,哪位有电子版的贡献下啊~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
JohnBull

论坛徽章:
0
9楼 [报告]
发表于 2005-04-01 20:26 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

简单极了。
建立好socket，然后write一句“GET /.../.../....html”
然后read就行了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
benlan

论坛徽章:
0
10楼 [报告]
发表于 2005-04-01 22:04 |只看该作者

linux如何用C实现通过HTTP协议得到网页源代码(就是下载网页)

原帖由 "JohnBull" 发表：
简单极了。
建立好socket，然后write一句“GET /.../.../....html”
然后read就行了。


遇到网页重定向就搞不定了，还是wget好
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP