免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 有无轻型的http 库支持zip 的开源库

最近访问板块

发新帖

查看: 4393 | 回复: 6

上一主题

下一主题

有无轻型的http 库支持zip 的开源库 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2010-05-03 21:29 |只看该作者 |倒序浏览

有无轻型的http 库支持zip 的开源库

谢谢

俺的小爬虫每天看了下6.5g byte 实在太多了，想支持gzip 不知道是不是会快很多。
如果支持gzip 不知道如何实现。

能讲下协议细节吗？
我不知道如何知道结果长度了，如果是块模式的话怎么获取结果长度呢？

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2010-05-03 21:38 |只看该作者

你现在用的是什么？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2010-05-03 21:43 |只看该作者

自己手写支持的http

效率底下的一个问题是不能太多线程，线程多了服务器要block.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2010-05-03 21:48 |只看该作者

可以试试libcurl，它支持gzip，我用这个平时开30线程，一天爬100w网页没有问题。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2010-05-03 22:16 |只看该作者

我只有3-5线程。请问有使用代理的办法吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2010-05-03 22:29 |只看该作者

在你的html请求表单里加上
accept-encoding deflate gzip
看看

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2010-05-03 22:35 |只看该作者

。。。不是请求不知道，而是如果对方支持gzip 我怎么解析结果的。
这段rfc 我没看

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 有无轻型的http 库支持zip 的开源库

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP