论坛徽章:: 2

电梯直达

1楼 [收藏(0)] [报告]

发表于 2015-12-20 14:18 |只看该作者 |倒序浏览

rt
怎么最近俩天发不了帖子了？

文库|博客

alwaysR9

白手起家

论坛徽章:: 2

2楼 [报告]

发表于 2015-12-20 14:19 |只看该作者

这个帖子却可以成功发出来

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

alwaysR9

白手起家

论坛徽章:: 2

3楼 [报告]

发表于 2015-12-20 14:20 |只看该作者

我这两天发的帖子刷新一下就跳转到404页面，不知什么原因
难道我贴子里有敏感词语或链接

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

alwaysR9

白手起家

论坛徽章:: 2

4楼 [报告]

发表于 2015-12-20 14:22 |只看该作者

这就是我一直发不出来的帖子：
-----------------------------------------
python写的高效爬虫组件——httpCollector

适用情况：当存在大量URL待爬取时，使用httpCollector比使用urlopen高效很多

接口： HttpCollector.start(urls, headers)

本地测试：学校限制网速最高500KB/s，在网络环境好的时候，使用httpCollector可以占满带宽

运行方式： python httpCollector.py 或者按照README中的脚本运行
（为了方便测试，urls.txt文件中包含800个美团店家URL）

有兴趣的朋友可以试试，如果能把带宽占用情况返回给我更好啦，我很希望知道在更高带宽下这个程序的下载速度。

HttpCollector.rar

8.16 KB, 下载次数: 14

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

alwaysR9

白手起家

论坛徽章:: 2

5楼 [报告]

发表于 2015-12-20 14:23 |只看该作者

适用情况：当存在大量URL待爬取时，使用httpCollector比使用urlopen高效很多

接口： HttpCollector.start(urls, headers)

本地测试：学校限制网速最高500KB/s，在网络环境好的时候，使用httpCollector可以占满带宽

运行方式： python httpCollector.py 或者按照README中的脚本运行
（为了方便测试，urls.txt文件中包含800个美团店家URL）

有兴趣的朋友可以试试，如果能把带宽占用情况返回给我更好啦，我很希望知道在更高带宽下这个程序的下载速度。