
平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 写了一个拉勾的爬虫……

[其他] 写了一个拉勾的爬虫…… [复制链接]

潜水一厮潜水一厮当前离线禁止发言好友博客消息论坛徽章: 3	电梯直达 1楼 [收藏(0)] [报告] 发表于 2017-03-12 17:22 \|只看该作者 \|倒序浏览提示: 作者被禁止或删除内容自动屏蔽
潜水一厮潜水一厮当前离线禁止发言好友博客消息论坛徽章: 3	文库\|博客使用正则表达式与lex实现词法分析器 C语言的MIPS汇编实现（四）SWITCH Requested init /linuxrc failed (error -2). 比较 csv 文件中数据差异 LMD ElPack v2019.7新版亮点：Transparent mode全新升级\|附下载

wlmqgzm

富足长乐

论坛徽章:: 9

2楼 [报告]

发表于 2017-03-13 15:09 |只看该作者

如果是百度这样的公司爬虫软件就很复杂，单模块都超过上万行代码。
即使是单模块，要取的变量也很多，除了标准的页面外，还有大量的变量和功能，多线程异步并发存取。。。。。。。。。。，总之，很复杂。

包括：第1个数据包的响应时间，用来判断对端服务器的响应速度
全部数据包的平均传输速率，判断对端服务器的带宽，
获取的对端服务器的时间，与标准时间的误差，用于判断对端服务器的维护程度。。。。

gzip / deflate 压缩格式，
页面分块传输的接收处理，

处理utf8与各种字符格式的转换，包括字符格式不一致，错误处理等等。

https处理
等等

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › C/C++ › 写了一个拉勾的爬虫……

潜水一厮潜水一厮当前离线禁止发言好友博客消息论坛徽章: 3	电梯直达 1楼 [收藏(0)] [报告] 发表于 2017-03-12 17:22 \|只看该作者 \|倒序浏览提示: 作者被禁止或删除内容自动屏蔽
潜水一厮潜水一厮当前离线禁止发言好友博客消息论坛徽章: 3	文库\|博客使用正则表达式与lex实现词法分析器 C语言的MIPS汇编实现（四）SWITCH Requested init /linuxrc failed (error -2). 比较 csv 文件中数据差异 LMD ElPack v2019.7新版亮点：Transparent mode全新升级\|附下载