12 / 2 页

论坛徽章:: 0

11楼 [报告]

发表于 2012-11-21 19:51 |只看该作者

回复 10# laputa73

python2.7
sgmllib或者HTMLParser应该都可以实现。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

laputa73

巨富豪门

论坛徽章:: 42

12楼 [报告]

发表于 2012-11-22 08:39 |只看该作者

本帖最后由 laputa73 于 2012-11-22 08:52 编辑

回复 11# Scorpio0920
htmlparser不行吧
分析静态html还可以
它没有js引擎，不可能分析出动态资源的
sgmllib也不行。

现在的网页已经很少是单纯的静态页面了
也许分析下载以后的innerHTML还可以？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

ning_lianjie

版主

论坛徽章:: 2

13楼 [报告]

发表于 2012-11-22 08:55 |只看该作者

回复 2# linux_c_py_php

此话怎讲?为啥不学C,学什么都学不好?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

crifan

富足长乐

论坛徽章:: 0

14楼 [报告]

发表于 2012-11-22 09:35 |只看该作者

本帖最后由 crifan 于 2012-11-22 09:38 编辑

回复 10# laputa73

简单说：行。
其实可以说，不用urllib，自己写代码，都行。
毕竟，urllib，也是利用python本身的语言的特性，一点点写出来的。
只不过，一般来说，网络相关的处理，利用已有的urllib，urllib2等，会更加高效，避免重复造轮子而已。

但是很明显，你这里，自己不清楚逻辑而已。
所以自己去参考：
【整理】关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项
搞懂逻辑，然后再自己用工具：
【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程
去抓取你所需要的逻辑和内容。
即你这里的url（不管任何类型的，只要实际上出现了，理论上都可以抓取到的）列表。
再参考相关代码：
【教程】抓取网并提取网页中所需要的信息之 C#版

【教程】模拟登陆网站之 C#版（内含两种版本的完整的可运行的代码）

然后再写代码去实现你自己的逻辑。

还是那句话，关键在于自己要搞懂逻辑，然后才是具体实现。

话说，的确是靠自己很难搞懂。至少我之前想要找类似帖子，都很难找到说的清楚的。所以我基本弄懂后，才写出来给你们看的。