用python写了个简单的python爬虫，大家看看

keeng2008

这个python爬虫代码的特点有：

ü 按优先级高低顺序抓取网页。

ü 使用默认的类似PageRank优先级，越多网页链接到的页面优先级越高，允许自定义优先级，如优先抓取以.html结尾的URL，或含有指定网址的URL。

ü 自动识别相对地址的URL，避免硬编码
本爬虫包含两个文件：

v Myspider.py 实现爬虫主要逻辑的代码

v spdUtility.py 两个Utility辅助类，优先级队列类和HTML解释类


http://www.kgblog.net/2009/04/25/pythonSpider.html
大家有什么改进意见，欢迎提出

[ 本帖最后由 keeng2008 于 2009-5-4 23:42 编辑 ]

teebye

帮顶

dooros

不错不错，学习了、