用python爬虫抓站的一些技巧总结
学习《python Cookbook》 1，不使用临时变量来交换值 * 解决： 我们可以使用 python's automatic tuple packing and unpacking 来解决： >>> a,b,c = 2,3,4 >>> a,b,c = c,a,b >>> print a, b, c 4 2 3 * 原因 在 python 中，一个赋值语句中 = 的 lefthand 可以是一个变量，indexing(如 a)，或者一个属性引用(attribute reference)这些单个的 targ...
by ahhy - Python文档中心 - 2007-01-28 14:30:05 阅读（697） 回复（0）
这个python爬虫代码的特点有： ü 按优先级高低顺序抓取网页。 ü 使用默认的类似PageRank优先级，越多网页链接到的页面优先级越高，允许自定义优先级，如优先抓取以.html结尾的URL，或含有指定网址的URL。 ü 自动识别相对地址的URL，避免硬编码 本爬虫包含两个文件： v Myspider.py 实现爬虫主要逻辑的代码 v spdUtility.py 两个Utility辅助类，优先级队列类和HTML解释类 http://www.kgblog.net/2009/04/25/pythonSpider....
刚刚开了一个《计算机网络》的课，觉得很有用。正好师兄让我练习编写一个能下载网站网页的程序，正好能用上课上的知识了。为了想作一个效率不差的，而下载网页的性能瓶颈是在网络上，所有决定用python编写代码。刚学python没几天，学习一种语言的最好方法就是写code.下面的是我用的多线程实现的网络爬虫，并用py2exe生成了一个exe，自身觉得py2exe不太好，又不会更好的，只能...... 这是我这些天的成果。希望有人能提出好...
python: www.python.org Activepython: www.activestate.com Stackless python: www.stackless.com Ironpython: www.ironpython.com PyPy: pypy.org Django: www.djangoproject.com Mod_python: www.modpython.org Webware: www.webwareforpython.org CherryPy: www.cherrypy.org Web.py: webpy.org Zope:...
python: www.python.org Activepython: www.activestate.com Stackless python: www.stackless.com Ironpython: www.ironpython.com PyPy: pypy.org Django: www.djangoproject.com Mod_python: www.modpython.org Webware: www.webwareforpython.org CherryPy: www.cherrypy.org Web.py: webpy.org Zope: www.zope.org Turbogears: www.turbogears.org Wxpython: www.wxpython.org PyGtk: www.pygtk.org PyQt: http:...
1.类A中的一个方法Fun1调用了Func2的方法是这样来写的： class A: def start(self): self.Fun1() def Fun1(): 2.创建一个类的对象然后调用这个类中的一个方法 写一个类 class A: hostlist={} log=Log() def getHost(self): try: m=model_host() lines=m.selectMuti()#调用这个类中的一个方法 except Exception,e: print str(e) self.hostli...
今天偶然看到一篇博文（具体地址忘了，有愧于作者啊），发现自己在日常应用python的时候深受c/c++ 的影响。 举例：对于用python写快排函数，你会马上想到如下写法吗？ def sort(ls): return [] if ls == [] else sort([y for y in ls[1:] if y < ls[0]]) + [ls[0]] + sort([y for y in ls[1:] if y >= ls[0]]) 本人是没有想到，而�一购蚦一样老老实实的搞while什么的 我们要把python程序写的python化 本人愚见，望各...
python OpenSSL WrappersURL: http://sourceforge.net/projects/pow Description: python OpenSSL Wrappers(POW) is a set of comprehensive wrappers for python of the OpenSSL libraries. POW will provide a 'slim' interface which will still enable python developers to fully utilise OpenSSL License: BSD License pyOpenSSLURL: http://sourceforge.net/projects/pyopenssl Description: python wrapper around a sm...
爬虫工作的基本原理就是，给定一个初始的url，下载这个url的网页，然后找出网页上所有满足下载要求的链接，然后把这些链接对应的url下载下来，然 后再找下载下来的这些网页的url，我们可以用广度优先搜索实现这个算法. #!/usr/bin/python import urllib2 import re def downURL(url,filename): print url print filename try: fp = urllib2.urlopen(url) except: print 'download exception' ...
python是一门有趣的语言,当然也可以做一些有趣的东西. 先看看这个最简单的web服务器. import SimpleHTTPServer SimpleHTTPServer.test() 当然,这个server只能在localhost下面运行.但是却可以提供静态页面显示. 再看一个稍微复杂的. import SimpleHTTPServer import SocketServer PORT = 8800 handler = SimpleHTTPServer.SimpleHTTPRequestHandler httpd = SocketServer.TCPServer(("192.168.1.103",PORT),handler) print 'ser...
函数默认参数相关 默认值只被赋值一次：后续都采用第一次调用时的赋值。哪怕期间又给默认值参数传递了其他参数。 所以当默认值是一个可变对象时就很容易出错：可变对象是指list、dictionary、大多类的实例，而不包括tuple。 def test(item, coll = []): coll.append(item) print coll return coll if __name__ == '__main__': coll = test(1) # [1] coll = test(2, []) # [2] test(5) # [1, 5] 本文来自...
