利用python 向百度发送搜索请求，并抽取搜索结果

Tinylamb

出于工作的需要，需要从百度的搜索结果页抓取大量内容。

想到python做这种机械工作很方便，就写了一段代码

1. 
   
2. def search(key):
   
3.         import urllib2
   
4.         from BeautifulSoup import BeautifulSoup
   
5.         #observe the pattern of search url
   
6.         search_url='http://www.baidu.com/s?wd=key&rsv_bp=0&rsv_spt=3&rsv_n=2&inputT=6391'
   
7.         # search your keyword
   
8.         req=urllib2.urlopen(search_url.replace('key',key))
   
9.         result=[]  #store result
   
10.         for count in range(10):#search for 10 pages
    
11.                 html=req.read()
    
12.                 soup=BeautifulSoup(html)
    
13.                 result+=[i.string for i in soup('a',{'onmousedown':True})]
    
14.                 next_page='http:www.baidu.com/'+soup('a',{'href':True,'class':'n'})[0]['href'] # search for the next page
    
15.                 req=urllib2.urlopen(next_page)
    
16.         f=open(r'result.txt','w')
    
17.         for i in result:
    
18.                 f.write(i+'\n')
    
19.         f.close()
    
20. if __name__=='__main__':
    
21.         key=raw_input('input key word:')
    
22.         search(key)
    

复制代码

但是运行的时候，报错一个问题。提示no host given.

1. req=urllib2.urlopen(next_page)

复制代码

我的问题是：打开的是标准的url，怎么会提示缺少host?
另外，我补充代码

1. 
   
2. header='www.baidu.com'
   
3. req=urllib2.urlopen(next_page,header)
   

复制代码

仍然行不通。

请大家说说解决方案。

mozillazg

第13行的“http:www.baidu.com/”应为“http://www.baidu.com/”

Tinylamb

回复 2# mozillazg


    THX.what a fucking error!