html表格型数据用bs或者re模块怎么分析出(提取)对应的值的超链接

prints

aspx的网页里面的表格数据，分析不出来，请各位路过的前辈，兄弟们多多帮忙啊。
我一天要打开许多次这个网页：http://www.porttrade.net/workinfo/PrintMD.aspx
我们要关注载有某种货物的船是否到了，如果这个网页上出现了，要知道它的中文船名，点最左边的船名可以进去看详细的内容，一天下来很是烦人，学python现在还是属于新手级的，许多地方的基本功都不扎实。看了源码在交互模式下搞了半天没有办法实现。
想法是用BeautifulSoup或正则表达式来取出对应的值，在这里只关心货物里面的“铁矿砂”，如果有就取出它的中文船名，然后获得链接地址获得里面的“备注”信息。
在此先谢过了！{:3_192:}

q1208c

回复 1# prints

第一步, 取到整个 url的 html txt
第二步, 把所有的"回车"全去掉
第三步, 以<tr> </tr> 重新加上回车.
第四步, 找到你要的行 "铁矿砂", 顺便就解析出了你要的船名.



   

timespace

不是都有想法了吗？一步一步做，遇到具体问题再发问。

prints

回复 3# timespace


    搞了一下午没搞成功，不是一步一步来，第一步就没想出办法。用bs模块和re都没想出办法来。

cdhigh

1. #!/usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. import urllib2,urlparse
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def TrItemList(tr):
   
7.     ' 根据一个TR对象，返回一个对应表格行的各列列表字符串 '
   
8.     lst = []
   
9.     for td in tr.find_all('td'):
   
10.         lst.append(td.string.strip() if td.string else '')
    
11.     return lst
    
12.    
    
13. def OpenUrl(url):
    
14.     try:
    
15.         opener = urllib2.urlopen(url)
    
16.         return opener.read()
    
17.     except Exception as e:
    
18.         print(str(e)) #自己处理异常信息吧
    
19.         return ''
    
20.    
    
21. def Main():
    
22.     url = 'http://www.porttrade.net/workinfo/PrintMD.aspx'
    
23.     page = OpenUrl(url)
    
24.     if not page:
    
25.         return
    
26.     page = page.decode('gbk')
    
27.     soup = BeautifulSoup(page)
    
28.     tab = soup.find('table', id='DataGrid2')
    
29.     if tab:
    
30.         for tr in tab.find_all('tr'):
    
31.             if u'铁矿砂' in TrItemList(tr)[5]:
    
32.                 td = tr.find('td')
    
33.                 a = td.find('a')
    
34.                 if a:
    
35.                     shipname = a.string.strip()
    
36.                     shipurl = urlparse.urljoin(url,a['href'])
    
37.                     #TODO
    
38.                     #船舶URL已经在这里了，剩下的就由你来做练习吧
    
39.                     print('SHIP(%s) URL:%s'%(shipname,shipurl))
    
40.     else:
    
41.         print('Not have table!')
    
42.         
    
43. if __name__ == '__main__':
    
44.     Main()
    

复制代码

timespace

已有楼上热心朋友提供的Python2版本了，我顺路提供个Python3的。

1. from bs4 import BeautifulSoup
   
2. from urllib.request import Request, urlopen
   
3. 
   
4. user_agent = \
   
5.         'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) '\
   
6.         'AppleWebKit/537.73.11 (KHTML, like Gecko) Version/7.0.1 '\
   
7.         'Safari/537.73.11'
   
8. 
   
9. def get_doc(url):
   
10.     req = Request(url, headers={'User-Agent': user_agent})
    
11.     return BeautifulSoup(urlopen(req).read().decode('GB18030'))
    
12. 
    
13. def main():
    
14.     doc = get_doc('http://www.porttrade.net/workinfo/PrintMD.aspx')
    
15.     for tr in doc.select('table#DataGrid2 > tr'):
    
16.         td = tr.select('td:nth-of-type(8)')
    
17.         if not td or td[0].string.find('铁矿砂') == -1: continue
    
18.         td = tr.select('td:nth-of-type(1) > a')
    
19.         if not td: continue
    
20. 
    
21.         name = td[0].string.strip()
    
22.         url = 'http://www.porttrade.net/workinfo/' + td[0]['href']
    
23.         tr_doc = get_doc(url)
    
24.         td = tr_doc.select('span#txtbz')
    
25.         if td:
    
26.             note = td[0].string.strip() if td[0].string else 'None'
    
27.             print('船名：{}\n备注：{}\n网址：{}\n'.format(name, note, url))
    
28. 
    
29. if __name__ == '__main__':
    
30.     main()
    

复制代码

执行输出：

1. (py3) bash-3.2 $python --version
   
2. Python 3.3.4
   
3. (py3) bash-3.2 $python bs.py
   
4. 船名：敬业6
   
5. 备注：货备新苏港
   
6. 网址：http://www.porttrade.net/workinfo/SASP.aspx?id=343989
   
7. 
   
8. 船名：长禄海
   
9. 备注：货备新苏港。
   
10. 网址：http://www.porttrade.net/workinfo/SASP.aspx?id=344094
    
11. 
    
12. 船名：浙海161
    
13. 备注：None
    
14. 网址：http://www.porttrade.net/workinfo/SASP.aspx?id=344096
    
15. 
    
16. 船名：金海鲲
    
17. 备注：None
    
18. 网址：http://www.porttrade.net/workinfo/SASP.aspx?id=344184
    
19. 
    
20. 船名：陆海顺
    
21. 备注：None
    
22. 网址：http://www.porttrade.net/workinfo/SASP.aspx?id=344199

复制代码

注：
1. 全面的异常检查，我就懒得做了。
2. 尽量加上与本地浏览器一致的User-Agent。
3. Python 3的源文件编码默认是UTF-8
如果经常抓网页数据，了解WEB基础是必须的，这不是一两个下午能搞定的，做好长期战斗准备。

prints

回复 5# cdhigh


    真心非常感谢，我得好好研究一番。

prints

回复 6# timespace


    也非常感谢你，看样子我还是得多积累，非常感谢你的热心！
    就是输出的结果都是按装货名称，没有卸货名称的。

prints

@timespace你的代码的main()里的内容没有看懂，能不能给个注解啊？

timespace

回复 9# prints
这里取的是第八列“装货名称”，你可以在这基础上随便改。细节就是两部分内容，其一要看bs4文档的select函数，其二就是了解CSS selector语法