如何用shell获取html网页中指定的文本数据

sofs

我要获取这个网页  best.pconline.com.cn
里面的主题列表的 标题，链接，发布时间，如下图：

请问怎么用shell(tr sed  awk grep 等linux中默认存在的命令)实现？

求教，谢谢。

jason680

Xidel is a command line tool to download and extract data from HTML/XML pages as well as JSON APIs .

http://videlibri.sourceforge.net/xidel.html

sofs

研究了很久，没搞定……

tuyajie

你看你能不能把页面抓下来我们一起讨论讨论~~

reb00t

1. import sys
   
2. from lxml import etree
   
3. reload(sys)
   
4. sys.setdefaultencoding("utf8")
   
5. import requests
   
6. r = requests.get('http://best.pconline.com.cn/')
   
7. html =  r.text
   
8. xmlhtml  =  etree.HTML(html)
   
9. content = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[1]/a[2]/text()')
   
10. urllist = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[1]/a[2]/@href')
    
11. lastime  = xmlhtml.xpath('//div[starts-with(@id,"topic")]/div[2]/div[2]/span[2]/text()')
    
12. 
    
13. data_text = [ text for text in content ]
    
14. data_url  = [ url for url in urllist ]
    
15. data_time = [ t.strip() for t in lastime ]
    
16. 
    
17. for i  in  xrange(0, len(data_text), 1):
    
18.         print "%s, %s, %s"  % (data_text[i], data_url[i], data_time[i])

复制代码

结果：
2岁啦！聚超值2周年庆之线下沙龙活动   , http://best.pconline.com.cn/youhui/157456.html, 08-27 11:52
LifeVC小芙 足底按摩器-揉捏型, http://best.pconline.com.cn/youhui/159049.html, 08-31 22:51
Thomas Friends托马斯和朋友之 宝宝的第一个托马斯BCX71, http://best.pconline.com.cn/youhui/159048.html, 08-31 22:00
LifeVC丽芙家居 碳钢 双层 洗衣机置物架, http://best.pconline.com.cn/youhui/159047.html, 08-31 21:16

...
...

sofs

回复 4# tuyajie


    用curl或者wget保存页面到本地再进行分析也可以

sofs

回复 5# reb00t


    boot哥，搞定了吗？

sofs

我又搞了好久，还是没搞出来

sofs

我又搞了好久，还是没搞出来

MMMIX

回复 9# sofs


    shell 脚本做这个实在不是什么合适的选择；还是看看其他对解析 html 有更好支持的编程语言吧。