菜鸟求助，关于搜索结果的抓取和处理

daishulzd

我想用使用python做一个脚本，他的功能是根据关键词在 http://www.csres.com/ 这个网站上获取标准的名称和现状（主要是废止和现行），最好可以批量查询。请大侠帮忙给个思路，最好能有代码，我是用来学习的。谢谢

xtdumpling

先得到大的分类，记录下各个子分类的地址，然后逐个获取就好了，表的格式都是一样。
要查询的话，自己做个对应数据库

daishulzd

谢谢，可是我有点不太理解你的意思，能不能说的详细一些，我现在主要是搞不清我获得的内容的格式和处理方法，我有一个获得搜索结果的小脚本，请大侠帮忙看一下。

1. from urllib import request,parse
   
2. import re,sys
   
3. 
   
4. url = 'http://www.csres.com/s.jsp?keyword='
   
5. key = input('请输入标准名字或关键字:')
   
6.    
   
7. key = parse.quote(key) #统一编码成utf-8
   
8. url += key
   
9.         
   
10. mf = request.urlopen(url)
    
11. c = mf.readall()
    
12. 
    
13. c = str(c,encoding = 'utf-8')

复制代码

daishulzd

哪位大侠过来看看呀

anonymous0502

2楼已经指明方向了啊，剩下的是敲键盘的体力活。
比如从：http://www.csres.com/sort/index.jsp获取页面源代码，用分析html的模块也好用re正则表达式也好，去把你要的分类和分类对应的url整理提取出来。然后获取得到的大类url页面源代码，再去获取下一级分类以及提取该分类对应的url，然后就是循环去打开url一页页循环提取数据了。前面所有提取得到的分类页面url是在外部大的循环里。

或者不用循环，把所有要抓取的url都整理出来，放入线程队列，开多线程去抓取结果处理结果。

daishulzd

谢谢，我才开始学习python，所以不太理解，谢谢大侠耐心讲解

anonymous0502

那还是找几本基础的书先从基础的开始学吧，python简明教程最简单
然后再找些：核心编程，基础教程之类的入门书再看看就会写了
或者基础学完直接找你感兴趣的模块了解怎么使用就可以马上用起来了

daishulzd

恩，现在正在看，谢谢

lastfile

python上手好快的