免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2724 | 回复: 3

[游戏娱乐] shell 爬虫 [复制链接]

论坛徽章:
0
发表于 2016-01-06 14:01 |显示全部楼层
爬糗事一个小程序 很简答
昨天开始在看py 爬虫
但是tm 的 看不懂。
例子运行也失败了
想了想 用shell 写了个入门的
VirtualBox_Ubuntu_06_01_2016_13_55_17.png
  1. #!/bin/bash
  2. page=1

  3. function get_html(){

  4.    curl -A "Mozilla/4.0 £šcompatible£» MSIE 6.0£» Windows NT 5.0£©" qiushibaike/8hr/page/$page>fun

  5.     echo "This is page$1"

  6.     sed -n '/<div class="content">/,/<\/div>/p' fun|sed 's/^<.*//g' |sed '/^ *$/d'>f
  7.     read_by_line

  8.     let page=$1+1

  9.     have_fun $page

  10. }



  11. function have_fun()

  12. {

  13. for i in `seq 10`

  14. do
  15.    

  16.     Input_user=n

  17.     i=$page

  18.     Input_user=0

  19.     if [ $i -eq 1 ]

  20.     then

  21.         echo "have fun"

  22.         get_html $i

  23.     else

  24.         echo "Continue? [y|N]"

  25.         read Input_user

  26.     fi



  27.     if [[ $Input_user == N ]]

  28.     then

  29.         exit

  30.     else

  31.         get_html $i

  32.     fi

  33. done       

  34. }


  35. function read_by_line()
  36. {   
  37.     clear
  38.     while read line
  39.     do
  40.         echo
  41.         echo $line |sed 's/<br\/>/\n/g'
  42.         echo
  43.         echo "Continue [y|N]"

  44.         read Input_user</dev/tty
  45.         if [[ $Input_user == N ]]
  46.         then
  47.             exit
  48.         fi
  49.     done <f
  50. }


  51. have_fun

  52. rm -rf f fun
复制代码

论坛徽章:
0
发表于 2016-01-06 14:02 |显示全部楼层
把网址改一下就好了

论坛徽章:
2
15-16赛季CBA联赛之北控
日期:2016-01-19 15:19:55程序设计版块每日发帖之星
日期:2016-01-25 06:20:00
发表于 2016-01-19 15:02 |显示全部楼层
学习了回复 2# Piaomiao139


   

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-01-15 06:20:00操作系统版块每日发帖之星
日期:2016-01-16 06:20:00IT运维版块每日发帖之星
日期:2016-02-04 06:20:00数据库技术版块每日发帖之星
日期:2016-02-04 06:20:00程序设计版块每日发帖之星
日期:2016-02-10 06:20:01每日论坛发贴之星
日期:2016-02-10 06:20:01
发表于 2016-01-19 22:55 |显示全部楼层
用curl和sed提取页面还特别巧,赞一个
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。




----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP