免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 如何用Perl读取一个WEB页面的内容？
最近访问板块 发新帖
查看: 4062 | 回复: 7
打印 上一主题 下一主题

如何用Perl读取一个WEB页面的内容？ [复制链接]

xfind

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2008-05-26 10:29 |只看该作者 |倒序浏览
刚学Perl，想用Perl定期读取一个WEB页的内容（就是在WEB页上查看源码看到的东西，这个WEB页是允许这个操作的），我完全不知道要用到哪些模块，怎么做，可否请大家指点一下，如果有这样的例子最好了，先谢了
luckyelement

论坛徽章:
0
2楼 [报告]
发表于 2008-05-26 11:06 |只看该作者
lwp
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
King_Leo

论坛徽章:
0
3楼 [报告]
发表于 2008-05-26 11:33 |只看该作者
我在前两天问了一个问题，贴的代码对你有启示作用

另外版里搜搜吧，有些有用的资料~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xfind

论坛徽章:
0
4楼 [报告]
发表于 2008-05-26 12:01 |只看该作者
我先搜索过的，不过大家的问题都是挺复杂的，其实我就是简单的获取全部内容，不分什么头还是什么的，是要用到LWP模块吗？我先去找一下这个模块的资料
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hfahe

论坛徽章:
0
5楼 [报告]
发表于 2008-06-22 12:27 |只看该作者
LWP::Simple 或者LWP::UserAgent
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
redicaps

论坛徽章:
0
6楼 [报告]
发表于 2008-06-22 16:43 |只看该作者
自己perldoc下快多了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
小公猫

论坛徽章:
0
7楼 [报告]
发表于 2008-06-24 09:32 |只看该作者
这种问题google一下比这边发帖快无数倍
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ningzi98

论坛徽章:
0
8楼 [报告]
发表于 2008-06-25 12:11 |只看该作者
发个我自己写的代码,是取GOOGLE的天气的情况的,包括解析网页的.你应该可以拿来参考参考.还可以下图片的.

  2. #!/usr/bin/perl
  3. use strict;
  4. use Cwd;
  5. use Socket qw(:DEFAULT :crlf);

  7. ####################################给小于10的数值在前面添0
  8. sub fillzero
  9. {
  10.         my($num)=@_;
  11.         if($num<10)
  12.         {
  13.                 return "0".$num;
  14.         }
  15.         else{
  16.                 return $num;
  17.         }
  18. }

  20. my ($socket,$buffer,%image);
  21. my ($path)=getcwd()."/";
  22. my ($image_path)=$path."image/";
  23. my ($host,$port)=("www.google.com",80);
  24. my($sec,$min,$hour,$day,$month,$year,$wday,$yday,$isdst) = localtime();
  25. $year+=1900;$month+=1;$month=fillzero($month);$day=fillzero($day);
  26. my @city=("南宁",);
  27. my $head="GET http://www.google.cn/search?hl=zh-CN&q={city}+tq&btnG=Google+%E6%90%9C%E7%B4%A2&meta=&aq=f HTTP/1.0\r\n";
  28. $head.="Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*\r\n";
  29. $head.="Referer: http://www.google.cn\r\n";
  30. $head.="Accept-Language: zh-cn\r\n";
  31. $head.="Proxy-Connection: Keep-Alive\r\n";
  32. $head.="User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon)\r\n";
  33. $head.="Host: www.google.cn\r\n";
  34. $head.="Cookie: SS=Q0=55S35aWz5Lqk6YWN5Zu-; PREF=ID=555c912d17d9d47b:NW=1:TM=1209093843:LM=1209093843:S=Ee0KCVmzEj-c50qs\r\n\r\n".CRLF;
  35. my $image_head="GET http://www.google.com/images/weather/{file} HTTP/1.0\r\n";
  36. $image_head.="Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*\r\n";
  37. $image_head.="Accept-Language: zh-cn\r\n";
  38. $image_head.="User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon)\r\n";
  39. $image_head.="Host: www.google.com\r\n";
  40. $image_head.="Proxy-Connection: Keep-Alive\r\n\r\n".CRLF;
  41. $path=~s/\//\\/g;$image_path=~s/\//\\/g;
  42. print $path."\n";
  43. print $image_path."\n";
  44. system("del $path*.xml");
  45. #############################################
  46. ##
  47. ## 取网页
  48. ##
  49. #############################################
  50. foreach (@city)
  51. {
  52. my $shead=$head;$shead=~s/\{city\}/$_/;
  53. print $shead;

  55. socket ($socket, AF_INET, SOCK_STREAM, getprotobyname('tcp')) or die "problem creating socket: $!\n";
  56. my $con_ok = connect ($socket, sockaddr_in($port, inet_aton($host))) or die "problem connecting to \"$host\", port $port: $!\n";
  57. print "error " unless $con_ok;
  58. open(HTML,">$path$_-google.htm")  or die "error";
  59. syswrite($socket,$shead,length($shead),0);
  60. while(1)
  61. {
  62.   $buffer="";
  63.   sysread($socket,$buffer,1024 );
  64.   $buffer=~s/\>\s*\</>\n</g;
  65.   print HTML $buffer;
  66.   last if($buffer=~/\<\/(html)|(HTML)\>\s*$/);
  67. }
  68. close(HTML);close($socket);
  69. #last;
  70. }
  71. #############################################
  72. ##
  73. ## 分析网页,取天气信息
  74. ##
  75. #############################################
  76. open(XML,">$path$year$month$day.xml") or die "error";
  77. print XML "\<?xml version=\"1.0\" encoding=\"utf-8\"?>\n\<root\>\n";
  78. foreach (@city)
  79. {
  80. open(HTML,"$path$_-google.htm")  or die "error";
  81. while(my $line=<HTML>)
  82. {
  83.   if($line=~/\<FONT color\=\#cc0033\>(\S+)\<\/FONT\>/)
  84.   {
  85.    print XML "\t<region city=\"$1\">\n";
  86.   }
  87.   if($line=~/\<br\>(.+)\<br\>(.+)\<\/div\>/)
  88.   {
  89.    print XML "\t\t<wind>$1</wind>\n\t\t<humidity>$2</humidity>\n";
  90.   }
  91.   if($line=~/\<div align=center style=\"padding:\d+px;float:left;font-size:\d+\%\"\>(.+)\<br\>/)
  92.   {
  93.    print XML "\t\t<temperature day=\"$1\" ";
  94.   }
  95.   if($line=~/\<img style=\".+\" src=\"(\/\w+)+\/(.+)\" alt=\".+\"\s+title=\"(.+)\"/)
  96.   {
  97.    $image{$2}=0 if(!defined($image{$2}));
  98.    print XML "img=\"$2\" weather=\"$3\" ";
  99.   }
  100.   if($line=~/\<nobr\>(.+)\<\/nobr\>/)
  101.   {
  102.    print XML ">$1</temperature>\n";
  103.   }
  104.   if($line=~/\<div style=\"float:left;font-size:\d+\%;color:\#\w+\"\>(.+)\<\/div\>/)
  105.   {
  106.    print XML "\t\t<level></level>\n";
  107.    print XML "\t</region>\n";
  108.   }
  109. }
  110. close(HTML);
  111. #last;
  112. }
  113. print XML "</root>\n";
  114. close(XML);
  115. ######################################
  116. ##
  117. ##  取图片
  118. ##
  119. ######################################
  120. foreach (%image)
  121. {
  122. if($_=~/gif/)
  123. {
  124.   
  125.   my $simage_head=$image_head;$simage_head=~s/\{file\}/$_/;
  126.   print $simage_head;
  127.   socket ($socket, AF_INET, SOCK_STREAM, getprotobyname('tcp')) or die "problem creating socket: $!\n";
  128.   my $con_ok = connect ($socket, sockaddr_in($port, inet_aton($host))) or die "problem connecting to \"$host\", port $port: $!\n";
  129.   print "error " unless $con_ok;
  130.   open(IMAGE,">$image_path$_")  or die "error";
  131.   binmode(IMAGE);
  132.   syswrite($socket,$simage_head,length($simage_head),0);
  133.   my $image="";
  134.   while(1)
  135.   {
  136.    $buffer="";
  137.    sysread($socket,$buffer,1024 );
  138.    $image.=$buffer;
  139.    last if(length($buffer)==0);
  140.   }
  141.   print IMAGE substr($image,index($image,"GIF"));
  142.   close(IMAGE);close($socket);
  143. }
  144. }
  145. ######################################
  146. ##
  147. ## 删除网页
  148. ##
  149. system("del $path*.htm");
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP