Chinaunix

标题: [求助]抓取网页内容时被禁要怎么办 [打印本页]
作者: chenxiam    时间: 2008-03-14 21:49
标题: [求助]抓取网页内容时被禁要怎么办

  2. 1 #!/usr/bin/perl -w
  3.   2 use LWP;
  4.   3 use Encode qw/from_to decode encode/;
  5.   4 use strict;
  6.   5
  7.   6 my $ua = LWP::UserAgent->new;
  8.   7 $ua->cookie_jar({-file=>"./cookie"});
  9.   8 $ua->proxy(['http'],'http://10.71.115.253:3128');
  10.   9 my $url = 'http://news.google.cn/news?hl=zh-CN&ned=ccn&ie=UTF-8&q=%E7%94%9F%E7%89%A9&as_drrb=q&as_qdr=h';
  11. 10 my $page = $ua->get($url);
  12. 11
  13. 12
  14. 13 print $page->content;

复制代码


就上面的url='http://news.google.cn/news?hl=zh-CN&ned=ccn&ie=UTF-8&q=%E7%94%9F%E7%89%A9&as_drrb=q&as_qdr=h',是google旗下的一个网页，
抓它时，内容部分显示：
<H1>Forbidden</H1>
Your client does not have permission to get URL <code>/news?hl=zh-CN&amp;ned=ccn&amp;ie=UTF-8&amp;q=%E7%94%9F%E7%89%A9&amp;as_drrb=q&amp;as_qdr=h</code> from this server.
这要怎么办呀，求助达人解答
作者: chenxiam    时间: 2008-03-14 22:03
顶下
作者: chenxiam    时间: 2008-03-15 14:54
问题已解决。。。只要把代码写在浏览在访问就行了
作者: __lxmxn__    时间: 2008-03-15 22:42
原帖由 chenxiam 于 2008-3-15 14:54 发表
问题已解决。。。只要把代码写在浏览在访问就行了

可以看看代码吗？



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2