免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2334 | 回复: 4
打印 上一主题 下一主题

网页抓取问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-04-01 17:42 |只看该作者 |倒序浏览
打开这个网址
http://xin.cz3.nus.edu.sg/group/cjttd/ttd.asp
在Target Name中输入phosphatase然后submit链接到
http://xin.cz3.nus.edu.sg/group/cjttd/List.asp?SetQuery=Y
用程序抓取这个网页,却得不到东西。我认为是SetQuery=Y的原因,请各位高手指点指点,谢谢了!

论坛徽章:
0
2 [报告]
发表于 2009-04-01 18:39 |只看该作者
用个live http header抓下报头吧
这和refer都有关系的
TN=phosphatase&LG=&DN=&LF=&DC=&submit1=Submit

论坛徽章:
0
3 [报告]
发表于 2009-04-01 21:04 |只看该作者

回复 #2 churchmice 的帖子

为什么我用下面的代码得不到网页内容呢?

#!/usr/bin/perl  -w  
         
use HTTP::Request::Common qw(POST);
use LWP::UserAgent;
$ua = LWP::UserAgent->new;
my $req = POST 'http://xin.cz3.nus.edu.sg/group/cjttd/List.asp?SetQuery=Y',
[ TN => 'phosphatase',submit1=>'Submit', errors => 0 ];
print $ua->request($req)->as_string;

这是取回来的网页里报的错误
<HTML><HEAD><TITLE>BIDD: 500-100 The page cannot be displayed</TITLE>
<META HTTP-EQUIV="Content-Type" Content="text/html; charset=Windows-1252">
      <font color="#000066" size="2" face="Arial, Helvetica, sans-serif">
There is a problem with the page you are trying to reach and it cannot be displayed. </font>

[ 本帖最后由 libiqing77 于 2009-4-1 21:05 编辑 ]

论坛徽章:
0
4 [报告]
发表于 2009-04-02 09:50 |只看该作者
和SetQuery没关系 可能是判断了referer

论坛徽章:
0
5 [报告]
发表于 2009-04-02 09:56 |只看该作者
试了一下 得到以下错误信息

Technical Information (for support personnel)

    * Error Type:
      SessionID, ASP 0164 (0x80004005)
      An invalid TimeOut value was specified.
      /LM/W3SVC/1/ROOT/global.asa, line 33
    * Browser Type:
      libwww-perl/5.814

    * Page:
      POST 105 bytes to /group/cjttd/List.asp

    * POST Data:
      TN=phosphatase&submit1=Submit&errors=0&Referer=http%3A%2F%2Fxin.cz3.nus.edu.sg%2Fgroup%2Fcjttd%2FList.asp
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP