python抓网页似乎不如perl加lwp

jmylf

自己没事做个抓天气预报的东西，似乎用perl可以，用python返回不对，本来就是想着那个能完成用那个完成，自己用的，以前做linux其他的东西的时候简单看了点perl，感觉不如python舒服，太乱，准备以后用python。结果似乎perl实现的更好点，不清楚原因在那里
perl的

#!/usr/bin/perl -w
# use LWP::Simple;
use LWP::UserAgent;
use strict;
my $ua = new LWP::UserAgent;
$ua->timeout(120);
my $url='http://www.t7online.com/cgi-bin/citybild?SID=57181d5d2b95dd66d2e7e5ebb70cefe9b1e27&PROVIDER=anwendung&WMO=57181&LANG=cn';
my $request = new HTTP::Request('GET', $url);
my $response = $ua->request($request);
my $content = $response->content();
open(OUTPUT,'>>c:\\output.html')||die"can not open the file: $!";
print OUTPUT $content;
close (OUTPUT);

python的

import urllib2
request = urllib2.Request('http://www.t7online.com/cgi-bin/citybild?SID=57181d5d2b95dd66d2e7e5ebb70cefe9b1e27&PROVIDER=anwendung&WMO=57181&LANG=cn')
opener = urllib2.build_opener()
feeddata = opener.open(request).read()

python的总是得到 gif89a啥的，似乎是弄到了一个gif图的样子

也不清楚是怎么回事。

zzghost

原帖由 jmylf 于 2008-7-29 15:50 发表
自己没事做个抓天气预报的东西，似乎用perl可以，用python返回不对，本来就是想着那个能完成用那个完成，自己用的，以前做linux其他的东西的时候简单看了点perl，感觉不如python舒服，太乱，准备以后用python。 ...

import urllib2
request = urllib2.Request('http://www.t7online.com/cgi-bin/citybild?SID=57181d5d2b95dd66d2e7e5ebb70cefe9b1e27&PROVIDER=anwendung&WMO=57181&LANG=cn')
opener = urllib2.build_opener()
opener.addheaders = [("User-agent","Mozilla/5.0")]
feeddata = opener.open(request).read()

xiaoyu9805119

打开这个页面后会自动跳转到另外的页面，把我IE搞死的了。。。。

抓天气预报可以去中央气象台或者tq121唉，你这个小站一起抓的时候立马歇菜了。

jmylf

我弄了个函数抓下来了，似乎是useragent的问题，中央气象台的我能抓到，这个也不错的

jmylf

不太喜欢perl，想以后就用python了，现在python可以就好了

^-^

2楼的说话比较搞笑,

xiaoyu9805119

搞笑？？
哪里啊

2gua

抓网页是Perl的强项啊。

luffy.deng

lz的问题有人搞好了没？我的结果跟lz一样

jmylf

差不多就是楼上的样子，需要加上user agent 才行。