新玩具《JSON》Perl如何抓取数据？

墨迹哥

之前发过一个抓取页面的代码.可是我发现能抓取页面不能抓取json数据,
现在还在研究当中...发出原始的过程.找大伙一块研究研究...之前没玩过这东西..
我还在搜论坛,看有没有前人做过或问过的.在这里mark一下..

请问：如何抓取返回的json数据？？？。。。。

数据包:

1. POST /tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php HTTP/1.1
   
2. Host: www.yougetsignal.com
   
3. User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:19.0) Gecko/20100101 Firefox/19.0 Iceweasel/19.0.2
   
4. Accept: text/javascript, text/html, application/xml, text/xml, */*
   
5. Accept-Language: en-US,en;q=0.5
   
6. Accept-Encoding: gzip, deflate
   
7. X-Requested-With: XMLHttpRequest
   
8. X-Prototype-Version: 1.6.0
   
9. Content-Type: application/x-www-form-urlencoded; charset=UTF-8
   
10. Referer: http://www.yougetsignal.com/tools/web-sites-on-web-server/
    
11. Content-Length: 22
    
12. Cookie:
    
13. Connection: keep-alive
    
14. Pragma: no-cache
    
15. Cache-Control: no-cache
    
16. 
    
17. remoteAddress=sohu.com

复制代码

返回的数据:

1. HTTP/1.1 200 OK
   
2. Date: Wed, 10 Apr 2013 13:48:43 GMT
   
3. Server: Apache
   
4. Vary: Accept-Encoding
   
5. Content-Length: 16773
   
6. Keep-Alive: timeout=2, max=100
   
7. Connection: Keep-Alive
   
8. Content-Type: text/html
   
9. 
   
10. {"status":"Success", "resultsMethod":"scrape", "lastScrape":"2013-04-10 06:48:47", "domainCount":"516", "remoteAddress":"sohu.com", "remoteIpAddress":"61.135.181.175", "domainArray":[["029love.sohu.com.cn", ""], ["0755qq.com", ""], ["17173.com", ""], ["17173.net", ""], ["17173.net.cn", ""], ["2004.sohu.com", ""], ["2006.sports.sohu.com", ""], ["2008.sohu.com.cn", ""], ["2008.sohu.comwww.sohu.com.cn", ""], ["2010.s.sohu.com", ""], ["286818458.blog.sohu.com.cn", ""], ["394003276.sohu.com.cn", ""], ["512.sohu.com", ""], ["51center.com", ""], ["55039106.blog.sohu.com.cn", ""], ["60.sohu.com", ""], ["60269.show.sohu.com.cn", ""], ["656979.com", ""], ["8888love-me.blog.sohu.com.cn", ""], ["91hdw.com", ""], ["abcddfe.blog.sohu.com.cn", ""], ["ablum.chinaren.com.cn", ""], ["add.sohu.com", ""], ["ai-weiyang.blog.sohu.com.cn", ""], ["air.sohu.com", ""], ["aiyits.sohu.com.cn", ""], ["akitsuki.blog.sohu.com.cn", ""], ["alooflau.blog.sohu.com.cn", ""], ["alumni.chinaren.com.cn", ""], ["angel.2010.sohu.com", ""], ["apple.sohu.com.cn", ""], ["apple86.blog.sohu.com.cn", ""], ["arcticsnowfanily.blog.sohu.com.cn", ""], ["art.2008.sohu.com", ""], ["art.sohu.com", ""]

复制代码

cups_book

明天研究下。。。。。。

xfoucs

试了下 LWP 也是可以

1. 
   
2. #!/usr/bin/env perl
   
3. use warnings;
   
4. use strict;
   
5. use LWP::UserAgent;
   
6. 
   
7. my $ua=LWP::UserAgent->new;
   
8. $ua->agent('Mozilla/5.0');
   
9. $ua->default_header(Referer=>'http://www.yougetsignal.com/tools/web-sites-on-web-server/');
   
10. my $res=$ua->post('http://www.yougetsignal.com/tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php',{remoteAddress => "sina.com",key =>""});
    
11. print $res->decoded_content;
    

复制代码

墨迹哥

回复 11# iakuf


    好的。不过我已经跟踪出源的地址了。。
   
    嘿嘿！不过还是要感谢你。之前也有看过你的blog，以后多交流。。谢谢哈！

iakuf

回复 8# 墨迹哥

1. perl -Mojo -E 'say r f("http://www.yougetsignal.com/tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php" =>  { remoteAddress => "sina.com",key => "" } => {Referer => "http://www.yougetsignal.com/tools/web-sites-on-web-server/"})->json'

复制代码

这个新的单行的中加入了 r 参数会给数据结构 Dump 出来。另外最后面是调用的 json 的解析器。这就是 Mojo 的好处，都自己使用面象对象实现了方法之间相互调用。想看更多例子，可以看我以前发的帐子 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4074599 和我的网站 http://mojo.php-oa.com/perldoc/ojo
   

墨迹哥

回复 9# iakuf


    明白了，我知道怎么弄了。。哈哈！谢谢哈！

iakuf

回复 8# 墨迹哥

1. 
   
2. 
   
3. perl -Mojo -E 'say f("http://www.yougetsignal.com/tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php" =>  { remoteAddress => "sina.com",key => "" } => {Referer => "http://www.yougetsignal.com/tools/web-sites-on-web-server/"})->body'

复制代码

使用 ojo 模块和使用 Mojo::UserAgent 模块，都可以很方便的加参数和 Http 的 Header 。
象
f("http://www.yougetsignal.com/tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php" =>  { remoteAddress => "sina.com",key => "" } => {Referer => "http://www.yougetsignal.com/tools/web-sites-on-web-server/"})->body

相当于

1. my $ua = Mojo::UserAgent->new;
   
2. say $ua->post_form(
   
3.         "http://www.yougetsignal.com/tools/web-sites-on-web-server/php/get-web-sites-on-web-server-json-data.php"  
   
4.         =>  {   
   
5.             remoteAddress => "sina.com",
   
6.             key => ""  
   
7.         }   
   
8.         => {
   
9.             Referer => "http://www.yougetsignal.com/tools/web-sites-on-web-server/"
   
10.         })->res->body
    

复制代码

可以见到，在 Mojo 的函数 new 完后，当调用 POST 时，需要传三个参数，第二个第三个都可以不传，如果传的话，都需要是 hash 的引用。
第一个参数是 URL ，第二个参数是 POST 的键值对，第三个参数是 HTTP 的 header 的键值对。

墨迹哥

回复 7# iakuf

    这个是ref的地址。。

1. http://www.yougetsignal.com/tools/web-sites-on-web-server/
   

复制代码

你说的header抓到的话该怎么操作呢？
   

iakuf

回复 6# 墨迹哥


在测试一下上面那个，之所以得不到结果是因为源站对 referer 做了控制。对于 Perl 来讲，抓这种东西太小意思了。
另外，和 JS 没关系，你直接抓 HTTP 的 header ，不要信别人看 js. 整个互联网的交互都可以通过 HTTP 来搞定。推荐你使用  HttpFox  这个 Firefox 中的插件来看 Header .