perl提取网页内容问题

liuguiyou1981

我用一下命令提取网页http://www.ncbi.nlm.nih.gov/SNP/snp_ref.cgi?type=rs&rs=530的以下内容（图片所示）



命令：
use LWP::Simple;
my $url="http://www.ncbi.nlm.nih.gov/SNP/snp_ref.cgi?type=rs&rs=530";
my $content=get($url)；

但是提取的结果中根本就没有图片中我想要的内容，不知道怎么回事，请指教：谢谢！
1

climby

在你的 $url中有些特殊字符'&' 不妨考虑使用单引号先？
不好意思，我亲自测试，发现双引号并没有影响，看来直觉不可靠。 但我想我发现了问题所在。

你要抓取的页面中大量使用了ajax,页面的部分内容是通过ajax请求后加载的。你需要分析页面中的js, 找到具体的ajax请求，然后根据请求的url抓内容

liuguiyou1981

回复 2# climby


谢谢您的回答，我感觉 不是这个问题，
http://www.ncbi.nlm.nih.gov/site ... rch&term=rs8896这个网页中也有&，但是我可以把
GGGCTCTAGAGGGGGTAGAGGGGGTG[C/T]TATAGGGTAAATACGGGCCCTATTT这段序列提取出来。

climby

我稍微分析了一下那个页面，的确你所要抓取的内容是通过ajax返回的，所以你你抓$url只能得到外层的框架页，不包含这部分内容。 我跟踪发现你所需要的内容是ajax通过如下url 获取的

1. http://www.ncbi.nlm.nih.gov/projects/SNP/snp_gene.cgi?rs=530

复制代码

这个返回的是一个javascript结构， 你只要稍微处理一下就得到了你想要的数据了。 比从页面中获取还方便呢{:3_189:}

liuguiyou1981

回复 4# climby


    谢谢了，挺好用，你是怎么发现跟踪的，能介绍一下么，以后再 遇见的问题我好解决！谢谢，呵呵

climby

我是看页面http://www.ncbi.nlm.nih.gov/SNP/snp_ref.cgi?type=rs&rs=530  的source code.
因为是javascript调用，在source code中都能找到对应的url

liuguiyou1981

回复 5# liuguiyou1981


    谢谢了，今天又学到了不少，呵呵

nuclearxin

之后如何处理？？？

nuclearxin

perl 如何把这样的数据处理成 网页呢？
呵呵新手问问 没遇到过

liuguiyou1981

回复 9# nuclearxin


    不是处理成网页，而是从网页上面提取 ，呵呵