利用perl提取google网页搜索结果中的内容

xingzhou823

各位，早上好

利用google搜索时，输入关键词以后可能会出现很多结果，例如 输入“医学 email @ .com” 以后，会有43000个结果，我的目的就是要得到这么多结果中的邮箱信息。
只要每个结果中含有 邮箱格式的内容就提取出来。

利用perl来实现这一过程该怎么弄呢，

我之前只用过利用perl来提取 生物数据库NCBI 的pubmed数据库中的pubmed id，如下所示

1. #!/usr/bin/perl
   
2. use strict;
   
3. #use warnings;
   
4. die "Usage : perl $0 <KEY.list> <key_word> <count.txt>\n"unless(@ARGV==3);
   
5. open(IN,$ARGV[0])or die $!;
   
6. my $key_word=$ARGV[1];
   
7. open(OUT1,">$ARGV[2]") or die "could not open file!";
   
8. open(OUT,">result_abstract.tmp.v2") or die "could not open file!";
   
9. #perl **.pl  KEY.list  count.txt
   
10. my %has;
    
11. my @key;
    
12. my %notkey;
    
13. while(<IN>){
    
14.         chomp (my $tmp=$_);
    
15.    my ($key,$notkey,$a2)=split(/\s+/,$tmp);
    
16.          $key=[        DISCUZ_CODE_0        ] if($key=~/\w+.*\w+/);
    
17.         $notkey=[        DISCUZ_CODE_0        ] if($notkey=~/\w+.*\w+/);
    
18.         $has{$key}=$tmp;
    
19.         $notkey{$key}=$notkey;
    
20.         push @key,$key;
    
21. }
    
22. 
    
23. 
    
24. 
    
25. 
    
26. 
    
27. sub ask_user {
    
28.   print "$_[0] [$_[1]]: ";
    
29.   my $rc = <>;
    
30.   chomp $rc;
    
31.   if($rc eq "") { $rc = $_[1]; }
    
32.   return $rc;
    
33. }
    
34. 
    
35. # ---------------------------------------------------------------------------
    
36. # Define library for the 'get' function used in the next section.
    
37. # $utils contains route for the utilities.
    
38. # $db, $query, and $report may be supplied by the user when prompted;
    
39. # if not answered, default values, will be assigned as shown below.
    
40. 
    
41. use LWP::Simple;
    
42. 
    
43. my $utils = "http://www.ncbi.nlm.nih.gov/entrez/eutils";
    
44. my $num;
    
45. # ---------------------------------------------------------------------------
    
46. # $esearch cont羒ns the PATH & parameters for the ESearch call
    
47. # $esearch_result containts the result of the ESearch call
    
48. # the results are displayed 羘d parsed into variables
    
49. # $Count, $QueryKey, and $WebEnv for later use and then displayed.
    
50. foreach my $key (@key){
    
51. my        $db="Pubmed";
    
52. my $report="abstract";
    
53. my $query ="($key NOT $notkey{$key})AND $key_word";
    
54. my $esearch = "$utils/esearch.fcgi?" .
    
55.               "db=$db&retmax=1&usehistory=y&term=";
    
56. $num++;
    
57.         #print "$key\t$num\n";
    
58.         print "$query\t$num\n";
    
59. my $esearch_result = get($esearch . $query);
    
60. 
    
61. $esearch_result =~
    
62.   m|<Count>(\d+)</Count>.*<QueryKey>(\d+)</QueryKey>.*<WebEnv>(\S+)</WebEnv>|s;
    
63. 
    
64. my $Count    = $1;
    
65. my $QueryKey = $2;
    
66. my $WebEnv   = $3;
    
67. $has{$key}=[        DISCUZ_CODE_0        ] if($has{$key}=~/\w+.*\w+/);
    
68. print OUT1 "$has{$key}\tQuery \: $query \tpubmed_count\t$Count\n";
    
69. # ---------------------------------------------------------------------------
    
70. # this area defines a loop which will display $retmax citation results from
    
71. # Efetch each time the the Enter Key is pressed, after a prompt.
    
72. 
    
73. my $retstart;
    
74. my $retmax=$Count;
    
75. 
    
76. for($retstart = 0; $retstart < $retmax; $retstart += $retmax) {
    
77.   my $efetch = "$utils/efetch.fcgi?" .
    
78.                "rettype=$report&retmode=text&retstart=$retstart&retmax=$retmax&" .
    
79.                "db=$db&query_key=$QueryKey&WebEnv=$WebEnv";
    
80.        
    
81. 
    
82.   my $efetch_result = get($efetch);
    
83.   
    
84.   print OUT "---------\nQuery\: $key\t$Count\t$query\nEFETCH RESULT(".
    
85.          ($retstart + 1) . ".." . ($retstart + $retmax) . "): ".
    
86.         "[$efetch_result]\n-----PRESS ENTER!!!-------\n";
    
87.   ;
    
88. }
    
89. }
    
90. close OUT;
    

复制代码

应用到google上面就不一样了

该怎么写呢？

laputa73

用lwp或者curl先把网页抓下来
然后就很简单吧
用关键字/正则匹配含@的字符串就可以了
注意一下前后的分界就行了吧

xingzhou823

能具体点吗，还是不会改回复 2# laputa73


   

laputa73

你可以先cpan一下lwp的例子看看啊
试试看有什么地方不明白的再问

1. my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current';
   
2.     # Just an example: the URL for the most recent /Fresh Air/ show
   
3. 
   
4.   use LWP::Simple;
   
5.   my $content = get $url;
   
6.   die "Couldn't get $url" unless defined $content;
   
7. 
   
8.   # Then go do things with $content, like this:
   
9. 
   
10.   if($content =~ m/jazz/i) {
    
11.     print "They're talking about jazz today on Fresh Air!\n";
    
12.   } else {
    
13.     print "Fresh Air is apparently jazzless today.\n";
    
14.   }
    

复制代码

78612576

这个需求的难点  应该是你反复请求google时   ip被重置 的 应对策略 ~

laputa73

那就百度或者360咯
google已经悲剧了

cdtits

先占个位置，坐等答案出现

laputa73

LZ的意思大概是不知道怎么翻页遍历结果？
这个在下面的页码上有每一页的连接,可以用程序拼接
循环取直到最后一页
和你那个生物网页的fcgi翻页原理其实也差不多。
我用google搜索了一下“医学 email @ .com”
搜索获得约 206,000,000 条结果，以下是第 23 页 （用时 0.24 秒） 。。。
页数好多。。。

py

有这样需求的多半是要做坏事。

做坏事就要有做坏事的本事，得有基本的技术能力和钻研精神。就这么个问题都解决不了，趁早放弃。

LZ做这件事，后面可能出现的问题还多着呢。想做成你就必须能自己解决这些问题。

xingzhou823

这个例子我是能看明白的，可是google搜索中我直接引用网页
my $ulr = "http://scholar.google.com.hk/scholar?start=0&q=%E5%8C%BB%E5%AD%A6+email+%40+.com&hl=zh-CN&as_sdt=1,5&as_vis=1"
是得不到结果的，并且没有自动翻页的功能。

回复 4# laputa73