使用mojo进行get的问题请教

seufy88

我想作用mojo,对 192.168.1.1/issue/1到 192.168.1.1/issue/100进行GET,对每个GET到的网页内容，找出
ahref为 /attachment/download/这样的链接地址。
但是运行脚本后，每次print的都是第1个网页地址的中/attachment/downlaod的结果

这是为何

1. #!/usr/bin/perl
   
2. use strict;
   
3. use Mojo::UserAgent;
   
4. use Data::Dumper;
   
5. 
   
6. 
   
7. my $username='xxxxx';
   
8. my $password='xxxxx';
   
9. 
   
10. my $baseUrl = Mojo::URL->new('http://192.168.1.1/issues/');
    
11. 
    
12. my $ua = Mojo::UserAgent->new(max_redirects => 3);
    
13. 
    
14. #call back
    
15. 
    
16. my $callback = sub  {
    
17.     my ($ua, $tx) = @_;
    
18.     return if !$tx->success;
    
19.    
    
20.     # ticket Number
    
21.     my $ticket = $tx->req->headers->header('ticket');
    
22.     print "==== Callback ======\n";
    
23.         print "$ticket\n";
    
24.        
    
25.         #ticket Title
    
26.         my $title = $tx->res->dom->html->head->title->text;
    
27.         #print "=== Title: $title\n";
    
28.        
    
29.     my $array = $tx->res->dom->find("a[href]")->attr('href');
    
30.    
    
31.     my @arr;
    
32.         @arr =  (map { if (m#attachments/download#) { 'http://192.168.1.1'.$_."\n";$_} } @$array);
    
33.         print @arr;
    
34.        
    
35.     #$ua->get($newUrl)->res->content->asset->move_to($filename);
    
36. };
    
37. 
    
38. ##*******************************************/
    
39. my $redmine_login = 'http://192.168.1.1/login';
    
40. my $login = 'http://192.168.1.1/my/page';
    
41. my $ticket_start = 1;
    
42. my $ticket_end = 100;
    
43. 
    
44. my $token;
    
45. $ua->get($redmine_login)->res->dom->find("input")->each(sub{
    
46. my $attrs  = shift->attr;
    
47. if($attrs->{name} eq 'authenticity_token'){
    
48.         $token = $attrs->{value};
    
49.         }
    
50. });
    
51. 
    
52. if($token){
    
53. my $tx = $ua->post("$redmine_login"=> form => {
    
54.                 'username'  => "$username",
    
55.         'password'  => "$password",
    
56.         'login' =>'Login »',
    
57.                 'utf8' =>'✓',
    
58.                 'authenticity_token' =>"$token",});
    
59.                
    
60. 
    
61.         #登录成功，对 1~100的网页进行get
    
62.         if (my $res = $tx->success){
    
63.                
    
64.                 foreach my $ticket ($ticket_start..$ticket_end){
    
65.                         $baseUrl->path("$ticket");
    
66.                         if (!$baseUrl->scheme){$baseUrl->scheme('http');}
    
67.                        
    
68.                         $ua->get($baseUrl => { ticket => $ticket} => $callback);
    
69.                         print "==== get URL ======\n";
    
70.                         print "$baseUrl\n";
    
71.                 }
    
72.                
    
73.                 Mojo::IOLoop->start;
    
74.         }else{
    
75.                 print " login failed\n";
    
76.         }
    
77. }else{
    
78.         print " token failed\n";
    
79. }
    

复制代码

seufy88

删除内容。

seufy88

删除内容。

rubyish

1: wo budong mojo
2: line 32, you do nothing

1.         @arr =  (map { if (m#attachments/download#) { 'http://192.168.1.1'.$_."\n";$_} } @$array);

复制代码

3: try kankan

1. my @arr =
   
2.   map { m#attachments/download# ? 'http://192.168.1.1' . $_ . "\n" : () }
   
3.   @$array;

复制代码

rubyish

1. my @a = qw/1 a 2 b/;
   
2. my @b;
   
3. 
   
4. for (@a) {
   
5.     push @b, 'hello' . $_ if /\d/;
   
6. }
   
7. say join '|', @b;    # hello1|hello2
   
8. say scalar @b;       # 2
   
9. 
   
10. my @c = map { /\d/ ? 'hello' . $_ : () } @a;
    
11. say join '|', @c;    # hello1|hello2
    
12. say scalar @c;       # 2
    
13. 
    
14. my @d = map { 'hello' . $_ if /\d/ } @a;
    
15. say join '|', @d;    # hello1||hello2|
    
16. say scalar @d;       # 4
    
17. 
    
18. 
    
19. # Useless use of concatenation (.) or string in void context
    
20. my @e = map { if (/\d/) { 'hello' . $_; $_ } } @a;
    
21. say join '|', @e;   # 1||2|
    
22. say scalar @e;      # 4

复制代码

py

你与其这样还不如用Coro

1. my $coro = async {
   
2.     # 1. 网页登录
   
3.     # 2. 循环100个url
   
4.     {
   
5.         # 3. http_get或$ua->get到页面
   
6.         # 4. XPATH或Mojo::Dom分析一下
   
7.      }
   
8. };
   
9. $coro->join;

复制代码

结构清晰简单，全程非阻塞

seufy88

回复 6# py


    非常感谢。我这个问题找到原因了。应该是get时的URL是一样的。
   至于为什么，是由于$baseUrl->path("$ticket");这个操作造成的。
  
  没用过CORO.有机会我 会尝试一下。