免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3715 | 回复: 6

使用mojo进行get的问题请教 [复制链接]

论坛徽章:
1
双子座
日期:2013-11-06 17:18:01
发表于 2014-05-20 15:56 |显示全部楼层
本帖最后由 seufy88 于 2014-05-20 15:59 编辑

我想作用mojo,对 192.168.1.1/issue/1到 192.168.1.1/issue/100进行GET,对每个GET到的网页内容,找出
ahref为 /attachment/download/这样的链接地址。
但是运行脚本后,每次print的都是第1个网页地址的中/attachment/downlaod的结果

这是为何
  1. #!/usr/bin/perl
  2. use strict;
  3. use Mojo::UserAgent;
  4. use Data::Dumper;


  5. my $username='xxxxx';
  6. my $password='xxxxx';

  7. my $baseUrl = Mojo::URL->new('http://192.168.1.1/issues/');

  8. my $ua = Mojo::UserAgent->new(max_redirects => 3);

  9. #call back

  10. my $callback = sub  {
  11.     my ($ua, $tx) = @_;
  12.     return if !$tx->success;
  13.    
  14.     # ticket Number
  15.     my $ticket = $tx->req->headers->header('ticket');
  16.     print "==== Callback ======\n";
  17.         print "$ticket\n";
  18.        
  19.         #ticket Title
  20.         my $title = $tx->res->dom->html->head->title->text;
  21.         #print "=== Title: $title\n";
  22.        
  23.     my $array = $tx->res->dom->find("a[href]")->attr('href');
  24.    
  25.     my @arr;
  26.         @arr =  (map { if (m#attachments/download#) { 'http://192.168.1.1'.$_."\n";$_} } @$array);
  27.         print @arr;
  28.        
  29.     #$ua->get($newUrl)->res->content->asset->move_to($filename);
  30. };

  31. ##*******************************************/
  32. my $redmine_login = 'http://192.168.1.1/login';
  33. my $login = 'http://192.168.1.1/my/page';
  34. my $ticket_start = 1;
  35. my $ticket_end = 100;

  36. my $token;
  37. $ua->get($redmine_login)->res->dom->find("input")->each(sub{
  38. my $attrs  = shift->attr;
  39. if($attrs->{name} eq 'authenticity_token'){
  40.         $token = $attrs->{value};
  41.         }
  42. });

  43. if($token){
  44. my $tx = $ua->post("$redmine_login"=> form => {
  45.                 'username'  => "$username",
  46.         'password'  => "$password",
  47.         'login' =>'Login »',
  48.                 'utf8' =>'✓',
  49.                 'authenticity_token' =>"$token",});
  50.                

  51.         #登录成功,对 1~100的网页进行get
  52.         if (my $res = $tx->success){
  53.                
  54.                 foreach my $ticket ($ticket_start..$ticket_end){
  55.                         $baseUrl->path("$ticket");
  56.                         if (!$baseUrl->scheme){$baseUrl->scheme('http');}
  57.                        
  58.                         $ua->get($baseUrl => { ticket => $ticket} => $callback);
  59.                         print "==== get URL ======\n";
  60.                         print "$baseUrl\n";
  61.                 }
  62.                
  63.                 Mojo::IOLoop->start;
  64.         }else{
  65.                 print " login failed\n";
  66.         }
  67. }else{
  68.         print " token failed\n";
  69. }
复制代码

论坛徽章:
1
双子座
日期:2013-11-06 17:18:01
发表于 2014-05-20 16:01 |显示全部楼层
本帖最后由 seufy88 于 2014-05-20 17:42 编辑

删除内容。

论坛徽章:
1
双子座
日期:2013-11-06 17:18:01
发表于 2014-05-20 16:13 |显示全部楼层
本帖最后由 seufy88 于 2014-05-20 17:41 编辑

删除内容。

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2014-05-21 00:57 |显示全部楼层
1: wo budong mojo
2: line 32, you do nothing
  1.         @arr =  (map { if (m#attachments/download#) { 'http://192.168.1.1'.$_."\n";$_} } @$array);
复制代码
3: try kankan
  1. my @arr =
  2.   map { m#attachments/download# ? 'http://192.168.1.1' . $_ . "\n" : () }
  3.   @$array;
复制代码

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2014-05-21 01:22 |显示全部楼层
  1. my @a = qw/1 a 2 b/;
  2. my @b;

  3. for (@a) {
  4.     push @b, 'hello' . $_ if /\d/;
  5. }
  6. say join '|', @b;    # hello1|hello2
  7. say scalar @b;       # 2

  8. my @c = map { /\d/ ? 'hello' . $_ : () } @a;
  9. say join '|', @c;    # hello1|hello2
  10. say scalar @c;       # 2

  11. my @d = map { 'hello' . $_ if /\d/ } @a;
  12. say join '|', @d;    # hello1||hello2|
  13. say scalar @d;       # 4


  14. # Useless use of concatenation (.) or string in void context
  15. my @e = map { if (/\d/) { 'hello' . $_; $_ } } @a;
  16. say join '|', @e;   # 1||2|
  17. say scalar @e;      # 4
复制代码

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2014-05-21 08:03 |显示全部楼层
本帖最后由 py 于 2014-05-21 08:04 编辑

你与其这样还不如用Coro
  1. my $coro = async {
  2.     # 1. 网页登录
  3.     # 2. 循环100个url
  4.     {
  5.         # 3. http_get或$ua->get到页面
  6.         # 4. XPATH或Mojo::Dom分析一下
  7.      }
  8. };
  9. $coro->join;
复制代码
结构清晰简单,全程非阻塞

论坛徽章:
1
双子座
日期:2013-11-06 17:18:01
发表于 2014-05-21 09:38 |显示全部楼层
回复 6# py


    非常感谢。我这个问题找到原因了。应该是get时的URL是一样的。
   至于为什么,是由于$baseUrl->path("$ticket");这个操作造成的。
  
  没用过CORO.有机会我 会尝试一下。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

ITPUB技术栈

ITPUB技术栈是ITPUB企业打造的垂直于IT领域的知识社群平台,在这里,你既可以是创作者也可以是消费者。如果你的IT生涯丰富多彩,喷薄的个人价值尽可在小栈内体现;如果你渴望找到志同道合的伙伴,拓宽人脉,小栈比跑会场更快。 小栈特色:
1.极高的用户转化率,实现更直接的知识变现;
2.随时随地,刷个朋友圈的时间,实现更长效的信息沉淀;
3.戳痛、难点的专业咨询,更接近成功解决方案的时刻;
4.贴近意见领袖,个人高速成长,迈入更富有价值的人际圈。

----------------------------------------

技术小栈>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP