忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 187 | 回复: 1

提取网站内容 [复制链接]

论坛徽章:
0
发表于 2017-04-29 18:39 |显示全部楼层
各位帮忙看一下这个程序。
我想从博客里提取作者的信息输出到文件weblist.txt
博客地址分别是:
http://roll.finance.sina.com.cn/blog/blogarticle/inde_1.shtml
weblist.txt要这样的结果:
芥阳
麻麻的猪猪侠
张磊
运行程序之后,没有输出正确的内容.
程序如下:

#!perl -w
use strict;
use LWP::UserAgent;
open OUTPUT,'>','weblist.txt' or die 'weblist.txt error!';
my $get_page = LWP::UserAgent -> new;
$get_page -> timeout(6);
my $page_addr = '';
my $response = '';
my $content = '';
my $author_name = '';
my $web_list = '';
&print_list();
sub print_list{
    foreach (1 .. 6 ){   
        $page_addr = 'http://roll.finance.sina.com.cn/blog/blogarticle/inde_'.$_.'.shtml';
        $response = $get_page -> get( $page_addr );
        $content = $response -> content;
        print $_. "done\n";
        $content =~ s#<!DOCTYPE.+?html>##xs;
                    while ( $content =~ s#class="blog.sina.com.cn/u/".+?>(.+?)<##xs){
            $author_name = $1;
            print OUTPUT "$author_name\n";
        }

    }
}

论坛徽章:
0
发表于 2017-05-05 22:04 |显示全部楼层
这类应用除非特殊情况必须用LWP的话,我都建议去看看Mojo::UserAgent。集成DOM分析比你这样用regexp处理response content方便很多。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP