免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1354 | 回复: 0
打印 上一主题 下一主题

DEDECMS分页采集事例(转,老杨的) [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-04-12 18:00 |只看该作者 |倒序浏览
原帖的地址也写上呀:
http://www.im286.com/viewthread.php?tid=1924121
搜索了整个论坛,有不少人求分页采集规则,看了多篇帖子也没有一个具体回答的!这里我就将分页采集的方法帖不来!以及将自己的整个规则贴出来!希望对大家有用!写的不对的地方希望大家执政!
先贴规则(带分页采集),后再说明(在二楼和三楼):
{!-- 节点基本信息 --}
{dede:item name='新浪游戏功略'
imgurl='/upimg' imgdir='../upimg' language='gb2312'
isref='no' refurl='' exptime='10'
typeid='1' macthtype='string'}
{/dede:item}
{!-- 采集列表获取规则 --}
{dede:list source='var' sourcetype='list'
           varstart='1' varend='10'}
  {dede:url value='http://games.sina.com.cn/glmj/gl/index[var:分页].shtml'}{/dede:url}
  {dede:need}/h/{/dede:need}
  {dede:cannot}{/dede:cannot}
  {dede:linkarea}[var:区域]{/dede:linkarea}
{/dede:list}
{!-- 网页内容获取规则 --}
{dede:art}
{dede:sppage sptype='full'}[var:分页区域]{/dede:sppage}
  
  {dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题'
   isunit='' isdown=''}
   
    {dede:match}[var:内容]0_新浪游戏_新浪网{/dede:match}
   
    {dede:function}{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}@me = time();{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.litpic' value='[var:内容]' comment='缩略图'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}@me = @litpic;{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}if(@me!="") @me = GetMkTime(@me);
else @me = time();{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}@me = time();{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容'
   isunit='1' isdown=''}
   
    {dede:match}[var:内容]{/dede:match}
        {dede:trim}{dede:teim}(.*){/dede:trim}
    {dede:function}{/dede:function}
   
  {/dede:note}
  
  {dede:note field='dede_archives.source' value='[var:内容]' comment='文章来源'
   isunit='' isdown=''}
   
    {dede:match}{/dede:match}
   
    {dede:function}{/dede:function}
   
  {/dede:note}
{/dede:art}
[ 本帖最后由 广州数据中心 于 2007-4-12 00:43 编辑 ]
分页匹配规则:
"[var:分页区域]"就是目标网页中分页链接的部分。右边的两个单选框,分别对应的是全部列出的分页列表形式,比如:"[1] [2] [3] 下一页";上下页形式的分页列表形式,比如:"[上一页] [下一页]"。容易看出:
http://games.sina.com.cn/j/h/2006-11-23/13334316.shtml
我们的目标网页是属于第一种情况,即所有的分页地址都已经列出来了。
那么我们的分页匹配规则写为:
[var:分页区域]
文章内容中的过滤规则:
我们主要讲一将把目标网页中的分页链接地址去掉,不然的话,那些分页链接也会作为文章内容采集过来。因为我们要过滤的是分页链接地址,所以一定记得要把旁边的“分页内容字段”选上,不然在采集的时候会出错。如果是过滤其他内容的时候,可以不用选。
还有一个要注意的地方就是:过滤规则里面的内容都是正则表达式,而匹配区域里面的不是,前面说的分页匹配规则里面的也不是。
所下所谓的正则表达式,就是有  {dede:match}{/dede:match}之类的字段
我们这个的文章过滤规则:
{dede:teim}(.*){/dede:trim}
注意一定要有:{dede:teim}和{/dede:teim}


本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u/6138/showart_276587.html
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP