免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4852 | 回复: 6

DW逻辑模型技术可快捷阶进 [复制链接]

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
发表于 2010-10-15 00:17 |显示全部楼层
随着公司BI覆盖几乎所有部门,我们少数2个资深的人设计不过来了,得靠新晋升为资深人士的同事一起设计更多项目的分析模型。不过为了把团队技术积累更好,且让大家更有发挥空间,我计划与团队分享一些快速阶进的设计技术与基本原则,大概思路如下:

首先,为了长远和近期2种考虑,建设EDW与数据集市都得做,都重要,EDW为基础业务数据,但以主题为事实划分,例如订单事实表,除了整合订单自身的业务数据外,还需要将订单相关的业务整合进来,方便数据集市使用,例如订单分析重要的物流信息、订单相关的重要合同信息等,形成一个较为完整的订单业务全局视图。虽然这个EDW并非所有人想的那种设计方式(和其他事实表有一定信息冗余),但也是主流的之一,且既容易设计,也容易随着设计而深入理解业务。

其次维度分析模型,这个其实在应用中最为重要,虽然EDW是基础,也非常重要,但这个可是直接体现BI价值的基础。我认为维度模型需要划分为事件点式模型和过程式模型2种。

何谓事件点式模型,其实就是最常见的事实表设计方法,由时间、地点、单位、商品等维+销售、利润、成本等指标,以及一些事实属性共同构成最为经典和传统的事实表,它能提供最为直接的某个专题的重要信息,但是它是在某个业务点上,例如零售是一个事件点,一个结果,同理客户订单等也是。

那何谓过程式模型呢?这个就是需要自己抽象的分析模型了,就是将业务系统中零散的事件点,你用模型串起一个业务过程,让用户能分析过程中发生了什么事情,用户重点提高过程中哪一步才最有效。常见的业务包括大宗商品销售过程、网络营销过程、商品生产过程、物流配发过程等等,这个设计的最大好处,就是让用户既能看到某个事件点到底发生了什么,还能看到整个过程是否正常,问题出在哪个节点,才能知道如何下手改善,从能业务整体来发现问题,使用户找到解决问题的捷径。

过程式分析模型中,如果业务系统有过程这个事实或概念,那么设计人员较容易入手设计。但多数业务系统还是需要BI人自己去根据事情情况抽象的。最核心的思想,就是抽象出业务过程这个概念来串连整个业务,使用户既可分析点,也可分析面,达到最佳分析目的,而且使用起来十分灵活和方便。

其实我非常喜欢过程式分析模型的研究,因为发挥空间大,价值深,模型就能讲故事,减少人工介入拼凑分析。同时用户看似很复杂的分析需求,我可以一个事实表就帮助他们分析,甚至可能超过了一些用户的期望。你说我把这些技巧告诉新成为资深的同事是否影响自己的发展?不会的,我已经在思考更先进的分析思路,这些只是初中级技巧而已,不过这里只能说大概思路,不方便说具体设计案例。

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
发表于 2010-10-15 00:18 |显示全部楼层
思路特点是在EDW的时候进行加工和关联,具体要说的话,可能一个帖子说不完吧,这里主要分享一些思路和想法,让同样的业务分析,是否可以更好串起来看。

例如网络营销里,一个客户进来,进入某分页、查看某商品,使用购物篮,下单,又去看商品,又进论坛,又使用购物篮,下单、付款(第一个订单未处理),然后退出。当然更多客户进来甚至没登陆就跑了。那么整个过程的前后关联、时间、对象、事件等相关信息,现在有模型串在一个星型模型中分析么?因为我所知的都是在分析现在什么状态,他们访问什么时间过哪些页面,未进行紧耦合模型关联。如果有的话,那就达到我的最初的目标了,因为这样不但可以分析前后所有过程之间的互相影响、先后顺序,也包括各个页面对用户的影响,他们过程时间差和过程顺序是否代表他们的兴趣,当然还有更多有价值的组合来发现商业价值。

再进一步,还可以将订单后的事件一起关联,如网站服务业务、物流、用户反馈,都串在一起,每个业务过程之间的关系建立起来后,他们的时间、地点、对象以及事件类型都盘活了,这样就可以实现立体的事件视图,你想怎么组合分析、挖掘都可以,应该是最大限度使用了业务数据了。

另外对于任何有业务步骤的分析,都可以这样设计,如果有不少这样的案例应用,那就太好了,不用自问自说,会有人一起深入讨论了.

论坛徽章:
0
发表于 2010-10-19 19:56 |显示全部楼层
好有趣味的工作,
做基础数据应该需要大量的人力。

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
发表于 2010-10-22 21:30 |显示全部楼层
基础数据的架构(模型、ETL等)设计和规划不需要多少人,只是开发、新需求开发和维护需要大量人力,而现在社会的分工,使得需大量人力的地方降低对技术架构、需求的依赖,降低人员要求,使得成本可以降低。未来DWBI的人才分化会进一步拉大。

论坛徽章:
0
发表于 2010-10-23 16:23 |显示全部楼层
本帖最后由 leal402 于 2010-10-23 16:26 编辑

感觉Germin说的有道理,数据的前期整合是整个BI过程的一个很重要的方面。如果想为以后的开发分析提供便利,就要在做基础数据的时候投入大量的人力物力。个人认为,BI过程的每个环节都应该平等对待,只要根基打的好,盖的楼肯定不会有多差,否则很可能会出现水桶效应,谁都不希望这样。

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
发表于 2010-10-25 23:56 |显示全部楼层
基础数据的投入,首先是业务的输理和整合,DW是面向主题的,不是面向数据的。所以我一向倡导建设好EDW,你将事半功倍,当然也不妨碍你必要时候先建数据集市应急。

论坛徽章:
0
发表于 2010-11-29 20:02 |显示全部楼层
bi/dw关键在于架构。设计。数据存储,数据流转渠道(算法)ETL,模型建的好,前端就可以玩儿花样了。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP