免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6922 | 回复: 9
打印 上一主题 下一主题

关于若干数据仓库的疑问? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-10-09 15:24 |只看该作者 |倒序浏览
大家好!
    好久没来逛论坛了,看到有数据仓库的专区,感到非常的高兴。虽然我接触数据仓库时间不长,但是通过几个项目的开发实施,还是有很多问题需要各位大大帮忙解疑。
    主要从技术背景和行业背景两大模块看问题:
    技术问题-基础模型:目前我们公司实施的仓库建模方式有 维度建模 和 范式建模。但都有一个非常重要的 可扩展性问题。可以说一个仓库能满足90%以上的业务需求已经
非常不错了,但是这要花费大量的人力,时间才能做到的。目前国内的仓库项目都是以月为单位的,很少有超过一年的项目,因此设计出来的模型难免有缺陷,有些缺陷可能
造成非常复杂的ETL 加工和 报表实现。我就想问下有关 维度建模 和 范式建模 的优缺点,实施它们要注意那些事项?
    技术问题-集市模型:集市模型通常是为专门的分析而建的汇总数据层(可能不太贴却),集市模型的设计跟项目实际的业务有很大的联系。但是只要集市是专门为某个分析
主题而建,就存在扩展性,效率问题。比如要分析跨集市的分析,那么是重新建再建一层集市,还是由OLAP工具自己连接实现?当然选择那种方式去实现,一个看效率,另外一
个看实现的价值(比如我再建一层集市,即时花费的代价再大,那么我也建,因为可以重复利用到很多分析领域)。在这里我就想问,如果一个集市模型确定以后,那些情况我们
需要去修改模型,那些情况我们不必要修改模型而满足我们的需求?最后一个也是集市模型的问题,我知道一个集市模型的好坏,跟维度的设计的科学性有很大的关系,这方面我
也想请教大家?
   技术问题-效率优化问题:其实很多效率问题都是SQL问题,索引问题。但是我想问的是,我们开发人员不可能全能,对DB2,ORACLE,MYSQL等都熟悉,对所有操作系统
都熟悉那是不可能的。这些问题在我们日常开发过程中是时常碰到的,如果大家有什么资料,可以共享出来。或者请版主做一个分门别类的讨论区。如果有什么资料可以发到我
邮箱 ruan_0597@163.com 谢谢。
   行业背景: 现在公司新来刚毕业的只要培训两个月,就基本能上手了。其实做BI技术含量也不高,人都是熬出来的。虽然我入行的时间才一年多,但是我感觉前景不是很好?
不知从事N年的大大们,对自身的前景感觉怎么样?

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
2 [报告]
发表于 2008-10-09 22:04 |只看该作者
做企业级应用软件的,技术含量能高哪里去?就拿很牛的SAP来说,SAP的售前顾问说,ABAP开发,只要培训1个月就能顺利上手了,有的售前顾问也是毕业不久就开始跑......

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
3 [报告]
发表于 2008-10-09 22:30 |只看该作者
如果楼主疑虑还很多,建议参加下国际性项目,成熟项目有很多经验教训在里面,但有更多管理内涵在里面。

论坛徽章:
0
4 [报告]
发表于 2008-10-10 09:12 |只看该作者
谢谢LS的诚恳之言。

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
5 [报告]
发表于 2008-10-10 09:55 |只看该作者
没关系,有问题,有疑惑都可以提出来

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-12 10:39:39IT运维版块每日发帖之星
日期:2015-10-10 06:20:00
6 [报告]
发表于 2008-10-12 09:20 |只看该作者
511就专职做BI和仓库版

我支持

论坛徽章:
4
金牛座
日期:2014-08-21 12:58:152015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之本尤德科
日期:2015-05-22 00:05:18数据库技术版块每日发帖之星
日期:2015-06-23 22:20:00
7 [报告]
发表于 2008-10-28 21:37 |只看该作者
莫有多少人讨论,不过也难怪,专业论坛也没有人气特旺的

论坛徽章:
0
8 [报告]
发表于 2008-10-29 11:02 |只看该作者
回LS:
      现在数据仓库不活跃,原因是多方面的。一个是: 目前国内数据仓库市场还没有非常成功的案例(可能我孤陋寡闻),也可以说没有达到设想的效果;
                                       第二个是: 数据仓库还没形成行业体系,理论体系当然可以参见两位仓库前辈(不说大家都知道)
                                                          第三个是: 目前实施项目队伍素质不是很高,基本都是刚毕业和新手等等;
    还有那些原因带后续读者继续,当然还是希望大家多讨论本帖的主题,谢谢大家积极回复,本人十分希望得到确切解答。

论坛徽章:
0
9 [报告]
发表于 2008-10-30 22:18 |只看该作者
今天有时间也来讨论下LZ的问题,互相学习:
首先关于技术问题:
-基础模型:关于维度建模与范式建模两者的优缺点应该在很多的资料中都有介绍的,两者最大的区别也就是在灵活性与性能方面的了(范式建模具有高灵活性,但对用户来说在性能方面却不是很理想,而维度建模在满足用户需求性能方面是比较高效的,但是灵活性不够好)其实这个可能在具体的项目中体验可能会更深刻些。
集市模型:其实LZ自己您应该有自己的答案了:只要集市是专门为某个分析主题而建,就存在扩展性,效率问题。比如要分析跨集市的分析,那么是重新建再建一层集市,还是由OLAP工具自己连接实现?当然选择那种方式去实现,一个看效率,另外一个看实现的价值(比如我再建一层集市,即时花费的代价再大,那么我也建,因为可以重复利用到很多分析领域)。对,我觉得也是两个方面一是看新的业务需求在我原来的ODS层是否可以满足,如果可以满足且效率较高的话(并且有时新的需求来了要求你开发的时间也是有限话,比如要求在一个星期能完成那可能就只得从ODS层出了),但是如果时间财力允许的话我想做成一个从属集市应该是最好的。
效率优化问题:这个也深有体会啊,可能跟服务器本身的CPU,MEM,I/O等有关也可能跟上面跑的应用有关,但多数问题还是在SQL的处理上,而SQL呢又大部分会跟索引有关,在OLTP系统里有时一个索引对一个SQL来说可能还不是很明显,但在DW中尤其是较大的表操作时,索引是很关键的。我的经验就是正确的使用索引(对表进行优化统计),分步骤,分批次,对表分区操作等等。
其次关于行业:
360行,干一行爱一行吗!呵呵
还有:
其实我很赞成上面511老师的一个说法:所有的管理软件,其最核心的价值,还是其“应用”其“管理”。不过我也喜欢“技术”!哈哈

论坛徽章:
0
10 [报告]
发表于 2008-11-21 22:59 |只看该作者
数据恢复和备份
http://www.benfen.com备份中国专业备份服务提供商,它的在线备份软件采取备份前数据本地安全加密处理,传输过程中采用SSL 128bit加密安全保密措施让你的数据成功备份。用户数据恢复口令的用户唯一专属性让数据恢复更加安全放心。
软件免费下载:
PC V2.0:
http://www.skycn.com/soft/48873.html
服务器 V2.0
http://www.skycn.com/soft/48875.html
同时您也会免费得到两个版本的破解版
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP