数据仓库(DW)，商业智能(BI)与数据挖掘(DM)

jessi01

联系方式：MSN:Jessi.wj@hotmail.com
               E-Mail:jessi@intouch-consult.com

大家可以加我msn 详谈，也可以直接发简历到邮箱，我会和大家及时联系的，谢谢！

1，        深刻理解数据仓库技术和数据仓库实施方法论；

2，       3-5年项目管理经验，有扎实的项目管理理论知识和丰富的经验心得，能够很好的控制项目

3，       熟悉软件工程和软件过程的规范化，在需求分析、计划制定、风险控制等项目管理方面有丰富的经验。

4，        熟悉银行业务，并具银行业4年以上数据仓库项目实施经验；

5，        熟悉NCR银行业LDM模型和Teradata开发环境，并具至少2  年以上相关开发或应用经验；

6，        熟悉UNIX(AIX)/C/PERL/SHELL开发环境，并具该环境3年以上实施经验；熟悉主流数据库（DB2/ORACLE/INFORMIX等）中的一种或多种

RNW

原帖由 innovate511 于 2008-9-14 19:06 发表

数据集市没谁会拿来专门做一个独立的系统，都是DW的一部份，只是不同的架构版本将DM和DW的关系和作用定义不同而已。数据集市必定是相对独立的数据集，独立搞的话，离企业级DW/BI的要求相差太大。只不过有的企 ...

请教：
数据集市和数据仓库的区别在哪里呢？

innovate511

数据集市和数据仓库在网上已有大量的定义和介绍，以及他们的区别。

这里我只简单谈下我的感受，数据集市在建模方式上肯定是维度模型，而数据仓库方面，不一定是，而且很多项目是近3范式建模。从功能来看，数据集市一定是面向BI应用的，而数据仓库不一定，而且多数情况下，数据仓库并不直接被BI访问。从架构上来讲，数据仓库面向数据，有足够大的历史数据，尽量不丢失数据。而数据集市面向信息，数据集市往往是转换、汇总后的数据，被称之为信息，所以不可反转，不可反推回原始数据，所以面对不同的应用，往往是多个数据集市各自满足。所以从关系来讲，数据仓库为多个数据集市服务数据，如果数据仓库是维度模型，那么这个维度模型设计的粒度一定要低，基础指标一定要全面。

当然还有很多很多，最关键的是，数据仓库的目的是建设数据基础，也有人称为企业信息仓库，而数据集市的目的是BI应用，面向企业用户各种查询和分析需求。

hero--008

基本上同意511老师的说法,但从资料上看及个人的感觉数据集市不应该仅仅保留汇总后的数据，原子细节数据有时还是必要的,有时也正是为了反转，为了增量的处理保留明细还是很有必要.

innovate511

细节数据和低粒度有着本质的区别，细节数据是未维度化的数据，和业务系统结构相仿，而低粒度是维度化数据，仅适合分析、计划等。

而数据集市在绝大多数项目中，是选择以低粒度逐步汇总到高粒度的方式，来满足用户的查询功能，如果用户要查询OLTP层面的细节数据，一则可以OLTP系统直接查，如果大规模查询，二则可以选择数据仓库，或ODS查询，这取决于数据仓库整体架构设计，以及权限管理策略。

之所以数据集市很少存储最细节数据，原因有如下几点：
1. 仿OLTP细节数据存储，与维度模型建模思想和方式大为不同，建在一个数据用户里，实在难以管理。当然，如果你将细节数据理解为最低粒度数据，那么理解可能有所偏差，因为最低粒度数据也是汇总数据。
2. 数据集市没有必要和数据仓库保有同样的功能，对系统投资要求过大，如果用户有类似需求，无论ODS和EDW都可以满足细节查询，就看具体情况而定。
3. 从方法论来看，增量数据最常见的是时间戳和即时增量抽取，在ETL过程中一般止于数据仓库。而到维度模型中，刷新以业务周期或周期与某业务主体联合刷新为主，与EDW刷新机制有着本质区别，所以增量数据一般来说与数据集市没有关系，除非数据集市本身已和数据仓库功能划等号。

以前我写过关于长远规划、灵活的具体设计的文章，架构复杂与否在于功能是否有需求，功能是否有需求在于企业具体需求。在目前已有的复杂情况，可能需要(STG)ODS-（STG）EDW-CDW(客户化维度数据仓库)-N多DM，其中每一个主层还可以有具体分工，来满足各种已有的、未知的需求。

神呐救救我

要看是金博尔还是因蒙流派

innovate511

实际项目中，不少是兼用两者的长处，从本质上来说，2者并没有矛盾，一者是从企业级信息中心的角度看，一者主要面向OLAP等分析应用，所以等数据仓库的看法有所不同，但很多本质性的东西，都有相当多优点可以学习。

Stout

数据仓库