如何做好项目实施中的数据管理

linesky

管理信息系统实施成功三大因素依次为：人、数据、技术，也许有些人不完全认同，但是数据的重要性是大家不可否认的。

　　1. 数据管理的组织机构的建立

　　为了更好的进行软件系统的数据管理，应该从组织机构角度来做考虑，建立单独的组织机构来管理数据相关工作，或者在实施小组里面专人总负责。

　　软件开发商和客户核心的业务骨干一起制定数据规范，客户提供符合规范的业务数据，只有符合规范的数据才能进入系统。

　　2. 数据管理的原则

　　强调客户和软件开发商的2方项目组成员做到”不能有"我以为"的思想“，一旦有如此思想，很容易陷入闭门造车，项目需求很容易走样，因为客户à 所有的客户，也是在"我以为"。项目组要想做到控制住需求，一定要抛开自己的设想。所以任何一个项目组成员，第一句话就告诉他，不要有”我以为“的想法。把"我以为"变成"客户认为"(最好是客户和软件提供商一致认为)，这才是最重要的。

　　呵呵，这又回到了项目管理上。我在这里实际上只是想从数据管理这个更具体的角度来阐述问题。

　　3. 数据入口的单一性

　　同一数据必须一次、一处进入系统，保证其准确性，及时性和完整性和入口的单一性。管理控制一体化是系统的目的，如果一个数据在多个地方存储，很容易造成数据的不一致。

　　4. 数据副本管理/数据版本管理

　　虽然上面提到了数据存储的单一性，但是有些时候也需要存储副本数据。存储这些副本数据的目的就是为了在使用数据副本的地方不受到数据源的变化的影响。

　　例如：数据1在业务A进入系统，业务B使用到了数据1，但是为了避免在业务B使用了数据1后，业务A又把数据1的修改影响到业务B，那就需要业务B在使用数据1时候保存副本。

　　比如：城市拆迁资源计划系统的拆迁合同在使用房源业务录入的房源房屋面积信息时，就使用了副本机制，在合同使用房屋面积时候，把面积信息存储下来，当合同构筑完成时候，如果相应的房屋面积信息发生了变动，就用另外的业务来处理这个数据变动的相应处理(比如，使用房源的差价款合同来处理)。

　　有朋友建议用配置管理系统，把数据版本机制引入了业务数据里面。做过J2EE的项目，都知道很多地方可以通过配置来进行管理。其实这个思想延伸到数据库模型的设计时候，就体现出来了业务数据的配置管理的思想的使用。

　　我们其实也有是用这个思想，但是主要体现在 在基于数据表级别上用数据级别+历史编号 来识别有效的数据。1个很简单的例子：

　　一个员工的姓名原来 是aa, 后来改委bb，可以通过历史编号找到原来的信息是bb通过数据级别识别现在的有效数据是aa，我们把数据版本控制更多的是采用"数据级别"加"历史编号" 另外还加上了一个"生效日期"，"截止日期"这2个时间戳另外，实际软件系统的历史业务数据进入系统就比较烦，可能需要使用版本管理机制来处理才行得通。

　　5.建立数据等级制度

　　软件项目实施中业务规则经常会陷入一个两难的境地，如果业务规则加强，很多数据数据达不到规范化的要求，无法入机;如果放宽控制，很多垃圾数据就进入了，大家都明白一个道理，对于软件系统，垃圾数据进去，肯定是垃圾数据出来，统计查询结果肯定是这样的。

　　可以建立数据的等级制度，制定数据进入系统的最低要求。达到最低要求才能进入系统，比如：

　　业务A,需要数据a1,数据a2,,数据a3,数据4。我们可以制定进入系统的关于业务A的条件是必须要有数据a1,a2才可以进入系统(也就是最低要求)，如果提供的业务数据同时有数据a1,数据a2,,数据a3,那就是更高一级的数据(第二级数据)，如果业务数据在满足第二级数据的基础上，提供了数据4，那就是第三级数据。

　　如果用过J2EE平台的同行理解起来就比较容易，这实际上就是JMS基于主题的消息管理思想用于软件系统一个具体例子而已，这里不过是强调的是用于管理数据的信任等级而已。

　　其实很多软件项目开始制定的的数据规范，一般到后来都执行不下去，主要是太理想化了，也许只有到系统真正用起来了，系统数据的信任等级才能上去。所以我觉得应该在系统开始时候就把数据分等级，不同的等级，业务给与适当不同的处理，这样也便于后期的业务进行查询统计分析或者数据挖掘。

　　这种思想实际上就是将数据可以信任的程度进行分类;而一般的软件系统是把数据定义为两类，可以进入系统，不可以进入系统;我在这里设想的是，从数据可以信任的角度出发，分成多种类别，使用了一个小数来描述信任程度，而不是一个二值逻辑变量来描述;这样从建立软件系统整体模型的时候，把数据信任管理纳入考虑之内，在进一步作业务分析，决策支持或者数据挖掘时候是比较有好处的;当然进一步延伸可能就需要从OLTP/OLAP混合建模来考虑，不过真要到那个高度，可能项目范围就扩大了很多，具体怎样操作，还要看项目具体情形。

　　当然，在软件项目实际操作的时候，可能还会遇到另外一个问题，很可能用户会乱用这个数据信任程度的概念，我个人的建议是在项目实施中如果可能的话，优先进入信任等级高的数据，然后才是信任程度低的数据;当然也可以从人员来角度作为切入点，信任等级越低的数据，进入系统就需要的业务更熟悉的人员来操作录入，而且经过的业务处理步骤就越多。一句话，数据信任程度越低，就应该受到的审查/检察越多。

　　在现实中稍微规模大一点的软件系统涉及到的组织机构都是比较大的，有很多还可能是松散的组织管理模式。在这类组织机构中，同样的业务数据可能很多部门都会是数据录入点和数据分析点，为此可以从数据采集/来源角度来描述数据本身。

　　从当前项目利益来说，数据来源管理方便数据查询分类，长期来说可以建立起数据信任等级。

　　对于数据来源的识别，一般需要有特定信息来记录数据的来源，特别是一些大型企业当然分支机构较多的公司企业政府，也应该这样来管理。

　　事实上，数据来源管理是数据信任管理的进一步延伸，是数据信任管理的前置条件。一个数据，可以是来自于A部门的也可能是来自于B部门的。为了方便统计查询和数据信任管理的加强，应该记录下数据的来源地。

　　具体操方式可以有以下几种：

　　1) 数据录入人员的工作人员编号，知道了数据录入人员的编号，就知道数据的来源地。

　　当然，实际工作种存在人员调动，替操作(1个人用另外一个人的身份进入系统数录入)，这些都有可能需要考虑到，否则可能造成数据来源管理失效。

　　2)另外一种方式就是直接记录数据录入的部门编号。

　　这种方式弊端就是不能记录下数据的具体操作人员。

　　其它说明：如果系统中引入了工作流产品，数据来源这部分工作可以由工作流来担任。具体例子：在现实的软件系统中可能存在一个主数据库/数据中心，若干分数据库/数据中心，系统在每过一定时间进行数据上传/下载，为了进行数据合并和控制数据的修改，应该每个分数据中心只能处理修改自己的数据，可以查询总数据中心/其他分数据中心的数据。如果没有引入数据来源管理(数据属地管理)和数据版本的控制机制，不知道系统在作数据中心合并会怎样子?

　　6.数据项的分类编码

　　数据项的分类编码，实际上是数据项来源管理的一个具体延伸。数据项编码的目的就是更快更好的识别数据代表的业务意思。一个典型的例子就是ERP中的BOM表(基本物料清单)。

　　数据项的分类编码，不只是在系统模型建立上有指导意义，在进入系统的业务数据的规范化同样有指导意义。

　　数据项的业务编码和系统编码分离。业务编码很多时候只是为了识别业务数据的需要，很难保证业务数据的唯一性要求。而且业务编码可能会发生变动，有些单位的总体规划从调研到讨论制订、到项目审批通过，再到最终实施，常常几年过去了，需求发生变化，这种编码规则不发生变动几乎不可能。2000年我参与的一个企业软件系统，就一个产品编码规则2个月就发生了5次变动。从更长的时间范围内来说，应该考虑数据产生时期问题，不同时间阶段产生的业务数据，使用的业务规则不一样，数据编码这个层次很多时候很难识别数据当时的业务环境。

　　以一个简单的例子来说明：

　　业务数据表的primarykey系统应该是系统定义的，而数据项的业务编码只能作为索引或者备用键使用，这样就减少了数据业务编码规则的变动对系统影响减少到更小的程度。

　　7.算法的版本化

　　本来我打算在前面的基础上，再谈一下业务流程的管理设置问题，不过，现在工作流思想深入人心，我也就跳过了。我打算从数据的核心业务处理，算法处理角度来阐述。

　　其实在现实中的软件项目中，大家提到的较多的BPR,工作流这些东西，但是很少提到算法这个单词。当然，不可否认，很多软件项目，特别是电子政务/OA的业务主要是体现在流程/文件上，算法这部分比较简单(当然，我这样说，有人可能不认可，暂且就不争论它了)，就没有必要去强调算法的重要性了。

　　为了避免垃圾数据进入系统，垃圾数据出来，有必要对数据进行分类管理。正如前面提到的那样，对于进入系统的数据，进行信任等级划分，数据来源的分类;但是对于系统出口，为了避免出现垃圾数据，需要在数据处理阶段，也要进行分类处理，这里就引入了算法的版本化，来适应不同的数据/业务需要。

　　在实际项目中，可能不同信任等级的数据，采用不同的算法去处理数据，这样才使得数据的处理更有针对性，更符合实际需要。

　　从需求变更的角度出发，软件开发商可以先实现一些数据信任程度低的算法，然后再根据项目实际情况，决定是否实现更高一级数据等级的算法。在现实软件项目，数据信任等级低的采用的算法也会简单一些，由于需求变更，增加了新的数据信任等级更高的数据，这时候可以考虑暂时采用低等级的算法进行处理，然后再结合人工干预，达到数据处理的要求。大家都明白一点，算法复杂，测试的难度就大，但是使用这些更高等级的算法的几率是很少的，处于成本的原因可以把这些算法的实现滞后。

　　当然我这样说，并不是意味着放弃高等级的算法，一些根据项目实际情形需要来操作。

　　数据根据信任程度分成等级，呵呵，这就是所谓工厂方法模式嘛，算法也分成等级结构，这就是所谓的模板方法模式。

　　数据在处理后，应该记录下被使用的算法版本，这样才便于以后统计查询分析或者数据挖掘之类工作的开展。

　　例如：在一个商品交易中，一个商品可能被购买的价格是正常价格，节假日优惠价，会员优惠价，在交易流水账中，应该记录下交易时候是采用的那个价格类型，原始价格多少，实际购买价格多少。记录下原始价格，是因为，商品的原始价格本身可能是变化的。

　　再以拆迁资源计划系统为例，房屋补偿的价格价格可能是来自于管理参数，也可能是来自于申请，实际到底是来自于哪个，算法应该记录下来。

　　8.业务规则使用的版本化

　　前面已经提到了数据录入的版本化，还有算法的版本化，也就是计算结果的版本化。但是还没有谈到一点，到底啥时间该采用哪个版本算法。

　　在J2EE项目中，一般是采用配置文件的方式来控制版本。从配置管理角度的来说，一切都根据配置文件来决定使用哪个版本的数据录入的分级(数据信任程度分级)，然后根据配置文件决定数据处理使用的算法版本。

　　其实在J2EE项目中，可以采用类似apache commons-validator这样的包，来进行数据录入的信任等级建立。

　　前面都已经提到了从工厂方法模式的角度来建立数据信任等级制度，但是并没有解决到底啥时间采用哪个方法处理数据。也许有人建议，采用工厂方法模式的思想，把数据当成产品，把算法当成工厂，来处理(注意：不是制造)数据。这个想法也许能够满足一些系统的需要，但是更多时候是失效。

　　为此，我觉得有必要把算法的分配使用当成为一个业务管理策略来管理，通过单独的业务模块去设置业务的算法管理策略，可以把这些策略保存为配置文件或者直接保存到数据表;在J2EE项目中，常用的方式使用XML的格式保存为配置文件，但是如果这个策略比较复杂的时候建议还是保存到数据表。