数据挖掘技术的三大支柱

feiyang10086

数据挖掘技术的三大支柱

（1） 数据库技术。SQL 统治数据库查询语言标准三十多年这一事实本身就与现在 IT 发展的节拍不符，难道我们"只会查询"吗？所以就有很多专家纷纷转向数据仓库与数据挖掘技术，从数据查询转向数据挖掘、从数据演绎转向数据归纳。传统的数据库系统的体系结构也过于瘦少，只有不协调的两层，这样的结构就造成了只有程序员能编程，老板只能求助于这些"专家"。

（2） 人工智能技术。人工智能技术的三大难题："知识获取、知识表示、缺乏常识"直接制约了它在现实技术市场上的作为。而在与数据仓库技术的结合上，它可以发挥重要作用，这使得它转向数据挖掘技术。

（3） 概率与数理统计。数理统计技术是应用数学中最重要、最活跃的学科。但在与数据库技术的结合上作为有限，这从 SQL 中那可怜的几条汇总函数便可看出。随着数据挖掘对查询、归纳对演绎需求的进化，概率与数理统计将获得新的生命力。

数据挖掘所能发现的知识有如下几种：广义型知识、特征型知识、差异型知识、关联型知识、预测型知识、偏离型知识。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。

摘自《数据挖掘研究现状》-- 李德毅

数据挖掘的应用领域

　　很多公司已成功地部署了数据挖掘应用系统。随着这一技术的早期采用者已经逐步趋于信息密集型工业时，例如财务服务和直邮市场公司，这一技术已经对任何想利用一个大的数据仓库去较好地管理他们的客户关系的公司均是适用的。数据挖掘成功的两个关键因素是：一个大且完整的数据仓库，和一个可挖掘的定义、理解都明确的商务流程，如客户展望、保持，商业活动管理，等等。

一些成功的应用领域包括：

（1） 一家制药公司可以分析他最近的销售行动及其结果以改进高位值医师的目标市场，并决定哪些市场活动将在后续的几个月有最大的效果。数据需要包括竞争对手的市场活动，信息和当地医疗系统的信息一样。结果可以通过广域网分发到各销售队伍，它可以使地区代表从决策过程中关键属性的视点来检视这些建议。随着这一过程的进行，数据仓库的动态分析允许来自整个组织的最好的实践应用于特定的销售环境。

（2） 一个信用卡公司可利用他的巨大的客户交易数据仓库来确定客户对新的信用卡中最感兴趣的产品。使用一个小型的测试邮件，就可以确定一个客户对新产品的亲和力属性。最近的项目已经表明，采用超常规的方法对指定目标的邮寄活动，可以节省20倍的费用。

（3） 一家拥有很大的直销队伍的多样化的运输公司，可使用数据挖掘以确定其服务的最好模式。 用数据挖掘来分析他自己的客户体验，该公司可建立唯一的分段以确定高位值的预期。对诸如由 Dun & Bradstreet 提供的那些一般商务数据使用这些分段可以产生一张按地区排列的优先列表。

（4） 一个大的消费者货物包裹公司可以利用数据挖掘来改进对零售商的销售流程。来自消费者组织、运输商以及竞争对手活动的数据，可以用于理解打上印记和仓储转移的原因。通过这些分析，制造商可选择能最好地运抵目标客户地区的运输商推荐策略。

每一个这样的例子有一个共同的清晰的基础，他们利用在数据仓库里隐藏的关于客户笃信的知识，来减少费用并改善客户关系的价值。这些组织现在可以集中精力于最重要的客户和有前景的商务，并设计可以最好实现这些目标的市场策略。

数据挖掘(DM)、在线分析(OLAP)和决策支持(DSS)的差异

　　在在线分处理 OLAP 中，它采用的是演绎推理；在数据挖掘中，则是归纳推理。因此二者的区别是什么及分别采用什么技术差不多是一个问题。

数据挖掘(Data Mining)

数据挖掘的目标仍然很像是人工智能。数据挖掘用户不能对系统严格地提出一个尽可能完整的问题，以在此模型中发现过去的模式来预测未来的行为。这可以产生以前不知晓的有价值的事实。

更开放的数据挖掘请求甚至可以像这样："给我一个人们购买敞蓬卡车时的特点预测模型"。通过从过去的模式的学习，数据挖掘系统应能提供下列类型的答案："它取决于时间年份和所在地区。在冬季，在新英格兰乡下的人们，在特定的年龄组和收入水平，将比中西部的同类人，喜欢购买更多的该种卡车"。

数据挖掘可以发现复杂或精细的答案，而这些是 OLAP 处理所不能做到的。但抛去这些差别，一些不做数据挖掘的 OLAP 销售商也声称他们能做。 Pilot 公司的专家说："给出数据挖掘的较弱的定义，OLAP 销售商说他们可以做数据挖掘。明显的分界线一个是处理是否是自动的，另一个是对诸如'什么是感兴趣的'和'什么是无关的'等问题，你是否有一个好的统计基础。"

在线分析(OLAP)和决策支持(DSS)

OLAP 和 DSS 配置有少数的算法，并且依赖于人们提供给问题和假设。这样做的缺点在于"问题和假设"受限于人的一己之见。

一个典型的 OLAP 或 DSS 问题是问："去年中西部的人比新英格兰的人购买了更多的敞蓬卡车吗？" 注意这里的问题隐含有某种假设。OLAP 或 DSS 处理将回答："去年中西部的人购买了 12,000 辆卡车，而同一时间, 新英格兰的人买了 10,000 辆。"这显然是有帮助的，但这受限于假设。

特别查询并生成报表一般用于很多商务活动，来为他们的决策提供输入。决策支持系统 DSS 和执行信息系统 EIS 大多用于这种目的。从基本面来看，需要使用报表生成工具。应用系统利用这些特别的关系数据库系统的查询能力是普遍的现象。数据挖掘帮助人们聚焦于这些系统和技术的使用使用，这样关系信息可以快速获取分析时间更加有效率。

分界线的消退。与此同时，数据挖掘、OLAP 和 DSS 的界线正在消退。数据挖掘的算法已经进入了很多产品的议程，包括那些纯粹的 DSS 和 OLAP 销售商，和 AT&T 那样，他们已经在悄悄地工作于一个称为"最近邻居系统"的数据挖掘方案，它可以展示记录间的相似性。因为 DSS 销售商已经有了前卫的数据库可视化系统，如果数据挖掘功能很好地做出，那它的加入是自然而然的事。

译自 Kenneth S. Lubel Data Mining: A New Way to Find Answers

数据挖掘技术未来的发展方向

（1） 新的专门用于知识发现的类似 SQL 那样的形式化和标准化的数据挖掘语言将会出现。

（2） 可视化的数据挖掘过程，用户易于理解挖掘且能操纵它，它可使数据挖掘过程成为用户业务流程的一部分。包括数据用户化呈现与交互操纵两部分。

（3） WEB 下的网络挖掘的应用技术的发展，数据挖掘服务器与数据库服务器配合，实现数据挖掘。届时可在因特网上建立强大的数据挖掘引擎与数据挖掘服务市场。

融合各种异构数据的挖掘技术。从而既可以在数据外的文本、图形、多媒体上又可以在数据库外的信息、新闻、广播市场上实施挖掘。