关系数据库的死穴 [复制链接]

论坛徽章:: 0

21楼 [报告]

发表于 2005-07-17 12:26 |只看该作者

看到http://fanyzidb.home4u.china.com ... 频谋斫峁�,越看越晕,
看到這一句\"基本上不考虑数据冗余问题，以空间换取智能和使用方便\", 有明白楼主要干什么
使用绝对是不方便的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

22楼 [报告]

发表于 2005-07-17 18:57 |只看该作者

最初由 fanyzidb 发布
[B]

通过调查是可以知道的,问题是面对成千上万个数据库系统,所涉及到的表的数量是非常惊人的!面对结构各不相同的几十万、几百万个表,要了解其结构,是相当困难的.

从通信协议的角度解决不了问题,因为这并未解决异构数据源问题.信息孤岛是同异构数据源而引起的.EDI 和 XML 所解决的只是数据交换问题，而未能解决最根本的异构数据源问题。 [/B]

是的, 能自动辨别当然是理想的, 不过事实证明这种想法和人工智能一样, 是不成熟地. 在多的数据库也是人建出来地, HTML能让亿万网民共享互连网的资源, XML和EDI一样也能, 只要大家在自己的数据库上提供一个支持该协议的通信口, 所谓异构数据库就可以当黑盒子, 不必理会它的内部构造啦.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

23楼 [报告]

发表于 2005-07-22 10:14 |只看该作者

http://fanyzidb.home4u.china.com/ 中所介绍的正如你所说\"不必理会其内部结构\"

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

24楼 [报告]

发表于 2005-07-22 11:32 |只看该作者

偶看了这篇文章, 偶觉得它比较落伍的地方是万能的准一维数据结构只考虑了数据库的逻辑结构, 把表名, 字段名, 类型之类的所谓META信息, 写到了一张标准结构的表里(它把内部结构写到了自己的结构里), 它并没有对原来的信息做任何提高通用性的改进, 无法令系统理解的表名, 字段名等等, 都是老样子, 数据库依然无法整合.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

25楼 [报告]

发表于 2005-07-22 14:24 |只看该作者

最初由 lodge 发布
[B]偶看了这篇文章, 偶觉得它比较落伍的地方是万能的准一维数据结构只考虑了数据库的逻辑结构, 把表名, 字段名, 类型之类的所谓META信息, 写到了一张标准结构的表里(它把内部结构写到了自己的结构里), 它并没有对原来的信息做任何提高通用性的改进, 无法令系统理解的表名, 字段名等等, 都是老样子, 数据库依然无法整合. [/B]

不是落伍,而是还未能由理论变成现实.俺在20年前就考虑此问题,还写了三篇论文.

大脑如何存放和检索信息
准一维数据结构来源于何处

要说“信息孤岛和异构数据源的解决方案”中所提到的准一维数据结构的来源，话就长了。那是一个很久很久以前的故事。

一九八一年，我从杂志上看到一篇文章，这篇文章提到了“电脑能否超过人脑”这个问题。这篇文章给我留下了很深刻的印象。从此之后，我经常考虑这个问题。
开始研究人工智能时，完全是业余爱好，并未想着把研究人工智能当作自己的事业，也没有想取得什么成果。当我掌握了计算机原理之后，我曾尝试着设计人工智能计算机。我认为要想设计出人工智能计算机就必须弄清两个问题，一个是大脑如何处理信息，另一个是大脑如何存贮与提取信息。当时我认为人脑之所以比电脑聪明，在很大程度上取决于人脑的记忆能力比电脑强大。与此同时我注意到人的大脑提取信息的方式与计算机不同。计算机要提取任何一个信息都必须首先确定信息在存贮器中的准确地址。而大脑在提取信息时好象就不需要地址。当我有此发现后，就开始研究大脑的记忆，特别是大脑是以何种方式来存贮与检索信息的。
凭我自己的能力，我根本不可能设计出人工智能计算机。这一点我很清楚。我研究大脑记忆的最初想法是希望通过模拟大脑存贮和检索信息的方式来提高计算机存贮和检索信息的能力，我根本未想到花大精力来研究大脑记忆。为此我开始根据前人的理论来分析大脑是怎样存放和检索信息的。可惜的是心理学书中虽说有大量的篇幅来描述大脑的记忆，却未说明大脑是怎样存放信息的，也未说明大脑是如何检索信息的。
我在研究大脑记忆时所考虑的问题是：当一信号输入到大脑后，该信号存放于大脑中什么位置（哪个神经元中）？怎么存放？以什么方式存放？然而心理学书中都未提到这些问题。所有这些问题都让我头疼。然而更让我头疼的是“复习可以巩固记忆，从而使记忆更加牢固”。我也希望使计算机拥有这种功能，然而无论我如何模拟，也无法使计算机实现这一点。
复习是怎样巩固已形成的记忆痕迹的？如果说当前的信息巩固了以前存放到大脑中的信息，那么这种巩固是怎样实现的？对这些问题，心理学书中都未介绍。当时我想用链表的方式来模拟大脑的联想功能。我希望通过“计算机”一词而使计算机能“联想”到与计算机有关的一些信息。当我着手设计时，我发现与“计算机”有关的信息实在是太多太多了，用链表和指针的方式使计算机模拟大脑的联想根本行不通！当时我认为“计算机”一词在大脑中只占据一个存贮空间。
大约是83年的一天晚上，我在学校的图书做作业，我的脑海里突然出现了一个念头，“计算机”一词在大脑中应该存放多次，而且是每当我们看到“计算机”一词时，该词都会在大脑中留下一个新的记忆痕迹。当我把这个想法用来解释大脑记忆与思维时，我发现几乎所有问题都可以迎刃而解！
直到1993年至1998年间，在解决实际数据处理问题中逐步在模仿大脑记忆的模式而提出并完善了“准一维数据结构”，并发表了三篇论文。很多人对这三篇论文给予了很高的评价。

大脑是如何存放信息的
1、大脑有视、听、触、嗅、味等感觉器官，各种感觉器官在大脑中有相应的“存贮空间”。
2、检索信息：相似联想、接近联想（时间、空间、不同感觉器官）
3、大脑存放信息的方式：准一维数据结构
大脑存放信息的模式：
|------|------|------|------|------|------|
| 视觉 | 听觉 | 触觉 | 嗅觉 | 味觉 | 其它 |
|------|------|------|------|------|------|
|------|------|------|------|------|------|
“准一维数据结构”就是模仿大脑存放信息的方式而提出的一种数据结构。
1996年，我曾用C语言来开发以“准一维数据结构”为基础的数据库，结果只是开发出了一个演示版。我知道，凭个人的力量来开发一人数据库系统实在地太难了！后来由于工作比较忙，就放弃了。“准一数据结构”需要用可变长的数据类型，而当时的数据库中还没有可变长的数据类型。
目前的数据库中已有可变长的数据类型，所以可在现有的数据库系统的基础上，再编写少量的程序，就可以以“准一维数据结构”而开发出一种新型的数据库系统“独立数据库”。现在已开发出了初始版本的“独立数据库”系统，下载地址：http://fanyzidb.home4u.china.com/ 。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

26楼 [报告]

发表于 2005-07-22 14:29 |只看该作者

关系数据库由理论变为现实经历了十多年,很多人反对

http://blog.yesky.com/21/sunmuse/107021.shtml
[Oracle] 书写历史的甲骨文--ORACLE公司传奇
整理：Fenng
日期：09-Sep-2004 　
出处：http://www.dbanotes.net
版本：1.01 (本文已经发表在《程序员》杂志)
________________________________________

ORACLE公司之起源

很难想象，ORACLE公司的这一段传奇居然要从IBM开始。

1970年的6月，IBM公司的研究员埃德加•考特（Edgar Frank Codd）在 Communications of ACM 上发表了那篇著名的《大型共享数据库数据的关系模型》（A Relational Model of Data for Large Shared Data Banks）的论文。这是数据库发展史上的一个转折。要知道，当时还是层次模型和网状模型的数据库产品在市场上占主要位置。从这篇论文开始，拉开了关系型数据库软件革命的序幕。

虽然早在1970年就诞生了关系模型理论，但是市场上迟迟不见关系型数据库管理软件的推出。主要原因是很多反对者认为关系型数据库速度太慢，比不上当时的层次式数据库。值得好笑的是，IBM虽然1973年就启动了System R的项目来研究关系型数据库的实际可行性，也没有及时推出这样的产品，因为当时IBM的的IMS（著名的层次型数据库）市场不错，如果推出关系型数据库，牵涉到IBM很多人的自身利益。再者，IBM庞大复杂的官僚机构处在决策上远不那么灵活。

1977年6月，Larry Ellison与Bob Miner和Ed Oates在硅谷共同创办了一家名为软件开发实验室（Software Development Laboratories，SDL）的计算机公司（ORACLE公司的前身）。那个时候，32岁的Larry Ellison，这个读了三家大学都没能毕业的辍学生，还只是一个普通的软件工程师。公司创立之初，Miner是总裁，Oates为副总裁，而Ellison，因为一个合同的事情，还在另一家公司上班。没多久，第一位员工Bruce Scott（用过ORACLE数据库软件的人都知道有个Scott用户的吧？没错，就是这个Scott，至于Scott用户的密码Tiger，那是Scott养的猫的名字）加盟进来，在Miner和Oates有些厌倦了那种合同式的开发工作后，他们决定开发通用软件，不过们还不知道自己能开发出来什么样的产品。Oates最先看到了埃德加•考特的那篇著名的论文连同其他几篇相关的文章并推荐Ellison和Miner也阅读一下。Ellison和Miner预见到数据库软件的巨大潜力（跟着IBM走，没错），于是，SDL开始策划构建可商用的关系型数据库管理系统（RDBMS）。

图1 左起 Ed Oates、Bruce Scott、Bob Miner、Larry Ellison

很快他们就弄出来一个不太像样的产品，或者具体的说，更像一个Demo。根据Ellison和Miner他们在前一家公司从事的一个由中央情报局投资的项目代码,他们把这个产品命名为ORACLE。因为他们相信，ORACLE（字典里的解释有“神谕, 预言”之意）是一切智慧的源泉。1979年，SDL更名为关系软件有限公司（Relational Software，Inc.，RSI），毕竟“软件开发实验室”不太像一个大公司的名字。1983年，为了突出公司的核心产品，RSI再次更名为ORACLE。

图2 美国 Oracle 公司总部一瞥

________________________________________

发展与壮大

RSI在1979年的夏季发布了可用于DEC公司的PDP-11计算机上的商用ORACLE产品，这个数据库产品整合了比较完整的SQL实现，其中包括子查询、连接及其他特性。但不得不说，软件不是很稳定，并缺少事务处理这样的重要功能。出于市场策略，公司宣称这是该产品的第二版，但却是实际上的第一版。之所以被命名为第2版而不是第1版，是因为Ellison认为潜在的客户更愿意购买第2个版本，而不是初始版本。（虽然这样做有些不太诚实，还是要承认这是个十分高明的技巧。到现在还有一些公司把自己卖给客户的版本叫做1.0 ，学学1979年的ORACLE吧！）多年以后的今天，ORACLE公司声称是他们第一个提供了第一个SQL关系型数据库管理系统。

虽然软件不是很好，但是客户还是有的。美国中央情报局迫不及待的想买一套这样的软件来满足他们的需求。但在咨询了IBM公司之后发现IBM没有可以商用的产品，他们联系了RSI。于是RSI有了第一个客户。在当时，政府和军方的机构往往同时有几种计算机，而那时还没有什么“软件可移植”这样的说法，当然，也几乎没有具有这样的能力的应用软件。也就是说，给PDP-11开发的ORACLE数据库不能用在IBM主机和DEC的VAX上。很快用户就表现出来这样的需求：ORACLE能否同时在不同的操作系统上运行？这给RSI带来了新的挑战（主要是Miner和Scott）。70年代末期和80年代早期的软件一般都设计成在单一操作系统上运行，具有可移植能力的软件很少。

1983年3月，RSI发布了ORACLE第三版。Miner和Scott历尽艰辛用C语言重新写就这一版本。要知道，C语言当时推出不久，用它来写ORACLE软件也是具有一定的风险的，但除此之外，别无他法。很快就证明了这样做是多么的正确:C编译器便宜而又有效，还有很好的移植性。从现在起，ORACLE产品有了一个关键的特性：[可移植性]。ORACLE第3版还推出了SQL语句和事务处理的“原子性”--SQL语句要么全部成功，要么全部失败，事务处理要么全部提交，要么全部回滚。ORACLE第3版还引入了非阻塞查询，使用存储在\"Before Image File\"中的数据来查询和回滚事务，从而避免了读锁定（read lock）的使用（虽然通过使用表级锁定限制了它的吞吐量）。同样是1983年，IBM发布了姗姗来迟的Database 2（DB2），但只可在MVS上使用。不管怎么说，ORACLE已经占取了先机。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

27楼 [报告]

发表于 2005-07-22 14:41 |只看该作者

最初由 lodge 发布
[B]偶看了这篇文章, 偶觉得它比较落伍的地方是万能的准一维数据结构只考虑了数据库的逻辑结构, 把表名, 字段名, 类型之类的所谓META信息, 写到了一张标准结构的表里(它把内部结构写到了自己的结构里), 它并没有对原来的信息做任何提高通用性的改进, 无法令系统理解的表名, 字段名等等, 都是老样子, 数据库依然无法整合. [/B]

如果所有数据库都是用\"准一维数据结构\"来建立,信息孤岛异构数据源问题就可以比较容易地解决.

而整合目前的关系数据库则是非常非常困难的,问题的根源就在于关系数据库不能解决异构数据源问题.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

28楼 [报告]

发表于 2005-07-22 15:07 |只看该作者

你如果把表结构写进你的一维表里, 就意味这接受方的数据库仍然要分析对方的数据结构以及数据项目的含义. 而无法解析, 数据项目的含义, 正是妨碍数据交换的主要原因之一. 因此, 偶才觉的你的方案不解决问题.

若干年前, XML出现的时候, 微软, IBM等几个巨头都准备提出按照XML标准写成的数据字典, 其目的就在于统一数据库的整合方式, 解决所谓的数据孤岛问题, 这一企图因牵扯经济利益过大, 大家争执不下至今也没有结论. 说白了这套数据词典就是按照业务常识和标准做出来的一整套规范化了的商用通信术语逻辑规则, 各数据库系统都可以按照该逻辑规则解析数据,然后进行计算和处理. 偶以为这才是解决数据孤岛问题的途径.你说关系型数据库造成了数据孤岛就太夸张啦(写论文嘛, 可以理解地 :p).

除了关系型数据库以外, 同样经典的数据库逻辑型数据库以及OO数据库, 不过因为在性能上的不足, 主要是无法处理以百万甚至是千万计数的数量, 这些数据库主要应用于, 智能分析, 文件管理等领域

偶觉得既然你的数据库理论不是关系型数据库, 你就不应该使用表存储的概念, 脑记忆中没有表, 它应该是通过神经网络进行记忆地, 这方面的研究, 叫神经元网络系统,

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

29楼 [报告]

发表于 2005-07-22 15:12 |只看该作者

最初由 fanyzidb 发布
[B]

如果所有数据库都是用\"准一维数据结构\"来建立,信息孤岛异构数据源问题就可以比较容易地解决.

而整合目前的关系数据库则是非常非常困难的,问题的根源就在于关系数据库不能解决异构数据源问题. [/B]

如果所有的数据库都按照同样的方法建立, 也就没有了异构的问题了嘛. 可是这是不可能地,
而独特的数据结构只能加剧异构的矛盾, 是无法解决这一矛盾地. 试想你如何能让一个关系型的数据库从你的准一维数据结构数据库中得到数据捏, 如果你无法做到这一点, 你的数据库只是增加了一座孤岛而已.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？