征求postgresql部署的建议

int3

原帖由 chunyv 于 2008-2-14 13:28 发表



这个确实可以考虑一下，操作系统我比较倾向于Freebsd，稳定和可控性比较好，再加上ZFS比较适合海量数据，solaris也可以

呵呵，你敢把ZFS放在生产机器上用？

linuxdee

用之前当然要测试。如果稳定，安全，为什么不用呢？为什么不敢大胆地用呢？等着把手里的钱都送给美国人？
做IT的人没有创新和贡献，那真是让人叹惜。。。

[ 本帖最后由 linuxdee 于 2008-2-14 17:31 编辑 ]

le4rnin9

我的方案
Linux+wine+MSSQL

要完成这个方案得喝点红酒才能干。

chunyv

原帖由 linuxdee 于 2008-2-14 17:27 发表
用之前当然要测试。如果稳定，安全，为什么不用呢？为什么不敢大胆地用呢？等着把手里的钱都送给美国人？
做IT的人没有创新和贡献，那真是让人叹惜。。。

1T的spool我曾经测试过，主要是读写压力，但是没有长时间跑过（在虚拟机上），
连续跑了两个小时，没有什么异常，由于笔记本太热了就没有继续跑下去，毕竟是自己的机器心疼啊！！

测试环境
Macbook pro 896
Winxp
VM6.0（1CPU ，1G RAM）
FreeBSD 7.0RC1
142Gb x 8 SCSI

参考了http://wiki.freebsdchina.org/doc/z/zfs_root

1T形同反应还比较正常，当超过3T系统明显变慢，也许跟VM或winxp有关
测试程序是自己写的，主要测试了1K x 1M、1M x 1K、1G x 10 文件连续和随机读写，速度大概是3-10MBps。。

linuxdee

谢谢,你的测试很重要。让我感觉到在并肩前进。。。
你发的参考贴子我也正在看。。。

arust

期待更多的高手进来讨论

linuxdee

几大数据仓库方案特性比较

导读：IBM公司提供了一套基于可视数据仓库的商业智能（BI）解决方案，包括：Visual Warehouse（VW）、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB，以及来自第三方的前端数据展现工具（如BO）和数据挖掘工具（如SAS）。Sybase提供的数据仓库解决方案称为Warehouse Studio，包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。

　　IBM公司提供了一套基于可视数据仓库的商业智能（BI）解决方案，包括：Visual Warehouse（VW）、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB，以及来自第三方的前端数据展现工具（如BO）和数据挖掘工具（如SAS）。其中，VW是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server支持“维”的定义和数据装载。Essbase/DB2 OLAP Server不是ROLAP（Relational OLAP）服务器，而是一个（ROLAP和MOLAP）混合的HOLAP服务器，在Essbase完成数据装载后，数据存放在系统指定的DB2 UDB数据库中。严格说来，IBM自己并没有提供完整的数据仓库解决方案，该公司采取的是合作伙伴战略。例如，它的前端数据展现工具可以是 Business Objects的BO、Lotus的Approach、Cognos的Impromptu或IBM的Query Management Facility；多维分析工具支持Arbor Software的Essbase和IBM（与Arbor联合开发）的DB2 OLAP服务器；统计分析工具采用SAS系统。
　　Oracle数据仓库解决方案主要包括Oracle Express和Oracle Discoverer两个部分。Oracle Express由四个工具组成：Oracle Express Server是一个MOLAP (多维OLAP)服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系数据库；Oracle Express Web Agent通过CGI或Web插件支持基于Web的动态多维数据展现；Oracle Express Objects前端数据分析工具（目前仅支持Windows平台）提供了图形化建模和假设分析功能，支持可视化开发和事件驱动编程技术，提供了兼容 Visual Basic语法的语言，支持OCX和OLE；Oracle Express Analyzer是通用的、面向最终用户的报告和分析工具（目前仅支持Windows平台）。Oracle Discoverer即席查询工具是专门为最终用户设计的，分为最终用户版和管理员版。在Oracle数据仓库解决方案实施过程中，通常把汇总数据存储在 Express多维数据库中，而将详细数据存储在Oracle关系数据库中，当需要详细数据时，Express Server通过构造SQL语句访问关系数据库。但目前的Express还不够灵活，数据仓库设计的一个变化往往导致数据库的重构。另外，目前的 Oracle 8i和Express 之间集成度还不够高，Oracle 8i和Express之间需要复制元数据，如果Oracle Discoverer（或BO）需要访问汇总数据，则需要将汇总数据同时存放在Oracle和Express中，系统维护比较困难。值得注意的是，刚刚问世的Oracle 9i把OLAP和数据挖掘作为重要特点。
　　Sybase提供的数据仓库解决方案称为Warehouse Studio，包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。其中，Warehouse Architect是PowerDesigner中的一个设计模块，它支持星形模型、雪花模型和ER模型；数据抽取与转换工具包括PowerStage、 Replication Server、Carleton PASSPORT，PowerStage是Sybase提供的可视化数据迁移工具。 Adaptive Server Enterprise是Sybase企业级关系数据库，Adaptive Server IQ是Sybase公司专为数据仓库设计的关系数据库，它为高性能决策支持系统和数据仓库的建立作了优化处理，Sybase IQ支持各种流行的前端展现工具（如Cognos Impromptu、Business Objects、Brio Query等）；数据分析与展现工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等， PowerDimensions是图形化的OLAP分析工具，它支持SMP和多维缓存技术，能够集成异构的关系型数据仓库和分布式数据集市，从而形成单一的、新型的多维模式；数据仓库的维护与管理工具包括Warehouse Control Center、Sybase Central、Distribution Director，其中Warehouse Control Center是为数据仓库开发人员提供的元数据管理工具。 Sybase提供了完整的数据仓库解决方案Quick Start DataMart，具有良好的性能，并支持第三方数据展现工具。从Quick Start DataMart的名称不难看出，它尤其适合于数据集市应用。另外，Sybase可以提供面向电信、金融、保险、医疗保健这4个行业的客户关系管理（CRM）产品，在这4个产品中，有80％的功能是共性的，有20％的功能需要Sybase与合作伙伴针对不同需求共同开发。
　　Informix于1998和1999年相继收购了国际上享有盛誉的数据仓库供应商Red Brick System和数据管理软件供应商Ardent，并提供了完整、集成的数据仓库解决方案。该解决方案还包括一个“快速启动”咨询服务，能够帮助用户快速完成数据仓库或数据集市的开发。Informix产品能够集成Microsoft IIS或Netscape Enterprise/FastTrack服务器，从而支持基于Web的数据仓库应用。 Informix没有提供自己的报表和数据挖掘工具，但他们与Brio和SAS公司建立了战略联盟，并推出了“Informix商务智能联盟计划”。该计划以Informix为主，结合Brio的前端数据分析和报表功能，以及SAS的数据挖掘功能，形成了一个“BI中心”打包方案。（今年4月 Informix Software已被IBM公司收购，此举将给IBM公司数据库及数据仓库产品，从技术和市场占有率上带来极大的提升。）
　　CA于1999年收购了Platinum Technology公司后，得到了完整的数据仓库解决方案，包括：Erwin数据仓库设计工具、InfoPump数据转换与抽取工具、 InfoBeacon ROLAP服务器、Forest＆Trees前端数据展现工具、Provision系统监视与作业调度工具和DecisionBase元数据管理工具等。与Informix 解决方案相似，CA解决方案也提供了数据仓库建模、元数据管理、数据抽取与转换、基于关系数据库的在线分析服务器、系统监视与作业调度、前端数据展现等功能，同时还支持Web应用。不同之处是Informix提供了专门为数据仓库设计的高性能目标数据库（Red Birck），而CA解决方案则提供ODBC接口，并将数据存储在第三方关系数据库(如Oracle、Sybase、SQL Server、Informix和IBM DB2等)中，其性能要打一些折扣，但开放性要好些。另外，CA的OLAP服务器目前只能与Microsoft的IIS Web服务器集成。
　　NCR Teradata是高端数据仓库市场最有力的竞争者，主要运行在NCR WorldMark SMP硬件的Unix操作系统平台上。1998年，该公司也提供了基于Windows NT的Teradata，试图开拓数据集市（Data Mart）市场。总的来看，NCR的产品性能很好，Teradata数据仓库在100GB、300GB、1TB和3TB级的TPC?D指标测试中均创世界纪录。但是，NCR产品的价格相对较高，中小企业用户难以接受。
　　Microsoft将OLAP功能集成到Microsoft SQL Server 7.0中，提供可扩充的基于COM的OLAP接口。它通过一系列服务程序支持数据仓库应用。数据传输服务DTS（Data Transformation Services）提供数据输入/输出和自动调度功能，在数据传输过程中可以完成数据的验证、清洗和转换等操作，通过与Microsoft Repository集成，共享有关的元数据；Microsoft Repository存储包括元数据在内的所有中间数据；SQL Server OLAP Services支持在线分析处理；PivotTable Services提供客户端OLAP数据访问功能，通过这一服务，开发人员可以用VB或其他语言开发用户前端数据展现程序，PivotTable Services还允许在本地客户机上存储数据；MMC（Microsoft Management Console）提供日程安排、存储管理、性能监测、报警和通知的核心管理服务；Microsoft Office 2000套件中的Access和Excel可以作为数据展现工具，另外SQL Server还支持第三方数据展现工具。
　　SAS公司在20世纪70年代以“统计分析”和“线性数学模型”而享誉业界，90年代以后，SAS公司也加入了数据仓库市场的竞争，并提供了特点鲜明的数据仓库解决方案，包括30多个专用模块。其中，SAS/WA（Warehouse Administrator）是建立数据仓库的集成管理工具，包括定义主题、数据转换与汇总、更新汇总数据、元数据管理、数据集市的实现等； SAS/MDDB是SAS用于在线分析的多维数据库服务器；SAS/AF提供了屏幕设计功能和用于开发的SCL（屏幕控制语言）；SAS/ITSV（IT Service Vision）是IT服务的性能评估和管理的软件，这些IT服务包括计算机系统、网络系统、Web服务器和电话系统等。SAS系统的优点是功能强、性能高、特长突出，缺点是系统比较复杂。
　　Business Objects（BO）是集查询、报表和OLAP技术为一身的智能决策支持系统。它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种数据库，同时它还支持基于Web浏览器的查询、报表和分析决策。虽然BO 在不断增加新的功能，但从严格意义上说，BO只能算是一个前端工具。也许正因为如此，几乎所有的数据仓库解决方案都把BO作为可选的数据展现工具。虽然国内有很多大学和研究机构从事数据仓库技术的研究，但到目前为止，国内基本上没有成熟的数据仓库解决方案。

文章来自：http://bbs.51cto.com/archiver/tid-408598.html

5day

我们的新系统(一百多个用户的小系统)：
     1. 数据库选型的建议；                                  postgresql
     2. 操作系统选型的建议；                             linux
     3. 统计分析软件选型或开发语言的建议； java seam
     4. 数据仓库与数据挖掘技术的建议；         不懂
     5. 数据迁移的建议；                                     java写的jdbc迁移程序
     6. 数据存储与备份的建议；                         raid+磁带
     7. 其它建议。

传说solaris 稳定性超强所以考虑过，但后来我们还是用的linux。
毕竟linux还是顺手点。
到是postgresql一直用，都没怎么维护。

[ 本帖最后由 5day 于 2008-2-15 14:16 编辑 ]

linuxdee

6. 数据存储与备份的建议；(网络异地存储)

linuxdee

6. 数据存储与备份的建议；(网络异地存储及备份)