征求postgresql部署的建议

fenghz

公司一直用postgresql做东西，感觉还是要慎重
性能上没什么问题，从功能而言，感觉从维护角度而言，跟几大商业数据库相比还是弱了些
不管是简单的备份恢复，还是运行中的监控（比如：资源使用，锁、当前执行的SQL和资源占用，涉及到不停机排除故障等问题），都还是有差距。
当然，非常富有经验的DBA和开发人员，能降低这种要求。

scottsiu

当前我正在国内开展Postgres Plus的推扩，这是EnterpriseDB公司以PostgreSQL数据库为基础开发的一款目标用于企业级核心应用的数据库。
看到您在CU中发出的“征求postgresql部署的建议”，我很感兴趣。
当然对于此项目我们现在进行跟进已经为其已晚。

但对于我个人兴趣来讲，我很希望有机会了解更深入的信息，以进行更深入的分析，通过当前EDB的各种集群及数据仓库方案为您重新提供一个方案。
这样一个方案对您可能已经没有意义了，但对于我来讲，有这样一个大场景进行方案的设计及论证，是一个很好的技术提升过程。

希望能得到您的支持！

我当前想了解的是：
1、这8K个MSSQL都放在同一个地点？
2、“每到年底，各个部门按统一的要求将各物件信息统计汇总”，各部门之间需要进行组合查询？还是部门各自进行统计再进行汇总？
3、“每物件信息分布在82个表（统计信息分布在300个表中）”这名话不太理解

当前我的一些建议：
1. 数据库选型的建议；
我当然是推荐EnterpriseDB的Posgres Plus Advanced Server了，因为从性能上及功能上都在PostgreSQL之上做了很多改进，特别对于大数据量的处理，SPL存储过程语言提供了特殊的Bluk SQL操作比原有基于指针的pg/PLSQL操作可以提高85%的性能。还有各种性能分析的工具可以辅助系统的调优，DBLink可以方便地进行与不同数据库的连接。
2. 操作系统选型的建议；
如果只是看性能的话FreeBSD是最好的选择，但由于国内支持比较少，所以还是建议选用Red Hat Enterprise Linux。
3. 统计分析软件选型或开发语言的建议；
对于数据统计各种开发语言都不会有太大的性能帮助，数据的统计工作建议通过存储过程及优化过的SQL进行，但JAVA成熟的架构绝对是企业级系统的首选。分析软件主要看业务类型，只要符合要统计的数据规则，又支持PostgreSQL就可以了。
4. 数据仓库与数据挖掘技术的建议；
数据仓库方面EDB提供GridSQL的支持，可以实现分布式的网格数据仓库，数据分布在多个服务器中，而对外提供统一的数据库访问接口，对于客户来讲这就是完全透明的，访问GridSQL就如同访问一个独立的数据库一样。
5. 数据迁移的建议；
当前Posgres Plus Advanced Server可以直接迁移Oracle的数据，支持与Oracle相同的SQL语法及PL/SQL语法；对于MSSQL支持数据及视图的迁移，但不支持存储过程及触发器(09月6月左右推出的8.3R3版本将会带有完全的MSSQL及Sybase兼容性)。
6. 数据存储与备份的建议；
与laser讲的一样，定其进行tar等操作；另外可以通过PostgreSQL本身的Warm Standby或通过EDB的Replication Server进行本地或异地异步备份，当中Warm Standby有机会实现灾难时的“0数据丢失”恢复。
7. 其它建议。
暂时没有了，希望得到您的回复。。。。

谢谢

linuxdee

我们的项目目前还没有开始。前期虽做了一些准备工作，但由于工作上的其它事，这个项目是做做停停。我也希望得来更多的朋友的支持和帮助！只希望能把这个项目做成一个示范工程。因为我看到很多信息化建设项目，花了大多的钱去买外国硬软件产品，不停的升级，不停的淘汰，建设成本太高。
目前我们的网络已通过内网（与互联网完全隔离）已经与8K个点全部连接（1个一级部门，10个二级部门，160个三级部门，4~6级部门约7900个，共6级）。
1. 我的想法是先建(1+10)个数据库点，1个为总数据中心，10个为数据分中心。
2. 10个数据分中心与总数据中心的1/10实时同步；
3.  相同的业务应用分布在10个分数据中心中。1个总数据中心也要能完成所有的业务应用。这样的做法主要是考虑运行速度和安全稳定性。实时性不是很重要，但安全稳定性至关重要。

[ 本帖最后由 linuxdee 于 2009-4-10 23:13 编辑 ]

scottsiu

你的意思就是，从10个分中心或1个总中心都可以实现数据的查询或操作。
分中心只能看到自己的数据，总中心可以看到所有数据。

你的想法中提到(1+10)要进行实时同步，不知这个同步是否应该是我们通常意义所理解的“异步”，也就是数据写入分中心后定期写回到总中心。

但一般来讲总中心不可对数据实现写操作，否则就要加入很多额外的控制才能保证多个库之间的数据一致性了。因此“1个总数据中心也要能完成所有的业务应用”是否只是对数据进行查询的业务？

wb521

pgpool可以用实现数据库分库吗？（主从数据库里面的数据内容不一致，表结构一致）
A是主数据库，里面有1-10000的数据。
B是从数据库，里面有10001-2000的数据。
可以通过pgpool查询出这两个库的数据吗？

scottsiu

pgpool-II是可以做到这个的

wosl2001

系统建议obsd 安全稳定 kernel调整容易 ffs效率高
     1. 数据库选型的建议；pgsql
     2. 操作系统选型的建议；openbsd
     3. 统计分析软件选型或开发语言的建议；j2ee

[ 本帖最后由 wosl2001 于 2009-4-17 11:38 编辑 ]

linuxdee

对你提出问题的回答：
（1）你的想法中提到(1+10)要进行实时同步，不知这个同步是否应该是我们通常意义所理解的“异步”，也就是数据写入分中心后定期写回到总中心。
你的理解是对的。我们对数据要求的实时性不是很强，但要求能在某天某时前实现分中心与总中心的数据一致。比如每天20点；每周五；每月最后一天。
（2）但一般来讲总中心不可对数据实现写操作，否则就要加入很多额外的控制才能保证多个库之间的数据一致性了。因此“1个总数据中心也要能完成所有的业务应用”是否只是对数据进行查询的业务？
总中心只对总中心管理的数据进行业务操作和应用；分中心的数据只要求能与总中心实现定时定期一致就行。收集分中心的数据到总中心，是为统计和分析用。

scottsiu

谢谢Linuxdee的分享，这几天由于工作关系将会进行大量灾备、集群、性能的测试，回头会将这些测试的过程列出来供大家产考

ruochen

原帖由 scottsiu 于 2009-4-18 11:13 发表
谢谢Linuxdee的分享，这几天由于工作关系将会进行大量灾备、集群、性能的测试，回头会将这些测试的过程列出来供大家产考

期待