免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: linuxdee
打印 上一主题 下一主题

征求postgresql部署的建议 [复制链接]

论坛徽章:
0
51 [报告]
发表于 2008-02-21 10:18 |只看该作者
还可以去这里发帖

http://bbs.pgsqldb.com/index.php ... 9925eba405f689fe73f

站长laser是 PostgreSQL 高手

论坛徽章:
0
52 [报告]
发表于 2008-02-21 10:35 |只看该作者

好像美国国家气象局也是用的pgsql

好像美国国家气象局也是用的pgsql,
在redhat上跑的pgsql(网上传言有150多套),还是很不错的。

在美国国家气象局网站上可以看到很多关于pgsql的文档。

论坛徽章:
0
53 [报告]
发表于 2008-02-25 13:42 |只看该作者
原帖由 arust 于 2008-2-21 10:18 发表
还可以去这里发帖

http://bbs.pgsqldb.com/index.php ... 9925eba405f689fe73f

站长laser是 PostgreSQL 高手


http://bbs.pgsqldb.com/index.php?t=msg&th=10880&start=0&rid=1201&S=87f6182c595d8d42939f3b70e19f772e

论坛徽章:
0
54 [报告]
发表于 2008-02-25 16:30 |只看该作者
转 laser 的回复

1, 是可行的,需要的硬件主要是这样的,如果你用单机单库,那么需要相当
大的盘阵和相当不错的CPU、内存环境,具体要看你的数据量。效率是这样
的:简单地记录数据效率很高,检索某些局部的数据效率也会很高。但是
做全局的统计的效率主要取决于你的硬件。
如果你可以使用 PostgreSQL 集群,那么统计效率可以大大提高,但是会
付出一些数据记录和检索的效率。
同时这个设计需要有良好的网络环境:所有的单位都必须能访问那台中心库
或者中心集群。


2.1,自然是 PostgreSQL 8.3.x了;
2.2,Linux,比如RH或者suse或者debian或者slackware;
2.3,需要看你们自己熟悉的东西,理论上ODBC为基础的也是没有问题的;
2.4,没有太好的建议,基本上还是书写SQL;
2.5,如果单机,我建议是各节点做成表分区的一个子表,然后从SQLSERVER
转储成文本数据(CSV之类),然后逐个拷贝,需要写一个脚本工具;如果是
集群,那么可以用同样办法向对应的数据库节点拷贝;
2.6,定期dump & archive & zip
2.7,中心数据库集群是那个“其它建议”。

有不少细节需要考虑:

每物件的信息量10M是多少行?还是一行 10M?

我个人比较建议以件的方式做PostgreSQL数据库集群,简单的算术运算如
下:

40M * 10M = 400 T

你的数据总量是 400 T

那么如果我们用 4000 个节点,那么每个节点存储 40M / 4k = 40,000 件
物品,需要的存储是:

40k * 10 M = 400 G,这个数据量对单机来说还是可以接受的。并且,
你可以考虑像现在一样,用一个 8K 节点的集群来存储。当然,你需要考虑
的东西很多,比如你的机房,你的电力供应,以及你是否需要异地容灾等,
如果需要异地容灾,可能你需要 16k 个节点了。

论坛徽章:
0
55 [报告]
发表于 2008-02-26 17:14 |只看该作者

回复:转linuxdee在chinaunix上发的"征求postgresql部署的建议"

回复:转linuxdee在chinaunix上发的"征求postgresql部署的建议"            二, 26 二月 2008 08:47 转到上一页
需要提醒一句的是:不管是 4k 还是 8k 个节点的集群,你都需要一个足够
大的 bank 的 proxy 层次的节点,比如100个,主要目的是将分布的数据
融合、排序输出,负载均衡和扩展结果集的带宽。

因为如果一个 proxy 节点的话,那么它会有单节点服务器的网络瓶颈,
即使是 10G 的网卡,那么计算一下,假如你每个工作节点每次查询返回
10条记录,每条记录1k字节,那么就是10k字节,大概是100k bits,
那么4k节点的话就是:100k * 4k = 400Mbps;如果是 8k 的话就接近
800Mbps,这就意味着你每秒只能有一个查询了。

假如你的 proxy bank 扩展到 10 台,则每秒 10次查询,100台则线性
增长为 100,以此类推。

整个 proxy bank 可以用 DNSRR 做轮转。

这些都是需要考虑的问题。当然,如果是非在线联机任务,那么几个
proxy节点即可。

内容来自:http://bbs.pgsqldb.com/index.php ... otify=1&opt=off

[ 本帖最后由 linuxdee 于 2008-2-26 17:15 编辑 ]

论坛徽章:
0
56 [报告]
发表于 2008-02-27 10:17 |只看该作者
关注。。。

论坛徽章:
0
57 [报告]
发表于 2008-02-27 11:42 |只看该作者
支持楼主,反对PostgreSQL的很有可能是在Oracle做销售的。

论坛徽章:
0
58 [报告]
发表于 2008-03-10 15:34 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
59 [报告]
发表于 2008-03-25 14:09 |只看该作者
对数据库并不熟悉,但很支持你的想法,而且像这种单一应用,成功的可能性很大。

提一些建议:
不建议一下子全面切换,这么大的规模,应该选择小范围进行测试,同时尝试多种测试方案,采用渐进的方案。
将一些关键和困难的技术问题抽象出来在国内外开源社区进行招标。
可以考虑雇佣一些真正的专家进行咨询,一些参与kernel编写的专家的小时费用也就是人民币几百元,你的项目规模肯定上亿,5%左右的咨询费用是完全可以接受的。
寻找相近的开源社区需求,进行硬件和适当资金的赞助,鼓励他们去实现相近的系统实现,其实这个费用相比你整个项目规模很低,hp赞助kernel.org也就每年几万美金的硬件而已。
通过以上的活动,挖掘出一批可以提供支持的技术人员,形成名单,以备不时之需。
拜访一些大规模的网络公司了解他们的应用情况,他们管理的服务器数量要远大于你这个计划的数量,有的需要管理数万台甚至更多服务器,数据量的规模更是远大于你的应用,据我所知,绝大部分成功的大规模网络公司都以开源方案为主。
充分利用项目成功可以带来的政绩效果争取最终领导的支持。
不要完全依赖单一的集成公司,很难有一个公司有全面的能力,就算ibm这样的公司他也无法将所有的资源都投入到你的项目中,集成更适合完成工程化部署实施和工程管理的工作。
适当引入高校和研究所,但不宜以他们为主承担,他们的作用是帮你做一些学术调研,做一些原型,另外最大的一个作用是利用其中一些专家的地位减轻决策压力并影响领导的最终决策。
如果管理有压力的话,可以一开始就在小范围测试项目中引入第三方项目管理,并书面化成固定流程。
另外如果业务涉及到秘密系统,千万注意避免在公开征求意见的方案中出现有关信息,避免带来不必要的麻烦。
如果不涉及秘密系统的话,可以考虑利用媒体资源甚至海外开源媒体资源对项目进行支持。
8000个点windows服务器和sql服务器的软件许可费用就上亿了,这笔资金完全可以组织起国内外很强的开源专家队伍了,我相信和原方案相比最后将带来一半以上的费用节省。
如果硬件也同批次更换的话,可以考虑结合项目所需在一定程度上对硬件进行定制,以满足一些特殊需要。

可能的优点:
费用节省
这样的部门如果用开源的东西,可以有效的避免供应商锁定的局面
对于单一的大规模应用,我觉得开源方案更适合,主要的问题是管理能力,oracle这些哪一个有比google,yahoo更大的应用,可是google用的基本就是开源的方案。
可以选择大量先进的特性,很难有一个公司或者供应商能提供开源社区所能提供的各种先进特性。
极佳的可扩展性。
项目成功带来的其他方面的收益。
由于国内it实质上还处于低水平,这样的项目成功后甚至可能引导产业的变化。

论坛徽章:
0
60 [报告]
发表于 2008-04-10 10:37 |只看该作者
收藏待查。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP