12 3 4 5 6 7 8 9 10 / 10 页下一页

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-03-08 09:27 |只看该作者 |倒序浏览

200亿条数据，就是20T吧，用ASM好？还是用OCFS好？还是用RAW好？谢谢

[ 本帖最后由 nntp 于 2006-9-1 00:42 编辑 ]

nntp

版主

论坛徽章:: 0

2楼 [报告]

发表于 2006-03-08 20:17 |只看该作者

几个问题要先搞清楚:

1. 20T 是否是历史数据和归档数据？还是天天都要修改，更新和变化?
2. 20T数据中有多少比例的数据是需要经常修改/查询/更新的?
3. 20T数据是纯data数据还是有媒体数据?
4. 这套业务系统以后的数据增长是怎样的? 每天/每个月，每年新增长多少数据，增长速度如何?

这些问题都搞清楚了，你的数据库存储的规划就基本清晰了, 否则操作起来盲人摸象。

按照我的经验，恐怕20T不是全部都需要always online, 所以在数据库逻辑设计上需要把数据分层对待，即便是Oracle ,你要是只有一个层的20T数据，恐怕性能也会糟糕的一塌糊涂.

还有，ASM, OCFS, RAW并不是等价可比的。他们的特性和设计差别很大.

ASM的性能基本上和RAW差不多. 但是管理性上好很多很多。但是牺牲的代价就是引入了系统的复杂性，多了一层东西，问题出现的几率也大很多.

不过有一点我可以肯定就是如果你要放你这20T的数据，OCFS2不应该考虑, 别问我为什么，因为又要解释很多很多东西.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cwinxp

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2006-03-09 09:36 |只看该作者

谢谢了~~~~~~

谢谢
要同时检索10T到20T数据，怎么弄好？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nntp

版主

论坛徽章:: 0

4楼 [报告]

发表于 2006-03-09 16:50 |只看该作者

原帖由 cwinxp 于 2006-3-9 09:36 发表
谢谢
要同时检索10T到20T数据，怎么弄好？

找专业的公司作咨询把，10T-20T的数据同时作检索，已经不能算是常规应用了。

正常情况下，他们会对这样的应用做这些工作:

1. 分析你的数据使用习性，调整数据库结构(包括为针对查询操作做的优化)
2. 建立一个常规的HA集群方案，同时会根据发向这套系统的查询请求的情况，加入负载均衡的考虑
3. 做一个小样测试之后，会根据性能测试的采样结果，调整你的OS和文件系统.(如果你们这里有对Linux比较熟悉的工作人员，这个工作也可以自己做，OTN上有很多性能调整的资料)
4. 还有可能在分析你的待查数据之后，把数据在物理上分开布局
5. 1-4的工作的前提是你的硬件投资是有限的不多的。做了1-4 的研究工作之后，还有一种糟糕的可能就是发现瓶颈还是在硬件上，你们对性能/可用性上的要求和真实你的物理基础能够提供的并不符合。所以需要对硬件作改造.

如果要做好10T-20T的应用，这些工作都比较复杂，需要接触实际的系统和深入的了解应用.

good luck

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cwinxp

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2006-03-10 10:19 |只看该作者

thank you ，这么大的数据，硬件不是问题，搞5个CX700级联的，够用吧

thank you ，这么大的数据，硬件不是问题，搞5个CX700级联的，够用吧

我把5个CX700 按照您说的分出几个RAW等等，然后把10T甚至更大分成一个区给ASM吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nntp

版主

论坛徽章:: 0

6楼 [报告]

发表于 2006-03-10 17:31 |只看该作者

原帖由 cwinxp 于 2006-3-10 10:19 发表
thank you ，这么大的数据，硬件不是问题，搞5个CX700级联的，够用吧

我把5个CX700 按照您说的分出几个RAW等等，然后把10T甚至更大分成一个区给ASM吗？

硬件好当然好，但是硬件好完全保证不了这套东西能够按照期望的性能和可用性工作。关于怎么样规划，我真地说不来什么，这些工作得认真分析你的应用之后才能得出结论，这么大的数据，搞错了就错了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

shimu

家境小康

论坛徽章:: 0

7楼 [报告]

发表于 2006-03-10 23:49 |只看该作者

我个人认为，这么大的数据来说安全最重要的，当然选择RAW,ocfs,asm相对是新东西，成熟性和稳定性不能比。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cwinxp

白手起家

论坛徽章:: 0

8楼 [报告]

发表于 2006-03-13 09:29 |只看该作者

用RAW ? 谢谢

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

brave_script

白手起家

论坛徽章:: 0

9楼 [报告]

发表于 2006-05-09 16:01 |只看该作者

LVM上如何实现ocfs2文件系统的在线扩展

我现在做oracle的应用集群，在VG上建立的不同LV来实现ocfs2文件系统的的存储，现在希望能够在一个LV满时实现在线的扩充，在ext3的文件系统有相应的方法实现，不知道ocfs2文件系统如何实现
求教各位大虾

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nntp

版主

论坛徽章:: 0

10楼 [报告]

发表于 2006-05-09 18:12 |只看该作者

生产系统么? 不要用ocfs2.

raw+ASM就可以了.

目前的RAC环境，看不出有任何理由在生产环境用ocfs2的必要.

RAC涉及到存储的就是2个个地方，一个是OCR和voting(以及他们的redundant config),另外一块就是Oralce Data和Flashback recovery area.

现在Oracle的RAC配置一般是两种 raw(ocr+voting)+ASM(data+flashback recovery area),另外一种是 ocfs2+ASM

OCR和 voting 占用的空间很小，根本没有必要在用了ocfs2的下面用一个OS的LVM来支持，就算你那样做了，也是错误的，因为目前OCR和voting 都需要存储是clusterware的，这也是用raw或ocfs2的原因，你用lvm+ocfs2的话，底下的OS LVM不是clusterware的，所以就会把你的数据破坏掉，这个话题是一个很老的话题了，你到oracle forum去搜，或者有metalink账号的话你看看就知道了，没有意义多讨论.

如果你用 OS LVM+ocfs2 用来放 Data+Flashback Recovery Area,我建议你还是不要这么干，不是说不可以，只不过ocfs2实在是很脆弱，你有订阅 ocfs2的maillist 么？去看看吧.
Data+FRA用ASM 或RAW都很好，无论是性能上还是管理上，还是可靠性尚.

建议你仔细学习RAC安装的相关资料,把基础知识了解清楚。　