IDS提供的“分片”技术在做了RAID5的磁盘阵列上还有意义吗?

unixzhong

"  用户可以对表中的记录或索引进行分组，并且存储在不同的位置，这样可以将数据存储到多个磁盘上，从而减少对磁盘I/O的竞争。数据分片的方案以及分片数据所存放的一组dbspace构成了“分片策略”。数据分片有两种基本类型：轮转法分片（Round-Robin）和基于表达式分片（Expression-Based），对于“轮转法分片”，数据是根据轮转法方式存入表中的。“基于表达式分片”则根据表中的一个或多个字段对分片的规则进行定义，一般在预知查询条件时采用这种方式，从而避免查询中对某些分片的扫描。

由于INFORMIX动态服务器可以并行地扫描多个磁盘上的数据，从而实现内部查询的并行操作，因此采用“分片”技术可以提高查询效率。 "

  这种分片存储技术相当于在软件层面做 条块化, 如果底层已经做了raid5硬件条块化, 那IDS提供的这种“分片”机制还有使用的必要吗?

cdcd007

raid5用来跑数据库，第一次见。
楼主应该会觉得批量处理的时候很慢的。

zero_dot

原帖由 yuchn 于 2005-4-16 15:06 发表
前两天刚刚对DSS系统做过优化，我来谈谈我的看法。
1。分片能提高查询的并行度，无论底层的盘是物理硬盘还是存储系统出来的逻辑盘。这一点不用怀疑，我把一个2800多万条记录的表分片后（原来没有分片，现分成4 ...

严重同意这个看法，首先先确定瓶颈在什么地方？
如果是物理硬盘发生了瓶颈，做PDQ只会增加物理硬盘的压力，informix的性能更差，因为需要花费资源做调度，IO排队、调度压力增大等等。
如果物理硬盘的性能还是富裕的，那做PDQ提高informix的并行度，对性能肯定还是有提升的。当然，前提条件是主机的资源还是富余的。
个人认为数据库的性能不是一个单纯的问题，跟系统的关系非常紧密。我个人的习惯，数据库出现问题时，首先先检查系统状况。
做好DBA的前提－－你必需是个好的SA 。。。

ps：现在的存储技术发展很快，又便宜，对于性能相对还不错的存储，通常存储端的处理能力都是很富余的。。。

[ 本帖最后由 zero_dot 于 2007-7-12 13:46 编辑 ]

shmdhcxy

raid1：主要是提高了安全性，但浪费空间。
raid5:主要是增加了磁盘上的使用率，安全性比RAID1相对差一点。

好像没有道理，raid5加热备的方式可以同时坏两个硬盘的。空间的使用率是比raid1高的，
我觉得安全性也比raid高。

yuchn

前两天刚刚对DSS系统做过优化，我来谈谈我的看法。
1。分片能提高查询的并行度，无论底层的盘是物理硬盘还是存储系统出来的逻辑盘。这一点不用怀疑，我把一个2800多万条记录的表分片后（原来没有分片，现分成4片）询速度快了将近80%

2。在使用存储系统逻辑盘的情况下，分片使得性能的提高主要来自于并行度的提高，而不是I/O性能的提高。
举个例子，同样的一个200G的逻辑盘，划分成100个2GB的CHUNK，CHNK1-CHNK100。两种做法：1，所有的CHUNK组成一个DATADBS，然后把大表建在这个DATADBS上；2，CHNK1-CHNK25组成DATADBS1，CHNK26-CHNK50组成DATADBS2，。。。CHNK75-CHNK100组成DATADBS4。然后把大表分片建在DATADBS1-4。
后者在INFORMIX及应用配置正确的情况下，能提高4倍（理论猜测，便于理解）的并行度。当然前提是存储系统能提供4倍I/O的性能，否则都是白搭。

3。基于2的例子，以前在直接使用系统提供的物理盘的情况下，如果物理盘只有1个，容量同样为200G，即使做4个分片，也不会有明显的性能提升。因为一个物理硬盘内部无法提供4倍的I/O并行度。但如果是现在普遍使用的存储系统的逻辑盘，只要存储系统本身的性能够，就能在内部能解决4倍的I/O并行度，所以性能提升是相当明显的（前提是INFORMIX及应用配置正确的情况下）。

4。存储系统提供的逻辑盘，无论是RAID的哪个层次，都只影响每次I/O的开销，对实际查询时间有影响，但对分片与否并无直接关系。

5。INFORMIX将并行度与分片（DB SPACES）挂钩，在以前使用物理硬盘的年代是合理的，那时候必须告诉INFORMIX关于数据与物理硬盘的对应情况，才能采取正确的并行I/O策略。但现在明显不合潮流，因为现在好多用户使用存储系统出来的逻辑硬盘，存储系统就能解决一个逻辑硬盘并行I/O。在这种情况下，INFORMIX最好能自己自动对一个表进行并行查询，不管是否分片。

6。建议IBM重新改写INFORMIX的并行算法，否则INFORMIX是永远无法与DB2竞争的。（遗憾，DB2也是IBM的产品）
当然，改写并行算法是对INFORMIX的重大修改，INFORMIX还要照顾使用物理硬盘的用户。况且如果改写成功，那INFORMIX就不是INFORMIX了，那是一种新的高端数据库系统。

imkdk

原帖由 "zzjijun" 发表：
对RAID5知道的不多。如果真是“在系统里面看到的是一个逻辑硬盘,而不是下面的多个物理硬盘”，我也想知道怎么解决。
看看那位高人指点一下。

从操作系统层面上看，经过分片的CHUNK使用负载比较平均，这种现象符合了客户对负载均衡的需求。但从底层磁盘实现来看，一个操作系统的逻辑磁盘设备其实对应了同一阵列的多个物理硬盘（raid），通过raid条带化实现了负载均衡。因此，我觉得基于RAID的磁盘做表分片的更大意义在于实现数据传输链路（光线卡通道）的负载均衡（因为一个逻辑磁盘只能走一条链路）。但现在EMC公司也有从底层实现链路负载均衡的工具如powerpath等，因此，个人觉得分片技术已经是从前操作系统直接管理物理磁盘时代的产物，在现在的技术条件下，没有实际意义。欢迎探讨。

zhangxw0325

原帖由 "yyiiasc" 发表：
个人觉得r5上在做分片意义不大，特别是对随机的数据分片来说
对大型数据库的操作，系统主要瓶颈是磁盘I/o,而数据库的分片技术主要是实现数据存储在多个磁盘上，这样进行数据操作时可实现多个磁盘的并发访问来提高磁..........

不同意,做分片可以减小索引和数据的规模,可以提高PDQ并发度,可以大大提高查询的效率

yyiiasc

个人觉得r5上在做分片意义不大，特别是对随机的数据分片来说
对大型数据库的操作，系统主要瓶颈是磁盘I/o,而数据库的分片技术主要是实现数据存储在多个磁盘上，这样进行数据操作时可实现多个磁盘的并发访问来提高磁盘I/o.
而在做了R5的磁盘阵列中存储数据时每个数据段都由做为r5的那几个磁盘的data block组成，及存储数据时数据会自动随机的分布在做了r5的多个磁盘上。
对于在r5上使用按条件的数据分片，从理论来说数据的访问效率会有一定提高但也应该很有限（这部分提高应该可以忽略，未实际比较过），有机会测试一把

hebei130104

我认为意义不大。

lianyong

又学到了不少东西，支持。。。