Chinaunix

标题: 咨询支持硬盘混插的存储 [打印本页]

作者: 草中宝 时间: 2014-12-22 12:06
标题: 咨询支持硬盘混插的存储
想咨询下有哪些存储支持SAS硬盘和SATA硬盘（近线SAS）混插的。

一个Oracle数据库，公司想把最近的一个月的业务数据，放在SAS盘上，这样访问的速度回比较快；一个月以前的数据，由于访问量比较少，放在SATA盘（近线SAS）上。网上了解了下，很多都是SAS硬盘做一个raid组，另外的近线SATA做一个raid组，但这样映射到主机上，就是不同的盘符了。问题是怎么把上个月的数据从一个盘符转到另外另个盘符，从操作系统层面手动拷贝吗？那要拷贝的数据量太大了，而且这么做的话，也涉及到数据库文件的路径的更改，太麻烦，太不智能了。

有没有那么一种技术，SAS硬盘和SATA硬盘组成一个RAID组，但内部组成是分开的，SAS硬盘是一个大块组，SATA硬盘是一个大块组，这样映射到主机还是一个大硬盘。SAS硬盘存储的数据，能按照数据库某个表的某个时间字段来做划分，如最近一个月的数据就放在SAS硬盘组内，当每天晚上24点的时候，存储就把超过1个月的那天数据，从SAS盘自动转到SATA硬盘（近线SAS）上。

不知道有没有这样的存储，如果没有这样的存储，有没有类似的解决方案啊。

作者: dengbao2001 时间: 2014-12-22 15:48
现在不少存储支持自动分层，将热数据放高速磁盘，冷的数据放低速磁盘，我觉得这样可能更好满足你的需求

作者: 草中宝 时间: 2014-12-22 16:21

dengbao2001 发表于 2014-12-22 15:48
现在不少存储支持自动分层，将热数据放高速磁盘，冷的数据放低速磁盘，我觉得这样可能更好满足你的需求

这个自动分层功能听起来很牛逼啊。不过有个问题，我的这些数据，在最近的一个月是热数据；一个月之后，由于访问的人少了，这些热数据，就变成了冷数据。这个存储能解决吗，大概的解决原理是怎么样的？我每个月的数据量很大的，差不多1T呢。啥存储有这样的功能啊？想了解了解。

请dengbao2001再提点提点。还有，我在哪里都可以看到dengbao2001，真是个牛人呢。

作者: dengbao2001 时间: 2014-12-22 16:26
牛人称不上

我亲自用过 Dell Compellent

不过类似 EMC VNX也支持，HP的HP 3PAR 也支持

作者: 草中宝 时间: 2014-12-22 16:44

dengbao2001 发表于 2014-12-22 16:26
牛人称不上

我亲自用过 Dell Compellent

我去了解了解，先谢谢了。

作者: dengbao2001 时间: 2014-12-22 16:50
别客气

作者: 草中宝 时间: 2014-12-22 17:37
了解了下自动分层的原理，都是存储自动按照数据的访问量来统计，然后到了一个时间，如24小时，就执行数据流动，如流动到高性能的小容量硬盘或流动到低性能的大容量硬盘。感觉不太适合我这里。我们的数据，每天都有好几千万的记录，这些数据，用户可以抽取很小的一部分看，也可以不看。用户看了，可能就看那么一次，但不能说这些数据就是热数据；用户最近几天都没有抽取查看，也不能马上就把它定义为冷数据打入冷宫了；只能说最近一个月的数据，被查看的几率比较高。

作者: dengbao2001 时间: 2014-12-22 20:04
当你这部分数据库你访问的人很少了，随着时间越长，他一定会迁移到低性能的磁盘，他是基于读写来判断的，他的上下迁移是基于这些分层系统的软件来优化判断的，时间使用效果还是不错的

我建议你找厂商的售前工程师咨询下，他们原理比我清楚多了

另外，如果你不能认为来做件事情，使用优化的存储应该是一个比较好的解决方案

作者: InfoCore-Great 时间: 2014-12-22 22:25
本帖最后由 InfoCore-Great 于 2014-12-22 22:26 编辑

草中宝发表于 2014-12-22 17:37
了解了下自动分层的原理，都是存储自动按照数据的访问量来统计，然后到了一个时间，如24小时，就执行数据流 ...

大侠你从16:44:36去了解存储自动分层，17:37:09 就着急过来高谈阔论，在百度看了2个帖子，就真的明白了存储自动分层的原理了？
存储虚拟化领域的厂商几乎都有这个技术，各自有自己的专利，各自指标也不同，你真的都理解了？“都是存储自动按照数据的访问量来统计”？

虽然，我经验不高，但是就你的需求而言，离开存储虚拟化几乎没有替代产品，因为你需要异构，你需要分层，所以，为了自己的需求，我十分建议你多花点精力看看各厂商的技术（先保留自己意见），目前来看，你的要求在2010就可以完全解决。

还有别忘了，今天要吃饺子，否则冻耳朵:wink:

作者: izee 时间: 2014-12-23 12:08
可以用Datacore

作者: lixunpeng 时间: 2014-12-24 12:34
这个问题不是存储层面的，应该用分区表，按时间分区。旧的分区就统计后删掉，或者数据可以移动到低性能磁盘，新分区在高速盘上不断产生。

作者: lixunpeng 时间: 2014-12-24 12:38
另外，从稳定性来考虑，混插不好。最好还是同样的插在一起，做一个raid。
你们还用pata的盘？好几年前sas就普及了，甚至用光纤的。现在用ssd给高性能业务是正道。

作者: 草中宝 时间: 2014-12-24 14:06

InfoCore-Great 发表于 2014-12-22 22:25
大侠你从16:44:36去了解存储自动分层，17:37:09 就着急过来高谈阔论，在百度看了2个帖子，就真的明白了 ...

这位兄弟批评得是，存储厂商都把这些功能点当做专利来申请了，肯定有他们的长处。

作者: 草中宝 时间: 2014-12-24 14:07

izee 发表于 2014-12-23 12:08
可以用Datacore

还没有听说过Datacore，待了解了解。

作者: 草中宝 时间: 2014-12-24 14:18

lixunpeng 发表于 2014-12-24 12:34
这个问题不是存储层面的，应该用分区表，按时间分区。旧的分区就统计后删掉，或者数据可以移动到低性能磁盘 ...

这位兄弟，如果没有记错的话，应该是itpub上过来的吧。

分区表，我也想过，问题是数据太大了，数据文件从高性能的磁盘转到低性能的磁盘，不但操作麻烦，而且因为数据量很大，很费时间呢。

作者: 草中宝 时间: 2014-12-24 14:21

lixunpeng 发表于 2014-12-24 12:38
另外，从稳定性来考虑，混插不好。最好还是同样的插在一起，做一个raid。
你们还用pata的盘？好几年前sas就 ...

大哥，谁不知道SAS盘、SSD盘好，问题是几个T的存储空间还可以考虑，当有上百T的时候，全部用SAS盘或SSD盘，老板就头大了。

作者: dengbao2001 时间: 2014-12-24 14:40
综上所述，应该用自动分层存储，是一个不错的选择

作者: InfoCore-Great 时间: 2014-12-24 15:40
回复 13# 草中宝

这是厂商兄弟的一篇博文，你看完了就明白了：
symphony.blog.51cto.com/2055843/959253

作者: spook 时间: 2014-12-24 20:20
楼主技术，操作系统层面可以完成，但是在存储层面绝对不可能完成……

作者: conqueryou 时间: 2015-01-05 16:32

spook 发表于 2014-12-24 20:20
楼主技术，操作系统层面可以完成，但是在存储层面绝对不可能完成……

IBM叫TIERS,EMC叫FAST,同一RAID组只能用同一种规格的硬盘，不同规格的RAID组可以组成一个池，在池中创建的LUN中的冷、热数据可以在不同规格的硬盘间迁移，这个迁移过程对主机是透明的（除了性能因素以外），也正是因为这种透明性，你想根据“按照数据库某个表的某个时间字段来做划分”来对冷、热数据进行识别，仅在存储层面操作这是不可能的！

作者: izee 时间: 2015-01-11 00:24
现在的数据库好像都没有冷、热数据分开存放的概念，如果你无法接受存储层的自动分层功能，只有自己来实现一个数据库了

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)