免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
0
发表于 2008-09-12 00:07 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 17:15 发表

那用啥能考虑到多并发?不过我现在发现raid0比raid5 要快 都是用cp  只不过现在环境还不一样,我在做一个一模一样的两个环境 数据都一样。(这样是试验才有说服力)现在在copy数据中。你知道copy 几T的数据是 ...

理论上来说,由于RAID0没有任何校验操作发生,因此速度理应比RAID0快。
CP的问题是他是顺序单线程读写,如果某个IO的读写没有完成,不会同时进行其它IO的读写。不会良好的利用并发设备的带宽。而最好的应该是每个IO为单独的线程,互不干涉。

论坛徽章:
0
发表于 2008-09-12 00:10 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 15:26 发表

我这几天在试验ramdisk 和SSD 为什么这个效果会好很多。谢谢!



另外,注意一点,当你用一台机器进行连续读写的时候,对于阵列,它是持续读写。但是当你多台服务器同时读写的时候,尤其是对于同一个RG上的LUN甚至同一个LUN,任何“连续”的读写汇聚到存储上就都变成“随机”了。因此性能瓶颈出在硬盘的寻道时间上。这个如果不用多台设备进行分布的话,貌似并不好解决。
不说别的。你在你自己的电脑上复制1个1G的文件和复制1000000个1K的文件,速度肯定差很多。因为几乎每个写操作都要进行重新寻道。

[ 本帖最后由 asyqm 于 2008-9-12 00:13 编辑 ]

论坛徽章:
0
发表于 2008-09-12 01:13 |显示全部楼层
我是菜鸟,来这里学习,留个脚印,好做个标记,关注~~~~~

论坛徽章:
0
发表于 2008-09-12 09:20 |显示全部楼层
原帖由 asyqm 于 2008-9-12 00:10 发表



另外,注意一点,当你用一台机器进行连续读写的时候,对于阵列,它是持续读写。但是当你多台服务器同时读写的时候,尤其是对于同一个RG上的LUN甚至同一个LUN,任何“连续”的读写汇聚到存储上就都变成“随 ...

现在我这里的应用我还有一个怀疑 就是文件太多 每个阵列上边200万个文件。所以速度慢

论坛徽章:
0
发表于 2008-09-12 10:13 |显示全部楼层
原帖由 liaoboda 于 2008-9-12 09:20 发表

现在我这里的应用我还有一个怀疑 就是文件太多 每个阵列上边200万个文件。所以速度慢


那慢就是应该的了,文件系统的管理和系统的寻道时间是大大的瓶颈。如果你们资金足够充裕的话,我倒是建议你们买大约10T的SSD存储用于做中间层。

论坛徽章:
0
发表于 2008-09-12 10:43 |显示全部楼层
intel马上给我3块那个盘和一台机器做测试 现在对SSD非常感兴趣

论坛徽章:
0
发表于 2008-09-12 11:59 |显示全部楼层

第一个结果

大的数据刚copy完 两台机器都重启了 出了第一个结果
[root@3015 L001]# time cp -a C1.1/ ../

real 0m53.251s
user 0m0.456s
sys 0m4.628s


[root@EAS333 L001]# time cp -a C1.1 /md0/

real 1m28.881s
user 0m0.372s
sys 0m3.508s
前一个是RAID0 后一个是RAID5
这个是用的Raid卡 primise 16口的8350卡  15块750G的SATA硬盘
文件类型为
[root@EAS333 C1.1]# ls -lh|more
total 2.8G
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:54 s_1_100_a.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:54 s_1_100_c.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:54 s_1_100_g.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:54 s_1_100_t.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_10_a.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:49 s_1_10_c.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_10_g.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_10_t.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_11_a.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_11_c.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_11_g.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_11_t.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_12_a.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_12_c.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_12_g.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_12_t.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_13_a.tif
-rwxr--r-- 1 solexa solexa 7.1M Sep  6 11:50 s_1_13_c.tif

论坛徽章:
0
发表于 2008-09-12 11:59 |显示全部楼层
看来raid0还是有点作用的

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-12 12:23 |显示全部楼层
liao,你一开始说是大文件,现在又说是220w个小文件,搞不懂。
所以也没法继续说了。关注

论坛徽章:
0
发表于 2008-09-12 13:45 |显示全部楼层
原帖由 冬瓜头 于 2008-9-12 12:23 发表
liao,你一开始说是大文件,现在又说是220w个小文件,搞不懂。
所以也没法继续说了。关注

大的我也在试验。等下看我结果。我每个出来的结果都试验了很多次了。怕出现偶然情况。另外关于大文件和小文件的界定,咋界定?原来好像说几十K的是小文件。那我这个7M的算不算小文件。另外你们想看啥效果可以给我提试验方案。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP