免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
0
发表于 2008-09-05 11:53 |显示全部楼层
原帖由 夜的小宇宙 于 2008-9-5 09:53 发表


2.磁盘的cache 大小对突发读写有效果,对持续的读写基本没用。

这一条理论上应该是,数据读取的时候和缓存命中率关系很大,如果能在缓存中读取,就不用去磁盘上寻址读取了,速度当然快不少。但我感觉应该 ...


对,关键字:  命中率

另外,提高性能除了调整cache大小以外,还可以调整cache使用 write back 或者write through。

cache一定的情况下,大量读写很容易把cache利用率搞的很高,实际上还是造成了等待,而且并发的读操作也会慢,根据业务调整back或者through也会有一些用处。lz可以测一下

论坛徽章:
0
发表于 2008-09-05 11:59 |显示全部楼层
问题太多,屏幕太小,改天打印出来细看,大家先讨论

论坛徽章:
0
发表于 2008-09-05 12:44 |显示全部楼层
原帖由 wolfheader 于 2008-9-5 11:46 发表


这个提议太无聊了,我相信你的DFS不能支持庞大的系统,或者说别人也不会用你的dfs,家里人多的话用一下还可以

昨天我给那些学生提议,建议他们做一个大规模存储的解决方案的课题。不过好像没人感兴趣,一般喜欢研究那些复杂的算法。嘻嘻。
我觉得解决这个问题必须从下边的几个方面共同解决。
1.存储介质的工作原理,必须非常清楚硬盘的结构。如何读写,如何cache.
2.主板上控制器,raid控制器,raid基本原理的一些细节。
3.文件系统,文件系统的工作原理,block inode 文件大小 数目 等 和读写的详细的关系。
4.操作系统对存储的读写与管理
5.大规模并行文件系统。
6.如果这些都解决了就是网络传输和响应的问题。
这些说起来简单,如果真的要扎扎实实的一个一个问题全部搞明白等花很多功夫。开个玩笑绝对够一个PH.d毕业。呵呵

论坛徽章:
0
发表于 2008-09-05 15:34 |显示全部楼层
lustre 我试过 计算所的蓝鲸我也试验过 lustre的效果还可以 但是对大量2M左右的文件就不行了。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2008-09-05 17:38 |显示全部楼层
原帖由 liaoboda 于 2008-9-5 12:44 发表

昨天我给那些学生提议,建议他们做一个大规模存储的解决方案的课题。不过好像没人感兴趣,一般喜欢研究那些复杂的算法。嘻嘻。
我觉得解决这个问题必须从下边的几个方面共同解决。
1.存储介质的工作原理,必 ...


我结合你的问题介绍一下FastDFS的实现情况:
>>1.存储介质的工作原理,必须非常清楚硬盘的结构。如何读写,如何cache.
使用操作系统的文件系统,FastDFS只是实现了分布和负载均衡

>>2.主板上控制器,raid控制器,raid基本原理的一些细节。
FastDFS实现了冗余备份,同一组/卷由一台或多台服务器组成,同组内服务器上的文件是相同的

>>3.文件系统,文件系统的工作原理,block inode 文件大小 数目 等 和读写的详细的关系。
FastDFS是以文件为基础的,不会对文件分块存储。

>>4.操作系统对存储的读写与管理
单台服务器上完全依赖于操作系统的文件存储管理

>>5.大规模并行文件系统。
单个文件因为没有分块存储,是不能并行的。多个文件之间是可以并行的。

FastDFS更适合网站使用,比如相册网站、视频网站、甚至邮箱等。

论坛徽章:
0
发表于 2008-09-05 17:48 |显示全部楼层
我可以试下你那个,不过最近有一点忙。过几天吧

论坛徽章:
0
发表于 2008-09-05 19:33 |显示全部楼层
原帖由 happy_fish100 于 2008-9-5 17:38 发表


我结合你的问题介绍一下FastDFS的实现情况:
>>1.存储介质的工作原理,必须非常清楚硬盘的结构。如何读写,如何cache.
使用操作系统的文件系统,FastDFS只是实现了分布和负载均衡

>>2.主板上控制器,r ...


请看置顶贴,你不要总广告你的fastdfs了,不管你什么样的盈利模式,建议好好做一下市场推广,不要仅局限于在存储技术论坛的技术推广。

个人觉得,现在的状况就好像microsoft已经推出了office了,您还在推广你的记事本软件,不要见怪

论坛徽章:
0
发表于 2008-09-06 00:15 |显示全部楼层
并行文件系统都是很贵很贵的.........
storm the front 该用户已被删除
发表于 2008-09-06 02:14 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2008-09-06 09:44 |显示全部楼层
原帖由 klin121628 于 2008-9-6 00:15 发表
并行文件系统都是很贵很贵的.........


是分布文件系统吧,也可以叫做并行?是一个东西吗?不清楚
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP