有关存储一些问题的开放讨论

wolfheader

原帖由 夜的小宇宙 于 2008-9-5 09:53 发表


2.磁盘的cache 大小对突发读写有效果，对持续的读写基本没用。

这一条理论上应该是，数据读取的时候和缓存命中率关系很大，如果能在缓存中读取，就不用去磁盘上寻址读取了，速度当然快不少。但我感觉应该 ...

对，关键字：  命中率

另外，提高性能除了调整cache大小以外，还可以调整cache使用 write back 或者write through。

cache一定的情况下，大量读写很容易把cache利用率搞的很高，实际上还是造成了等待，而且并发的读操作也会慢，根据业务调整back或者through也会有一些用处。lz可以测一下

wolfheader

问题太多，屏幕太小，改天打印出来细看，大家先讨论

liaoboda

原帖由 wolfheader 于 2008-9-5 11:46 发表


这个提议太无聊了，我相信你的DFS不能支持庞大的系统，或者说别人也不会用你的dfs，家里人多的话用一下还可以

昨天我给那些学生提议，建议他们做一个大规模存储的解决方案的课题。不过好像没人感兴趣，一般喜欢研究那些复杂的算法。嘻嘻。
我觉得解决这个问题必须从下边的几个方面共同解决。
1.存储介质的工作原理，必须非常清楚硬盘的结构。如何读写，如何cache.
2.主板上控制器，raid控制器，raid基本原理的一些细节。
3.文件系统，文件系统的工作原理，block inode 文件大小 数目 等 和读写的详细的关系。
4.操作系统对存储的读写与管理
5.大规模并行文件系统。
6.如果这些都解决了就是网络传输和响应的问题。
这些说起来简单，如果真的要扎扎实实的一个一个问题全部搞明白等花很多功夫。开个玩笑绝对够一个PH.d毕业。呵呵

liaoboda

lustre 我试过 计算所的蓝鲸我也试验过 lustre的效果还可以 但是对大量2M左右的文件就不行了。

happy_fish100

原帖由 liaoboda 于 2008-9-5 12:44 发表

昨天我给那些学生提议，建议他们做一个大规模存储的解决方案的课题。不过好像没人感兴趣，一般喜欢研究那些复杂的算法。嘻嘻。
我觉得解决这个问题必须从下边的几个方面共同解决。
1.存储介质的工作原理，必 ...

我结合你的问题介绍一下FastDFS的实现情况：
>>1.存储介质的工作原理，必须非常清楚硬盘的结构。如何读写，如何cache.
使用操作系统的文件系统，FastDFS只是实现了分布和负载均衡

>>2.主板上控制器，raid控制器，raid基本原理的一些细节。
FastDFS实现了冗余备份，同一组/卷由一台或多台服务器组成，同组内服务器上的文件是相同的

>>3.文件系统，文件系统的工作原理，block inode 文件大小 数目 等 和读写的详细的关系。
FastDFS是以文件为基础的，不会对文件分块存储。

>>4.操作系统对存储的读写与管理
单台服务器上完全依赖于操作系统的文件存储管理

>>5.大规模并行文件系统。
单个文件因为没有分块存储，是不能并行的。多个文件之间是可以并行的。

FastDFS更适合网站使用，比如相册网站、视频网站、甚至邮箱等。

liaoboda

我可以试下你那个，不过最近有一点忙。过几天吧

wolfheader

原帖由 happy_fish100 于 2008-9-5 17:38 发表


我结合你的问题介绍一下FastDFS的实现情况：
>>1.存储介质的工作原理，必须非常清楚硬盘的结构。如何读写，如何cache.
使用操作系统的文件系统，FastDFS只是实现了分布和负载均衡

>>2.主板上控制器，r ...

请看置顶贴，你不要总广告你的fastdfs了，不管你什么样的盈利模式，建议好好做一下市场推广，不要仅局限于在存储技术论坛的技术推广。

个人觉得，现在的状况就好像microsoft已经推出了office了，您还在推广你的记事本软件，不要见怪

klin121628

并行文件系统都是很贵很贵的.........

storm the front

楼主可以去尝试下iBrix,人家梦工厂,Disney还有Yahoo,都在用这个东东

可以解决不少你列出来的问题

wolfheader

原帖由 klin121628 于 2008-9-6 00:15 发表
并行文件系统都是很贵很贵的.........

是分布文件系统吧，也可以叫做并行？是一个东西吗？不清楚