免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: yftty
打印 上一主题 下一主题

浩存 - 面向数据库,虚拟机等海量数据可同时提供NFS/iSCSI访问的集群存储系统 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2005-05-16 13:53 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

[quote]原帖由 "wheel"]为何要基于类SMPP协议,不要基于bt[/quote 发表:


具体的网络抽象层(NAL)正在选型,我上个季度用过CURL作了个DEMO.

后面可能会用类似 PVFS2 的网络层架构

文件访问支持 TFTP, FTP, HTTP, NFS, etc.

另: 现在看来还是用类似Lustre的Portals那样的东西吧

论坛徽章:
0
12 [报告]
发表于 2005-05-16 13:53 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

ok, i can take part in this project, how to start it? If python be used to develop, i think most of us must learn it at first.

论坛徽章:
0
13 [报告]
发表于 2005-05-16 23:10 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

some good talk on Spotlight on Tiger (Mac OS X)

http://www.kernelthread.com/software/fslogger/

这也是我们的设计所追求的目标:

表现层 (基于搜索的目录, 用户文件)

检索/搜索层 (搜索引擎)

存储层 (分布式文件系统)

论坛徽章:
0
14 [报告]
发表于 2005-05-17 00:15 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

好想法。支持。可惜我能力不够。不然我一定报名。  

狂顶

论坛徽章:
0
15 [报告]
发表于 2005-05-17 09:18 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

如果使用光盘作为近线存储介质,会更有效的发挥成本优势。
如果把现在的光盘库文件系统,如果ISO9660,UDF,JOLIET等光盘文件系统格式,以一种统一的网络文件系统的格式显现给用户,会极大的提高光盘在网络中的使用。如果光盘库这种设备。
这种大家存储很大的数据,但成本很便宜。光盘的成本远低于硬盘的成本。
我可以在这个方面与yftty合作。

论坛徽章:
0
16 [报告]
发表于 2005-05-17 09:28 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

看了一下,基本了解了大概的事情。不过楼主能不能描述一下DFS将来的应用场景,和基于SMPP协议的考虑,这点我不是怎么明白。

However, my pleasure to join in this!

论坛徽章:
0
17 [报告]
发表于 2005-05-17 10:45 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

原帖由 "xuediao" 发表:
看了一下,基本了解了大概的事情。不过楼主能不能描述一下DFS将来的应用场景,和基于SMPP协议的考虑,这点我不是怎么明白。

However, my pleasure to join in this!


不好意思, 请看英文部分 现有的集群文件系统就我所了解到的好像没有基于SMPP的.

应用场景就是那种海量存储. 如WEB, MAIL, VOD/IPTV, 广电, 图书馆等. 比较熟悉的系统应用如:Google的LINUX机群系统,Yahoo的BSD Server机群系统。

[ 本帖最后由 yftty 于 2006-3-8 12:02 编辑 ]

论坛徽章:
0
18 [报告]
发表于 2005-05-17 10:49 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

原帖由 "ly_1979425" 发表:
如果使用光盘作为近线存储介质,会更有效的发挥成本优势。
如果把现在的光盘库文件系统,如果ISO9660,UDF,JOLIET等光盘文件系统格式,以一种统一的网络文件系统的格式显现给用户,会极大的提高光盘在网络中的使用..........


是的,本设计有这方面的考虑,如你前面所言. 将每个光盘文件系统的MetaData信息统一存储在MDS部分,完成Namespace解析功能, 使得到达光盘的指令仅为Seek和Read/Write Stripe操作, 会大大提高它的易用性.

同时光盘会大大降底使用成本如场地费用, 电费.

论坛徽章:
0
19 [报告]
发表于 2005-05-17 13:10 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

i can do it in my spare time , support , support !!!

论坛徽章:
0
20 [报告]
发表于 2005-05-17 13:23 |只看该作者

Unix下针对邮件,搜索,网络硬盘等海量存储的分布式文件系统项目

或者你可以通过这种流程分析

Ext3/UFS/ReiserFS ;

NFS ;

GlobalFS ;

OpenAFS (Arla), Coda, Inter-mezzo, Lustre, PVFS2, GoogleFS.

因为我们的组内成员在扩大, 我一直在考虑如何使它像路边的大白菜一样普通; 而不是令人觉得突然在面前立起一个望不到头的高楼.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP