BBS.ChinaUnix.net
首页 | 新闻 | Linux | FreeBSD | AIX | Windows | 博客 | 论坛 | 存储 | 网络 | 人才 | Wiki | 资料 | 读书 | 手册 | 下载 | 空间 | 搜索
  会员: 密码: 免费注册 | 忘记密码 | 会员登录 | 搜索 | 帮助 


奥运快报: 
奥运热点:
 

有没有这样一种Filesystem?
首页 » 论坛 » 存储备份之家 »  
[打印] [订阅] [收藏] [本帖文本页] [推荐此主题给朋友,立即获积分]
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


1楼 发表于 2008-7-21 11:38 
公司有近千台电脑(WINDOWS),其中很多电脑的硬盘空间都没有充分利用,浪费了很可惜.有没有这样一种文件系统,能充分利用所有这些没有用到的PC硬盘空间?
就比如这样:所有PC装上一个CLIENT端,监控本机的磁盘空间,发现有空余的部分,就向server端报告,并根据管理员的设定,把这台PC空余空间的百分之多少捐献出来,供NET-FS(姑且这么叫吧)使用.server端收到client端的报告后,就规划并统筹这些可用空间,实现数据的分配存储,冗余备份,并实时监控某个PC在线情况,发现有不在线的PC,但又需要访问该PC上的文件,则将访问需求指向另一个存储了相同文件的PC空间,如果所有存储了需要访问的文件的PC全部不在线,则使用server端连接的外部存储设备上的备份.

简单构思如下:
1.client端安装软件,实时向server端报告本地硬盘使用情况,根据server端的统筹,调整捐献的空间的大小,并在需要转移或备份自己所存储的文件时,实现client---client 的通讯,不经过server端中转,降低server端负载.
2.server端软件,接收client端的实时报告,并统筹某文件的分布及备份版本,当有PC下线时,将对该PC文件的访问转移到拥有相同文件的另一个PC或server端外界的存储设备.

这样的FS有么?



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
happy_fish100   帅哥
风云使者




UID:315669
注册:2005-9-20
最后登录: 2008-09-06
帖子:464
精华:1

可用积分:902 (稍有积蓄)
信誉积分:100
专家积分:30 (本版:0)
空间积分:0
推广积分:0

来自:北京
状态:...离线...

[个人空间] [短信] [博客]


2楼 发表于 2008-7-21 11:41 
这是P2P的思想,这样的需求应该比较少见,估计市面上很难找到这样的软件



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

本人开发了一款开源的分布式文件系统FastDFS,纯C编写,非常轻量级,不到2万行代码。它解决大容量存储和大并发访问的问题,当前版本为V1.6,请各位大虾多多支持。详情参阅:http://www.csource.org/


空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


3楼 发表于 2008-7-21 11:48 


QUOTE:
原帖由 happy_fish100 于 2008-7-21 11:41 发表
这是P2P的思想,这样的需求应该比较少见,估计市面上很难找到这样的软件

但我觉得这样有两个好处:
1.当某个用户需要访问这个NET-FS上的某个文件时,查询server,得知这个文件在某PC,便与此PC联系,协商传输此文件,当传输途中因某原因中断了连接后,再联系server端,开始下一次连接,这样可以节省server端的资源.因为传统的对文件服务器的访问,都是文件服务器一台机器在承受,负载很高.
2.存储空间可以很大,存储成本很低,每台PC都可以成为一个存储节点.当他们不在线时,可以通过server端的外接存储设备(如磁带库)继续访问需要的文件.平时则实现点到点的文件传输,不经过server端中转,加快速度,加大网络使用效率.



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
wooloov
侠客




UID:677514
注册:2008-3-17
最后登录: 2008-08-13
帖子:26
精华:0

可用积分:37 (白手起家)
信誉积分:0
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


4楼 发表于 2008-7-21 12:49 
回复 #3 donggua0713 的帖子

现在好多的clustered file system,比如Lustre或者Google 的GFS,都是利用无数的PC来实现大容量数据存储。Lustre就有client、server和metadata的概念,刚开始学习,还没有特别明白。但lz自己就萌发这样的思想,真的是好佩服。。。



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


5楼 发表于 2008-7-21 12:58 


QUOTE:
原帖由 wooloov 于 2008-7-21 12:49 发表
现在好多的clustered file system,比如Lustre或者Google 的GFS,都是利用无数的PC来实现大容量数据存储。Lustre就有client、server和metadata的概念,刚开始学习,还没有特别明白。但lz自己就萌发这样的思想, ...

经你这么一说,我baidu了一下GFS,我CAO,我这不就是描述的GFS么?



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
alex_linux   帅哥
大法师
目空一切也好


CU奥运火炬传递手2008
UID:176739
注册:2004-8-13
最后登录: 2008-09-07
帖子:10168
精华:2

可用积分:2991 (小富即安)
信誉积分:135
专家积分:176 (本版:0)
空间积分:802
推广积分:0

来自:上海
状态:...离线...

[个人空间] [短信] [博客]


6楼 发表于 2008-7-21 14:05 
Gfs 和你说的不一样吧..
你说的东西,没一点意义,,投入和回报不成比例的.



您对本贴的看法:鲜花[0] 臭蛋[0]

__________________________________

知我者谓我心忧,不知我者谓我何求

空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
qqeyes
光明使者



UID:532119
注册:2007-3-2
最后登录: 2008-09-02
帖子:798
精华:0

可用积分:920 (稍有积蓄)
信誉积分:100
专家积分:10 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


7楼 发表于 2008-7-21 16:28 
以前貌似有人问过类似的问题的,就是要使用大量服务器的闲置空间,这个东西确实比较难搞。。。
如果偶一台服务器有100G空间,绝对不敢轻易把100G空间共享出去,万一这100G带来的io影响我原先的使用怎么办?
这玩意看似好,实施起来问题应该是很多很多的~



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


8楼 发表于 2008-7-21 19:59 


QUOTE:
原帖由 qqeyes 于 2008-7-21 16:28 发表
以前貌似有人问过类似的问题的,就是要使用大量服务器的闲置空间,这个东西确实比较难搞。。。
如果偶一台服务器有100G空间,绝对不敢轻易把100G空间共享出去,万一这100G带来的io影响我原先的使用怎么办?
这 ...

我只是问问,因为看着那么多PC的硬盘空着可惜,再说了,不可能去共享服务器的空间的,要共享也是有闲置空间的办公用机阿

还有LS的,GFS是使用一些服务器来存储文件,我的构想是使用大量闲置的PC来存储文件,其他的好像没什么太大区别码?



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


9楼 发表于 2008-7-21 20:06 


QUOTE:
原帖由 alex_linux 于 2008-7-21 14:05 发表
Gfs 和你说的不一样吧..
你说的东西,没一点意义,,投入和回报不成比例的.

仅需要投入一台或几台服务器,加上一个外接存储设备,回报却是那么大的存储空间,充分利用的网络带宽,及能充分使用闲置的硬盘空间,如何不成比例?最起码,我觉得对我们企业挺合适的.

我在一个工厂,有大概1000台PC,每台PC硬盘闲置空间在50%以上,基本每台PC有20~40G的空闲,20*1000=20000G=20T,这20个T的空间可以用来存储文件,就算每个文件需要额外的3个备份版本,也有5T可以用哦,再苛刻一点,也有3T哦.

3T,换成IBM的磁盘柜,多少钱?



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘
donggua0713
精灵




UID:473257
注册:2006-10-7
最后登录: 2008-09-06
帖子:250
精华:0

可用积分:821 (稍有积蓄)
信誉积分:100
专家积分:0 (本版:0)
空间积分:0
推广积分:0

状态:...离线...

[个人空间] [短信] [博客]


10楼 发表于 2008-7-21 20:12 
回复 #9 donggua0713 的帖子

现在我的工厂里使用了3台文件服务器,由于是制造业,设计制造一条龙,任何环节都有大量的文件要存储,现在的文件服务器都不敢给他们敞开了用,搞得一些文件只有放在他们本地硬盘上,经常是一个文件有N个版本,分布在N台机器上,要用的时候却发现,不是想要的那一个.说过好多次了,但他们说:你没地方给我放,我只有这样搞了.
想想也是,老板不肯出钱买设备,存储空间紧张,他们也有苦衷.



您对本贴的看法:鲜花[0] 臭蛋[0]
空间积分可以换礼品了! | 有奖跟帖:服务器节能,奖50-100元图书 | 致电800-858-2903,了解DELL如何为你量身订制笔记本 | 送2G U盘

首页 » 论坛 » 存储备份之家 »


 


Copyright © 2001-2008 ChinaUnix.net All Rights Reserved     联系我们:

感谢所有关心和支持过ChinaUnix的朋友们    转载本站内容请注明原作者名及出处

京ICP证041476号


清除 Cookies - ChinaUnix - Archiver - WAP - TOP

Processed in 0.049637 second(s), 4 queries , Gzip enabled