免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 20228 | 回复: 23

[FreeBSD] FreeBSD下建立MFS分布式文件系统 [复制链接]

论坛徽章:
0
发表于 2009-04-06 20:14 |显示全部楼层
MFS分布式文件系统架设笔记
什么是MFS文件系统?
    Moose File System 是一个具备容错功能的网络分布式文件系统,它将数据分布在网络中的不同服务器上,MooseFS 通过 FUSE 使之看起来就是一个 Unix 的文件系统。
MFS文件系统个人理解: 将分布在各个范围的计算机,将他们未使用的分区统一进行管理使用的一种文件系统.

MFS文件系统结构:
包含3种角色:
        管理服务器managing server (master)
        数据存储服务器data servers (chunkservers)
        客户机挂载使用client computers

个人理解3种角色作用:
        管理服务器:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝
        数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间.
        客户端:挂接远程管理服务器上所管理的数据存储服务器,通过fuse内核接口.看起来共享的文件系统和
本地unix文件系统使用一样的效果.


架设过程:

服务器2台
(最少是2台,一台服务器做管理服务器,数据存储服务器,以及客户端3种角色,另外一台计算机做数据存储和客户端)
称第1台计算机为A机,机器上跑3种角色,第2台计算机称B机,跑两种角色.要是你计算机多的话可以只跑1种客户端角色或者数据存储角色,根据具体情况决定.
操作系统:FreeBSD6.x or Freebsd 7.x   minni安装 升级ports树
1.在A机器上安装
  1. /sysutils/fusefs-kmod
  2. ./devel/pkg-config
复制代码

这两个ports包
pkg_info的结果为
  1. b# pkg_info
  2. fusefs-kmod-0.3.9.p1.20080208 Kernel module for fuse
  3. fusefs-libs-2.7.2_1 FUSE allows filesystem implementation in userspace
  4. libiconv-1.9.2_2    A character set conversion library
  5. pkg-config-0.21     A utility to retrieve information about installed libraries
  6. b#
复制代码
然后在rc.conf中添加
  1. fusefs_enable="YES"
复制代码

2.在http://www.moosefs.com/index.html下载mfs-1.5.12.tar.gz
  1. #fetch [url]http://www.moosefs.com/files/mfs-1.5.12.tar.gz[/url]
  2. #tar xvzf mfs-1.5.12.tar.gz
  3. #cd mfs-1.5.12
  4. #./configure (这样制作出来的bin文件和sbin文件以及元数据在/usr/local/sbin和/usr/local/bin,配置文件在/usr/local/etc 元数据存放在/usr/local/var/mfs下)  默认不带任何参数编译出来的,可以做数据和管理服务器.
  5. #make && make install 就完成了两种角色服务器的安装
复制代码

##################下面是在A机上编译出客户机的执行文件#################################
  1. #make clean && ./configure --prefix=/clien --enable-mfsmount && make && make install
复制代码
即可,在/client目录下就产生了一个mfs的客户端连接软件
2.在B机器上安装
  1. /sysutils/fusefs-kmod
  2. ./devel/pkg-config
复制代码
这两个ports包
pkg_info的结果为
  1. b# pkg_info
  2. fusefs-kmod-0.3.9.p1.20080208 Kernel module for fuse
  3. fusefs-libs-2.7.2_1 FUSE allows filesystem implementation in userspace
  4. libiconv-1.9.2_2    A character set conversion library
  5. pkg-config-0.21     A utility to retrieve information about installed libraries
  6. b#
复制代码

然后在rc.conf中添加
  1. fusefs_enable="YES"
复制代码

2.在http://www.moosefs.com/index.html下载mfs-1.5.12.tar.gz
  1. #fetch [url]http://www.moosefs.com/files/mfs-1.5.12.tar.gz[/url]
  2. #tar xvzf mfs-1.5.12.tar.gz
  3. #cd mfs-1.5.12
  4. #./configure --disable-mfsmaster --enable-mfsmount(这样制作出来的二进制文件可以做数据存储服务器和有了mfsmount文件,默认编译是没有mfsmount的).
  5. #make && make install 就完成了数据存储角色服务器和客户端的安装
复制代码


下面开始配置
A机器上挂载一个空闲的,比较大的分区
  1. #mount /dev/ad1s1 /mnt/mfs
  2. #cd /usr/local/etc
  3. #ls
  4. -rw-r--r--  1 root  wheel  434 Mar 31 11:34 mfschunkserver.cfg
  5. -rw-r--r--  1 root  wheel   36 Mar 31 11:34 mfshdd.cfg
  6. -rw-r--r--  1 root  wheel  425 Mar 31 11:34 mfsmaster.cfg
复制代码


解释这3个文件的作用
mfsmaster.cfg是管理服务器初始化文件,不需要任何修改既可使用.里面主要就是设置监听端口这些.
我们用默认既可
mfschunkserver.cfg是数据存储文件配置文件.当数据存储和管理服务器不在一起的时候,要修改
  1. # MASTER_HOST = mfsmaster  这个值为管理服务器的ip地址或主机名
  2. # MASTER_PORT = 9420
  3. mfshdd.cfg这个是在mfschunkserver.cfg中制定的文件名,这个文件里面存放本地存储分区路径.
  4. 我这里mfshdd.cfg内容就是一行
  5. #cat mfshdd.cfg
  6. /mnt/mfs
  7. #
复制代码
启动顺序
启动管理服务器 ----->启动数据存储服务器---->挂接管理服务器mfs文件系统
  1. #/usr/local/sbin/mfsmaster start
复制代码
  1. #netstat -na|grep 942 看是否有两个942* 为listen的端口,若有就开启成功了.
  2. #/usr/local/sbin/mfschunkserver start
  3. #netstat -na|grep 942 查看是不是多了一个9422的端口,若有则开启成功了
  4. 也可以使用sockstat -4查看
复制代码

如果启动不成功,一般情况就是挂载目录权限问题.默认编译的mfs是按nobody权限来的.要修改/mnt/mfs权限为nobody既可.
经过上面两部管理服务器和存储服务器就启动起来了.下面是进行本地挂载和在B机器上挂载
在A机器上 执行
  1. #/client/bin/mfsmount -h A机ip -w /mfs   将管理机ip 挂接到/mfs目录
复制代码

A机器上就可以使用mfs系统了,挂接点是/mfs

下面是加入B机的数据存储和B机自己使用mfs
B机
#配置挂接空闲的,比较大的分区,然后修改mfshdd.cfg内容为挂接地点.修改mfschunkserver.cfg的MASTER_HOST =值
启动mfschunkserver
  1. #/usr/local/sbin/mfschunkserver start
复制代码

挂接管理机的mfs文件系统
  1. #/client/bin/mfsmount -h A机ip -w /mfs
复制代码


我在做MFS试验的时候,田逸给了我些帮助,在这里感谢他。

用vmware做mfs数据存储服务器的时候,虚拟的硬盘一定要大点,最好大于256M的硬盘。否则used永远都是100%

我的生产系统

[ 本帖最后由 zhengwei_zw 于 2009-4-14 15:45 编辑 ]
1.PNG

论坛徽章:
0
发表于 2009-04-06 20:17 |显示全部楼层
zhengwei_zw 的强文喔,顶起
http://www.dragonflybsd.org/hammer/ 应该是跟hammer是一类的FS吧

[ 本帖最后由 axlrose 于 2009-4-6 20:22 编辑 ]

论坛徽章:
0
发表于 2009-04-06 20:19 |显示全部楼层
我按照这里来的
http://www.moosefs.com/pages/userguides.html

可以分布做webroot文件系统
我的服务器之间速度都比较快。所以做webroot没啥问题

论坛徽章:
0
发表于 2009-04-06 20:20 |显示全部楼层
可惜我被windows套牢了, wpf...要疯了
不过帮顶一下

论坛徽章:
54
2017金鸡报晓
日期:2017-02-08 10:39:42操作系统版块每日发帖之星
日期:2016-03-08 06:20:00操作系统版块每日发帖之星
日期:2016-03-07 06:20:00操作系统版块每日发帖之星
日期:2016-02-22 06:20:00操作系统版块每日发帖之星
日期:2016-01-29 06:20:00操作系统版块每日发帖之星
日期:2016-01-27 06:20:00操作系统版块每日发帖之星
日期:2016-01-20 06:20:00操作系统版块每日发帖之星
日期:2016-01-06 06:20:0015-16赛季CBA联赛之江苏
日期:2015-12-21 20:00:24操作系统版块每日发帖之星
日期:2015-12-21 06:20:00IT运维版块每日发帖之星
日期:2015-11-17 06:20:002015亚冠之广州恒大
日期:2015-11-12 10:58:02
发表于 2009-04-06 20:32 |显示全部楼层
好文。收藏备用。

对存储这块不是很懂,小声问一句,这个和iscsi,NAS,SAN有什么区别?

论坛徽章:
0
发表于 2009-04-06 20:40 |显示全部楼层
原帖由 lsstarboy 于 2009-4-6 20:32 发表
好文。收藏备用。

对存储这块不是很懂,小声问一句,这个和iscsi,NAS,SAN有什么区别?


可以让每个客户端都做数据存储服务器

论坛徽章:
54
2017金鸡报晓
日期:2017-02-08 10:39:42操作系统版块每日发帖之星
日期:2016-03-08 06:20:00操作系统版块每日发帖之星
日期:2016-03-07 06:20:00操作系统版块每日发帖之星
日期:2016-02-22 06:20:00操作系统版块每日发帖之星
日期:2016-01-29 06:20:00操作系统版块每日发帖之星
日期:2016-01-27 06:20:00操作系统版块每日发帖之星
日期:2016-01-20 06:20:00操作系统版块每日发帖之星
日期:2016-01-06 06:20:0015-16赛季CBA联赛之江苏
日期:2015-12-21 20:00:24操作系统版块每日发帖之星
日期:2015-12-21 06:20:00IT运维版块每日发帖之星
日期:2015-11-17 06:20:002015亚冠之广州恒大
日期:2015-11-12 10:58:02
发表于 2009-04-06 21:25 |显示全部楼层
原帖由 zhengwei_zw 于 2009-4-6 20:40 发表


可以让每个客户端都做数据存储服务器

牛气,分布地够火候了,看起来不错,但是我想知道如果有节点断了它会怎么个表现?

论坛徽章:
0
发表于 2009-04-07 22:22 |显示全部楼层
可以自己测试下看看撒

论坛徽章:
2
丑牛
日期:2013-09-29 09:47:222015七夕节徽章
日期:2015-08-21 11:06:17
发表于 2009-04-09 15:01 |显示全部楼层
不错,转载了,呵呵

论坛徽章:
0
发表于 2009-04-09 23:11 |显示全部楼层
找个时间回去测试去。。。

我最近好懒啊。。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP