software:FasDFS.1.12 OS:ubuntu server 7.10 测试机器 NAS1:192.168.1.2 NAS2:192.168.1.3 分别在NAS1,NAS2 上安装 FastDFS.1.12 1.tar zxvf FastDFS.1.12.tar.gz cd FastDFS.1.12 ./make.sh ./make.sh install cp conf/storage.conf conf/tracker.conf /etc 2.修改配置文件 (NAS1) vim /etc/tracker.conf disabled=false bind_addr=192.168.1.2 #绑定IP本机IP地址 port=22122 ...
一 分布式存储系统背景 副本是分布式存储系统中的常见概念:将一定大小的数据按照一定的冗余策略存储,以保障系统在局部故障情况下的可用性。 副本间的冗余复制方式有多种,比较常用有两类: Pipeline:像个管道,a->b->c,通过管道的方式进行数据的复制。该方式吞吐较高,但有慢节点问题,某一节点出现拥塞,整个过程都会受影响 分发:client -> a client ->b client ->c。系统整体吞吐较低,但无慢节点问题 对于冗余副本数目...
我这里有个应用,有8个chunkserver做存储,9个左右的client并发追加方式向一文件写数据,每次写的数据大小是5M。 这个用mfs性能可以吗?我这里主要是写。 我自己装mfs做了下测试,用了3个chunkserver,3个clent同时写,每个client每次写5m,连续写2G,最慢的需要5分多,最快的也要4分多,而且iowait有的点达到10%。 系统是centos 5.4-x86_64,文件系统是ext3,mfs版本为1.6.16.系统未运行其它服务只跑了mfs.硬盘是(7200转),内存2G 这...
这几天看了一些分布式存储的资料。 好像大都数都是基于 一个 Namenode, N个Datanode所组成的。 Namenode 负责的是。文件和Datanode映射关系。比如 Namenode 把一个大文件分割成N个固定的块发送给各个Datanode存储。并记录在Datanode存储位置。 我想问一下。这个固定文件块,是以什么算法分布到各个Datanode。比如 1台Namenode服务器, 4台Datanode服务器。 一个128k文件。按照每64k一个块的话。那就可以分为 两个块文件。现在有4台D...
MFS 分布式存储系统文档 (for debian) 2009-12-21 目录 1.产品介绍... 3 2.安装准备... 3 3.安装步骤... 4 3.1 安装主服务器: 4 3.2安装存储服务器... 5 4.测试... 7 5.IO性能测试... 7 6.附录... 8 1.产品介绍 MFS(moosefs)是一款分布式存储系统,可以将文件分布式存储到多台服务...
如题,我的测试环境: 上级服务器: ip--192.168.0.248 hostname--pdc.com os--RHEL4 service--samba openldap 下级服务器: ip--192.168.0.226 hostname--users.pdc.com os--RHEL4 service--openldap 我的想法是: 上级服务器存储Computer和Group等的信息。下级服务器只存储Users信息。 通过smbldap-tools修改帐户信息。 现在遇到的问题: [root@pdc smbldap-tools-0.9.1]# smbldap-useradd -a -m user2 返回如下错误: Referral...
我的一些客户有一些高性能计算的集群,在64个节点左右规模。现在比较麻烦的是,用户没有更多的资金来购置存储设备(应该说钱已经全部投在这些计算集群上了),所以就开始整天打计算集群节点上那些硬盘的主义。为了满足他们的这种需求,我们已经先后给其安装过pvfs和lustre,两者的表现都不好。主要问题体现在,两者读写小文件的性能极不好,读写大文件时也不太稳定,而且由pvfs或lustre所构建出来的一个大逻辑硬盘(整合了所有计算...