免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982
打印 上一主题 下一主题

【讨论】电商/搜索/广告架构中的分布式文件系统(c) [复制链接]

论坛徽章:
0
51 [报告]
发表于 2012-04-01 19:02 |只看该作者
我想学习一下分布式文件系统的内部原理
现在有那个文件系统比较适合学习呢?
轻量的 经典的 方便阅读的

论坛徽章:
0
52 [报告]
发表于 2012-04-04 00:03 |只看该作者
eclipse_2 发表于 2012-04-01 19:02
我想学习一下分布式文件系统的内部原理
现在有那个文件系统比较适合学习呢?
轻量的 经典的 方便阅读的


现在比较合适的分布式文件系统是MFS

简单的说下原理
1、高可靠性
2、轻松动态扩容
3、可以设置删除文件的空间回收时间
4、优越的性能


它的组成的几个部分:
1、元数据服务器。
在整个体系中负责管理文件系统,维护这元数据。目前版本只支持单个Master服务器,存在单点故障的风险,建议采用性能稳定的服务器充当。
2、元数据日志服务器(MetaLogger)
备份Master服务器的变化日志文件,文件类型为:changelog_ml.*.mfs 。当master服务器数据丢失或者损坏,可以从日志服务器中取得文件恢复。
3、数据存储服务器(Chunk Server)
真正存储数据的服务器。存数文件时,会把文件分块保存,并在数据服务器之间复制,数据服务器越多,能使用的“容量”就越大,可靠性就越高,性能越好。
4、客户端。
可以像挂载NFS一样挂载MFS文件系统,操作一样。

它的处理过程:
1、客户端向元数据服务器发出读请求。
2、元数据服务器把所需数据存放的位置(Chunk Server的IP地址和chunk编号)告知客户端。
3、客户端向已知的Chunk Server请求发送数据。
4、Chunk Server向客户端发送数据。
5、Chunk Server与其他Chunk Server进行数据同步。
6、Chunk Server之间同步成功。
7、Chunk Server告知客户端数据写入成功。
8、客户端告知元数据服务器本次写入完毕。

配置起来还是比较简单的,可以参考下我的作品(我的签名)

论坛徽章:
0
53 [报告]
发表于 2012-04-04 18:21 |只看该作者
回复 53# Gray1982


    找了几天的资料 确实感觉MFS比较合适 多谢指点

论坛徽章:
0
54 [报告]
发表于 2012-04-04 18:23 |只看该作者
回复 44# crazyhadoop

我们是3G的数据,而且分成十几个字段来查询,是挺耗内存的,调试机4G的内存,运行所有服务,也就剩200M物理内存了。
   

论坛徽章:
0
55 [报告]
发表于 2012-04-05 09:49 |只看该作者
eclipse_2 发表于 2012-04-04 18:21
回复 53# Gray1982


客气,这不就是大家一起学习嘛。)

论坛徽章:
0
56 [报告]
发表于 2012-04-05 09:51 |只看该作者
回复 56# napoleon516


JAVA的一般都比较消耗内存,建议16G以上跑,这样效果也会好一些。)
   

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
57 [报告]
发表于 2012-04-06 08:32 |只看该作者
分布式文件如何保持一致性也是一个难点撒~当某些节点出了故障,数据存储如何分配,数据如何恢复很让人头疼啊。

论坛徽章:
0
58 [报告]
发表于 2012-04-06 09:56 |只看该作者
crazyhadoop 发表于 2012-04-06 08:32
分布式文件如何保持一致性也是一个难点撒~当某些节点出了故障,数据存储如何分配,数据如何恢复很让人头疼啊 ...


尤其是经常有问题的硬盘故障。不过,一般情况下,平台应该是自动分配的,比如Hadoop就是。

论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
59 [报告]
发表于 2012-04-06 22:21 |只看该作者
前面我们说了下Windows系统的优化,今天我接着给大家说说Linux系统的优化,具体如下;
一:Linux系统的升级
今天我们说说yum系统,我们知道linux系统自带的工具up2date可以用来升级,却要用yum呢。其实大家知道,up2date 慢且经常失去响应;死机的情况。所以我们还是试一试yum来进行更新下载。yum是yellowdog updater modified 的缩写。yellowdog是一个Linux 的distributionRH 将这种升级技术利用到自己的distribution 形成了现在的yum。
我来说说yum系统的选项与参数
选项:       -y                                               自动回答yes
                --installroot=/路径                       指定安装路径
参数:    yum install 包名                          指定安装包
              yum update 包名                         升级包
              yum –y update                           更新系统所有的包
              yum search 包名                         查询这个包依赖的所有包
              yum remove 包名                        删除某个包
              yum clean                                  清楚已安装过下载包
工具集的安装;
                    yum grouplist                                    查询系统工具集
                 yum groupinstall  “工具集名”               安装工具集
                 yum groupinfo     “工具集名”               查询工具集中有哪些包
二:禁用Linux系统不必要的服务
我们先查看一下自启动状态;chkconfig –list

查询结果,

接下来就可以禁止不必要的服务了。。。
1》chkconfig –level 2345 服务器守护进程名 off (rpm包安装的,源码包安装的不支持)
那么有人问了2345是?呵呵,这里就给简单串讲一下linux系统中的云新级别
0——————停机
1——————单用户模式,用于root用户对系统进行维护
2——————多用户模式,此模式下不能使用NFS
3——————完全多用户模式,主机作为服务器使用时通常在此运行级别
4——————未分配使用
5——————图形登录的多用户模式,用户在该模式下可进行图形界面登录
6——————重新启动
2》在命令行中键入“setup”在system services中进行设置

进去看看,具体的服务列表

查看也可以用netstat –an

做了更改之后记得重新启动机器。下面是我淘的一些具体服务讲解,给大家列举出来~~
服务列表(按字母顺序排列)
服务名
必需(是/否)
用途描述
注解
acon

语言支持
特别支持左手书写语言:阿拉伯语,波斯语和希伯莱语
acpi

电源管理
手提电脑电池电扇监控器
acpid

监听精灵进程
此进程监听并分配内核中的acpi事件
adsl

内部ADSL开关控制
只有你的计算机内部有互联网连接adsl开关时才用到此服务
alsa

高级Linux声音构件
这个单独的声音系统实际包含在内核中
anacron

周期命令调度程序
一个任务调度工具
apmd

电源管理
手提电脑电源管理
apmiser

电源管理
另一手提电脑电池延长器
arpwatch

以太网IP地址配对监控器
用主机名监控并记录远程IP地址
atd

周期命令调度程序
一个任务调度工具
autofs

自动安装服务
几个命令服务文件系统自动安装之一.一些此类服务专门针对发行配套软件,如果你使用的发行配套软件拥有自己的自动安装系统,不要用这一个.
bluetooth

蓝牙技术核心
用于所有蓝牙服务
bootparamd

导入服务
以前导入无盘客户端/瘦客户端的方法.最新型的方法为零配置系统(zeroconf system).
canna

日语转换引擎
capi4linux

基本CAPI子系统
cpqarrayd

硬件服务
康柏独立冗余磁盘阵列(Raid Array)监控器
cpufreq

硬件服务
控查并配置CPU频率精灵程序模块
cpufreqd

硬件服务
此服务自动衡量CPU频率来减少过热情况.在超频时有用.
crond

周期命令调度程序
一个任务调度工具
Cups-lpd

使旧式Lunux或商业Unix系统连接到打印主机上.
只有在允许旧式系统访问打印机时才有用
cups

公共Unix打印系统
进行打印的必要功能
cvs

并发版本系统
用于管理多用户文档
devfsd

系统维护
此服务只清除动态桌面目录,除非你的系统经常崩溃,否则不需要此服务.
dhcpd

DHCP服务器
你的网络足够大,使用静态IP很麻烦吗?此项服务对你的网络进行DHCP IP配置,方便网络应用.
diald

拨号网络智能自动拨号器
此服务一经请求,即连接上网络.你一旦输入电子邮件,点击发送,它就自动连接,发送电邮并断开.
dkms

DKMS自安装导入
发行配套软件专用工具,用于OEM类型安装.它允许管理员密码的最初导入设置以及常规应用的用户名密码,系统的最后配置.
dm

显示管理器
X服务器的核心,使用图形用户界面(GUI)时必需.
dnbc

数字网络绑定Chrooter
这是一个简单的bash脚本,它将一个BIND服务器放入一个chroot牢笼中.安装BIND,发布脚本并重启.
Drakxtools-http

小型服务管理服务器
远程系统管理的发行配套软件专用工具.
dund

蓝牙拨号网络
fam

文件系统变更监控器
文件系统所有改变的记录器
finger

数据远程访问
此服务允许你远程访问用户登录日期,最后登录日期与时间.用于不在办公室时监控雇员的工作习惯,主要的安全违反,因为你正有效地在线发布公司机密数据.
freshclam

ClamAV更新器
用于自动更新ClamAV
gpm

鼠标
鼠标驱动器控制台模式
haldaemon

硬件监控系统
此服务监控硬件改变,为你改变新的或更改过的硬件.
harddrake

硬件服务
发行配套软件专用硬件探测与配置
heartbeat

高可用性服务
此服务旨在增加重要服务与服务器的优先级
hidd

蓝牙H.I.D.服务器
hplip

惠普Linux打印与成像
旧版惠普整成产品供应驱动器
hpoj

Pital?init,惠普办公喷墨打印机驱动器
惠普办公喷墨打印机旧式驱动器.新式驱动器包含在打印机的打印驱动器内.
httpd

Apache网络服务器
在系统上应用此服务有两个原因,一是要用它作为网络服务器,二是用它作为网址开发器.如果没有此二项,则不必安装Apache.
hylafax?server

企业传真机?调制调解器服务
此服务仅用于1类与2类传真机.如果你想用hylafax通过调制调解器发送传真,必须运行此服务.它并不是唯一有效的传真工具.
ibod

按需ISDN MPPP带宽
与拨号网络一同使用,按需连接到网络.
identd

TCP连接鉴定
imaps

安全IMAP服务器
imaps

IMAP服务器
iplog

用主机名或远程主机记录TCP,UDP,ICMP.
有用的网络监控工具
ipop2

POP2邮件服务器
ipop3

POP3邮件服务器
ipsec

加密与验证通信
KLIPS为内核一半,PLUTO为用户空间一半.在远程访问情况下十分有用.
iptables

基于Packet过滤防火墙内核
所有优秀的Linux防火墙都基于此项服务
ipvsadmin

Linux核心IP虚拟服务器
最早的Linux网络系统之一,已不常用.
irda

红外线设备界面
以前的无线设备支持
keytable

键盘映射
此服务明确告诉系统你正在使用哪种键盘
kheader

导入服务
此服务自动重建内核头导入
lads

登录异常探测系统
跟踪登录企图并警告入侵企图的工具
laptop mode

电源管理
减少电力耗费,延长手提电脑电池寿命的工具
leafnode

X? INETD NNTP服务
lisa

局域网信息服务器
三:保证系统密码文件的安全
/etc/shadow                                         不允许复制
/etc/passwd                                         有些linux中有,必需开启shadow
如:/etc/shadow                                   权限


四:使用SSH实现远程登录
五:关闭多余的控制台
我们知道在按F1———F6时候是进入控制台的热键
/etc/inittab                                               超级守护进程文件          把多余的控制台停止掉,其实就是注释掉


列如我们就使用俩个控制台,把其他的都给禁掉

六:关闭IPV6
1》修改配置文件 /etc/sysconfig/network

把NETWORKING_IPV6=no

2》vi /etc/modprobe.conf进入后加入两句话来把IPV6关掉

七:禁止普通用户关机,重启权限(控制权限)
1》修改vi /etc/inittab

注释掉ca::ctrlaltdel;/sbin/shutdown –t3 –r now(禁止热启动)

2》删除一些热起文件

八:用户访问控制
1》vi /etc/hosts.deny

添加;ALL:ALL                                 任何一个IP地址访问我都不允许访问
2》vi /etc/hosts.allow

sshd:192.168.12.100                      允许100ssh登录
九:修改别名文件
vi /etc/aliases

注释掉以下内容:
games  ingres  system  toor uucp  manager  dumper  operator  decode  root

十:禁止ping
在禁止ping前,我们先看是否可以相通,虚机的IP是192.168.0.14

echo 1 > /proc/sys/net/ipv4/icpm_echo_ignore_all(不是用vi打开的,直接敲进去运行就可以


我们在把它改回去,改回去很简单,直接把echo 1改为echo 0

在来测试一下~~~

十一:禁止源路由
echo 0 > /proc/sys/net/ipv4/conf/*/accept_source_route(系统默认的是禁止的)

十二:防止SYN攻击
SYN攻击大家都知道,就是A给B发包,正常的包是三次握手,但是A给B之后最后一次不进行确认。然后一直不停的给B发包,B接收后确认延迟默认30秒,但是A会一直给B发包,以致阻塞掉路由。。。
echo 1 >  /proc/sys/net/ipv4/tcp_syncookies


论坛徽章:
0
60 [报告]
发表于 2012-04-08 09:14 |只看该作者
老衲法号帅哥。

发贴看看自己积分
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP