免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

【讨论】电商/搜索/广告架构中的分布式文件系统(c) [复制链接]

论坛徽章:
3
CU大牛徽章
日期:2013-03-13 15:29:07CU大牛徽章
日期:2013-03-13 15:29:49CU大牛徽章
日期:2013-03-13 15:30:19
发表于 2012-03-26 14:38 |显示全部楼层
我们是主要是做电商项目的,目前还没有用到分布式,很想听听大公司是如何用分布式的,然后可以借鉴过来。

论坛徽章:
0
发表于 2012-03-26 14:39 |显示全部楼层
而且hadoop安装也不难,主要是在调优方面可能比较麻烦。类似Mysql的调优一样,需要做很多的测试以后才可以得到相关的一个最佳数值
NFS不多说了,基本会Linux的都会
MFS以前一直在用,很不错的东西。

论坛徽章:
0
发表于 2012-03-26 15:19 |显示全部楼层
虽然我不能提出强力的个人见解,但是还是很支持!刚刚接触一个电商的项目,值得学习!

论坛徽章:
0
发表于 2012-03-26 15:24 |显示全部楼层
awk + grep的组合或是perl之类的语言脚本可以完成很多日志分析的需求,当然日志的前提是每天十几G或是几十G以内

如果上百G的话hadoop会更有效率,hadoop至信已经发展近10年,有很多成熟的插件,可以减少二次开发的成本

Gray1982 发表于 2012-03-26 14:39
而且hadoop安装也不难,主要是在调优方面可能比较麻烦。类似Mysql的调优一样,需要做很多的测试以后才可以得 ...


论坛徽章:
0
发表于 2012-03-26 15:50 |显示全部楼层
用过集群文件系统gfs和ocfs2,对于中小数据量的应用环境,两种集群文件系统的性能还是可以的,但是随着数据量的增大,性能逐渐下降,ocfs2性能缺陷尤为明显,数据在达到1T时,经常出现节点间数据不同步、文件系统变为只读等现象,而gfs性能略好,但是gfs稍微复杂,之前版本需要rhcs相关组件支持。

我对mfs的应用并不多,对大量小文件读写支持不错,但是单个MDS,存在单点故障和瓶颈。

论坛徽章:
0
发表于 2012-03-26 16:03 |显示全部楼层
Gray1982 发表于 2012-03-26 14:39
而且hadoop安装也不难,主要是在调优方面可能比较麻烦。类似Mysql的调优一样,需要做很多的测试以后才可以得 ...


我用过MFS。MFS的缺点在于master是单点,我以前用HA+drbd+MFS做过热备,单点问题是解决了,但引申出了另外一个问题,drbd会产生脑裂问题,脑裂的最终结果就是热备环境中两台master不停切换,造成数据文件损坏,而且不可恢复。(当初惨痛的教训啊!!!)后来发现是dell的网卡驱动问题造成drbd脑裂,升级驱动同事通过脚本可对drbd脑裂进行监控并修复的。

论坛徽章:
0
发表于 2012-03-26 16:31 |显示全部楼层
lansyh 发表于 2012-03-26 16:03
我用过MFS。MFS的缺点在于master是单点,我以前用HA+drbd+MFS做过热备,单点问题是解决了,但引申出了另 ...


DELL的机器网卡驱动一直是问题,升级是必需的。
脑裂的问题在写脚本的时候加上sleep就可以了
LS的脚本可以共享下嘛,一起学习一下

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-03-26 16:49 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2012-03-26 16:52 |显示全部楼层
hadoop是一个分布式系统基础架构,主要是充分利用集群的威力高速运算和存储。
所以在海量计算的时候用Hadoop还是很方便,统计数据由多台服务器来计算。
因为用JAVA来编写的,所以相当吃内存,不知道谁有好的方法介绍一下。

论坛徽章:
0
发表于 2012-03-26 17:00 |显示全部楼层
必须支持一下
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP