免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

【讨论】电商/搜索/广告架构中的分布式文件系统(c) [复制链接]

论坛徽章:
0
发表于 2012-03-31 10:48 |显示全部楼层
crazyhadoop 发表于 2012-03-31 08:39
要想优化系统,首先要分析一下,我们的系统在哪里遇到了瓶颈,可以利用一些系统命令来查看一下系统的状态, ...


一般用分布式来做数据分析的,我感觉大部分都是内存方面是瓶颈,尤其是JAVA来做的话,如果不调整的话,小于16G内存会不会很吃力了呢······

论坛徽章:
0
发表于 2012-03-31 11:35 |显示全部楼层
我们有专门的公司提供数据格式,然后根据数据的字段导入这些数据,不是从数据库生成!

论坛徽章:
0
发表于 2012-03-31 11:36 |显示全部楼层
回复 40# Gray1982


    我们有专门的公司提供数据格式,然后根据数据的字段导入这些数据,不是从数据库生成!

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-03-31 14:51 |显示全部楼层
回复 39# napoleon516


    你们的数据量应该不大,那玩意太费内存了

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-03-31 14:51 |显示全部楼层
回复 39# napoleon516


    你们的数据量应该不大,那玩意太费内存了

论坛徽章:
0
发表于 2012-03-31 22:27 |显示全部楼层
本帖最后由 老男孩linux培训 于 2012-03-31 23:36 编辑

回复 10# zhaoke0128

老男孩点评   
NFS其实蛮好的,原因是:
1)NFS也可以集群,高可用,如果了解了分布式的系统的原理自己就可以模拟把NFS组装成分布式文件系统。
2)数据量特别大,可以做数据拆分分组集群(前期数据存储规划好)
3)还可以在前端程序实现双写,底层做同步。
4)硬件,NFS调优,文件系统的选择都有讲究。

总之,方案大把。相对某些分布式文件系统,NFS更让你用着心里更有底,否则新软件的一个程序BUG,你就晕菜了。

起码国内中等及以内企业够用了(简单、方便,稳定、可靠)

老男孩曾经的4000万PV(国内排名30左右)的兼职公司当时仍在大量用NFS)。

不过华回来,一个好的网站靠的是整体的架构。比如:老男孩曾经发布过的原创文章,高并发7层访问模型
   http://blog.chinaunix.net/uid-26131888-id-3034987.html  

光靠存储解决问题的互联网公司,显然架构是有问题的,而且靠存储解决问题,效率是最低下的,用户体验也是最差的。

国内前10的网站是确实没办法了。刀法前面基本功(架构)炼精了,刀法又练绝了还是满足不了需求,只能换飞机大炮。

老男孩的观点:简单的工作练到极致,就是绝招。对于一般的公司,这条都是管用的。

把NFS玩明白了,一样OK。简单、易用、安全、可靠。


最重要的是需求,其实想想,国内过千万PV的网站又有多少,大部分公司还是小白。。技术一般,说的很高,用的很低。

   

论坛徽章:
0
发表于 2012-03-31 22:52 |显示全部楼层
本帖最后由 老男孩linux培训 于 2012-04-01 11:15 编辑

回复 16# lansyh

我用过MFS。MFS的缺点在于master是单点,我以前用HA+drbd+MFS做过热备,单点问题是解决了,但引申出了另外一个问题,drbd会产生脑裂问题,脑裂的最终结果就是热备环境中两台master不停切换,造成数据文件损坏,而且不可恢复。(当初惨痛的教训啊!!!)后来发现是dell的网卡驱动问题造成drbd脑裂,升级驱动同事通过脚本可对drbd脑裂进行监控并修复的。

老男孩点评:  
  
裂脑的解决方法有多种:
1.使用Stonith 、fence。
2.最简单的办法就是写个脚本做判断(监控及时自动处理)。
3.心跳线可以双条直连。就很少发生了。即使发生了,损失可控(需求之内的)。
4.不HA也可以的,直接DRBD,然后做好监控出问题手动脚本处理也是可以考虑的(大公司的业务也会有单点,如sina sae,可控、满足需求即可)。

mfs+drbd+ha的分布式方案在早期也是老男孩的培训课程内容之一(现在的所有改进,使用了双主互为主从主主都可见的做法),维护相对复杂,数据有风险,尤其是大数据量缺乏应用场景。

说来说去还是分析需求,和有没有能HOLD住的方案。思路决定出路,有时完全靠技术不好解决,换个思路就解决了。
    大家都会用刀,可是高手的刀法(如雪山飞狐的胡家刀法)和低手(乱砍的刀法)差别巨大。这二者工具相同,水平不同,why? 解答:思路思想。到了一个比较高的高位后,首先是思想,其次是技术本身。两条腿缺一条都会累死。
我还是想给兄弟们建议,站的高看的远或者说有前瞻性是对的,但是多想想,你能否HOLD得住,解决需求的前提下,能HOLD住是最关键的,存储的数据就是公司的命门,丢失意味着倒闭。所以,简单测试OK就上线埋下了定时炸弹。
--------------------------------
依然坚持,“简单做到极致就是高招。”,因此,在给企业做技术顾问方案时,我还会经常推荐NFS负载均衡加读写分离的方案(负载均衡调度器)方案。
原因就是企业的运维人员能自己维护,我提了解决方案,企业就能自己HOLD住。

一点愚见,供同仁们参考。欢迎继续探讨。

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-04-01 10:37 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2012-04-01 13:45 |显示全部楼层
老男孩linux培训 发表于 2012-03-31 22:27
回复 10# zhaoke0128

老男孩点评   


NFS存在这么多年也是有一定的道理的,而且很多企业也是在生产环境中使用它。不过就像你说的,很多企业只是打着口号、在生产中运用所谓的高新技术,他们不懂什么叫合适,他们不懂什么叫专业,只是盲目的追求。一切都是口号。
我记得NFS的V3版本存在读写的瓶颈,据说V4已经OK,不过一直没怎么用。
像你说的,公司的数据不能仅仅依靠存储,一个合适的架构是主要的。所以我们需要知道什么样的软件合适什么样的业务,什么样的架构,合适未来的发展。

论坛徽章:
0
发表于 2012-04-01 13:53 |显示全部楼层
老男孩linux培训 发表于 2012-03-31 22:52
回复 16# lansyh

我用过MFS。MFS的缺点在于master是单点,我以前用HA+drbd+MFS做过热备,单点问题是解决 ...


mfs+drbd+ha这个方案,当初在电商的时候也用过,而且MFS对数据文件的读取,备份还是不错的。整个这套热备的方案在生产环境中也是一套成熟的方案。
当初遇到“脑裂”的问题是通过调整时间来解决的,当时还真没想到用互为主从、主主的方式来做。现在的LVS都已经互为主从、主主来做,也是为了保险。

高手的境界,除了招式(各种软件的应用)还需要有心境(各种解决方案),这样才能成为真正的高手
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP