忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12345下一页
最近访问板块 发新帖
查看: 100594 | 回复: 44

[存储网络] 【名人堂访谈】乐天派的架构师:大话云存储(获奖名单已公布-2014-9-12) [复制链接]

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152014年中国系统架构师大会
日期:2015-06-05 16:54:182011年中国系统架构师大会
日期:2015-06-05 16:54:392012年中国系统架构师大会
日期:2015-06-05 16:54:392013年中国系统架构师大会
日期:2015-06-05 16:54:39
发表于 2014-07-17 11:59 |显示全部楼层


获奖名单已公布,详情请看:http://bbs.chinaunix.net/thread-4153933-1-1.html

当我们使用网易网盘存储照片的时候,当我们使用苹果的iCloud同步音乐的时候,当我们使用小米的云服务在线管理和存储联系人、短信、照片、便签等各种数据的时候,云存储已经在不知不觉中完全走进了我们的生活里。只是我们在享受这光鲜流畅的服务背后,是否了解这背后到底需要怎样的技术支撑呢?存储系统,尤其是对象存储系统,在处理大量图片和视频的时候,都不可避免的会面临着大流量和高并发带来的压力。网易对象云存储NOS这个新生儿,从无到有历经两年时间里,在易信、云音乐、云阅读、公开课、有道云笔记等30多个重量级产品中大展拳脚。到底它有哪些魅力呢?本期名人堂我们邀请到了2014中国系统架构师大会嘉宾来东敏老师坐镇,聊聊云存储那些事儿。


PS:2014中国系统架构师大会即将于9月17-19日在北京盛大开幕,本届大会以“发现架构之美”为主题,汇聚了国内最牛的IT架构师,为大家分享IT行业前瞻与架构最佳实践。届时,来东敏老师将为大家分享主题为“NOS(网易对象云存储)关键技术解析”的精彩演讲,欢迎大家报名,官网地址:http://sacc.it168.com/ 本期活动诚邀云存储专家坐镇,与各位网友倾心交谈,请大家抓紧时间提问吧,说出自己心中的疑惑!截止8月15日,我们将在ITPUB社区和ChinaUnix社区评选5名活跃会员,赠送图书1本,并赠送大会徽章一枚,欢迎大家积极探讨!




皮皮(Q1):很高兴有机会采访到您,能否介绍下自己,分享下您的职场经历?作为一名系统架构师,您觉得日常工作中会遇到哪些挑战?


来东敏(A1):大家好,我的职场经历比较简单,2010年中科院计算所毕业后,一直在网易杭州研究院从事研发工作,重点负责分布式文件系统、对象存储系统、高性能服务器等技术领域。这份工作天时地利人和,公司离我家不到10公里,我觉得非常理想。架构师行业高深莫测,正所谓师傅领进门修行在个人,或多或少在工作中总会遇到这样或那样的挑战,前车之师后车之鉴,我希望通过自己的总结给大家传递一点正能量:



1.要想设计出一个优秀的架构,无论是在技术的广度上还是在领域经验的深度上,都需要日积月累,不断学习沉淀;

2.构架师一定要**细节,站在开发、测试、运维等角度来审视设计,忽略细节的后果很严重,有时候可能会为了一个小小的技术点对方案做全盘调整;

3.架构设计要有全局发展性的眼光,高瞻远瞩,通过审视过去预测未来,寻求一种折衷平衡之道,制定最优方案;

4.架构师需要理性冷静的分析思维,定性和定量分析要有机结合,开源或者自建系统都要掌控到位;

5.架构师要负担起一种强烈的责任感,作为最熟悉系统的那个人,需要耳听八方,选择性地吸收外部建议(尤其是领导的建议);

6.架构师还要对自己所处的环境有个清晰的认识,合理利用基础设施,不要做超出团队驾驭能力的设计


目前来讲,我的大部分时间都花在了程序设计代码这块,希望能在通往成熟的架构师之路上,有机会与大家一起探讨架构的艺术。





皮皮(Q2):谈到存储,规模稍大的企业通常都会用到3种存储,对象存储、文件存储、块设备存储,到底是选择采用3个软件来实现3种存储,还是用一个软件来实现3个功能?


来东敏(A2):在云计算领域,这三种存储类型有各自的特点和应用场景:文件存储是大家使用最广泛的,但存在海量存储扩展性以及存取性能方面的问题;对象存储弱化了POSIX文件系统接口,通过对象这一基本概念进行数据存取,特别适合存储海量非结构化数据;块设备存储则主要体现在弹性上,就像是一块可扩展的虚拟硬盘,可以插拔、挂载到任意云主机上。目前国内公有云对象存储做得比较火热,而弹性块设备存储发展相对不是特别快,但是随着云计算深入,弹性块设备存储的优势会逐渐体现出来。网易云实现的弹性块设备存储(NBS)具有高可用、高可靠、高性能、简单易用等特点,已经在内部广泛使用,取得了良好的应用效果。



在同一套系统中统一实现三种存储类型的最大优点是存储资源的整合,但是为了降低系统构建的复杂性,通常会采用分层实现。其实Ceph就实现了统一存储,其底层是RADOS对象存储,作为整个集群存储服务的基础。上层实现RADOSGW、CephFS、RBD提供对象存储、文件存储、块设备存储等服务接口,只不过目前Ceph官方提示CephFS尚未达到应用到生成环境的要求。



但是像Ceph那样在同一套系统中实现三种存储也存在一定的问题,例如上述三种存储有各自的特性,这就导致很难抽象出适用于所有存储的公共底层,造成特性上的优化很难进行,例如:我们曾经调研过Ceph的RADOSGW如何实现S3的GetBucket接口,结果发现在带有prefix前缀参数的情况下,RADOSGW将遍历桶下的所有对象,这肯定是无法接受的。如果是单一的存储系统,系统优化的目标就会很明确,系统设计上也会有针对特性的专门考量。





皮皮(Q3):业界公有对象存储项目有很多,亚马逊S3、阿里OSS、腾讯COS、七牛云存储,相对而言网易的对象云存储系统有亮点?


来东敏(A3):亚马逊S3是业界公认的公有云对象存储系统的鼻祖,国内同类系统都或多或少借鉴了S3的接口,并在此基础上提供了上传下载加速、富媒体处理等功能。目前来看,有关对象存储系统架构和实现的技术分享并不多,可能由于大家相对比较封闭吧。真心希望大家有更多的交流,共同促进这一领域的蓬勃发展,七牛云存储在这方面做得不错,我们团队从七牛和S3身上获益良多。



网易云对象存储系统(NOS)提供了互联网上的存储服务,致力于提供高度可伸缩、高可靠的廉价数据存储基础设施,并给开发者提供最大程度的便利。对象存储把用户数据存储为桶里面的对象。对象由文件、描述文件的元数据信息组成。桶是对象的容器,一个用户可以创建多个桶,桶名称全局唯一。用户可以通过简单的REST接口,在任何时间、任何地点、任何互联网设备上进行数据的上传和下载,也可以使用WEB页面对数据进行管理。同时,NOS还提供了Java SDK,简化用户的编程。用户可以基于NOS搭建出各种多媒体分享网站、网盘、个人企业数据备份等基于大规模数据的服务。



NOS从无到有经历了两年时间,当前网易内部使用NOS的产品有30个左右,其中包括:易信、云音乐、云阅读、公开课、有道云笔记等重量级产品。我们的团队成员包括4位开发,2位测试,1位运维,0.5位项目管理。与公有云对象存储系统的项目团队相比,我们应该算是小团队作战。但是NOS在功能接口方面,与市面上的几家公有对象存储系统基本差不多,甚至为了兼容POSIX文件系统接口,我们还提供了“根据prefix和delimiter列出桶内对象”这样的高级接口。要说亮点的话,这里还可以提两点:1.在富媒体处理速度方面有较明显的优势,在主要得益于我们的富媒体系统构架和实现方式;2.桶隔离机制,运维人员可以根据实际情况实现桶粒度隔离,包括:流量隔离、连接数隔离、QPS隔离等。更多精彩内容将在大会上做分享。





皮皮(Q4):作为本届大会的演讲嘉宾,能否透露下您的演讲主题?分享下网易对象存储系统的架构实践?


来东敏(A4):本次大会,我的演讲主题将围绕NOS构建过程中碰到的问题展开,并重点分享我们如何解决这些问题的过程。实际上,在NOS快速发展的两年多时间里,系统构架也在不断演进,项目组成员也是随着NOS一起成长,这是个非常美妙的过程。系统搭建初期,整个NOS只有两台应用服务器,加上一个非常小的存储集群,只能实现基本的对象存取功能,在系统可用性、可扩展性等方面存在一定局限性。后期通过持续迭代改进,我们逐步加入“图片处理、视频处理、音频处理、高速缓存”等功能。在非功能特性上也对架构做了大量的调整和改进,确保系统无单点,能够实现平滑升级和水平扩容。最终成就了一个稳定易用、安全有弹性、成本低廉的对象存储系统。未来我们将在确保系统稳定运行的情况下,进一步优化系统性能,提高系统抗压能力,并着重提高移动端体验。



目前,整个网易云对象存储系统(NOS)主要分为“接入、缓存、逻辑、存储”四个层次。1.接入层:使用Openresty(类似Tengine),其强大的Nginx Lua模块实现了桶粒度实时流量统计、流量隔离等功能;另外,使用Nginx Lua写了部分适合在接入层实现的逻辑;2.缓存层:使用TrafficServer,这是一款专业的缓存服务器,我们测试发现其无论在稳定性还是功能和性能上,都比Squid靠谱;我们用它实现热点数据以及富媒体处理后的临时数据缓存;3.逻辑层:使用Tomcat实现对象存储主要的业务逻辑,由于Tomcat众所周知的在高并发上的短板,我们正在积极探索,计划使用Netty来替换Tomcat;4.存储层:是对象存储系统的基石,NOS构建在网易分布式文件系统(DFS)和网易分布式数据库(DDB)之上,DFS做数据存储,而DDB则存储元数据;目前,有一个三人团队正在进行DFS2.0的开发,以实现更优的存储构架;





皮皮(Q5):古人云,三十而立,四十不惑,五十知天命。您三十成家立业,家庭幸福美满,这一路上对人生有哪些感悟?



来东敏(A5):人生感悟实在谈不上,我是个乐天派,无论顺境逆境,都能保持良好心态,所以大家都喊我微笑哥。我们组的项目管理做得非常好,一般情况下,都会有一个良好的开发节奏,这对于我来说非常重要,因为那就意味着,每天下午六点就能准时回家,十分钟后,奶奶爸爸妈妈老婆儿子和我,就能围坐在一起吃晚饭。当然啦,晚上免不了要写写代码,看看技术文章。对于工作,我觉得进入状态很重要,没状态的时候不妨到处溜达溜达,喝杯咖啡。当碰到烦心事的时候,也别堵得慌,非常喜欢科比的一句话,与大家共勉:Falling is a part of life, but walking is the way of life.


活动时间:7月17-8月15日

活动奖励:欢迎大家积极提问或者分享自己的感悟,活动结束将有专家评选最佳活跃会员5名赠送技术图书1本,并且赠送大会徽章1枚!

     
架构师.jpg

论坛徽章:
5
丑牛
日期:2014-01-21 08:26:26卯兔
日期:2014-03-11 06:37:43天秤座
日期:2014-03-25 08:52:52寅虎
日期:2014-04-19 11:39:48午马
日期:2014-08-06 03:56:58
发表于 2014-07-17 12:57 |显示全部楼层
皮皮~ {:2_172:}
东东敏是谁?

论坛徽章:
0
发表于 2014-07-17 17:31 |显示全部楼层
pitonas 发表于 2014-07-17 12:57
皮皮~
东东敏是谁?


哈哈,我姓,这个姓氏比较少见,目前在网易杭州研究院工作

论坛徽章:
89
CU大牛徽章
日期:2013-11-29 22:26:36CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2014-02-21 14:22:02CU大牛徽章
日期:2014-02-21 14:22:07CU大牛徽章
日期:2014-02-21 14:22:09CU大牛徽章
日期:2015-02-28 17:45:342015元宵节徽章
日期:2015-03-06 16:56:38羊年新春福章
日期:2015-02-28 17:42:522015七夕节徽章
日期:2015-09-14 09:24:55CU大牛徽章
日期:2014-02-21 14:22:44CU大牛徽章
日期:2015-02-28 17:48:12CU大牛徽章
日期:2015-02-28 17:47:58
发表于 2014-07-17 17:46 |显示全部楼层
作为我们小小的个人用户而言,我比较关心我们的数据在云上的安全性,防止隐私泄露方面的事情。比如各种联系人信息、照片以及短信或其它的信息记录,在云上的存储加密情况如何,云服务器的稳定性,备份分布容灾情况等是否可以简要介绍一点。

另外最后一段是大家都向往的生活,希望大家都能有快乐的工作和幸福的生活~

论坛徽章:
459
亥猪
日期:2014-05-31 12:08:00亥猪
日期:2014-05-31 12:08:03亥猪
日期:2014-05-31 12:07:38亥猪
日期:2014-05-31 12:08:04亥猪
日期:2014-05-31 12:07:43亥猪
日期:2014-05-31 12:07:52亥猪
日期:2014-05-31 12:08:09亥猪
日期:2014-05-31 12:07:51亥猪
日期:2014-05-31 12:08:02亥猪
日期:2014-05-31 12:07:59亥猪
日期:2014-05-31 12:07:37亥猪
日期:2014-05-31 12:07:50
发表于 2014-07-17 19:04 |显示全部楼层
回复 3# dtrees


    【来护儿】 这个人知道...

论坛徽章:
0
发表于 2014-07-17 21:44 |显示全部楼层
2009532140 发表于 2014-07-17 19:04
回复 3# dtrees


很喜欢听单田芳老师讲隋唐演义,隋唐四猛之一,来护儿。。。话说杭州滨江长河镇,是大姓,保守估计占当地总人口一般以上吧

论坛徽章:
0
发表于 2014-07-17 22:21 |显示全部楼层
本帖最后由 dtrees 于 2014-07-18 13:41 编辑
seesea2517 发表于 2014-07-17 17:46
作为我们小小的个人用户而言,我比较关心我们的数据在云上的安全性,防止隐私泄露方面的事情。比如各种联系 ...


云存储分两个纬度,一类面向个人用户,另一类则面向企业级用户。一般地,前者可以搭建在后者之上,例如:够快云存储搭建在阿里云OSS对象存储之上。所以,个人隐私方面,也要从两个方面分别进行保障。用户层隐私保护我没有什么经验。在存储层,数据其实是打散的,很多时候多个用户文件其实是合并存储的,虽然不一定会对数据加密(加密可以在用户层做),但是要获取数据的门槛还是比较高的,退一步说,即使获取到了数据,也无法还原出其他的用户相关数据。从这个角度来说,用户层隐私保护显得更重要。另外,对存储集群做物理或者vlan隔壁是非常有必要的。

稳定性也包含两个方面,1.服务可用性:动不动就挂的服务是没人敢用的,良好的服务设计都需要确保服务高可用,不存在单点,任何节点宕机都不应该影响服务的正常运行;2.服务质量:动不动下载龟速的服务也是没人喜欢用的,质量方面除了做好系统本身的优化之外,还需要容量规划,要有机制能够获取到系统当前的容量,以及系统能够支撑的容量,容量不够及时扩容【容量包括带宽、计算、存储等资源】

至于灾备嘛,呵呵,得看老板的态度,存储服务灾备的投入比较大,可以考虑降级的灾备方式,例如:发生灾难时,允许数据上传,但是老数据暂时读不到,这种灾备方式对于类似易信这样的社交类产品,性价比是非常高的,^_^

论坛徽章:
89
CU大牛徽章
日期:2013-11-29 22:26:36CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2014-02-21 14:22:02CU大牛徽章
日期:2014-02-21 14:22:07CU大牛徽章
日期:2014-02-21 14:22:09CU大牛徽章
日期:2015-02-28 17:45:342015元宵节徽章
日期:2015-03-06 16:56:38羊年新春福章
日期:2015-02-28 17:42:522015七夕节徽章
日期:2015-09-14 09:24:55CU大牛徽章
日期:2014-02-21 14:22:44CU大牛徽章
日期:2015-02-28 17:48:12CU大牛徽章
日期:2015-02-28 17:47:58
发表于 2014-07-18 09:48 |显示全部楼层
本帖最后由 seesea2517 于 2014-07-18 09:50 编辑

回复 7# dtrees


    谢谢来老师的解答:)
从你说的存储层来看,感觉类似于 mysql 的 innodb 引擎的非独立表空间存储方式。也就是从这一方面来说一大块的数据即使获取到,如果没有用户层的还原办法的话也还是暂时安全的。

说到服务质量的速度这一点,之前没有意识到划归到网络方面的因素。实际上综合上来说它就是得算为云服务的一个部分。
“还需要容量规划,要有机制能够获取到系统当年的容量”,这句话把“当年”换成“当前”读起来比较容易理解一些 
“容量不够即使扩容”,这句话理解为“容量不够(立)即扩容”和“容量不够及时扩容”看起来都可以~

灾备,看起来确实也是和服务以及服务对象挂钩了,类似易信一般来说读取历史的情况比较少,所以用这种方式看起来真算是性价比高;服务对象是个人还是企业,是收费还是免费,这都会影响到老板的决策啊~

论坛徽章:
26
CU十二周年纪念徽章
日期:2013-10-24 15:41:342014年中国系统架构师大会
日期:2014-10-14 15:59:00技术图书徽章
日期:2014-07-11 16:27:52双子座
日期:2014-09-26 11:00:04巨蟹座
日期:2014-10-27 08:21:10申猴
日期:2014-12-08 10:16:282015年辞旧岁徽章
日期:2015-03-03 16:54:15NBA常规赛纪念章
日期:2015-05-04 22:32:03IT运维版块每日发帖之星
日期:2016-01-29 06:20:00IT运维版块每日发帖之星
日期:2016-04-22 06:20:00辰龙
日期:2014-09-04 13:40:43白羊座
日期:2014-09-09 12:51:55
发表于 2014-07-18 10:44 |显示全部楼层
现在支持linux客户端的云存储很少,你们有没有考虑过开发linux的客户端。

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26巳蛇
日期:2013-11-08 06:25:12
发表于 2014-07-18 12:04 |显示全部楼层
想问下高手,你们的DFS是自己写的么?还是利用开源的,方便说下不?另外对大文件的存储,比如视频,电影上会有什么样的优化呢?
因为我们现在用HADOOP的dfs存在一些存储大文件并发响应比较慢的问题。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP