免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: pipihappy8888

[存储网络] 【名人堂访谈】乐天派的架构师:大话云存储(获奖名单已公布-2014-9-12) [复制链接]

论坛徽章:
0
发表于 2014-07-18 13:39 |显示全部楼层
seesea2517 发表于 2014-07-18 09:48
回复 7# dtrees


^_^,多谢多谢,最近大MAC换成了百度输入法,错别字特别多。。

论坛徽章:
0
发表于 2014-07-18 13:53 |显示全部楼层
cryboy2001 发表于 2014-07-18 10:44
现在支持linux客户端的云存储很少,你们有没有考虑过开发linux的客户端。


我们一般说云存储,都是指“百度网盘、360云盘”等面向个人的产品,而对象存储者是面向企业用户的。没有足够的用户量,我想个人云存储产品都不太会花大量精力去做Linux客户端。

而面向企业级的对象存储,则是提供给开发者用的,大型对象存储系统除了提供HTTP访问接口外,还会在此基础上封装JAVA、C++、Python等主流程序语言SDK

网易对象存储系统在内部还基于FUSE开发了用户态文件系统(部分功能受限),将用户的对象存储数据挂载到Linux本地,用户挂载之后,读写对象存储数据就好像读写本地文件一样

论坛徽章:
0
发表于 2014-07-18 14:22 |显示全部楼层
wenhq 发表于 2014-07-18 12:04
想问下高手,你们的DFS是自己写的么?还是利用开源的,方便说下不?另外对大文件的存储,比如视频,电影上会 ...


非高手, 只是对存储系统稍微熟悉一点。网易杭研的DFS系统是自己写的,未开源,我们的DFS读写都比较轻量级,全部读都不经过Master节点,写操作则是Client批量申请写ID,因此大部分写也是无须经过Master的。

网易视频中心之前用的也是HADOOP存储视频文件,听说发现HADOOP FUSE有些问题,老出内存泄露,且响应也比较忙,后来改用我们的方案:Nginx(with mp4/flv module) + Nosfs(我们的对象存储系统的FUSE工具) + NOS(我们的对象存储系统),应用效果还不错。

对象存储系统一般都支持分块上传,最后合并成一个逻辑上的大对象,我们的系统最大支持 10000 block * 100M = 1T 的大对象,分块的好处是上传和下载都可以并发,且不同分块落在不同物理磁盘上,能更好的利用磁盘IO。

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2014-07-18 14:27 |显示全部楼层
回复 13# dtrees


    那你们是如何保证写的成功率呢?还有数据的完整性以及像数据的备份。能大体说下里面的处理逻辑么?

论坛徽章:
0
发表于 2014-07-18 14:33 来自手机 |显示全部楼层
现在个人用的云盘是不是都是用市面上sata的普通硬盘作成的?我的百度云盘都2T多了、我电脑才500G呢

论坛徽章:
0
发表于 2014-07-18 15:53 |显示全部楼层
chenzhiquan2000 发表于 2014-07-18 14:33
现在个人用的云盘是不是都是用市面上sata的普通硬盘作成的?我的百度云盘都2T多了、我电脑才500G呢


是的,要不然成本扛不住呀,即使用sata,每月的成本怎么着也要每GB几毛钱吧,不过一般用户存不了2T那么多数据,普通家庭的上行流量也就100来K

论坛徽章:
92
CU大牛徽章
日期:2013-11-29 22:26:36CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2014-02-21 14:22:02CU大牛徽章
日期:2014-02-21 14:22:07CU大牛徽章
日期:2014-02-21 14:22:09CU大牛徽章
日期:2015-02-28 17:45:342015元宵节徽章
日期:2015-03-06 16:56:38羊年新春福章
日期:2015-02-28 17:42:522015七夕节徽章
日期:2015-09-14 09:24:55CU大牛徽章
日期:2014-02-21 14:22:44CU大牛徽章
日期:2015-02-28 17:48:12CU大牛徽章
日期:2015-02-28 17:47:58
发表于 2014-07-18 16:34 |显示全部楼层
回复 11# dtrees


    哈哈,不用紧,都看得懂。

论坛徽章:
1
摩羯座
日期:2013-10-23 12:41:02
发表于 2014-07-18 17:24 |显示全部楼层
回复 3# dtrees

陕西永寿当地有很多来姓.


   

论坛徽章:
0
发表于 2014-07-18 18:32 |显示全部楼层
前年参与过类似产品的开发,因此忍不住想问几个细节性的问题?
1 网易对象存储系统在内部还基于FUSE开发了用户态文件系统(部分功能受限)--------这个性能是如何保证的啊?我当时参与设计了一个一模一样的文件系统,由于s3接口的单一性,本来预期性能会比较差,结果做出来之后发现比预期的还要差,尤其是重命名之类的操作速度简直惨不忍睹,由此导致的可靠性问题也成为一个潜在的大风险,不知道你们有没有什么好思路解决了这个问题。
2 数据可靠性问题不知道采取了哪些措施,个人感觉数据可靠性实际上很大程度上决定了这个产品是高端还是低端。我们当时采用了raid、EC、和多副本等技术,但即使这样经过大压力之后还是存在极小概率的丢数据、数据不一致的情况,这导致银行等对这方面要求严格的企业根本不敢采用。

此外不知道你们是否用了重删等存储行业比较新的技术,希望多多分享啊~~~

论坛徽章:
16
处女座
日期:2014-07-18 14:50:542017金鸡报晓
日期:2017-02-08 10:33:212017金鸡报晓
日期:2017-01-10 15:13:2915-16赛季CBA联赛之深圳
日期:2016-12-15 17:55:53C
日期:2016-10-25 16:00:1515-16赛季CBA联赛之新疆
日期:2016-07-21 14:02:0415-16赛季CBA联赛之江苏
日期:2016-06-30 12:15:04shanzhi
日期:2016-06-17 17:59:31平安夜徽章
日期:2015-12-26 00:06:30综合交流区版块每日发帖之星
日期:2015-10-10 06:20:00IT运维版块每日发帖之星
日期:2015-09-01 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17
发表于 2014-07-19 21:28 来自手机 |显示全部楼层
Sata硬盘啊。我以为是刀片服务器来实现的。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP