【名人堂访谈】乐天派的架构师：大话云存储（获奖名单已公布-2014-9-12）

dtrees

seesea2517 发表于 2014-07-18 09:48
回复 7# dtrees

^_^，多谢多谢，最近大MAC换成了百度输入法，错别字特别多。。

dtrees

cryboy2001 发表于 2014-07-18 10:44
现在支持linux客户端的云存储很少，你们有没有考虑过开发linux的客户端。

我们一般说云存储，都是指“百度网盘、360云盘”等面向个人的产品，而对象存储者是面向企业用户的。没有足够的用户量，我想个人云存储产品都不太会花大量精力去做Linux客户端。

而面向企业级的对象存储，则是提供给开发者用的，大型对象存储系统除了提供HTTP访问接口外，还会在此基础上封装JAVA、C++、Python等主流程序语言SDK

网易对象存储系统在内部还基于FUSE开发了用户态文件系统（部分功能受限），将用户的对象存储数据挂载到Linux本地，用户挂载之后，读写对象存储数据就好像读写本地文件一样

dtrees

wenhq 发表于 2014-07-18 12:04
想问下高手，你们的DFS是自己写的么？还是利用开源的，方便说下不？另外对大文件的存储，比如视频，电影上会 ...

非高手， 只是对存储系统稍微熟悉一点。网易杭研的DFS系统是自己写的，未开源，我们的DFS读写都比较轻量级，全部读都不经过Master节点，写操作则是Client批量申请写ID，因此大部分写也是无须经过Master的。

网易视频中心之前用的也是HADOOP存储视频文件，听说发现HADOOP FUSE有些问题，老出内存泄露，且响应也比较忙，后来改用我们的方案：Nginx(with mp4/flv module) + Nosfs(我们的对象存储系统的FUSE工具) + NOS（我们的对象存储系统），应用效果还不错。

对象存储系统一般都支持分块上传，最后合并成一个逻辑上的大对象，我们的系统最大支持 10000 block * 100M = 1T 的大对象，分块的好处是上传和下载都可以并发，且不同分块落在不同物理磁盘上，能更好的利用磁盘IO。

wenhq

回复 13# dtrees


    那你们是如何保证写的成功率呢？还有数据的完整性以及像数据的备份。能大体说下里面的处理逻辑么？

chenzhiquan2000

现在个人用的云盘是不是都是用市面上sata的普通硬盘作成的？我的百度云盘都2T多了、我电脑才500G呢

dtrees

chenzhiquan2000 发表于 2014-07-18 14:33
现在个人用的云盘是不是都是用市面上sata的普通硬盘作成的？我的百度云盘都2T多了、我电脑才500G呢

是的，要不然成本扛不住呀，即使用sata，每月的成本怎么着也要每GB几毛钱吧，不过一般用户存不了2T那么多数据，普通家庭的上行流量也就100来K

seesea2517

回复 11# dtrees


    哈哈，不用紧，都看得懂。

dj_ukyo

回复 3# dtrees

陕西永寿当地有很多来姓.


   

enmingqing

前年参与过类似产品的开发，因此忍不住想问几个细节性的问题？
1 网易对象存储系统在内部还基于FUSE开发了用户态文件系统（部分功能受限）--------这个性能是如何保证的啊？我当时参与设计了一个一模一样的文件系统，由于s3接口的单一性，本来预期性能会比较差，结果做出来之后发现比预期的还要差，尤其是重命名之类的操作速度简直惨不忍睹，由此导致的可靠性问题也成为一个潜在的大风险，不知道你们有没有什么好思路解决了这个问题。
2 数据可靠性问题不知道采取了哪些措施，个人感觉数据可靠性实际上很大程度上决定了这个产品是高端还是低端。我们当时采用了raid、EC、和多副本等技术，但即使这样经过大压力之后还是存在极小概率的丢数据、数据不一致的情况，这导致银行等对这方面要求严格的企业根本不敢采用。

此外不知道你们是否用了重删等存储行业比较新的技术，希望多多分享啊~~~

shenlanyouyu

Sata硬盘啊。我以为是刀片服务器来实现的。