【名人堂访谈】乐天派的架构师：大话云存储（获奖名单已公布-2014-9-12）

dj_ukyo

回复 3# dtrees

陕西永寿当地有很多来姓.


   

enmingqing

前年参与过类似产品的开发，因此忍不住想问几个细节性的问题？
1 网易对象存储系统在内部还基于FUSE开发了用户态文件系统（部分功能受限）--------这个性能是如何保证的啊？我当时参与设计了一个一模一样的文件系统，由于s3接口的单一性，本来预期性能会比较差，结果做出来之后发现比预期的还要差，尤其是重命名之类的操作速度简直惨不忍睹，由此导致的可靠性问题也成为一个潜在的大风险，不知道你们有没有什么好思路解决了这个问题。
2 数据可靠性问题不知道采取了哪些措施，个人感觉数据可靠性实际上很大程度上决定了这个产品是高端还是低端。我们当时采用了raid、EC、和多副本等技术，但即使这样经过大压力之后还是存在极小概率的丢数据、数据不一致的情况，这导致银行等对这方面要求严格的企业根本不敢采用。

此外不知道你们是否用了重删等存储行业比较新的技术，希望多多分享啊~~~

shenlanyouyu

Sata硬盘啊。我以为是刀片服务器来实现的。

dtrees

shenlanyouyu 发表于 2014-07-19 21:28
Sata硬盘啊。我以为是刀片服务器来实现的。

大部分数据存了之后很少读，互联网的存储必须是廉价的，会考虑热点加速之类的技术手段，但是面对海量数据，存储花不起钱呀

dtrees

回复 14# wenhq


写失败发生时，会丢掉失败的那批ID，重新向Master申请一批，重试写操作。为了确保写速度，目前采用的是并发写，最终写入时间取决于最慢备份的写入。

完整性确实是个问题，但是我们可以确保不完整的数据，都是垃圾数据，例如：数据写入失败时，换ID重写，最终对象对应的存储，是写入成功的ID号（失败的ID将被垃圾回收）

虽然有点圡，但运作良好，工程上，有时候不得不用圡法炼钢

wenhq

回复 23# dtrees
这个写的策略效率不是很高呀，HDFS写的机制不知有所了解不？应该跟你这个策略不太一样。我是有点不太明白。方便的话可以细细沟通下。


   

dtrees

wenhq 发表于 2014-07-21 10:35
回复 23# dtrees
这个写的策略效率不是很高呀，HDFS写的机制不知有所了解不？应该跟你这个策略不太一样。 ...

可以啊，^_^，这是我QQ：418014573，多交流才能进步哈，我们采用Client并发写，得到的收益有两点：1.写入速度快，当然代价是有多份流量；2.DataNode没有主从关系，所有DataNdoe都是平行关系，比HDFS的pipeline写入方式维护起来更加方便。

shang2010

无论顺境逆境，都能保持良好心态，所以大家都喊我微笑哥。

lgatuk

seesea2517 发表于 2014-07-17 17:46
作为我们小小的个人用户而言，我比较关心我们的数据在云上的安全性，防止隐私泄露方面的事情。比如各种联系 ...

你没看新闻吗 斯诺登说他的同事经常传阅别人的裸照

lgatuk

dtrees 发表于 2014-07-18 15:53
是的，要不然成本扛不住呀，即使用sata，每月的成本怎么着也要每GB几毛钱吧，不过一般用户存不了2T那么 ...

那阵列是什么品牌 一般都怎么做冗余及加密呢