免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: pipihappy8888

[存储网络] 【名人堂访谈】乐天派的架构师:大话云存储(获奖名单已公布-2014-9-12) [复制链接]

论坛徽章:
1
摩羯座
日期:2013-10-23 12:41:02
发表于 2014-07-18 17:24 |显示全部楼层
回复 3# dtrees

陕西永寿当地有很多来姓.


   

论坛徽章:
0
发表于 2014-07-18 18:32 |显示全部楼层
前年参与过类似产品的开发,因此忍不住想问几个细节性的问题?
1 网易对象存储系统在内部还基于FUSE开发了用户态文件系统(部分功能受限)--------这个性能是如何保证的啊?我当时参与设计了一个一模一样的文件系统,由于s3接口的单一性,本来预期性能会比较差,结果做出来之后发现比预期的还要差,尤其是重命名之类的操作速度简直惨不忍睹,由此导致的可靠性问题也成为一个潜在的大风险,不知道你们有没有什么好思路解决了这个问题。
2 数据可靠性问题不知道采取了哪些措施,个人感觉数据可靠性实际上很大程度上决定了这个产品是高端还是低端。我们当时采用了raid、EC、和多副本等技术,但即使这样经过大压力之后还是存在极小概率的丢数据、数据不一致的情况,这导致银行等对这方面要求严格的企业根本不敢采用。

此外不知道你们是否用了重删等存储行业比较新的技术,希望多多分享啊~~~

论坛徽章:
19
处女座
日期:2014-07-18 14:50:5415-16赛季CBA联赛之北京
日期:2019-09-16 15:39:1415-16赛季CBA联赛之上海
日期:2019-09-15 15:29:0415-16赛季CBA联赛之山西
日期:2017-03-09 10:58:232017金鸡报晓
日期:2017-02-08 10:33:212017金鸡报晓
日期:2017-01-10 15:13:2915-16赛季CBA联赛之深圳
日期:2016-12-15 17:55:53C
日期:2016-10-25 16:00:1515-16赛季CBA联赛之新疆
日期:2016-07-21 14:02:0415-16赛季CBA联赛之江苏
日期:2016-06-30 12:15:04shanzhi
日期:2016-06-17 17:59:31平安夜徽章
日期:2015-12-26 00:06:30
发表于 2014-07-19 21:28 来自手机 |显示全部楼层
Sata硬盘啊。我以为是刀片服务器来实现的。

论坛徽章:
0
发表于 2014-07-21 09:51 |显示全部楼层
shenlanyouyu 发表于 2014-07-19 21:28
Sata硬盘啊。我以为是刀片服务器来实现的。


大部分数据存了之后很少读,互联网的存储必须是廉价的,会考虑热点加速之类的技术手段,但是面对海量数据,存储花不起钱呀

论坛徽章:
0
发表于 2014-07-21 10:26 |显示全部楼层
回复 14# wenhq


写失败发生时,会丢掉失败的那批ID,重新向Master申请一批,重试写操作。为了确保写速度,目前采用的是并发写,最终写入时间取决于最慢备份的写入。

完整性确实是个问题,但是我们可以确保不完整的数据,都是垃圾数据,例如:数据写入失败时,换ID重写,最终对象对应的存储,是写入成功的ID号(失败的ID将被垃圾回收)

虽然有点圡,但运作良好,工程上,有时候不得不用圡法炼钢

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2014-07-21 10:35 |显示全部楼层
回复 23# dtrees
这个写的策略效率不是很高呀,HDFS写的机制不知有所了解不?应该跟你这个策略不太一样。我是有点不太明白。方便的话可以细细沟通下。


   

论坛徽章:
0
发表于 2014-07-21 10:50 |显示全部楼层
wenhq 发表于 2014-07-21 10:35
回复 23# dtrees
这个写的策略效率不是很高呀,HDFS写的机制不知有所了解不?应该跟你这个策略不太一样。 ...


可以啊,^_^,这是我QQ:418014573,多交流才能进步哈,我们采用Client并发写,得到的收益有两点:1.写入速度快,当然代价是有多份流量;2.DataNode没有主从关系,所有DataNdoe都是平行关系,比HDFS的pipeline写入方式维护起来更加方便。

论坛徽章:
137
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5719周年集字徽章-庆
日期:2019-08-27 13:28:5615-16赛季CBA联赛之福建
日期:2019-09-10 11:43:2519周年集字徽章-周
日期:2019-12-12 10:54:07
发表于 2014-07-21 11:29 |显示全部楼层
无论顺境逆境,都能保持良好心态,所以大家都喊我微笑哥。

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
发表于 2014-07-22 10:09 |显示全部楼层
seesea2517 发表于 2014-07-17 17:46
作为我们小小的个人用户而言,我比较关心我们的数据在云上的安全性,防止隐私泄露方面的事情。比如各种联系 ...


你没看新闻吗 斯诺登说他的同事经常传阅别人的裸照

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
发表于 2014-07-22 10:16 |显示全部楼层
dtrees 发表于 2014-07-18 15:53
是的,要不然成本扛不住呀,即使用sata,每月的成本怎么着也要每GB几毛钱吧,不过一般用户存不了2T那么 ...

那阵列是什么品牌 一般都怎么做冗余及加密呢
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP