免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: pipihappy8888

[存储网络] 【名人堂访谈】乐天派的架构师:大话云存储(获奖名单已公布-2014-9-12) [复制链接]

论坛徽章:
0
发表于 2014-07-21 09:51 |显示全部楼层
shenlanyouyu 发表于 2014-07-19 21:28
Sata硬盘啊。我以为是刀片服务器来实现的。


大部分数据存了之后很少读,互联网的存储必须是廉价的,会考虑热点加速之类的技术手段,但是面对海量数据,存储花不起钱呀

论坛徽章:
0
发表于 2014-07-21 10:16 |显示全部楼层
enmingqing 发表于 2014-07-18 18:32
前年参与过类似产品的开发,因此忍不住想问几个细节性的问题?
1 网易对象存储系统在内部还基于FUSE开发了 ...


其实很多时候大家遇到的问题都是差不多的,对象存储接口和文件系统POSIX在语意上就存在很大的区别,想要让S3上的FUSE跑得像本地文件系统那么欢快,那根本是不可能的,尤其S3在国外的情况下。我们之所以在对象存储系统之上开发基于FUSE的文件系统,是因为有些应用场景不得不基于文件系统,例如:Nginx视频播放模块、图片处理服务(基于GraphicsMagick库)、视频处理服务(ffmpeg)。鉴于这类应用场景,我们只要通过预读、并发读等手段重点优化读性能即可。其他功能暂时是不会放到线上用的(除了备份日志文件到对象存储系统这类顺序写操作)

目前我们采用的是写多备份的方式,确实,也发生过数据丢失的,尤其是当某块盘坏掉,换盘还原时,发现另一个备份的数据也存在某些扇区坏的情况。嘿嘿,我们目前正在做EC,估计明年全面上线,看你们用了那么多机制来保证可靠性,显然比我们考虑得要更全面。由于互联网公司的业务特性,我们能够容忍偶尔不一致的情况,只要有机制检测到不一致并进行一致性修复即可。我们的底层存储构架目前还比较初级,正在努力重构中,希望多多交流。

论坛徽章:
0
发表于 2014-07-21 10:26 |显示全部楼层
回复 14# wenhq


写失败发生时,会丢掉失败的那批ID,重新向Master申请一批,重试写操作。为了确保写速度,目前采用的是并发写,最终写入时间取决于最慢备份的写入。

完整性确实是个问题,但是我们可以确保不完整的数据,都是垃圾数据,例如:数据写入失败时,换ID重写,最终对象对应的存储,是写入成功的ID号(失败的ID将被垃圾回收)

虽然有点圡,但运作良好,工程上,有时候不得不用圡法炼钢

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2014-07-21 10:35 |显示全部楼层
回复 23# dtrees
这个写的策略效率不是很高呀,HDFS写的机制不知有所了解不?应该跟你这个策略不太一样。我是有点不太明白。方便的话可以细细沟通下。


   

论坛徽章:
0
发表于 2014-07-21 10:50 |显示全部楼层
wenhq 发表于 2014-07-21 10:35
回复 23# dtrees
这个写的策略效率不是很高呀,HDFS写的机制不知有所了解不?应该跟你这个策略不太一样。 ...


可以啊,^_^,这是我QQ:418014573,多交流才能进步哈,我们采用Client并发写,得到的收益有两点:1.写入速度快,当然代价是有多份流量;2.DataNode没有主从关系,所有DataNdoe都是平行关系,比HDFS的pipeline写入方式维护起来更加方便。

论坛徽章:
133
操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57数据库技术版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:052022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:57IT运维版块每日发帖之星
日期:2016-05-11 17:06:49操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57程序设计版块每日发帖之星
日期:2016-05-11 17:06:57
发表于 2014-07-21 11:29 |显示全部楼层
无论顺境逆境,都能保持良好心态,所以大家都喊我微笑哥。

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
发表于 2014-07-22 10:09 |显示全部楼层
seesea2517 发表于 2014-07-17 17:46
作为我们小小的个人用户而言,我比较关心我们的数据在云上的安全性,防止隐私泄露方面的事情。比如各种联系 ...


你没看新闻吗 斯诺登说他的同事经常传阅别人的裸照

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
发表于 2014-07-22 10:16 |显示全部楼层
dtrees 发表于 2014-07-18 15:53
是的,要不然成本扛不住呀,即使用sata,每月的成本怎么着也要每GB几毛钱吧,不过一般用户存不了2T那么 ...

那阵列是什么品牌 一般都怎么做冗余及加密呢

论坛徽章:
92
CU大牛徽章
日期:2013-11-29 22:26:36CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2014-02-21 14:22:02CU大牛徽章
日期:2014-02-21 14:22:07CU大牛徽章
日期:2014-02-21 14:22:09CU大牛徽章
日期:2015-02-28 17:45:342015元宵节徽章
日期:2015-03-06 16:56:38羊年新春福章
日期:2015-02-28 17:42:522015七夕节徽章
日期:2015-09-14 09:24:55CU大牛徽章
日期:2014-02-21 14:22:44CU大牛徽章
日期:2015-02-28 17:48:12CU大牛徽章
日期:2015-02-28 17:47:58
发表于 2014-07-22 10:29 |显示全部楼层
回复 27# lgatuk


    这世上还真是有不少好工作哈

论坛徽章:
2
技术图书徽章
日期:2013-11-15 00:23:25双鱼座
日期:2013-11-25 13:13:29
发表于 2014-07-22 10:39 |显示全部楼层
回复 29# seesea2517


    可以考虑下鉴黄师 鉴到吐
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP