免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › IT运维 › 集群和高可用 › 请教一下，hadoop集群使用3个数据副本吗？
最近访问板块 发新帖
查看: 4114 | 回复: 4
打印 上一主题 下一主题

请教一下，hadoop集群使用3个数据副本吗？ [复制链接]

the2rdpiece

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2012-11-21 10:22 |只看该作者 |倒序浏览
   请教一下，hadoop集群使用3个数据副本吗？一般看来部署如果4台机器肯定没有问题，但是如果有10台，20台机器的集群，感觉丢数据的风险很大啊~特别是PC Server的磁盘，如果每台机器使用6-8块盘，20台机就160块，这样磁盘坏3台不同机器各坏1块及以上的硬盘，那么3个副本就要拼人品了。
   不知各位怎么看这个问题。
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
2楼 [报告]
发表于 2012-11-21 16:07 |只看该作者
本帖最后由 zhaopingzi 于 2012-11-21 16:08 编辑

默认好像是3个，可以定义个数

机器多了，故障发生率也高。呵呵
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
split_two

论坛徽章:
0
3楼 [报告]
发表于 2012-11-23 17:17 |只看该作者
hadoop并不能完全解决硬件无限损坏问题，如果说你的副本是3的话，你平常不检查每个节点么？有故障不还得及时换么？难道一直等它无限坏下去么？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
the2rdpiece

论坛徽章:
0
4楼 [报告]
发表于 2012-11-23 20:59 |只看该作者
如果是逐个坏到不担心，主要是担心批量出问题，特别是磁盘
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhaopingzi

论坛徽章:
71
15-16赛季CBA联赛之同曦 日期:2018-08-23 15:41:42辰龙 日期:2014-08-15 09:07:43狮子座 日期:2014-06-03 13:55:33亥猪 日期:2014-06-02 11:17:08巨蟹座 日期:2014-05-06 10:02:03午马 日期:2014-05-04 08:18:27亥猪 日期:2014-04-29 11:11:32技术图书徽章 日期:2014-04-24 15:51:26技术图书徽章 日期:2014-04-17 11:01:53辰龙 日期:2014-04-15 12:45:46亥猪 日期:2014-04-11 09:06:23射手座 日期:2014-04-01 15:28:10
5楼 [报告]
发表于 2012-11-24 14:24 |只看该作者
高性能和高可靠和高安全，自己要衡量
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP