Hadoop如何确定数据副本存放的位置即replication policies

xjc2694

<span class="Apple-style-span" style="color: rgb(65, 65, 65); font-family: Arial, Helvetica, sans-serif; font-size: 12px; line-height: 16px; background-color: rgb(255, 255, 255); ">转自：&nbsp;</span><span class="Apple-style-span" style="color: rgb(65, 65, 65); font-family: Arial, Helvetica, sans-serif; font-size: 12px; line-height: 16px; background-color: rgb(255, 255, 255); "><a href="http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=486" target="_blank">http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=486</a></span><span class="Apple-style-span" style="color: rgb(65, 65, 65); font-family: Arial, Helvetica, sans-serif; font-size: 12px; line-height: 16px; background-color: rgb(255, 255, 255); "><p>我在这里主要说明一下Hadoop的replication policies。</p><p>我们知道当我们要write data到datanode时，首先要通过namenode确定文件是否已经存在，若不存在则DataStreamer会请求namenode确定新分配的block的位置，然后就行write。</p><p>具体namenode如何确定选择哪个datanode存储数据呢？这里namenode会参考可靠性，读写的带宽等因素来确定。具体如下说明：</p><p>假设replica factor=3，Hadoop会将<span style="color: rgb(128, 0, 0); ">第一个replica</span>放到client&nbsp; node里，这里node是随机选择的，当然hadoop还是想不要选择过于busy过于full的node；</p><p><span style="color: rgb(128, 0, 0); ">第二个replica</span>会随机选择和第一个不在同一rack的node；</p><p><span style="color: rgb(128, 0, 0); ">第三个replica</span>放到和第二个一样的rack里，但是随机选择一个不同的node。</p><p>如果replica factor更大则其他副本随即在cluster里选择。当然这里hadoop还是随机的，尽管我们都知道尽量不要吧更多的replica放到同一个rack里，这不仅影响可靠性而且读写的带宽有可能成为瓶颈。</p><p>当replica的location确定之后，write的pipline就会建成，里面是被分解的data packets，然后按照网络的拓扑结构进行操作。</p><p>总的来说，这个策略综合考虑了</p><p><span style="color: rgb(128, 0, 0); "><strong>可靠性：blocks存储在两个不同的rack里；</strong></span></p><p><span style="color: rgb(128, 0, 0); "><strong>写带宽：写操作只用经过一个网络转换器network switch；</strong></span></p><p><span style="color: rgb(128, 0, 0); "><strong>读性能：可以选择从两个rack中读数据；</strong></span></p><p><span style="color: rgb(128, 0, 0); "><strong>分布性：client只是将block写入本地rack一次。</strong></span></p></span>