wenhq 发表于 2013-03-15 10:51

Hadoop 大数据传输

现在了解到Hadoop中有个distcp 命令，书上的意思是可以用于大数据传输(并行),能提高效率。
我的疑问是，跟普通的rsync,ftp,scp之类的工具比较，有什么优势？
1. 如果大数据可以split成效文件，那么distcp跟rsync,ftp,scp还有什么优势？
2. Hadoop是使用MR中的map功能，并未使用reduce。我想问下，大数据是如何在HDFS中map的？
使用的是split类似的原理么？

望大家指点一下。
页: [1]
查看完整版本: Hadoop 大数据传输