hadoop如何解决discp不同版本间拷贝数据的问题

Hadoop如何解决discp不同版本间拷贝数据的问题

当Hadoop集群中的节点之间存在磁盘版本不同的情况时，传统的拷贝方法就无法使用了。这时候就需要使用Hadoop的distcp命令来完成数据的拷贝。

distcp命令的格式如下：

hadoop distcp

其中是源数据的位置，是目标数据的位置。

举例来说，如果要把hdfs上的/user/hadoop/input目录下的数据拷贝到本地文件系统的/tmp目录下，则命令如下：

hadoop distcp hdfs://namenode:9000/user/hadoop/input /tmp

如果要把本地文件系统的/tmp目录下的数据拷贝到hdfs的/user/hadoop/output目录下，则命令如下：

hadoop distcp /tmp hdfs://namenode:9000/user/hadoop/output