
平台论坛博客文库

› 论坛 › IT运维 › Hadoop和大数据技术 › HDFS上是否可以进行多个文件的合并

[YARN] HDFS上是否可以进行多个文件的合并 [复制链接]

夏洛特猫

稍有积蓄

论坛徽章:: 6

电梯直达

1楼 [收藏(0)] [报告]

发表于 2016-09-05 09:07 |只看该作者 |倒序浏览

本帖最后由夏洛特猫于 2016-09-05 09:18 编辑

内容如标题所示，不知道hdfs是否可以满足这样的操作了，也谢谢各位的指导。HDFS上有三个文件，分别为1,2,3 ，是否可以直接在hdfs上进行文件合并（不需要从hdfs 拷贝到本地之后在本地处理完再上传）
Hadoop版本为Hadoop-2.0以上

夏洛特猫

稍有积蓄

论坛徽章:: 6

2楼 [报告]

发表于 2016-09-05 10:40 |只看该作者

hadoop dfs -cat /L/* | hadoop dfs -copyFromLocal - /K/cc
/L/* 要合并的文件夹
/K/cc 是合并后的文件名

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › IT运维 › Hadoop和大数据技术 › HDFS上是否可以进行多个文件的合并