hooppee 发表于 2014-07-03 17:16

AIX挂载Hadoop文件目录的问题

场景:应用程序在AIX上,需要把hadoop目录挂载到AIX上,当本地目录让应用程序写入数据使用。

现在尝试了两种方案:
1.NFS gateway 共享,让AIX挂载使用。此方法,在AIX端做ls的时候前面一次提示无权限,多试几次会有ls的结果,ls比较慢,感觉不稳定。不确认是否某些配置参数是否有问题。AIX的mount比Linux上的mount命令可以写入的参数少。

2. hadoop + fuse-dfs 把hdfs mount为本地目录,然后用samba服务共享出去. (HDFS + fuse-dfs +samba)

在AIX或者linux 服务器以samba客户端方式挂载hadoop共享的samba目录。
并行复制多个500MB大小的文件会报IO错误,。复制大文件3-4GB的文件,也会报同样错误cp: closing `/samba5/testd/512MBfile.z01.13': Input/output error

如果用samba共享的普通操作系统目录,做同样操作,都可以正常完成,不会报错。
此方法复制文件过程中,感觉在fuse-dfs 写入hdfs的过程有问题。

在AIX上是否有 直接挂载hdfs文件的方式?
AIX上有什么方式可以稳定的使用Hadoop的文件系统目录。当NAS使用。

多谢。
页: [1]
查看完整版本: AIX挂载Hadoop文件目录的问题