- 论坛徽章:
- 0
|
场景:应用程序在AIX上,需要把hadoop目录挂载到AIX上,当本地目录让应用程序写入数据使用。
现在尝试了两种方案:
1. NFS gateway 共享,让AIX挂载使用。此方法,在AIX端做ls的时候前面一次提示无权限,多试几次会有ls的结果,ls比较慢,感觉不稳定。不确认是否某些配置参数是否有问题。AIX的mount比Linux上的mount命令可以写入的参数少。
2. hadoop + fuse-dfs 把hdfs mount为本地目录,然后用samba服务共享出去. (HDFS + fuse-dfs +samba)
在AIX或者linux 服务器以samba客户端方式挂载hadoop共享的samba目录。
并行复制多个500MB大小的文件会报IO错误,。复制大文件3-4GB的文件,也会报同样错误 cp: closing `/samba5/testd/512MBfile.z01.13': Input/output error
如果用samba共享的普通操作系统目录,做同样操作,都可以正常完成,不会报错。
此方法复制文件过程中,感觉在fuse-dfs 写入hdfs的过程有问题。
在AIX上是否有 直接挂载hdfs文件的方式?
AIX上有什么方式可以稳定的使用Hadoop的文件系统目录。当NAS使用。
多谢。
|
|