免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2367 | 回复: 0

AIX挂载Hadoop文件目录的问题 [复制链接]

论坛徽章:
0
发表于 2014-07-03 17:16 |显示全部楼层
场景:应用程序在AIX上,需要把hadoop目录挂载到AIX上,当本地目录让应用程序写入数据使用。

现在尝试了两种方案:
1.  NFS gateway 共享,让AIX挂载使用。此方法,在AIX端做ls的时候前面一次提示无权限,多试几次会有ls的结果,ls比较慢,感觉不稳定。不确认是否某些配置参数是否有问题。AIX的mount比Linux上的mount命令可以写入的参数少。

2. hadoop + fuse-dfs 把hdfs mount为本地目录,然后用samba服务共享出去. (HDFS + fuse-dfs +samba)

在AIX或者linux 服务器以samba客户端方式挂载hadoop共享的samba目录。
并行复制多个500MB大小的文件会报IO错误,。复制大文件3-4GB的文件,也会报同样错误  cp: closing `/samba5/testd/512MBfile.z01.13': Input/output error

如果用samba共享的普通操作系统目录,做同样操作,都可以正常完成,不会报错。
此方法复制文件过程中,感觉在fuse-dfs 写入hdfs的过程有问题。

在AIX上是否有 直接挂载hdfs文件的方式?
AIX上有什么方式可以稳定的使用Hadoop的文件系统目录。当NAS使用。

多谢。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP