免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4355 | 回复: 5
打印 上一主题 下一主题

[故障求助] 【求助】AIX挂载Hadoop文件系统的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-07-03 17:26 |只看该作者 |倒序浏览


场景:应用程序在AIX上,需要把hadoop目录挂载到AIX上,当本地目录让应用程序写入数据使用。

现在尝试了两种方案:
1.  NFS gateway 共享,让AIX挂载使用。此方法,在AIX端做ls的时候前面一次提示无权限,多试几次会有ls的结果,ls比较慢,感觉不稳定。不确认是否某些配置参数是否有问题。AIX的mount比Linux上的mount命令可以写入的参数少。

2. hadoop + fuse-dfs 把hdfs mount为本地目录,然后用samba服务共享出去. (HDFS + fuse-dfs +samba)

在AIX或者linux 服务器以samba客户端方式挂载hadoop共享的samba目录。
并行复制多个500MB大小的文件会报IO错误,。复制大文件3-4GB的文件,也会报同样错误  cp: closing `/samba5/testd/512MBfile.z01.13': Input/output error

如果用samba共享的普通操作系统目录,做同样操作,都可以正常完成,不会报错。
此方法复制文件过程中,感觉在fuse-dfs 写入hdfs的过程有问题。

在AIX上是否有 直接挂载hdfs文件的方式?
AIX上有什么方式可以稳定的使用Hadoop的文件系统目录。当NAS使用。

多谢。

论坛徽章:
0
2 [报告]
发表于 2014-07-04 09:58 |只看该作者
你如果有商业需求,我给你移植到aix上。

论坛徽章:
0
3 [报告]
发表于 2014-07-04 11:13 |只看该作者


回复 2# orian


你直接移植完,卖给ibm吧。。
有AIX的东家在啊...
   

论坛徽章:
0
4 [报告]
发表于 2014-07-04 21:06 |只看该作者
aix会买开源的东西?笑话,既然开源,就不能要钱,ibm买了干什么?送客户?开源,就是ibm让别人打前站,打好了ibm跟上,自己做个不开源的。

论坛徽章:
0
5 [报告]
发表于 2014-07-07 10:20 |只看该作者
回复 4# orian

原来你也知道

   

论坛徽章:
0
6 [报告]
发表于 2014-07-07 10:52 |只看该作者
地球人都知道,带路党除外。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP