免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2054 | 回复: 0

[HBase] HBase troubleshooting的一般思路 [复制链接]

论坛徽章:
0
发表于 2011-12-23 02:32 |显示全部楼层
<DIV>
HBase troubleshooting的一般思路
<DIV class="post-content clear-block">
<P>1. 如何发现问题<BR>在我们的集群中,HBase的错误是通过splunk和nagio的报警机制报告的。当service出现异常,如退出,crash,master/regionserver 抛出异常等,管理员都会收到消息。</P>
<P>2. 问题跟踪方法<BR>在http://hbase.apache.org/book.html#trouble.general中,HBase给出了处理问题的一般思路。<BR>1. 将exception直接到Google或者search-hadoop.com 搜索。Google是工程师离不开的工具啊。<BR>2. HBase的问题往往不会是独立的。在日志中可以发现很多exception,最直接的方法就是找到第一个exception。Java的问题一般都是这么解决。但是不要只是grep Error信息,因为HBase的log level定义的有些混乱。有时候一些严重的错误却标成INFO。建议还grep 一下“Dump”,因为Regionserver可能会打印一些metric出来。<BR>3. 一定能够要注意设置ulimit和xcievers. Regionserver可能会因为Zookeeper session timout 而自动退出,这个在之前的blog也讨论过。<BR>3. Log的位置<BR>NameNode: $HADOOP_HOME/logs/hadoop–namenode-.log<BR>DataNode: $HADOOP_HOME/logs/hadoop–datanode-.log<BR>JobTracker: $HADOOP_HOME/logs/hadoop–jobtracker-.log<BR>TaskTracker: $HADOOP_HOME/logs/hadoop–jobtracker-.log<BR>HMaster: $HBASE_HOME/logs/hbase–master-.log<BR>RegionServer: $HBASE_HOME/logs/hbase–regionserver-.log<BR>4. 一些重要的工具<BR>a) search-hadoop.com<BR>b) tail<BR>c) top<BR>d) jps<BR>e) jstack<BR>f) OpenTSDB。 没有用过。有用过的评论下啊。<BR>g) clusterssh+top。这个是一个好思路。可以用ssh $host top收集集群中其他机器的信息。这样就成了一个monitor工具了。<BR>h) $ ./bin/hbase hbck<BR>返回 OK或者INCONSISTENCY。如果是INCONSISTENCY,可以多运行几次,因为有可能cluster还没有完全启动好或者有Region在splitting。-fix可能可以修复不一致。(没有试过,有机会可以看看到底好不好用。文档上写的那么不肯定)</P>
<P>另外,http://fuliang.iteye.com/blog/1024360 这篇文章对服务器性能评估的命令对维护hbase也是非常有用的</P></DIV></DIV>
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP