忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 6429 | 回复: 9

[HBase] hbase很慢 [复制链接]

论坛徽章:
70
2016科比退役纪念章
日期:2018-01-19 10:02:36亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-11-21 09:50 |显示全部楼层
本帖最后由 zhaopingzi 于 2013-11-21 10:40 编辑

hbase(main):002:0> create 'scores','grade','course'
0 row(s) in 21.2420 seconds
建个空表花了21秒多啊

hbase(main):003:0> scan 'scores'
ROW                           COLUMN+CELL                                                                          
Jerry                        column=course:art, timestamp=1384999879884, value=80                                 
Jerry                        column=course:math, timestamp=1384999834502, value=100                              
Jerry                        column=grade:, timestamp=1384999634415, value=2                                      
Tom                          column=course:art, timestamp=1384999525075, value=97                                 
Tom                          column=course:math, timestamp=1384999494882, value=87                                
Tom                          column=grade:, timestamp=1384999364977, value=1                                      
2 row(s) in 2.3730 seconds

这个花2.3730,貌似略快了点

hbase(main):001:0> get 'scores','Tom'
COLUMN                        CELL                                                                                 
course:art                   timestamp=1384999525075, value=97                                                   
course:math                  timestamp=1384999494882, value=87                                                   
grade:                       timestamp=1384999364977, value=1                                                     
3 row(s) in 7.6250 seconds

真慢啊 !!!!!!

论坛徽章:
70
2016科比退役纪念章
日期:2018-01-19 10:02:36亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-11-21 13:02 |显示全部楼层
是HBASE慢还是DADOOP慢,我怀疑是hadoop慢, hadoop dfs -ls / 出结果需要7-8秒啊

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26巳蛇
日期:2013-11-08 06:25:12
发表于 2013-11-21 15:09 |显示全部楼层
strace -d -tt command 看下那里慢。hadoop

论坛徽章:
70
2016科比退役纪念章
日期:2018-01-19 10:02:36亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-11-21 15:26 |显示全部楼层
回复 3# wenhq



$strace -d -tt  hbase shell
。。。。。
pid 29952 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
15:26:58.413260 clone( [wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
child_stack=0x42067250, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x420679d0, tls=0x42067940, child_tidptr=0x420679d0) = 30057
[wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
15:26:58.413324 futex(0x420679d0, FUTEX_WAIT, 30057, NULL

这个有个停顿

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26巳蛇
日期:2013-11-08 06:25:12
发表于 2013-11-21 15:28 |显示全部楼层
strace -d -r -tt  
看下这个,少个-r 这个查看相对时间,对于你看那里耗时多有帮助。

论坛徽章:
70
2016科比退役纪念章
日期:2018-01-19 10:02:36亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-11-21 15:54 |显示全部楼层
回复 5# wenhq


    pid 31974 stopped, [SIGTRAP]
)                  = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000090 mprotect(0x37ff481000, 4096, PROT_READ [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.001405 munmap(0x2ab23acec000, 187670 [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000133 mmap(NULL, 1052672, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_32BIT, -1, 0 [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0x40196000
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000072 mprotect(0x40196000, 4096, PROT_NONE [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000051 clone( [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
child_stack=0x40296250, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x402969d0, tls=0x40296940, child_tidptr=0x402969d0) = 32079
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000059 futex(0x402969d0, FUTEX_WAIT, 32079, NULLHBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.13, r1536939, Wed Oct 30 00:25:06 UTC 2013

hbase(main):001:0>

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26巳蛇
日期:2013-11-08 06:25:12
发表于 2013-11-21 16:03 |显示全部楼层
free -g 输出看看。 如果used 和cache的比较多那么就 sync && sync && echo 3 >/proc/sys/vm/drop_caches

论坛徽章:
70
2016科比退役纪念章
日期:2018-01-19 10:02:36亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-11-21 16:48 |显示全部楼层
本帖最后由 zhaopingzi 于 2013-11-21 16:48 编辑

回复 7# wenhq


# free -g
             total       used       free     shared    buffers     cached
Mem:            19         19          0          0          0          0
-/+ buffers/cache:         19          0
Swap:            7          1          6


echo 3 >/proc/sys/vm/drop_caches什么作用?

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26巳蛇
日期:2013-11-08 06:25:12
发表于 2013-11-21 17:15 |显示全部楼层
release the  buffer and cached space of memory

论坛徽章:
0
发表于 2016-05-09 22:53 |显示全部楼层
最后解决了么
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP