免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 9650 | 回复: 9

[HBase] hbase很慢 [复制链接]

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
发表于 2013-11-21 09:50 |显示全部楼层
本帖最后由 zhaopingzi 于 2013-11-21 10:40 编辑

hbase(main):002:0> create 'scores','grade','course'
0 row(s) in 21.2420 seconds
建个空表花了21秒多啊

hbase(main):003:0> scan 'scores'
ROW                           COLUMN+CELL                                                                          
Jerry                        column=course:art, timestamp=1384999879884, value=80                                 
Jerry                        column=course:math, timestamp=1384999834502, value=100                              
Jerry                        column=grade:, timestamp=1384999634415, value=2                                      
Tom                          column=course:art, timestamp=1384999525075, value=97                                 
Tom                          column=course:math, timestamp=1384999494882, value=87                                
Tom                          column=grade:, timestamp=1384999364977, value=1                                      
2 row(s) in 2.3730 seconds

这个花2.3730,貌似略快了点

hbase(main):001:0> get 'scores','Tom'
COLUMN                        CELL                                                                                 
course:art                   timestamp=1384999525075, value=97                                                   
course:math                  timestamp=1384999494882, value=87                                                   
grade:                       timestamp=1384999364977, value=1                                                     
3 row(s) in 7.6250 seconds

真慢啊 !!!!!!

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
发表于 2013-11-21 13:02 |显示全部楼层
是HBASE慢还是DADOOP慢,我怀疑是hadoop慢, hadoop dfs -ls / 出结果需要7-8秒啊

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2013-11-21 15:09 |显示全部楼层
strace -d -tt command 看下那里慢。hadoop

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
发表于 2013-11-21 15:26 |显示全部楼层
回复 3# wenhq



$strace -d -tt  hbase shell
。。。。。
pid 29952 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
15:26:58.413260 clone( [wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
child_stack=0x42067250, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x420679d0, tls=0x42067940, child_tidptr=0x420679d0) = 30057
[wait(0x57f) = 29952]
pid 29952 stopped, [SIGTRAP]
15:26:58.413324 futex(0x420679d0, FUTEX_WAIT, 30057, NULL

这个有个停顿

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2013-11-21 15:28 |显示全部楼层
strace -d -r -tt  
看下这个,少个-r 这个查看相对时间,对于你看那里耗时多有帮助。

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
发表于 2013-11-21 15:54 |显示全部楼层
回复 5# wenhq


    pid 31974 stopped, [SIGTRAP]
)                  = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000090 mprotect(0x37ff481000, 4096, PROT_READ [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.001405 munmap(0x2ab23acec000, 187670 [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000133 mmap(NULL, 1052672, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS|MAP_32BIT, -1, 0 [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0x40196000
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000072 mprotect(0x40196000, 4096, PROT_NONE [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
) = 0
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000051 clone( [wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
child_stack=0x40296250, flags=CLONE_VM|CLONE_FS|CLONE_FILES|CLONE_SIGHAND|CLONE_THREAD|CLONE_SYSVSEM|CLONE_SETTLS|CLONE_PARENT_SETTID|CLONE_CHILD_CLEARTID, parent_tidptr=0x402969d0, tls=0x40296940, child_tidptr=0x402969d0) = 32079
[wait(0x57f) = 31974]
pid 31974 stopped, [SIGTRAP]
     0.000059 futex(0x402969d0, FUTEX_WAIT, 32079, NULLHBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.13, r1536939, Wed Oct 30 00:25:06 UTC 2013

hbase(main):001:0>

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2013-11-21 16:03 |显示全部楼层
free -g 输出看看。 如果used 和cache的比较多那么就 sync && sync && echo 3 >/proc/sys/vm/drop_caches

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
发表于 2013-11-21 16:48 |显示全部楼层
本帖最后由 zhaopingzi 于 2013-11-21 16:48 编辑

回复 7# wenhq


# free -g
             total       used       free     shared    buffers     cached
Mem:            19         19          0          0          0          0
-/+ buffers/cache:         19          0
Swap:            7          1          6


echo 3 >/proc/sys/vm/drop_caches什么作用?

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
发表于 2013-11-21 17:15 |显示全部楼层
release the  buffer and cached space of memory

论坛徽章:
0
发表于 2016-05-09 22:53 |显示全部楼层
最后解决了么
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP