忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
123下一页
最近访问板块 发新帖
查看: 2430 | 回复: 22

[Hive] hadoop如何支持LZO压缩 [复制链接]

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2016-05-27 06:20:00数据库技术版块每日发帖之星
日期:2016-06-04 06:20:00数据库技术版块每日发帖之星
日期:2016-06-23 06:20:00
发表于 2017-11-27 09:30 |显示全部楼层
我在网上按照步骤安装了lzo,但是发现用不了,请问大家知道什么原因吗?
我的hadoop版本是2.8.2

报错如下:
hive> select * from tb_provcode_lzo_t;
OK
Failed with exception java.io.IOException:java.io.IOException: No LZO codec found, cannot run.
Time taken: 2.778 seconds

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-11-27 14:32 |显示全部楼层
本帖最后由 heguangwu 于 2017-11-27 14:33 编辑

安装后要将lzo的jar文件拷贝到$HADOOP_HOME/share/hadoop/common/lib目录下另外,hive如果不包含hadoop的classpath,也需要将lzo放到hive的对应目录下

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-11-27 14:46 |显示全部楼层
使用 "hadoop checknative" 命令可以检查安装结果

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2016-05-27 06:20:00数据库技术版块每日发帖之星
日期:2016-06-04 06:20:00数据库技术版块每日发帖之星
日期:2016-06-23 06:20:00
发表于 2017-11-27 14:55 |显示全部楼层
回复 2# heguangwu



这两个目录都是有该jar包的,还是不行.

hadoop下的lib目录
[hadoop@master lib]$ pwd
/opt/hadoop/hadoop-2.8.2/share/hadoop/common/lib
[hadoop@master lib]$ ls -al  hadoop-lzo-0.4.21-SNAPSHOT.jar
-rw-r--r--. 1 hadoop hadoop 188792 Nov 27 01:24 hadoop-lzo-0.4.21-SNAPSHOT.jar

hive下的lib目录
[hadoop@master lib]$ pwd
/opt/hive2.3/lib
[hadoop@master lib]$ ls -al hadoop-lzo-0.4.21-SNAPSHOT.jar
-rw-r--r--. 1 hadoop hadoop01 188792 Nov 27 01:51 hadoop-lzo-0.4.21-SNAPSHOT.jar

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2016-05-27 06:20:00数据库技术版块每日发帖之星
日期:2016-06-04 06:20:00数据库技术版块每日发帖之星
日期:2016-06-23 06:20:00
发表于 2017-11-27 14:56 |显示全部楼层
回复 3# heguangwu


命令结果如下,怎么看呢?
[hadoop@master lib]$ hadoop checknative
17/11/27 01:58:28 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
17/11/27 01:58:28 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /opt/hadoop/hadoop-2.8.2/lib/native/libhadoop.so.1.0.0
zlib:    true /lib64/libz.so.1
snappy:  true /lib64/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib64/libbz2.so.1
openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!
[hadoop@master lib]$

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-11-27 15:18 |显示全部楼层
检查core-site.xml的配置项io.compression.codecs 及 io.compression.codec.lzo.class 是否正确

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2016-05-27 06:20:00数据库技术版块每日发帖之星
日期:2016-06-04 06:20:00数据库技术版块每日发帖之星
日期:2016-06-23 06:20:00
发表于 2017-11-27 15:48 |显示全部楼层
回复 6# heguangwu



配置如下:
<property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>
<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-11-27 15:53 |显示全部楼层
最后一个检查点,你安装配置lzo之后重启集群没有,如果已经重启了我是看不出问题了

论坛徽章:
3
数据库技术版块每日发帖之星
日期:2016-05-27 06:20:00数据库技术版块每日发帖之星
日期:2016-06-04 06:20:00数据库技术版块每日发帖之星
日期:2016-06-23 06:20:00
发表于 2017-11-27 16:07 |显示全部楼层
回复 8# heguangwu

重启了的,都重启很多次了。

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-11-27 16:33 |显示全部楼层
完全看不出问题了,lzo我也安装过很多遍,从2.3的版本到2.7的版本都搞过,基本就是这些,抛开hive放一边,你先用mapreduce执行lzo分析看看是否报错,如:
hadoop jar /home/hadoop/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar -Dmapreduce.reduce.tasks=1 -Dmapreduce.output.fileoutputformat.comp
ress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzoCodec -Dmapreduce.reduce.memory.mb=4096 -input /data/telecontrol/17-11-26/FlumeD
ata.151162* -output /tmp/testoutput -mapper cat  -reducer cat

最后一个提醒点,查看如下目录是否存在对应文件:
[hadoop@nn1 native]$ pwd
/home/hadoop/hadoop/lib/native
[hadoop@nn1 native]$ ll
total 5320
-rw-rw-r-- 1 hadoop hadoop 1210788 Aug  5  2016 libhadoop.a
-rw-rw-r-- 1 hadoop hadoop 1487316 Aug  5  2016 libhadooppipes.a
lrwxrwxrwx 1 hadoop hadoop      18 Nov  1  2016 libhadoop.so -> libhadoop.so.1.0.0
-rwxrwxr-x 1 hadoop hadoop  716580 Aug  5  2016 libhadoop.so.1.0.0
-rw-rw-r-- 1 hadoop hadoop  582128 Aug  5  2016 libhadooputils.a
-rw-rw-r-- 1 hadoop hadoop  364972 Aug  5  2016 libhdfs.a
lrwxrwxrwx 1 hadoop hadoop      16 Nov  1  2016 libhdfs.so -> libhdfs.so.0.0.0
-rwxrwxr-x 1 hadoop hadoop  229153 Aug  5  2016 libhdfs.so.0.0.0
lrwxrwxrwx 1 hadoop hadoop      16 Nov 27 16:28 liblzo2.so -> liblzo2.so.2.0.0
-rwxr-xr-x 1 hadoop hadoop  134072 Nov 27 16:28 liblzo2.so.2.0.0
-rw-r--r-- 1 hadoop hadoop  472982 Aug  5  2016 libsnappy.a
-rwxr-xr-x 1 hadoop hadoop     955 Aug  5  2016 libsnappy.la
-rwxr-xr-x 1 hadoop hadoop  228145 Aug  5  2016 libsnappy.so.1.3.0
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP