免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2230 | 回复: 6

[文本处理] hive根据不同的数据文件动态创建对应的数据表 [复制链接]

论坛徽章:
1
15-16赛季CBA联赛之上海
日期:2016-11-10 11:34:28
发表于 2016-10-24 16:31 |显示全部楼层
A文件
name:
字段一:
字段二:
字段三:
.......
字段n
A具体字段个数,名称,name 未知,所有字段内容定义为 string类型
现在需要一个hive脚本
通过接收A文件传递出的参数(A文件的名称,字段名称,字段个数),
将A文件的文件名称作为所创建的hive表名称,字段名称作为列名称,根据A文件的字段个数定义所创建的hive表的列数
最后在外部执行创建A文件对应的hive表
example
若A文件传递出name为mytest,字段为三个字段,分别为name1,name2,name3;则
所需要的表为
test.sql
use mydb;
create table if not exists tablename(
name1 string,
name2 string,
name3 string
);
alter table tablename rename to '${hiveconf:tablename}';

最后在外部执行创建A文件对应的hive表语句
hive -hiveconf tablename=mytest -f test.sql
希望 将用两个变量替代  tablename 和 “中间创建的字段以及类型拼接在一起”
不知怎的总出错,希望有大神指点,不吝感激


论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-10-24 18:03 |显示全部楼层

每个文件对应一个表的所有字段吗?

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-10-24 20:07 |显示全部楼层
能否将 A 文件的内容贴出来看下?

论坛徽章:
1
15-16赛季CBA联赛之上海
日期:2016-11-10 11:34:28
发表于 2016-10-25 08:14 |显示全部楼层
回复 3# sunzhiguolu

A文件是一个动态的,具体字段是可变的,
A文件会传递几个参一个是表名,其他的就是hive表的列名了,所有的列都定为string类型。
事实上我是想创建一个hive表,表名可变,表里面所有的咧都是string类型,列名可变,列的个数也可变,就是用一个 变量拼接所有的列和列的类型(A String,B string,......Z string)
但是具体的变量我总是搞不定,特来请教

论坛徽章:
1
15-16赛季CBA联赛之上海
日期:2016-11-10 11:34:28
发表于 2016-10-25 08:16 |显示全部楼层
回复 2# moperyblue

所创建的数据表对应A文件的所有字段
A文件是一个动态的,具体字段是可变的,
A文件会传递几个参一个是表名,其他的就是hive表的列名了,所有的列都定为string类型。
事实上我是想创建一个hive表,表名可变,表里面所有的咧都是string类型,列名可变,列的个数也可变,就是用一个 变量拼接所有的列和列的类型(A String,B string,......Z string)
但是具体的变量我总是搞不定,特来请教

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-10-25 09:02 |显示全部楼层
回复 5# DDkalin
ls
  1. 1.sh  tb_files
复制代码

tree tb_files/
  1. tb_files/
  2. ├── mytest
  3. └── mytest2

  4. 0 directories, 2 files
复制代码

more tb_files/mytest*
  1. ::::::::::::::
  2. tb_files/mytest
  3. ::::::::::::::
  4. name1
  5. name2
  6. name3
  7. name4
  8. ::::::::::::::
  9. tb_files/mytest2
  10. ::::::::::::::
  11. name4
  12. name5
复制代码

more 1.sh
  1. #!/bin/bash

  2. TB_FILES_PATH=/root/t/test/tb_files

  3. for i in `ls $(echo "$TB_FILES_PATH"|sed 's#/*$#/#')*`; do
  4.     tbName="${i##*/}"
  5.     echo "table ====> $tbName"
  6.     cols=`sed 's/$/ string,/;$s/,$//' "$i"`
  7.     cat <<EOF > "$tbName".sql
  8. use mydb;
  9. drop table if exists $tbName;
  10. create table if not exists $tbName(
  11. $cols
  12. );
  13. EOF

  14. hive -f "$tbName".sql
  15. rm -rf "$tbName".sql
  16. done
复制代码
  1. chmod +x 1.sh
  2. ./1.sh
复制代码

评分

参与人数 1信誉积分 +5 收起 理由
DDkalin + 5 很给力!

查看全部评分

论坛徽章:
1
15-16赛季CBA联赛之上海
日期:2016-11-10 11:34:28
发表于 2016-10-25 13:43 |显示全部楼层
回复 6# moperyblue
厉害了我的哥!你神了!困扰了我很久,你换个思路就解决了,小小心意,你辛苦了!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP