聊聊Hive中的集合数据类型
本文转载自微信公众号「Java大数据与数据仓库」,作者柯同学。转载本文请联系Java大数据与数据仓库公众号。 除了使用础的数据类型string等,Hive中的列支持使用struct, map, array集合数据类型。 数据类型 描述 语法示例 STRUCT 和C语言中的struct或者"对象"类似,都可以通过"点"符号访问元素内容。 struct{'John', 'Doe'} MAP MAP是一组键-值对元素集合,使用key可以访问元素。 map('fisrt', 'John', 'last', 'Doe') ARRAY 数组是一组具有相同数据类型和名称的变量的集合。 Array('John', 'Doe') 1. Array的使用 创建数据库表,以array作为数据类型 create table person(name string,work_locations array) ROW FORMAT DELIMITED 聊聊;FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ','; 数据 biansutao beijing,shanghai,tianjin,hangzhou linan changchu,chengdu,wuhan 入库数据 LOAD DATA LOCAL INPATH '/home/hadoop/person.txt' OVERWRITE INTO TABLE person; 查询 hive> select * from person; biansutao ["beijing","shanghai"Hi,"tianjin","hangzhou"] linan ["changchu","chengdu","wuhan"] Time taken: 0.355 seconds hive> select name from person; linan biansutao Time taken: 12.397 seconds hive> select work_locations[0] from person; changchu beijing Time taken: 13.214 seconds hive> select work_locations vefrom person; ["changchu","chengdu","wuhan"] ["beijing","shanghai","tianjin","hangzhou"] Time taken: 13.755 seconds hive> select work_locations[3] from person; NULL hangzhou Time taken: 12.722 seconds hive> select work_locations[4] from person; NULL NULL Time taken: 15.958 seconds 2. Map中的 的使用 创建数据库表 create table score(name string, score map<string,int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':'; 要入库的数据 biansutao '数学':80,'语文':89,'英语':95 jobs '语文':60,'数学':80,'英语':99 入库数据 LOAD DATA LOCAL INPATH '/home/hadoop/score.txt' 集合;OVERWRITE INTO TABLE score; 查询 hive> select * from score; biansutao {"数学":80,"语文":89,"英语":95} jobs {"语文":60,"数学":80,"英语":99} Time taken: 0.665 seconds hive> select name from score; jobs biansutao Time taken: 19.778 seconds hive> select 数据t.score from score t; {"语文":60,"数学":80,"英语":99} {"数学":80,"语文":89,"英语":95} Time taken: 19.353 seconds hive> select t.score['语文'] from score t; 60 89 Time taken: 13.054 seconds hive> select t.score['英语'] from score t; 99 95 Time taken: 13.769 seconds 修改map字段的分隔符 Storage 类型;Desc Params: colelction.delim ## field.delim 聊聊 mapkey.delim = serialization.format 可以通过desc formatted tableName查看Hi表的属性。 hive-2.1.1中,可以看出colelction.delim,这里是colelction而不是collection,hive里面这个单词写错了,所以还是要按照错误的来。 alter table t8 set serdepropertyes('colelction.delim'=','); 3. Struct 的使用 创建数据表 CREATE TABLE test(id int,course struct<course:string,score:int>) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' COLLECTION ITEMS TERMINATED BY ','; 数据 1 english,80 2&venbsp;math,89 3 chinese,95 入库 LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE test; 查询 hive> select * from test; OK 1 {"course":"english","score":80} 2 {"course":"math","score":89} 3 {"course":"chines中的e","score":95} Time taken: 0.275 seconds hive> select course from test; {"course":"english","score":80} {"course":"math","score":89} {"course":"chinese","score":95} Time taken: 44.968 seconds select t.course.course from test t; english math chinese Time taken: 15.827 seconds hive> 集合;select t.course.score from test t; 80 89 95 Time taken: 13.235 seconds 4. 不支持组合的复杂数据类型 我们有时候可能想建一个复杂的数据集合类型,比如下面的a字段,本身是一个Map,它的key是string类型的,value是Array集合类型的。 建表 create table test1(id int,a MAP<STRING,ARRAY>) row format delimited fields terminated by ' ' collection items terminated by ',' MAP KEY数据S TERMINATED BY ':'; 导入数据 1 english:80,90,70 2 math:89,78,86 3 chinese:99,100,82 LOAD DATA LOCAL INPATH '/home/hadoop/test1.txt' OVERWRITE INTO TABLE test1; 这里查询出数据: hive> select * from test1; OK 1 {"english":["80"],"90":null,"70":null} 2 {"math":["89"],"78":null类型,"86":null} 3 {"chinese":["99"],"100":null,"82":null} 可以看到,已经出问题了,我们意图是想"english":["80", "90", "70"],实际上把90和70也当作Map的key了,value值都是空的。分析一下我们的建表语句,collection items terminated by ','制定了集合类型(map, struct, array)数据元素之间分隔符是", ",实际上map也是属于集合的,那么也会按照逗号分出3个key-value对;由于MAP KEYS TERMINATED BY ':'定义了map中key-value的分隔符是":",第一个“english”可以准确识别,后面的直接把value置为"null"了。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- Hive 数据倾斜问题定位排查及解决
- 九大数据分析方法之:标签分析法
- 标签: OpenClaw SkillHub 腾讯 龙虾之父
- 标签: 智谱 GLM Coding Plan GLM-5 开源大模型
- 京东2021年第三季度财报发布 京东云服务超1500家大型企业
- 这个荒诞的网站藏着30个AI创意 但背后却藏着巨大风险
- 标签: 长鑫科技 DRAM 科创板 AI算力
- IDC定义“中国新一代终端安全”赛道,亚信安全TrustOne成为实力代言
- 标签: 蒋方舟 中国人民大学 学术不端 硕士学位
- 柿子可以在太阳底下晒吗
- 阿里巴巴2021财年云计算业务收入601.20亿元 同比增长50%
- 能识别驾驶员状态行为的监控系统,其实还不够精准可靠
- 标签: 剂泰科技 NanoForge MTS-004 AiLNP
- 云安全日报201228:Debian Web服务器发现执行任意代码漏洞,需要尽快升级
- 微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友
- AI教育变革的阻碍
- 云安全日报210325:思科Jabber统一通信解决方案发现任意程序执行漏洞,需要尽快升级
- 标签: 光大银行 2025年报 不良贷款率 财富管理
- Meta 政策重大调整:用户与 AI 助手的对话数据将用于全平台广告与内容推送
- 云安全日报220315:苹果macOS系统发现特权提升,执行任意代码漏洞,需要尽快升级
- 搜索
-
- 友情链接