前言
在Hive中，经常会遇到很少数据是JSON格式的，比如：APP页面埋点数据、用户登录日志、点击日志等信息，都会将多个字段存放在一个json数组中，因此，对数据分析时就要用到json相关函数来处理，下面我就介绍一下Hive中的几个json函数的用法。
Hive自带的json解析函数
1. get_json_object
- 语法：get_json_object(json_string, '$.key')
- 说明：解析json的字符串json_string,返回json_string中key的内容。如果输入的json字符串无效，那么返回NULL。
get_json_object() 是个UDF，在Mapper阶段的列投影时完成获取解析json的操作，如果要获取多个key，那么json字段就要解析多次！这个函数每次只能返回一个数据项。
select get_json_object('{"name":"zhangsan","age":18}','$.name') as name,
get_json_object('{"name":"zhangsan","age":18}','$.age') as age;结果：
get_json_object 解析Json数组（一）
这个函数的api中还有一个符号*,用这个符号可以解析数组中的内容，返回解析key对应的值的数组。
select get_json_object('[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]','$[*].name') as name;结果：
get_json_object解析Json数组（二）
索引从0开始，可以指定索引编号获取指定数组的值，也可以用符号*获取所有值。
select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[1].name') as name;
select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[*].name') as name;两个SQL执行结果分别如下：
get_json_object解析嵌套Json
select get_json_object('{"id":1,"name":"zhangsan","age":18,"tags":{"interest":["篮球","羽毛球"],"height":"180CM"}}','$.tags.interest') as interest;结果：
2. json_tuple函数
- 语法： json_tuple(json_string, k1, k2 ...)
- 说明：解析json的字符串json_string,可指定多个json数据中的key，返回对应的value。如果输入的json字符串无效，那么返回NULL。
- 缺点：不支持解下嵌套Json
json_tuple() 这个函数在Hive里面是使用UDTF来实现的，即普通的一行转多行。它会生成两个Select Operator 操作，一个扫描不用解析的数据，生成一行，另外一个扫描需要解析的数据进行解析，然后再使用Lateral View Join Operator 操作将这两部分数据join关联起
一次解析多个字段
select json_tuple('{"name":"zhangsan","age":18}','name','age');结果：
WITH t_student AS (
SELECT 1 AS id, 'zhangsan' AS name
, '{"interest":["篮球","羽毛球"],"height":"180CM"}' AS info
UNION ALL
SELECT 2 AS id, 'lisi' AS name
, '{"interest":["足球","羽毛球"],"height":"178CM"}' AS info
)
SELECT a.id, a.name, b.interest, b.height
FROM t_student a
LATERAL VIEW json_tuple(info, 'interest', 'height') b AS interest, height;结果:
注意：上面的json_tuple函数中没有$.如果在使用json_tuple函数时加上$.就会解析失败：
get_json_object和json_tuple函数性能比较
一般情况下，由json字符串序列化成jsonObjecti这个过程是最耗费时间的。从代码中可以看到，这两个函数都会使用缓存jsonObject,也就是说json字符串转化为jsonObject的过程只有一次，并不是解析多次。
get_json_object代码中的缓存
json_tuple代码中的缓存
从缓存上考虑两者是都是用了缓存，但是json_tuple性能会比get_json_object差，主要是json_tuple属于UDTF函数，中间会有相关的operator，可以从两者的执行计划上对比查看。
explain select get_json_object('{"name":"zhangsan","age":18}','$.name');
STAGE DEPENDENCIES:
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-0
Fetch Operator
limit: -1
Processor Tree:
TableScan
alias: _dummy_table
Row Limit Per Split: 1
Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE
Select Operator
expressions: 'zhangsan' (type: string)
outputColumnNames: _col0
Statistics: Num rows: 1 Data size: 92 Basic stats: COMPLETE Column stats: COMPLETE
ListSink stSink explain select json_tuple('{"name":"zhangsan","age":18}','name');
STAGE DEPENDENCIES:
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-0
Fetch Operator
limit: -1
Processor Tree:
TableScan
alias: _dummy_table
Row Limit Per Split: 1
Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE
Select Operator
expressions: '{"name":"zhangsan","age":18}' (type: string), 'name' (type: string)
outputColumnNames: _col0, _col1
Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE
UDTF Operator
Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE
function name: json_tuple
Select Operator
expressions: c0 (type: string)
outputColumnNames: _col0
Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
ListSink总结
get_json_object和json_tuple都是 Hive 中用于操作 JSON 数据的函数：
- get_json_object：用于从 JSON 字符串中提取指定路径的值。
- json_tuple：用于从 JSON 数组中提取多个值，并以元组的形式返回。
这两个函数都可以帮助我们在 Hive 中方便地处理和提取 JSON 数据中的特定字段或元素。它们在处理 JSON 格式的数据时非常有用。
你学会了吗？欢迎点赞收藏，分享转载~~
