前文我们讲了怎么用Hive的内置函数解析json字符串，不了解的小伙伴可以先看下前文。
文章最后我们遇到了一个问题，Hive的内置函数无法解析json数组字符串，今天我们就来看下，如何通过自定义UDF函数解析json数组。
通过本文你将会学习到：
- 如何用Java代码写Hive自定义函数
- 如何将自定义函数设置为Hive的函数
- 自定义函数的使用
前文遗留的问题
先看下前文遗留的问题：
上图所示是我们通过Hive内置函数解析json字符串得到的字段，但是继续解析players字段时遇到了瓶颈。
思路
先抛开这个问题不谈，相信大家都了解过Hive的表生成函数explode，该函数接收一个ARRAY类型，返回值是传入的array的每个元素。以下是它的用法：
hive> SELECT explode(array('{"id":1,"name":"zs"}','{"id":2,"name":"ls"}'));
# 返回值为
{"id":1,"name":"zs"}
{"id":2,"name":"ls"}那么我们能否通过自定义UDF函数将前文的players字段（json数组）转化为array类型，作为explode的参数呢？
下面我们就来实践一下：
UDF函数编写
Hive编写自定义UDF函数需要引入如下两个依赖到POM文件：
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>${hive.version}</version>
</dependency>hadoop.version和hive.version对应集群中hive和hadoop的版本。
然后就是Java代码编写部分，这部分只需要继承UDF函数，然后写一个evaluate方法即可，evaluate函数接收json数组作为输入，返回值为一个ArrayList<String>。详细代码如下:
package com.xxx.xxx.xxx;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONArray;
import org.json.JSONException;
import java.util.ArrayList;
/**
* <p>Title:json_array_parser udf</p>
*
* @author Arya
* @date 2021/5/30 10:52
*/
@Description(name = "json_array_parser",
value = "_FUNC_(json_arr_string) - from the input jsonArray string, " +
"returns hive array string.",
extended = "Examples:\n" +
"> SELECT _FUNC_(json_arr_string) FROM src;"
)
public class UDFJsonArrayParser extends UDF {
public ArrayList<String> evaluate(String jsonArrayStr) {
if(jsonArrayStr == null) {
return null;
}
try {
JSONArray jsonArray = new JSONArray(jsonArrayStr);
ArrayList<String> result = new ArrayList<>();
for (int i = 0; i < jsonArray.length(); i++) {
result.add(jsonArray.get(i).toString());
}
return result;
} catch (JSONException e) {
return null;
}
}
}@Description注解注明了函数的文档说明，name定义了函数名，value定义了函数的使用方法（DESCRIBE FUNCTION ...可查看），extended定义了函数的使用例子（DESCRIBE FUNCTION EXTENDED ...可查看）。
编写完毕后使用mvn package命令打包，然后将jar包上传到linux本地文件系统。
使用自定义UDF
首先我们要把打好的JAR包加入到类路径下，并在Hive会话中声明自定义UDF函数：
# hive会话级（其他会话不能使用）
hive> ADD JAR /home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar;
Added [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar] to class path
Added resources: [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar]
# 创建临时函数
hive> CREATE TEMPORARY FUNCTION json_array_parser AS 'com.xxx.xxx.xxx.UDFJsonArrayParser';
OK
Time taken: 0.13 seconds通过DESCRIBE命令查看函数：
通过自定义函数解析json数组。
hive> SELECT t1.logdate,t1.logtype,t1.game_id,t1.timestamp,t1.start_time,p.player
> FROM (
> SELECT t.logdate,t.logtype,players,game_id,timestamp,start_time
> FROM stark.game_result_test t
> lateral view json_tuple(t.content,'players','game_id','timestamp','start_time') a AS players,game_id,timestamp,start_time
> ) t1 lateral view explode(json_array_parser(t1.players)) p AS player;返回结果
不难看出players字段已经被拆分成了一个个player，后续player内的字段通过前文的json_tuple函数或get_json_object函数解析即可。
最后
本文从解析json数组出发，带领大家简单地完成了一个UDF函数的编写，并通过案例，介绍了自定义UDF的使用。实际应用中大家只需要把UDF函数注册为Hive的永久函数即可。
