作者：余枫
1.文档编写目的
在使用Hive处理数据的过程中会遇到各种各样的数据源，其中较为常见的是JSON格式的数据，Hive无法直接处理JSON格式的数据，需要依赖于JSONSerDe。SerDe即序列化和反序列化，JSONSerDe基本思想是使用json.org的JSON库，使用这个库可以读取一行数据并解析为JSONObject，然后解析到Hive中的数据行。因此JSON文件的每行必须是一个完整的JSON，一个JSON不能跨越多行。本文档介绍的是JsonSerDe，该库的地址为：https://github.com/rcongiu/Hive-JSON-Serde。它的特点如下：
- 能够读取JSON格式的数据
- 支持JSON数组和Map
- 支持嵌套数据结构
- 支持CDH
- 支持多个版本的Hadoop
下面会进行一些JSON数据的读取测试，介绍如何使用Hive来处理JSON格式的数据。
- 操作系统RedHat7.2
- CM和CDH版本为6.2
- 使用root用户进行操作
- 集群正常运行
2.操作过程
1.准备json格式的数据文件如下：
2.将文件上传到HDFS
3.下载json-serde包，下载地址如下：
http://www.congiu.net/hive-json-serde/1.3.7/cdh5/json-serde-1.3.7-jar-with-dependencies.jar
4.将下载好的包移动HiveServer2所在节点的hive服务的auxlib目录下
5.在Hive中建外部表
create external table test_json_data ( reportID string, reportCreditBasicList array<struct<Col1:string>> ) row format serde 'org.openx.data.jsonserde.JsonSerDe' stored as textfile location '/user/hive/json_data';
6.执行select操作
select * from test_json_data;
select b.basiclist.Col1 from test_json_data t LATERAL VIEW explode(t.reportCreditBasicList) b as basiclist;
select count(*) from test_json_data
3.其他功能验证
3.1.查询复杂字段
1. 准备测试的JSON文件
2. 建表
CREATE TABLE test1 ( one boolean, three array<string>, two double, four string ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' STORED AS TEXTFILE;
3. 加载数据
LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test1;
4. 查看表中数组字段的某个元素
select three[1] from test;
3.2.定义嵌套结构
1.准备测试数据
2.建表
CREATE TABLE test2 ( country string, languages array<string>, religions map<string,array<int>>) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' STORED AS TEXTFILE;
3.加载数据
LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test2
4.查看数据
select * from test2;
select languages[0] from test2;
select religions['catholic'][0] from test2;
3.3.导入格式错误的数据
1.准备错误格式的JSON数据，中间少了个冒号
2.导入数据
导入数据成功
3.查询数据
格式不对，报错了
4.忽略掉格式错误的数据
ALTER TABLE test2 SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");
5.再次查询该表
错误的数据会被空行替代
3.4.映射Hive关键字
有时候，JSON数据中的有Hive的关键字。例如，可能JSON中有一个timestamp的JSON属性，这样的话创建表失败。此SerDek可以使用属性将Hive关键字映射为其他名称的属性。
1.测试数据如下：
2.建表
CREATE TABLE test3 ( myfield string, ts string ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" ) STORED AS TEXTFILE;
建表成功
3.导入数据并查看
LOAD DATA LOCAL INPATH '/tmp/data.txt' OVERWRITE INTO TABLE test3
查看数据
数据导入成功，与Hive关键字冲突的字段被映射为ts字段，且成功导入了JSON数据中的timestamp属性。
4.测试Apache自带的JsonSerDe
4.1.测试嵌套结构
1.准备测试数据
2.建表并导入数据
CREATE TABLE test1 ( one boolean, three array<string>, two double, four string ) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' STORED AS TEXTFILE;
3.查看数据
select three[1] from test1;
4.2.测试导入错误的数据
1.准备测试数据
2.向5.1建的表test1中导入错误的数据并查看
使用与4.3中测试时一样的语句对表结构进行修改
ALTER TABLE test1 SET SERDEPROPERTIES ( "ignore.malformed.json" = "true");
3.再次查询
可以看到依旧报错，Apache自带的JsonSerDe无法忽略错误格式的JSON数据
4.3.映射Hive关键字
1.准备测试数据
2.建表并导入数据
CREATE TABLE test2 ( myfield string, ts string) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' WITH SERDEPROPERTIES ( "mapping.ts" = "timestamp" ) STORED AS TEXTFILE;
3.查看数据
由上图可以看出，字段映射失败，Apache自带的JsonSerDe不支持这种方式。
5.总结
1.Hive处理JSON格式数据本身不支持，需要SerDe即序列化与反序列化来实现JSON数据到Hive中行数据的转换，简单的JSON数据处理Hive自带的JsonSerDe和本文档介绍的JsonSerDe都可以做到。
2.本文档介绍的JsonSerDe与Hive自带的JsonSerDe相比，有更多的功能：
a.在导入的数据中有错误格式的数据时，可以通过设置属性ignore.malformed.json" = "true"，忽略错误的数据，用空行来替代，避免了查询过程中Hive会报格式错误导致查询失败。
b.在JSON数据中有Hive关键字时，可以通过将关键字映射到Hive的其他字段来正常的对JSON数据进行查询，例如"mapping.ts" = "timestamp"，将JSON中的字段timestamp映射为Hive中建表时定义的字段ts。
3.在与Apache自带的JsonSerDe比较中，首先使用方式上本文档介绍的JsonSerDe在Hive中建表时的方式是create table xxx(col1 string,col2 string)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'，而Apache自带的JsonSerDe在Hive中建表时的方式是create table xxx(...)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'，Apache自带的JsonSerDe这个类在hive-hcatalog-core-2.1.1.jar中，这个包在CDH的目录/opt/cloudera/parcels/CDH/lib/hive-hcatalog/share/hcatalog/下，在建表时可以直接使用；在功能上经过测试Apache自带的JsonSerDe在碰到某个错误的JSON数据时查询会报错，但是在大量的JSON数据中难免会有一些错误的数据，对于这个问题，就无法使用Apache自带的JsonSerDe，使用文档中介绍的JsonSerDe可以跳过错误的JSON数据，以空来显示，但是不会让整个查询中断，还有一点就是文档中进行测试过的关键字映射，在Apache自带的JsonSerDe中也不支持，功能相对简陋一些。
