大数据开发-第4课(补) hive初步 基于hive大数据分析实战

Hive相关的组件有4个部分:Hive元数据、资源管理和调度、分布

式文件系统和计算引擎

Hive步入1.x版本后，整体架构稳定，后续的迭代版本就没有太多重大的调整，更多的只是功能增强

了,Hive 2.x引入的LLAP，Hive 3.x在2.x的基础上加大了对LLAP和

Tez的支持。

在Hive 3.0以后，可以在Hive的sys数据库中找到元数据表。

Hive的元数据主要分为5个大部分：数据库相关的元数据、表相关的元

数据、分区相关的元数据、文件存储相关的元数据及其他

元数据：

1．数据库的元数据

DBS：描述Hive中所有的数据库库名、存储地址（用字段

DB_LOCATION_URI表示）、拥有者和拥有者类型

DATABASE_PARAMS：描述数据库的属性信息

（DBPROPERTIES）

DB_PRIVS：描述数据库的权限信息

FUNCS：记录用户自己编写的函数信息（UDF），包括该函数的函数

名、对应的类名和创建者等信息。用户可以通过命令“create function函数名…”来创建自定义函数

FUNCS_RU：记录自定义函数所在文件的路径，例如使用Java编写Hive

的自定义函数，FUNCS_RU表会记录该函数所在JAR包的HDFS存储位置，

以及该JAR包引用的其他JAR包信息

2．表的元数据

TBLS：记录Hive数据库创建的所有表，包含表所属的数据库、创建时

间、创建者和表的类型（包括内部表、外部表、虚拟视图等）。在Hive中使

用命令“desc formatted表名”，查看Detailed Table Information一节的信息

TABLE_PARAMS：表的属性信息，对应的是创建表所指定的

TBLPROPERTIES内容或者通过收集表的统计信息。收集表的统计信息可以

使用如下的命令Analyze table表名compute statistics

表的统计信息一般包含表存储的文件个数（numFiles）、总文件大小

（totalSize）、表的总行数（numRows）、分区数（numPartitions）和未压

缩的每行的数据量（rawDataSize）等

TAB_COL_STATS：表中列的统计信息，包括数值类型的最大和最小

值，如LONG_LOW_VALUE、LONG_HIGH_VALUE、

DOUBLE_HIGH_VALUE、DOUBLE_LOW_VALUE、

BIG_DECIMAL_LOW_VALUE、BIG_DECIMAL_HIGHT_VALUE、空值的

个数、列去重的数值、列的平均长度、最大长度，以及值为TRUE/FALSE的

个数等。

TBL_PRIVS：表或者视图的授权信息，包括授权用户、被授权用户和

授权的权限等

TBL_COL_PRIVS：表或者视图中列的授权信息，包括授权用户、被授

权的用户和授权的权限等。

PARTITION_KEYS：表的分区列。

IDXS：Hive中索引的信息，Hive 3.0已经废弃。

3．分区的元数据

PARTITIONS：存储分区信息，包括分区列，分区创建的时间。

·PARTITION_PARAMS：存储分区的统计信息，类似于表的统计信息

一样。

·PART_COL_STATS：分区中列的统计信息，类似于表的列统计信息一

致。

·PART_PRIVS：分区的授权信息，类似于表的授权信息。

·PART_COL_PRIVS：分区列的授权信息，类似于表的字段授权信息。

·PARTITION_KEY_VALS：分区列对应的值

4．数据存储的元数据

SDS：保存数据存储的信息，包含分区、表存储的HDFS路径地址、输

入格式（INPUTFORMAT）、输出格式（OUTPUTFORMAT）、分桶的数

量、是否有压缩、是否包含二级子目录。

·CDS、COLUMN_V2：表示该分区、表存储的字段信息，包含字段名

称和类型等

·SORT_COLS：保存Hive表、分区有排序的列信息，包括列名和排序方

式等。

·BUCKETING_COLS：保存Hive表，分区分桶列的信息、列名等。

·SERDES：保存Hive表、分区序列化和反序列化的方式。

·SERDES_PARAMS：保存Hive，分区序列化和反序列化的配置属性，

例如行的间隔符（line.delim）、字段的间隔符（filed.delim）。

·SKEWED_COL_NAMES：保存表、分区有数据倾斜的列信息，包括列

名。

·SKEWED_VALUES：保存表、分区有数据倾斜的列值信息。

·SKEWED_COL_VALUE_LOC_MAP：保存表、分区倾斜列对应的本

地文件路径。

·SKEWED_STRING_LIST、SKEWED_STRING_LIST_VALUES：保存

表，分区有数据倾斜的字符串列表和值信息

5．其他

Hive的元数据还包含很多内容，例如Hive的事务信息、锁信息及权限相关的信息等

操作

docker-compose exec hive-server bash

/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000

CREATE TABLE test(col1 INT, col2 STRING);

LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO

TABLE test;

desc database default;

create database db_test_pro with dbproperties('key_a'='value_a');

desc database extended db_test_pro；