百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Hive开启Metastore 和 HiveServer2 服务

bigegpt 2024-09-20 14:09 6 浏览

Hive 比较特殊,它既是自己的客户端,又是服务端。

Hive配置了元数据存储的介质是MySQL 数据库,这时候还是local(本地)模式,HiveServer2 是通过自己的JDBC程序直接访问MySQL,从而获取元数据。

但是如果一旦配置了Metastore服务,就必须先启动metastore服务进程,Hiveserver2才能正常启动,否则会一直等待,而10000端口一直没起来。

Hive 相关文章:

离线数仓 Hive 2.3.9 详细安装过程和参数配置

Hive 客户端Beeline 的使用入门

分布式数据仓库Hive 2.3.7详细安装步骤和配置参数

大数据:了解Hive和HBase的区别


一、Metastore 数据库和服务

Metastore 数据库是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 Metastore 中。根据系统配置方式,统计信息和授权记录也可以存储在此处。Hive 或者其他执行引擎在运行时使用此数据来确定如何解析,授权以及有效执行用户查询。


Metastore 服务的作用是建立起和Hive客户端的连接,当客户端来请求,Metastore服务去远程Metastore数据库查询信息返回。


Metastore 服务的启动方式:

hive --service metastore

或者 nohup hive --service metastore &


[root@centos-150 hive-2.3.9]# hive --service metastore
2022-06-08 00:24:50: Starting Hive Metastore Server
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hive-2.3.9/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.10.1/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Metastore服务实际上就是一种thrift服务,通过它我们可以获取到hive 元数据。


hive-site.xml 配置metastore服务,如下所示:

 <!-- 指定 metastore 的地址和端口 -->
 <property>
 <name>hive.metastore.uris</name>
 <value>thrift://centos-150:9083</value>
 </property>
 <property>
 <name>hive.metastore.client.socket.timeout</name>
 <value>3600</value>
 </property>

不过,在上述 hive-site.xml 配置文件中,我们并没有配置metastore 服务。


二、HiveServer2 服务

HiveServer2 是一种可选的 Hive 内置服务,可以允许远程客户端使用不同编程语言向 Hive 提交请求并返回结果。

HiveServer2 是一种能使客户端执行 Hive 查询的服务。HiveServer2 是 HiveServer1 的改进版,HiveServer1 已经被废弃。HiveServer2 对 HiveServer1 进行了重写来解决HiveServer1的问题。

HiveServer2 作为复合服务在单个进程中运行,其中包括基于 Thrift 的 Hive 服务(TCP或HTTP)以及用于 Web UI的 Jetty Web 服务。HiveServer2 可以支持多客户端并发和身份认证。旨在为开放API客户端(如JDBC和ODBC)提供更好的支持。


HiveServer2 实现了一个新的基于 Thrift 的 RPC 接口,该接口可以处理客户端并发请求。当前版本支持 Kerberos,LDAP 以及自定义可插拔身份验证。新的 RPC 接口也是 JDBC 和 ODBC 客户端更好的选择,尤其是对于元数据访问。


Metastore 可以配置为嵌入式(与 HiveServer2 同一个进程)或者远程服务(也是基于 Thrift 的服务)。HiveServer2 访问 Metastore 以获取编译所需的元数据。

HiveServer2 为不同执行引擎(MapReduce/Tez/Spark)提供物理执行计划,并将作业提交到 Hadoop 集群执行。


启动hiveserver2服务:

# 后台启动 metastore 服务器端,默认使用 10000 端口

nohup hive --service hiveserver2 &


# 或者使用指定的端口号:

nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port 10001 &


beeline 访问方式也是通过JDBC连接的,驱动为hive2。关于beeline 的使用,可以访问小编之前的文章。


三、启用HiveServer2的Web UI

Hive 从 2.0.0 版本开始,为 HiveServer2 提供了一个简单的 WEB UI 页面,在页面中我们可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。默认情况下,Web UI 端口为 10002。

如果要开启 Web UI 需要在 hive-site.xml 配置文件中修改配置:

hive.server2.webui.host

hive.server2.webui.port

如下所示:

<property>
 <name>hive.server2.webui.host</name>
 <value>centos-150</value>
</property>
<property>
 <name>hive.server2.webui.port</name>
 <value>10002</value>
</property>


配置完成之后启动 hiveserver2 服务,通过 http://centos-150:10002/ 地址访问 Web UI:


也可以查看 10002 端口,如图所示:

相关推荐

pyproject.toml到底是什么东西?(py trim)

最近,在Twitter上有一个Python项目的维护者,他的项目因为构建失败而出现了一些bug(这个特别的项目不提供wheel,只提供sdist)。最终,发现这个bug是由于这个项目使用了一个pypr...

BDP服务平台SDK for Python3发布(bdp数据平台)

下载地址https://github.com/imysm/opends-sdk-python3.git说明最近在开发和bdp平台有关的项目,用到了bdp的python的sdk,但是官方是基于p...

Python-for-Android (p4a):(python-for-android p4a windows)

一、Python-for-Android(p4a)简介Python-for-Android(p4a),一个强大的开发工具,能够将你的Python应用程序打包成可在Android设备上运行...

Qt for Python—Qt Designer 概览

前言本系列第三篇文章(QtforPython学习笔记—应用程序初探)、第四篇文章(QtforPython学习笔记—应用程序再探)中均是使用纯代码方式来开发PySide6GUI应用程序...

Python:判断质数(jmu-python-判断质数)

#Python:判断质数defisPrime(n):foriinrange(2,n):ifn%i==0:return0re...

为什么那么多人讨厌Python(为什么python这么难)

Python那么棒,为什么那么多人讨厌它呢?我整理了一下,主要有这些原因:用缩进替代大括号许多人抱怨Python完全依赖于缩进来创建代码块,代码多一点就很难看到函数在哪里结束,那么你就需要把一个函数拆...

一文了解 Python 中带有 else 的循环语句 for-else/while-else

在本文中,我们将向您介绍如何在python中使用带有else的for/while循环语句。可能许多人对循环和else一起使用感到困惑,因为在if-else选择结构中else正常...

python的numpy向量化语句为什么会比for快?

我们先来看看,python之类语言的for循环,和其它语言相比,额外付出了什么。我们知道,python是解释执行的。举例来说,执行x=1234+5678,对编译型语言,是从内存读入两个shor...

开眼界!Python遍历文件可以这样做

来源:【公众号】Python技术Python对于文件夹或者文件的遍历一般有两种操作方法,一种是至二级利用其封装好的walk方法操作:import osfor root,d...

告别简单format()!Python Formatter类让你的代码更专业

Python中Formatter类是string模块中的一个重要类,它实现了Python字符串格式化的底层机制,允许开发者创建自定义的格式化行为。通过深入理解Formatter类的工作原理和使用方法,...

python学习——038如何将for循环改写成列表推导式

在Python里,列表推导式是一种能够简洁生成列表的表达式,可用于替换普通的for循环。下面是列表推导式的基本语法和常见应用场景。基本语法result=[]foriteminite...

详谈for循环和while循环的区别(for循环语句与while循环语句有什么区别)

初九,潜龙勿用在刚开始使用python循环语句时,经常会遇到for循环和while循环的混用,不清楚该如何选择;今天就对这2个循环语句做深入的分析,让大家更好地了解这2个循环语句以方便后续学习的加深。...

Python编程基础:循环结构for和while

Python中的循环结构包括两个,一是遍历循环(for循环),一是条件循环(while循环)。遍历循环遍历循环(for循环)会挨个访问序列或可迭代对象的元素,并执行里面的代码块。foriinra...

学习编程第154天 python编程 for循环输出菱形图

今天学习的是刘金玉老师零基础Python教程第38期,主要内容是python编程for循环输出菱形※。(一)利用for循环输出菱形形状的*号图形1.思路:将菱形分解为上下两个部分三角形图案,分别利用...

python 10个堪称完美的for循环实践

在Python中,for循环的高效使用能显著提升代码性能和可读性。以下是10个堪称完美的for循环实践,涵盖数据处理、算法优化和Pythonic编程风格:1.遍历列表同时获取索引(enumerate...