Hadoop是最流行的软件框架之一，能够处理和存储大数据信息，而Hive 则是用于帮助Hadoop 提高效率而设计的工具。
Hadoop 中的 Hive 是什么？
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。
Hive主要由三个核心部分组成
1、Hive 客户端：Hive 提供了多种驱动程序，旨在与不同的应用程序联动工作。例如，Hive 为基于 Thrift 的应用程序提供 Thrift 客户端。
2、Hive 服务：Hive 服务与 Hive 执行客户端交互。例如，如果客户端想要执行查询，它必须与 Hive 服务对话。
3、Hive 存储和计算： 数据存储依赖于HDFS，数据计算依赖于MapReduce。
Hive 的主要特征
● 支持创建索引，优化数据查询。
● 不同的存储类型，例如，纯文本文件、HBase 中的文件。
● 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。
● 可以直接使用存储在Hadoop 文件系统中的数据。
● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF 函数来完成内置函数无法实现的操作。
● 类SQL 的查询方式，将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。
Hive的优点
操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
避免了去写MapReduce，减少开发人员的学习成本。
Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
Hive的缺点
1．Hive的HQL表达能力有限
（1）迭代式算法无法表达
（2）数据挖掘方面不擅长
2．Hive的效率比较低
（1）Hive自动生成的MapReduce作业，通常情况下不够智能化
（2）Hive调优比较困难，粒度较粗
Hive的架构原理
Hive 模式
根据 Hadoop 数据节点的大小，Hive 可以在两种不同的模式下运行：本地模式和Map-reduce 模式。
用户本地模式时：
Hadoop安装在伪模式下，只有一个数据节点
数据量更小，仅限于单台本地机器
数据处理更加快速，因为本地机器包含更小的数据集
在以下情况下使用 Map Reduce 模式：
Hadoop有多个数据节点，数据分布在这些不同的节点上
用户必须处理更多海量的数据集
MapReduce 是 Hive 的默认模式。
Hive 与关系数据库的关系
Hive和Pig有什么不同
用户不同
- 数据分析师青睐 Apache Hive
- 程序员和研究人员更喜欢 Apache Pig
使用的语言不同
- Hive 使用 SQL 的声明性语言变体，称为 HQL
- Pig 使用一种独特的程序语言，称为 Pig Latin
数据处理不同
- Hive 适用于结构化数据
- Pig 适用于结构化和半结构化数据
集群操作
- Hive 在集群的服务器端运行
- Pig 在集群的客户端运行
分区
- Hive 支持分区
- Pig 不支持分区
加载速度
- Hive 加载速度不快，但执行速度更快
- Pig加载速度更快
Hive 和 Hbase的区别
- HBase 是一个开源的、面向列的数据库管理系统，运行在 Hadoop 分布式文件系统 ( HDFS )之上
- Hive 是一个查询引擎，而 Hbase 是一个面向非结构化数据的数据存储系统。
- Hive 主要用于批处理；Hbase 广泛用于事务处理
- Hbase实时处理，实时查询；Hive仅用于分析查询
- Hive 运行在 Hadoop 之上，而 Hbase 运行在 HDFS 之上
- Hive 不是数据库，但 Hbase 支持 NoSQL 数据库
- Hive 有模式模型，Hbase 没有
- 最后，Hive 是高延迟操作的理想选择，而 Hbase 主要用于低延迟操作
Hadoop是大数据开发人员的必备技能
未来如果你想从事数据开发工作，那么Hadoop是你的基础能力，必须学会，而且最好能够获得认证，让企业看到你的实力。
Simplilearn大数据Hadoop认证培训提供数据处理、功能性编程、Apache Spark、平行处理、Spark RDD优化技术、Spark SQL等大数据知识与技能，课程内容与Cloudera CCA175认证保持一致，为你的职业生涯奠定坚实基础。
