百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

京东二面:你对Hive的Join有了解吗?

bigegpt 2024-08-16 14:25 2 浏览

Hive Join 用于根据两个或多个表中的列之间的关系,从这些表中查询数据。有时为了得到完整的数据,将多个表的数据行根据一定的规则连接起来,那么就需要执行Join。

Join连接分为常用Join和特殊Join,常用的有:

①内连接,可查询出的数据是两张表的交集。

②外连接,会先将连接的表分为基表和参考表,再以基表为依据返回满足和不满足条件的记录。

③全连接,可查询出左右两表的所有数据。

④left semi join和笛卡尔积join。

特殊的有Common Join和Map Join。

一、常用Join

测试用例:

表 t1

表 t2

1. [inner] join

内连接:只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

select

t1.id,

t1.name,

t2.age

from t1

inner join t2

on t1.id = t2.id;

2. left [outer] join

左外连接:Join操作符左边表中所有记录将会被返回,不符合关联条件的记录将被置为null。

select

t1.id,

t1.name,

t2.age

from t1

left join t2

on t1.id = t2.id;

3. right [outer] join

左外连接:Join操作符右边表中所有记录将会被返回,不符合关联条件的记录将被置为null。

select

t1.id,

t1.name,

t2.age

from t1

right join t2

on t1.id = t2.id;

4. full [outer] join

满外连接:将会返回所有表中的所有记录。如果任一表的指定字段没有符合条件的值的话,那么就使用null值替代。

select

t1.id,

t1.name,

t2.age

from t1

full join t2

on t1.id = t2.id;

5. left semi join

以LEFT SEMI JOIN关键字前面的表为主表,返回主表的关联条件也在副表中的记录。

select

t1.id,

t1.name,

t2.age

from t1

left semi join t2

on t1.id = t2.id;

相当于:

select

t1.id,

t1.name

from t1

where t1.id in(select t2.id from t2);

6. cross join

笛卡尔积关联:返回两个表的笛卡尔积结果,不需要指定关联键。

select

t1.id,

t1.name,

t2.age

from t1

cross join t2;

二、特殊Join

利用Hive进行Join连接操作,相较于MR有两种执行方案,一种为Common Join,另一种为Map Join,Map Join是相对于Common Join的一种优化,省去Shullfe和Reduce的过程,大大的降低的作业运行的时间。

1. Common Join

也称之为Shuffle Join/Reduce Join。

过程:

① 首先会启动一个Task,Mapper会去读表HDFS上两张A/B表中的数据。

② Mapper处理过数据再经过Shuffle处理。

③ 最后由Reduce输出Join结果。

缺点 :

① 存在Shuffle过程,效率低。

② 每张表都要去磁盘读取,磁盘IO大。

2. Map Join

过程:

① Mapjoin首先会通过本地MapReduce Task将要join的小表转成Hash Table Files,然后加载到分布式缓存中。

② Mapperh会去缓存中读取小表数据来和Big Table数据进行join。

③ Map直接给出结果。

优点:没有Shuffle/Reduce过程,效率提高。

缺点:由于小表都加载到内存当中,读内存的要求提高了。

另:Hive中专门有个参数来设置是否自动Common Join 转化为Map Join:hive.auto.convert.join。当hive.auto.convert.join=true hive会为我们自动转换。

三、总结

Hive支持的连接包含[inner]join、left [outer] join、right [outer] join、full [outer] join、left semi join、cross join以及特殊的Common Join和Map Join,其实在使用过程中尽量避免使用笛卡尔积(cross join),因其会增加大量的IO消耗,可能会导致内存不够、集群崩坏等。

Hive Join 非常重要,是Hive查询的基础知识,需要大家多加练习。

相关推荐

了解Linux目录,那你就了解了一半的Linux系统

大到公司或者社群再小到个人要利用Linux来开发产品的人实在是多如牛毛,每个人都用自己的标准来配置文件或者设置目录,那么未来的Linux则就是一团乱麻,也对管理造成许多麻烦。后来,就有所谓的FHS(F...

Linux命令,这些操作要注意!(linux命令?)

刚玩Linux的人总觉得自己在演黑客电影,直到手滑输错命令把公司服务器删库,这才发现命令行根本不是随便乱用的,而是“生死簿”。今天直接上干货,告诉你哪些命令用好了封神!喜欢的一键三连,谢谢观众老爷!!...

Linux 命令速查手册:这 30 个高频指令,拯救 90% 的运维小白!

在Linux系统的世界里,命令行是强大的武器。对于运维小白而言,掌握一些高频使用的Linux命令,能极大提升工作效率,轻松应对各种系统管理任务。今天,就为大家奉上精心整理的30个Linu...

linux必学的60个命令(linux必学的20个命令)

以下是Linux必学的20个基础命令:1.cd:切换目录2.ls:列出文件和目录3.mkdir:创建目录4.rm:删除文件或目录5.cp:复制文件或目录6.mv:移动/重命名文件或目录7....

提高工作效率的--Linux常用命令,能够决解95%以上的问题

点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf为什么要学习Linux命令?1、因为Li...

15 个实用 Linux 命令(linux命令用法及举例)

Linux命令行是系统管理员、开发者和技术爱好者的强大工具。掌握实用命令不仅能提高效率,还能解锁Linux系统的无限潜力,本文将深入介绍15个实用Linux命令。ls-列出目录内容l...

Linux 常用命令集合(linux常用命令全集)

系统信息arch显示机器的处理器架构(1)uname-m显示机器的处理器架构(2)uname-r显示正在使用的内核版本dmidecode-q显示硬件系统部件-(SMBIOS/DM...

Linux的常用命令就是记不住,怎么办?

1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...

Linux常用文件操作命令(linux常用文件操作命令有哪些)

ls命令在Linux维护工作中,经常使用ls这个命令,这是最基本的命令,来写几条常用的ls命令。先来查看一下使用的ls版本#ls--versionls(GNUcoreutils)8.4...

Linux 常用命令(linux常用命令)

日志排查类操作命令查看日志cat/var/log/messages、tail-fxxx.log搜索关键词grep"error"xxx.log多条件过滤`grep-E&#...

简单粗暴收藏版:Linux常用命令大汇总

号主:老杨丨11年资深网络工程师,更多网工提升干货,请关注公众号:网络工程师俱乐部下午好,我的网工朋友在Linux系统中,命令行界面(CLI)是管理员和开发人员最常用的工具之一。通过命令行,用户可...

「Linux」linux常用基本命令(linux常用基本命令和用法)

Linux中许多常用命令是必须掌握的,这里将我学linux入门时学的一些常用的基本命令分享给大家一下,希望可以帮助你们。总结送免费学习资料(包含视频、技术学习路线图谱、文档等)1、显示日期的指令:d...

Linux的常用命令就是记不住,怎么办?于是推出了这套教程

1.帮助命令1.1help命令#语法格式:命令--help#作用:查看某个命令的帮助信息#示例:#ls--help查看ls命令的帮助信息#netst...

Linux的30个常用命令汇总,运维大神必掌握技能!

以下是Linux系统中最常用的30个命令,精简版覆盖日常操作核心需求,适合快速掌握:一、文件/目录操作1.`ls`-列出目录内容`ls-l`(详细信息)|`ls-a`(显示隐藏文件)...

Linux/Unix 系统中非常常用的命令

Linux/Unix系统中非常常用的命令,它们是进行文件操作、文本处理、权限管理等任务的基础。下面是对这些命令的简要说明:**文件操作类:*****`ls`(list):**列出目录内容,显...