- HIVE常用优化方法
-
1、join连接时的优化：当三个或多个以上的表进行join操作时，如果每个on使用相同的字段连接时只会产生一个mapreduce。2、join连接时的优化：当多个表进行查询时，从左到右表的大小顺序应该...
- 数仓/数开面试题真题总结(二)
-
二.Hive1.大表join小表产生的问题，怎么解决？2.udfudafudtf区别3.hive有哪些保存元数据的方式，各有什么特点。4.hive内部表和外部表的区别5.生产环境中为什么建议使用外...
- 大数据分析师工程师入门6-HIVE进阶
-
数据与智能本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理，持续输出大数据、数据分析、推荐系统、机器学习、人工智能等方向的原创文章，每周至少输出10篇精品原创。同时，...
- 数据分析师必备--SQL你准备好了吗?
-
数据分析师的招聘JD你们一定不陌生：可以说，不是每个数据分析岗都要求python，但是每个数据分析岗都需要会SQL。写这篇文章是希望帮助还没有实战过SQL的小伙伴、或者了解一些SQL语句，但是担心自己...
- 大数据之hive数据倾斜类型及优化方案
-
Hive查询的数据倾斜分为Map端和Reduce端数据倾斜：Map端数据倾斜主要是输入文件大小不均匀导致Reduce端数据倾斜主要是partition不均匀导致1.1.1.1.Map端缓慢，输...
- 【大数据】Hive Join 的原理与机制
-
一、概述Hive是一个基于Hadoop的数据仓库解决方案，它提供了类似于SQL的查询语言，称为HiveQL，用于处理结构化数据。在Hive中，JOIN操作用于将两个或多个表中的数据连接在一起，以便进行...
- Hive数据倾斜案例讲解
-
实际搞过离线数据处理的同学都知道，HiveSQL的各种优化方法都是和数据倾斜密切相关的，所以我会先来聊一聊“「数据倾斜」”的基本概念，然后再在此基础上为大家介绍各种场景下的Hive优化方案...
- 上海公司大数据面试题(面经)
-
作者：感谢牛客，已上岸来源：牛客网1.东软集团架构师电话面试二十分钟：1.1.hbase有什么特点，他的优缺点：海量存储，列式存储，高并发，稀疏（列的灵活性，列族中可以指定任意多的列，在列数据为空的情...
- Hive SQL语句的正确执行顺序
-
关于sql语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于select和groupby执行的先后顺序，有说select先执行，有说groupb...
- hive常用命令，推荐给新手
-
在大数据学习当中，尤其是Hadoop生态的学习当中，Hive是必备的，也是相对门槛较低，比较好入手的一个组件。今天的大数据开发分享，和大家分享Hive的基础知识点。Hive简介根据官方文档的定义，Hi...