一：集合运算1表的加减法1.1什么是集合运算集合在数学领域表示“各种各样的事物的总和”,在数据库领域表示记录的集合.具体来说,表、视图和查询的执行结果都是记录的集合,其中的元素为表或者查询结...

不少想学习大数据的同学，对于大数据要学习哪些课程都很迷茫，不知道该从哪里学起走。下面科多大数据老师www.keduox.com就带着大家一起来看一看，学习大数据具体要学习哪些课程呢。一、大数据技术基础...

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用...

作者：xmxiong，PCG运营开发工程师数据仓库的数据统计，可以归纳为三类：增量类、累计类、留存类。而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天，滚动周活跃天，最近N天...

文末领取【MySQL练习题+答案解析】进入DATE时代，大数据技术成为互联网发展的核心要素之一。与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术：Hadoop...

一、参数调优1.explain一个HIVE查询被转换为由一个或多个stage组成的序列（有向无环图DAG）。这些stage可以是mapreducestage，也可以是负责元数据存储的stage，也...

使用之前的数据库执行语句explainselectcount(*)fromemp;explain可以帮助我们看到有多少个任务会出现下面的信息根标签，操作语法树等信息根标签操作语法树之前在做日志...

谓词，是指用来描述或判断客体性质、特征或客体之间关系的词项。在SQL中即返回值为布尔值的函数。谓词下推，在Hive中叫PredicatePushdown，含义是指在不影响结果的前提下，尽量将过滤条件...

背景及应用场景介绍：join作为离线数仓中最常见的场景，在实时数仓中也必然不可能缺少它，flinksql提供的丰富的join方式（总结6种：regularjoin，维表join，te...

Hive基础概念和用途Hive是Hadoop下的顶级Apache项目，早期的Hive开发工作始于2007年的Facebook。?ApacheHive是一款建立在Hadoop之上的开源数据仓库系...