hiveover 第3页

0210-使用Hive SQL插入动态分区的Parquet表OOM异常分析

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.异常描述当运行“INSERT...SELECT”语句向Parquet或者ORC格式的表中插入数据...

大数据框架开发基础之Sqoop入门

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库...

数仓面试高频考点--解决hive小文件过多问题

大数据实战演练”，回复“资料”领取独家整理的学习资料！小文件产生原因hive中的小文件肯定是向hive表中导入数据时产生，所以先看下向hive中导入数据的几种方式直接向表中插入数据insertintotableAvalues(1,'zhangsan',88),(2,'lisi...

Hive 必会 SQL 语法 explode 和 lateral view

为什么把这两个放一块呢，因为这两个经常放在一起用啊explode与lateralview在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似p...

0464-如何离线分析HDFS的FsImage查找集群小文件

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1文章编写目的随着Hadoop集群数据量的增长，集群中也同时会存在大量的小文...

大数据之hive on spark vs hive on mr 性能对比

本文主要是针对Hive基于Spark和MapReduce驱动引擎，进行一些测试对比验证，其目的是让初步接触大数据批量处理的朋友有一个初步的直观认识。测试环境：服务器架构配置：数据素材：结构化数据，16个字段，总计108469690（约1亿800万）节点部署详情效率对比1.selectcou...

0203-Navigator的使用

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在前面Fayson介绍了《ClouderaNavigator介绍与安装》，本篇文章主要...

大数据技术之Sqoop学习——原理、安装、使用案例、常用命令

第1章Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql,postgresql,...)间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS中，...

hive 的开窗函数row_number

因为用groupBy+聚合函数只能求出Top1,不能求TopN这里使用row_number()over()hive的开窗函数row_number()over()技术总结:row_number()over(partitionbysexorderbyagedesc)这句sql...

理解HIVE 分区

看完此文你将理解：1、静态分区2、动态分区3、spark怎么动态分区静态分区静态分区是指人为的指定分区名。向分区插入数据的时候也要写明写入那个分区。创建分区的时候使用Partitionedby关键字定义。创建静态分区createtablepar_tab(namestring,natio...