百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章
0210-使用Hive SQL插入动态分区的Parquet表OOM异常分析

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1....

大数据框架开发基础之Sqoop入门

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如:MySQL,Oracle,...

数仓面试高频考点--解决hive小文件过多问题

大数据实战演练”,回复“资料”领取独家整理的学习资料!小文件产生原因hive中的小文件肯定是向hive表中导入数据时产生,所以先看下向hive中导入数据的几种方式直接向表中插入数据ins...

Hive 必会 SQL 语法 explode 和 lateral view

为什么把这两个放一块呢,因为这两个经常放在一起用啊explode与lateralview在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分),...

0464-如何离线分析HDFS的FsImage查找集群小文件

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码...

大数据之hive on spark vs hive on mr 性能对比

本文主要是针对Hive基于Spark和MapReduce驱动引擎,进行一些测试对比验证,其目的是让初步接触大数据批量处理的朋友有一个初步的直观认识。测试环境:服务器架构配置:数据素材:结构化数据...

0203-Navigator的使用

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1....

大数据技术之Sqoop学习——原理、安装、使用案例、常用命令

第1章Sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql,postgresql,...)间进行数据的高校传递,可以将一个关系型数据库(...

hive 的开窗函数row_number

因为用groupBy+聚合函数只能求出Top1,不能求TopN这里使用row_number()over()hive的开窗函数row_number()over()技术总结:row_numb...

理解HIVE 分区

看完此文你将理解:1、静态分区2、动态分区3、spark怎么动态分区静态分区静态分区是指人为的指定分区名。向分区插入数据的时候也要写明写入那个分区。创建分区的时候使用Partitionedby关...