hiveover

Hive SQL常用命令总结，大数据开发人员按需收藏

Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。这种SQL就是HiveSQL，她可以将SQL语句转换为MapReduce任务...

【大数据】Hive 小文件治理和 HDFS 数据平衡讲解

一、Hive小文件概述在Hive中，所谓的小文件是指文件大小远小于HDFS块大小的文件，通常小于128MB，甚至更少。这些小文件可能是Hive表的一部分，每个小文件都包含一个或几个表的记录，它们以文本格式存储。Hive通常用于分析大量数据，但它在处理小文件方面表现不佳，Hive中存在大量小文件会...

hive数据压缩存储实测

hive数据压缩在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽1、MR支持的压缩编码为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表...

如何使用docker快速搭建hive环境

写在前面想练练HiveSQL，但是没有hiveshell环境。现在只有一台空的CentOS7机子，一想要弄jdk、hadoop、mysql、hive就头疼。于是在网上找了找，发现用docker部署hive会快很多，在此记录一下部署过程。以下过程每一步在文末都附有参考文档，出错的朋友可以去看对应...

大数据不就是写sql吗?

应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句："不就是写SQL吗，要那么久吗"我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki贴出来给大家看看，省略了一些敏感的内容。当然内部版言辞也会温和一点，嘻嘻在哪里写SQL？这个问题高级点的问法是用哪种SQL引擎？Spark...

「技术干货」Hadoop 经典面试问题 TOP 50(下)

目前，与大数据相关的工作机会变得越来越多了。每五个大公司中就有一个正在迁移到大数据分析领域。因此，当下正是学习大数据进军新领域的绝佳时机。今天为大家带来50道（下篇）在面试中最经典、最常被问到的真题，分享给大家，希望能提升你们的技术水平，提高面试通过率。26.增强大数据性能的基本Hadoop工具是什...

9-3.Hive动态分区

Hive参数hive当中的参数、变量，都是以命名空间开头通过${}方式进行引用，其中system、env下的变量必须以前缀开头hive参数设置方式1、修改配置文件${HIVE_HOME}/conf/hive-site.xml2、启动hivecli时，通过--hiveconfkey=value...

Hive的导入导出和常用过滤语句的学习

数据的导入loaddata[local]创建数据表加载数据loaddatalocalinpath'/data/hivetest/stu_info_two'intotablestu_info;加载HDFS数据，移动数据文件到表对应的目录我们先清空数据truncate...

Hive 导数据的两种方案

背景：后台有小伙伴问我，做数据分析的时候，经常会用到hive-e"sql">result.csv，然后将结果导入到excel中，可是使用hive-e导出后默认的分隔符是\t，excel无法识别，所以需要将\t转成（逗号）该如何让做呢？方案一：使用linux管道符替换hive-e...

「挑战30万年薪」 Hive语句详解之DML操作「元数据存储」

DML操作：hive不支持用insert语句一句一句的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不能进行修改。DML包括什么？插入：INSERT更新：UPDATE删除：DELETE向数据表内加载文件将查询结果插入到Hive中insertin...