Hive分区表和桶表的使用 hive分区和分桶的区别
bigegpt 2024-10-12 06:09 7 浏览
我们看官网文档中这个地方
我们先创建好数据库，以供练习
使用数据库
我们创建数据表
我们创建分区表，选取的字段不能是表中存在的字段
元数据信息
Formatted信息
那我们加载信息
load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);
我们查看数据
我们看下HDFS上，是目录的形式
所以我们可以多加载几份数据
查看数据和HDFS上
也可以创建二级分区
载入数据
查看下数据
查看下元数据
再看下HDFS
我们就可以依据条件查询使用where语句
注：分区表可以提高查询的效率。
我们再看这个地方-桶表
这个和分区表不一样的地方，选取字段必须是表里的字段
我们准备个员工表
我们创建下桶表
我们加载下数据
看下HDFS
实际在桶表中，我们应该使用另外一种语句
运行过程
出现了点问题
三个节点时间不同步，设定下时间
date -s "2019-12-5 17:50:00"
再执行就可以了
查看结果
我们看HDFS上
我们查看下文件，已经分开了，如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。
注：其中桶表查询还有下面的语句，可以仔细研究下，暂时先放一放，后续学习深入再了解。
Select * from table tablesample(bucket 1 out of 2)
Tablesample是抽样数据，语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小，决定抽样比例。例如：table总共分为64份，当y=32时，抽取(64/32)2个bucket数据；当y=128时，抽取(64/128)1/2个bucket数据，x表示从哪个bucket开始抽取，例如table总bucket数为32，tablesample(3 out of 16)，表示总共抽取(32/16)2个bucket数据，分别为第3个bucket和第(3+16)19个bucket数据。
相关推荐
- Go语言泛型-泛型约束与实践（go1.7泛型）
-
来源：械说在Go语言中，Go泛型-泛型约束与实践部分主要探讨如何定义和使用泛型约束（Constraints），以及如何在实际开发中利用泛型进行更灵活的编程。以下是详细内容：一、什么是泛型约束？**泛型...
- golang总结（golang实战教程）
-
基础部分Go语言有哪些优势？1简单易学：语法简洁，减少了代码的冗余。高效并发：内置强大的goroutine和channel，使并发编程更加高效且易于管理。内存管理：拥有自动垃圾回收机制，减少内...
- Go 官宣:新版 Protobuf API（go pro版本）
-
原文作者：JoeTsai,DamienNeil和HerbieOng原文链接：https://blog.golang.org/a-new-go-api-for-protocol-buffer...
- Golang开发的一些注意事项(一)（golang入门项目）
-
1.channel关闭后读的问题当channel关闭之后再去读取它，虽然不会引发panic，但会直接得到零值，而且ok的值为false。packagemainimport"...
- golang 托盘菜单应用及打开系统默认浏览器
-
之前看到一个应用，用go语言编写，说是某某程序的windows图形化客户端，体验一下发现只是一个托盘，然后托盘菜单的控制面板功能直接打开本地浏览器访问程序启动的webserver网页完成gui相关功...
- golang标准库每日一库之 io/ioutil
-
一、核心函数概览函数作用描述替代方案（Go1.16+）ioutil.ReadFile(filename)一次性读取整个文件内容（返回[]byte）os.ReadFileioutil.WriteFi...
- 文件类型更改器——GoLang 中的 CLI 工具
-
我是如何为一项琐碎的工作任务创建一个简单的工具的，你也可以上周我开始玩GoLang，它是一种由Google制作的类C编译语言，非常轻量和快速，事实上它经常在Techempower的基准测...
- Go (Golang) 中的 Channels 简介（golang channel长度和容量）
-
这篇文章重点介绍Channels(通道)在Go中的工作方式，以及如何在代码中使用它们。在Go中，Channels是一种编程结构，它允许我们在代码的不同部分之间移动数据，通常来自不同的goro...
- Golang引入泛型:Go将Interface「」替换为“Any”
-
现在Go将拥有泛型：Go将Interface{}替换为“Any”，这是一个类型别名：typeany=interface{}这会引入了泛型作好准备，实际上，带有泛型的Go1.18Beta...
- 一文带你看懂Golang最新特性（golang2.0特性）
-
作者：腾讯PCG代码委员会经过十余年的迭代，Go语言逐渐成为云计算时代主流的编程语言。下到云计算基础设施，上到微服务，越来越多的流行产品使用Go语言编写。可见其影响力已经非常强大。一、Go语言发展历史...
- Go 每日一库之 java 转 go 遇到 Apollo?让 agollo 来平滑迁移
-
以下文章来源于GoOfficialBlog，作者GoOfficialBlogIntroductionagollo是Apollo的Golang客户端Apollo（阿波罗）是携程框架部门研...
- Golang使用grpc详解（golang gcc）
-
gRPC是Google开源的一种高性能、跨语言的远程过程调用（RPC）框架，它使用ProtocolBuffers作为序列化工具，支持多种编程语言，如C++,Java,Python,Go等。gR...
- Etcd服务注册与发现封装实现--golang
-
服务注册register.gopackageregisterimport("fmt""time"etcd3"github.com/cor...
- Golang:将日志以Json格式输出到Kafka
-
在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库，并将日志写到了磁盘文件中，代码比较简单，适合练手。有兴趣的可以通过这个链接前往：https://github.com/...
- 如何从 PHP 过渡到 Golang?（php转golang）
-
我是PHP开发者，转Go两个月了吧，记录一下使用Golang怎么一步步开发新项目。本着有坑填坑，有错改错的宗旨，从零开始，开始学习。因为我司没有专门的Golang大牛，所以我也只能一步步自己去...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- libcrypto.so (74)
- linux安装minio (74)
- ubuntuunzip (67)
- vscode使用技巧 (83)
- secure-file-priv (67)
- vue阻止冒泡 (67)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)