百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

2. HIVE 基本操作

bigegpt 2024-09-14 00:14 10 浏览



2.1 create table

2.1.1 总述

l CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXIST 选项来忽略这个异常。

l EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建

外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部

表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。

l LIKE 允许用户复制现有的表结构,但是不复制数据。 l 用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW

FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还

需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive 通过 SerDe

确定表的具体的列的数据。

l 如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCE 。

l 有分区的表可以在创建的时候使用 PARTITIONED BY 语句。一个表可以拥有一个或者多个分区,每一个分区单独存在一个目录下。而且,表和分区都可以对某个列进行

CLUSTERED BY 操作,将若干个列放入一个桶(bucket)中。也可以利用 SORT BY 对数据进行排序。这样可以为特定应用提高性能。

l 表名和列名不区分大小写,SerDe 和属性名区分大小写。表和列的注释是字符串。


目前在 hive 中常用的数据类型有:

BIGINT – 主要用于状态,类别,数量的字段, 如

status/option/type/quantity

DOUBLE – 主要用于金额的字段, 如 fee/price/bid

STRING – 除上述之外的字段基本都使用 String, 尤其是 id 和日期时间这

样的字段


2.1.3 基本例子

1、如果一个表已经存在,可以使用 if not exists

2、 create table xiaojun(id int,cont string) row format delimited fields terminated

by '\005' stored as textfile;

terminated by:关于来源的文本数据的字段间隔符

如果要将自定义间隔符的文件读入一个表,需要通过创建表的语句来指明输入文件间隔符,

然后 load data 到这个表。

4、Alibaba 数据库常用间隔符的读取

我们的常用间隔符一般是 Ascii 码 5,Ascii 码 7 等。在 hive 中 Ascii 码 5 用'\005'表示,

Ascii 码 7 用'\007'表示,依此类推。

5、装载数据

查看一下:Hadoop fs -ls

LOAD DATA INPATH '/user/admin/xiaojun/a.txt' OVERWRITE INTO TABLE xiaojun;

6、如果使用 external 建表和普通建表区别

A、指定一个位置,而不使用默认的位置。如:

create EXTERNAL table xiaojun(id int,cont string) row format delimited fields

terminated by '\005' stored as textfile location '/user/admin/xiaojun/';

B、对于使用 create table external 建表完成后,再 drop 掉表,表中的数据还在文件系统

中。如:

hive> create EXTERNAL table xiaojun(id int,cont string) row format delimited

fields terminated by '\005' stored as textfile;

hive> LOAD DATA INPATH '/user/admin/xiaojun' OVERWRITE INTO TABLE xiaojun;

hive> drop table xiaojun;

[admin@hadoop1 bin]$ ./hadoop fs -ls

hdfs://hadoop1:7000/user/hive/warehouse/xiaojun

Found 1 items

使用普通的建表 DROP 后则找不到

2.1.4 创建分区

HIVE 的分区通过在创建表时启用 partition by 实现,用来 partition 的维度并不是实

际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以

采用 where 语句,形似 where tablename.partition_key > a 来实现。

创建含分区的表。

命令原型:

CREATE TABLE page_view(viewTime INT, userid BIGINT,

page_url STRING, referrer_url STRING,

ip STRING COMMENT 'IP Address of the User')

COMMENT 'This is the page view table'

PARTITIONED BY(dt STRING, country STRING)

CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKETS

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\001'


外部表和内部表内部表由hive管理,外部表是hdfs管理,内部表存储在hive/warehouse下,外部表存储是在创建时用户设置的,drop时,两个表的元数据都会被删除,外部表的表数据不被删除,目录文件还在。


6、如果使用external建表和普通建表区别A、指定一个位置,而不使用默认的位置。如:create EXTERNAL table xiaojun(id int,cont string) row format delimited fields terminated by '\005' stored as textfile location '/user/admin/xiaojun/';B、对于使用create table external建表完成后,再drop掉表,表中的数据还在文件系统中。如:hive>create EXTERNAL table xiaojun(id int,cont string) row formatdelimited fields terminated by '\005' stored as textfile; hive> LOADDATA INPATH '/user/admin/xiaojun' OVERWRITE INTO TABLE xiaojun; hive> drop table xiaojun; [admin@hadoop1bin]$ ./hadoop fs -ls hdfs://hadoop1:7000/user/hive/warehouse/xiaojunFound 1 items使用普通的建表DROP后则找不到版权声明:

COLLECTION ITEMS TERMINATED BY '\002'

MAP KEYS TERMINATED BY '\003'

STORED AS SEQUENCEFILE;

查看表名,部分匹配

SHOW TABLES 'page.*';

SHOW TABLES '.*view';

查看某表的所有 Partition,如果没有就报错:

SHOW PARTITIONS page_view;

查看某表结构:

DESCRIBE invites;

看分区内容

SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';

查看有限行内容,同 Greenplum,用 limit 关键词

SELECT a.foo FROM invites a limit 3;

查看表分区定义

DESCRIBE EXTENDED page_view PARTITION (ds='2008-08-08');

2.5 Load

HIVE 装载数据没有做任何转换加载到表中的数据只是进入相应的配置单元表的位置移

动数据文件。纯加载操作复制/移动操作。


3.1 语法

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename

[PARTITION (partcol1=val1, partcol2=val2 ...)]

Load 操作只是单纯的复制/移动操作,将数据文件移动到 Hive 表对应的位置。

? filepath 可以是: o 相对路径,例如:project/data1

hdfs://namenode:9000/user/hive/project/data1

? 加载的目标可以是一个表或者分区。如果表包含分区,必须指定每一个分区的分区名。

? filepath 可以引用一个文件(这种情况下,Hive 会将文件移动到表所对应的目录中)或者是一个目录(在这种情况下,Hive 会将目录中的所有

文件移动至表所对应的目录中)。

? 如果指定了 LOCAL,那么: o load 命令会去查找本地文件系统中的 filepath。如果发现是相对

路径,则路径会被解释为相对于当前用户的当前路径。用户也可以

为本地文件指定一个完整的 URI,比如:

file:///user/hive/project/data1.

o load 命令会将 filepath 中的文件复制到目标文件系统中。目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据

对应的位置。

? 如果没有指定 LOCAL 关键字,如果 filepath 指向的是一个完整的 URI,hive 会直接使用这个 URI。 否则:

o 如果没有指定 schema 或者 authority,Hive 会使用在 hadoop 配置文件中定义的 schema 和 authority,fs.default.name 指定

了 Namenode 的 URI。

o 如果路径不是绝对的,Hive 相对于 /user/ 进行解释。 o Hive 会将 filepath 中指定的文件内容移动到 table (或者

partition)所指定的路径中。

? 如果使用了 OVERWRITE 关键字,则目标表(或者分区)中的内容(如果有)会被删除,然后再将 filepath 指向的文件/目录中的内容添加到表/

分区中。

? 如果目标表(分区)已经有一个文件,并且文件名和 filepath 中的文件名冲突,那么现有的文件会被新文件所替代。

从本地导入数据到表格并追加原表

LOAD DATA LOCAL INPATH `/tmp/pv_2008-06-08_us.txt` INTO TABLE c02

PARTITION(date='2008-06-08', country='US')

从本地导入数据到表格并追加记录

LOAD DATA LOCAL INPATH './examples/files/kv1.txt' INTO TABLE pokes;

从 hdfs 导入数据到表格并覆盖原表

LOAD DATA INPATH

'/user/admin/SqlldrDat/CnClickstat/20101101/18/clickstat_gp_fatdt0/0'

INTO table c02_clickstat_fatdt1 OVERWRITE PARTITION (dt='20101201');

关于来源的文本数据的字段间隔符

如果要将自定义间隔符的文件读入一个表,需要通过创建表的语句来指明输入文件间隔符,

然后 load data 到这个表就 ok 了。

2.6 Insert

2.6.1 Inserting data into Hive Tables from queries

Insert 时,from 子句既可以放在 select 子句后,也可以放在 insert 子句前,下面两句是

等价的

hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar,

count(*) WHERE a.foo > 0 GROUP BY a.bar;

hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM invites

a WHERE a.foo > 0 GROUP BY a.bar;

hive 没 有 直 接 插 入 一 条 数 据 的 sql , 不 过 可 以 通 过 其 他 方 法 实 现 : 假设有一张表 B 至少有一条数据,我们想向表 A(int,string)中插入一条数据,可以用下面 的 方 法 实 现 : from B insert table A select 1,'abc' limit 1; 我觉得 hive 好像不能够插入一个记录,因为每次你写 insert 语句的时候都是要将整个表的值overwrite。我想这个应该是与 hive 的 storage layer 是有关系的,因为它的存储层是 HDFS,插入一个数据要全表扫描,还不如用整个表的替换来的快些。

mysql 也可以从一个表中查询数据插入到另一个表中,也可以一条数据的插入

Hive 不支持一条一条的用 insert 语句进行插入操作,也不支持 update 的操作。数据是以 load的方式,加载到建立好的表中。数据一旦导入,则不可修改。要么 drop 掉整个表,要么建立新的表,导入新的数据。

相关推荐

或者这些Joplin插件也可以帮助你的笔记应用再一次强大

写在前面距离上次分享《搭建私有全平台多端同步笔记,群晖NAS自建JoplinServer服务》已过去一段时间,大家是否开始使用起来了呢?如果你和我一样已经使用过Joplin有一段时间了,那或许你也会...

Three.JS教程4 threejs中的辅助类

一、辅助类简介Three.js提供了一些辅助类(Helpers)以帮助我们更容易地调试、可视化场景中的元素。ArrowHelepr:创建箭头辅助器;AxisHelper:创建坐标轴辅助器;BoxH...

第2章 还记得点、线、面吗(二)(第二章还能敲钟吗)

glbgltf模型(webvrmodel)-gltf模型下载定制,glb模型下载定制,三维项目电商网站在线三维展示,usdz格式,vr模型网,网页VR模型下载,三维模型下载,webgl网页模型下载我...

如何检查Linux系统硬件信息?从CPU到显卡,一网打尽!

你可能会问:“我为什么要关心硬件信息?”答案很简单:硬件是Linux系统的根基,了解它可以帮你解决很多实际问题。比如:性能调优:知道CPU核心数和内存大小,才能更好地调整程序运行参数。故障排查:系统卡...

SpriteJS:图形库造轮子的那些事儿

从2017年到2020年,我花了大约4年的时间,从零到一,实现了一个可切换WebGL和Canvas2D渲染的,跨平台支持浏览器、SSR、小程序,基于DOM结构和支持响应式的,高...

平时积累的FPGA知识点(6)(fpga经典应用100例)

平时在FPGA群聊等积累的FPGA知识点,第六期:1万兆网接口,发三十万包,会出现掉几包的情况,为什么?原因:没做时钟约束,万兆网接口的实现,本质上都是高速serdes,用IP的话,IP会自带约束。...

芯片逻辑调度框架设计 都需要那些那些软件工具

设计芯片逻辑调度框架通常需要使用以下软件工具:1.逻辑设计工具:例如Vivado、Quartus、SynopsysDesignCompiler等,用于设计和实现逻辑电路。2.仿真工具:例如Mo...

ZYNQ与DSP之间EMIF16通信(正点原子领航者zynq之fpga开发指南v3)

本文主要介绍说明XQ6657Z35-EVM高速数据处理评估板ZYNQ与DSP之间EMIF16通信的功能、使用步骤以及各个例程的运行效果。[基于TIKeyStone架构C6000系列TMS320C6...

好课推荐:从零开始大战FPGA(从零开始的冒险4399)

从零开始大战FPGA引子:本课程为“从零开始大战FPGA”系列课程的基础篇。课程通俗易懂、逻辑性强、示例丰富,课程中尤其强调在设计过程中对“时序”和“逻辑”的把控,以及硬件描述语言与硬件电路相对应的“...

业界第一个真正意义上开源100 Gbps NIC Corundum介绍

来源:内容由「网络交换FPGA」编译自「FCCM2020」,谢谢。FCCM2020在5月4日开始线上举行,对外免费。我们有幸聆听了其中一个有关100G开源NIC的介绍,我们对该文章进行了翻译,并对其中...

高层次综合:解锁FPGA广阔应用的最后一块拼图

我们为什么需要高层次综合高层次综合(High-levelSynthesis)简称HLS,指的是将高层次语言描述的逻辑结构,自动转换成低抽象级语言描述的电路模型的过程。所谓的高层次语言,包括C、C++...

Xilinx文档编号及其内容索引(部分)

Xilinx文档的数量非常多。即使全职从事FPGA相关工作,没有几年时间不可能对器件特性、应用、注意事项等等有较为全面的了解。本文记录了我自使用Xilinx系列FPGA以来或精读、或翻阅、或查询过的文...

Xilinx Vivado联合Modelsim软件仿真

引言:Xilinx公司Vivado开发软件自带仿真工具,可以实现一般性能的FPGA软件仿真测试,其测试执行效率以及性能都不如第三方专用仿真软件Modelsim强。本文我们介绍下如何进行Vivado20...

体育动画直播是怎么做出来的?从数据到虚拟赛场的科技魔法!

你是否见过这样的比赛直播?没有真实球员,却能看梅西带球突破?足球比赛变成动画版,但数据100%真实?电竞比赛用虚拟形象直播,选手操作实时同步?这就是体育动画直播——一种融合实时数据、游戏引擎和AI的...

Dialogue between CPC and political parties of neighboring countries held in Beijing

BEIJING,May26(Xinhua)--TheCommunistPartyofChina(CPC)inDialoguewithPoliticalPartiesof...