hiveover 第4页

0424-如何清理Sqoop脚本产生的临时编译目录

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的在使用Sqoop命令进行数据抽取时，执行的抽数脚本会在/tm...

Hadoop实战——如何将传统关系数据库的数据导入Hadoop?

大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。Hadoop已经出现在这个领域并扮演了两个角色：数据仓库的替代品；结构化、非结构化数据和数据仓库之间的桥梁。图5.8显示了第一个角色...

一篇图文掌握把Hive表切换到Iceberg表

一数据仓库架构升级的背景1.1基于Hive的离线数据仓库缺点1.1.1不支持ACID不支持数据的Upsert场景，也不支持Row-leveldelete，数据的修正成本很高。同时也不能做增量数据读取，无法实现存储层面的流批统一。1.1.2时效性能以提升数据难以做到准实时可见，写入Hive数...

多种数据同步方案在七猫的实践

背景伴随着七猫的发展，大数据团队针对不同业务场景和不同数据功能，调研和运用多种技术栈和数据库来来解决了各类数据存放和使用的问题。本文将七猫大数据团队在实践过程中的一些开发技巧和代码示例进行整理，一是用于技术的沉淀记录，二是希望通过该文章能帮助大家对各种数据库同步场景所有启发。数据同步概览篇章1.离线...

0342-Sqoop抽数到Hive表异常分析

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.问题描述使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行...

0348-Sqoop抽数到Hive表异常分析(之二)

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.测试环境说明CDH集群启用了HDFS的HACM和CDH版本为5.14.2...

如何将传统关系数据库的数据导入Hadoop?

大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。Hadoop已经出现在这个领域并扮演了两个角色：数据仓库的替代品；结构化、非结构化数据和数据仓库之间的桥梁。图5.8显示了第一个角色...

大数据之Sqoop使用总结

sqoop简介Sqoop是Hadoop生态系统”中的其中一员——ApacheSqoop。ApacheSqoop(TM)isatooldesignedforefficientlytransferringbulkdatabetweenApacheHadoopandstructur...

Hive insert into语句用法

在Hive0.8开始支持Insertinto语句，它的作用是在一个表格里面追加数据。标准语法语法如下：用法一：INSERTOVERWRITETABLEtablename1[PARTITION\(partcol1=val1,partcol2=val2...)[IFNOTEXIST...

2. HIVE 基本操作

2.1createtable2.1.1总述lCREATETABLE创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用IFNOTEXIST选项来忽略这个异常。lEXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCAT...