hivecatalog

Spark 2.0技术预览

Spark2.0预览版已出，本文将带你浏览下这个2.0到底有啥流逼的地方。在正式发布之前，你可以1.github下载自己编译https://github.com/apache/spark2.官网最下方有个很小的连接3.https://databricks.com/try-databric...

大数据Hive-一图看懂Hive执行流程

Hive依托与Hadoop大数据平台，其架构随着Hadoop版本的迭代和自身的发展也在经历不断的演变，但在Hadoop步入2.x版本，Hive步入1.x版本后整体架构稳定，后续的迭代版本就没有太多重大的调整，更多的只是功能增强，例如Hive2.x引入的LLAP，Hive3.x在2.x的基础上加...

大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)

一、TableAPI和FlinkSQL是什么TableAPI和SQL集成在同一套API中。这套API的核心概念是Table，用作查询的输入和输出，这套API都是批处理和流处理统一的上层API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型API会...

大数据产品研究 - Presto组成与概念

?前言我在上篇文章中，对Presto是什么、能做什么做了简单的介绍，本篇文章，带大家一起来了解一下Presto的各个组件及其作用。这些组件贯穿于Presto整个使用文档中，所以要很好的理解和使用Presto，首先把他们分别是什么、用来做什么弄清楚，很重要。接下来会对这些组件进行一一介绍，包括什么是协...

Trino 权限控制讲解与实战操作(资源分组)

一、概述Trino支持两种主要类型的权限控制：系统权限控制和文件权限控制。这两种类型的权限控制可以用于管理哪些用户或角色可以执行特定操作和访问特定资源。二、系统访问权限控制1）系统访问权限控制介绍系统访问控制在任何连接器级别授权之前在全局级别强制执行授权。您可以使用Trino中的内置实现之一，或...

Flink1.10和Hive集成一些需要注意的点

前几天，Flink官方release了Flink1.10版本，这个版本有很多改动。比如：Flink1.10同时还标志着对Blink的整合宣告完成，随着对Hive的生产级别集成及对TPC-DS的全面覆盖，Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对...

0251-如何在Hive中生成Parquet表

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。Fayson的github：https://github.com/fayson/cdhproject提示：代码块部分可以左右滑动查看噢1.文档编写目的前面Fayson介绍了《如何在Impala中使用Parquet表》，本篇文章主要介绍如何...

0659-6.2.0-Hive处理JSON格式数据

作者：余枫1.文档编写目的在使用Hive处理数据的过程中会遇到各种各样的数据源，其中较为常见的是JSON格式的数据，Hive无法直接处理JSON格式的数据，需要依赖于JSONSerDe。SerDe即序列化和反序列化，JSONSerDe基本思想是使用json.org的JSON库，使用这个库可以读取一行...

用户冒充机制

How-To:Impersonation|TutorialHDFSfilesystemsupport—Trino452Documentation什么是用户冒充配置hive.metastore.thrift.impersonation.enabled=true是在Trino...

大数据Hadoop之——Apache Hudi 与 Presto/Trino集成

一、概述ApacheHudi是一个快速增长的数据湖存储系统，可帮助组织构建和管理PB级数据湖。Hudi通过引入诸如升序、删除和增量查询之类的原语，将流式处理引入到批处理式大数据中。这些功能有助于在统一服务层上更快、更新鲜的数据。Hudi表可以存储在Hadoop分布式文件系统（HDFS）或云存储上，...