hiveview 第2页

大数据分析工程师面试集锦4-Hive

数据与智能本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理，持续输出大数据、数据分析、推荐系统、机器学习、人工智能等方向的原创文章，每周至少输出10篇精品原创。同时，我们会关注和分享大数据与人工智能行业动态。欢迎关注。作者：斌迪导语本篇文章为大家带来Hive面试指...

Hive解析Json数组超全讲解

前言在Hive中，经常会遇到很少数据是JSON格式的，比如：APP页面埋点数据、用户登录日志、点击日志等信息，都会将多个字段存放在一个json数组中，因此，对数据分析时就要用到json相关函数来处理，下面我就介绍一下Hive中的几个json函数的用法。Hive自带的json解析函数1.get_js...

创建mysql表、hive表:搭建数据分析体系第32篇

创建mysql表，hive表创建mysql表：createtablepeople(idINT,nameVARCHAR(100),ageINT,salaryintCOMMIT'薪资',analysis_onedouble,analysis_twodouble,row_guidVA...

快速了解hive

数据与智能本公众号关注大数据与人工智能技术。由一批具备多年实战经验的技术极客参与运营管理，持续输出大数据、数据分析、推荐系统、机器学习、人工智能等方向的原创文章，每周至少输出5篇精品原创。同时，我们会关注和分享大数据与人工智能行业动态。欢迎持续关注。作者：HappyMint本文主要针对从事大数...

作业帮基于 Delta Lake 的湖仓一体实践

文/刘晋，王滨业务背景作业帮是一家以科技为载体的在线教育公司。目前旗下拥有工具类产品作业帮、作业帮口算，K12直播课产品作业帮直播课，素质教育产品小鹿编程、小鹿写字、小鹿美术等，以及喵喵机等智能学习硬件。作业帮教研中台、教学中台、辅导运营中台、大数据中台等数个业务系统，持续赋能更多素质教育产品，不...

大数据开发工程师-面试题-Hive(Hive自定义函数UDF&UDAF&UDTF)

自定义函数UDF&UDAF&UDTF①UDF（User-Defined-Function）一进一出自定义UDF:继承GenericUDF，重写evaluate()方法②UDAF（User-DefinedAggregationFunction）聚集函数，多进一出类似于：count/max/m...

HIVE SQL基础语法

引言与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业上。1.HIVE的特点可伸缩（在Hadoop集群上动态的添加设备），可扩展，容错，输入...

Hive中where 语句的“不等于”的陷阱

hive中‘不等于’不管是用！或者<>符号实现，都会将空值即null过滤掉，此时要用where（white_level<>'3'orwhite_levelisnull）或者where(white_level!='3'orwhite_levelisn...

如何优雅的编写Hive的自定义UDF解析json数组?

前文我们讲了怎么用Hive的内置函数解析json字符串，不了解的小伙伴可以先看下前文。如何优雅的用Hive处理json格式字符串？文章最后我们遇到了一个问题，Hive的内置函数无法解析json数组字符串，今天我们就来看下，如何通过自定义UDF函数解析json数组。通过本文你将会学习到：如何用Java...

走近大数据之Hive入门(六、Hive的数据模型)

一、Hive的数据存储基于HDFS(Hadoop的数据仓库)没有专门的数据存储格式(默认的情况下采用'\t'(制表符)作为列与列之间的分隔符)存储结构主要包括：数据库，文件，表，视图可以直接加载文本文件（.TXT文件等）创建表时，指定Hive数据的列分割符与行分隔符表table内部表Partito...