百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

橙心优选-数据仓库高级工程师面试

bigegpt 2024-08-20 11:06 2 浏览

原文地址:www.shulanxt.com/doc/mysqldoc/cxyxt

自我介绍

正常介绍就好。报下大名,经历公司与参与项目,负责事项与业绩产出。

思想和方法论

  • 数据仓库理解:架构、分层
  • 数据仓库理解:主题域、好处
  • 范式建模和维度建模区别,混合使用 场景举例
  • 两种建模的解释和理解 区别
  • 雪花模型 星型模型 解释理解
  • 实体建模和维度建模区别
  • ER模型图理解解释
  • 模型会随着业务进行迭代优化手段
  • 拉链表理解解释 场景举例,全量拉链vs增量拉链
  • 数据质量如何保证的
  • 讲一下数据治理
  • 如何做元数据管理,实践
  • 怎么理解数据中台与OneData思想

Hive

  • hive 行转列,列转行
  • udf函数讲解,然后手撕一下
  • mapreduce和spark分别讲解然后,区别讲解
  • hive 数据倾斜调优
  • hive sql 优化方式
  • map数、reduce数、job数怎么确定
  • cube、grouping sets、grouping__id

手写SQL

  • 根据实际业务场景,写累计SQL逻辑
  • 手写连续登录hql,求连续登录的用户,以及具体哪天登录的日期
  • 行转列 列转行

Spark

  • spark算子部分讲解举例
  • spark调优讲解并举例
  • spark数据倾斜讲解,并举例。
  • spark宽依赖,窄依赖 讲解,并举例。
  • spark 容错机制

实时数仓&Flink

  • 做过实时数仓吗,生产举例。
  • 实时数仓vs数据湖,生产实践
  • flink 应用场景
  • flink 水位线,窗口
  • flink 反压机制原理
  • kafka 实时讲解,如何分区
  • kafka 数据丢失怎么办
  • kylin 使用问题,优化策略
  • hbase 使用情况,rowkey设计

算法

  • 求两个连续数组的中位数
  • 手写单例模式

反问环节

一般就问问项目架构、组织架构和对自己的定位就好。不要问太多,很多时候只是面试官在客套。

总结

问的还是比较全的,从离线数仓到实时数仓,从Hive到Spark到Flink,HQL开窗函数使用问的频率也是非常高。但大部分时间,还是都在问项目更多一些。
也参加了美团优选的面试,基本问题都差不多,尤其是技术问题大同小异。问项目细节还是差异挺大的,模型细节,业务细节,模型与业务的结合,一定要理解业务。

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...