大家都来看，一线大厂招收大数据工程师，面试都会问到哪些知识点

bigegpt 2025-01-29 14:27 17 浏览

前言

大家都来看看，大数据工程师月薪2-3万，需要什么学历和专业，还需要掌握哪些技能。

看完之后，是不是感觉自己要学习的东西还有很多？要是你，你能拿稳这份工作嘛？
不管能不能，都得抓紧时间来学习提升自己，提高自己的价值，拿到自己满意的offer。

但是，想拿到满意的offer，也需要自己有丰富的面试经验和知识储备。

接下来，我就给大家分享，自己精心整理的一线大厂（BAT）25道大数据面试题和答案，希望大家能够喜欢，还有学习大数据需要学习的技术知识文档。

一、大数据面试题及答案

1、kafka的message包括哪些信息？
2、怎么查看kafka的offset？
3、hadoop的shuffle过程
4、spark集群运算的模式
5、HDFS读写数据的过程
6、RDD中reduceBykey与groupByKey哪个性能好，为什么
7、spark2.0的了解
8、 rdd 怎么分区宽依赖和窄依赖
9、spark streaming 读取kafka数据的两种方式
10、kafka的数据存在内存还是磁盘
11、怎么解决kafka的数据丢失
12、fsimage和edit的区别？
13、列举几个配置文件优化？
14、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？
15、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什么？
16、hadoop的优化？
17、设计题
18、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的query 都可能重复。要求你按照 query 的频度排序。还是典型的 TOP K 算法，
19、在 2.5 亿个整数中找出不重复的整数，注，内存不足以容纳这 2.5 亿个整数。
20、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？
21、怎么在海量数据中找出重复次数最多的一个？
22、上千万或上亿数据（有重复），统计其中出现次数最多的钱 N 个数据。
23、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。
24、100w 个数中找出最大的 100 个数。
25、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。请用 5 分钟时间，找出重复出现最多的前 10 条。

二、学习大数据需要学习的技术文档

大数据全家桶：Hadoop，Spark，Strom，Druid实战，机器学习算法，离线和实时大数据开发实战，大数据算法，机器学习到此就已经整理完毕，希望大家能够喜欢。

大家如果需要这些大数据面试题和大数据技术文档的话，可以转发此文让更多的人受益，关注小编因为以后会持续分享，最后就可以私信小编“技术”来得到获取方式喽！

感谢大家的支持与配合，小编会一直坚持不懈的努力，创作更好的文章。

phpstorm格式化快捷键

上一篇：一文教你弄懂Flink核心功能和原理
下一篇：2w 字带你实战 ElasticSearch（elasticsearchrepository）

大家都来看，一线大厂招收大数据工程师，面试都会问到哪些知识点

前言

但是，想拿到满意的offer，也需要自己有丰富的面试经验和知识储备。

接下来，我就给大家分享，自己精心整理的一线大厂（BAT）25道大数据面试题和答案，希望大家能够喜欢，还有学习大数据需要学习的技术知识文档。

相关推荐

idea本地配置连接远程hadoop集群的一些网络问题解决汇总

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

Ceph运维手册(基于P版本)

Docker 命令大全（docker命令大全记录表）

替代Docker build的Buildah简单介绍

Docker Desktop安装使用指南:零基础教程

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

iOS Runtime详解