目前，与大数据相关的工作机会变得越来越多了。每五个大公司中就有一个正在迁移到大数据分析领域。因此，当下正是学习大数据进军新领域的绝佳时机。今天为大家带来50道（下篇）在面试中最经典、最常被问到的真题，分享给大家，希望能提升你们的技术水平，提高面试通过率。
26.增强大数据性能的基本Hadoop工具是什么？
答：增强大数据性能的一些重要Hadoop工具包括：
Hive，HDFS，HBase，Avro，SQL，NoSQL，Oozie，Clouds，Flume，SolrSee / Lucene和ZooKeeper。
27.你对SequenceFile了解多少？
答：SequenceFile被定义为包含二进制键或值对的平面文件。它主要用于MapReduce的输入/输出格式。映射输出在内部存储为SequenceFile。
SequenceFile的不同格式是：
记录压缩的键/值记录：以这种格式压缩值。
块压缩键/值记录：以这种格式，值和键都分别存储在块中，然后进行压缩。
未压缩的键/值记录：以这种格式，值和键都不会被压缩。
28.请解释一下作业跟踪器的功能。
答：在Hadoop中，作业跟踪器执行各种功能，这些功能如下：
- 它管理资源，跟踪资源的可用性并管理任务的生命周期。
- 它负责通过与NameNode进行通信来标识数据的位置。
- 它通过找到最佳的任务跟踪器节点在给定的节点上执行任务。
- 作业跟踪程序设法分别监视所有任务跟踪程序，然后将整个作业提交给客户端。
- 它负责跟踪从本地节点到从节点的MapReduce工作负载执行情况。
Hadoop HDFS面试问题
Hadoop分布式文件系统（HDFS）是Hadoop使用的主要存储系统。对于Hadoop专业人员，需要具备相关知识。
29. HDFS与NAS有何不同？
答：以下几点使HDFS与NAS有所不同：
- Hadoop分布式文件系统（HDFS）是使用商品硬件存储数据的分布式文件系统，而网络附加存储（NAS）只是用于连接到计算机网络的数据存储的文件级服务器。
- HDFS以分布方式将数据块存储在群集中存在的所有计算机上，而NAS将数据存储在专用硬件上。
- HDFS使用商用硬件存储数据，从而使其具有成本效益，而NAS将数据存储在成本高昂的高端设备上。
- HDFS使用MapReduce范例，而NAS不使用MapReduce，因为数据和计算是分开存储的。
30. HDFS是否容错？如果是，怎么办？
答：是的，HDFS是高度容错的。每当将某些数据存储在HDFS上时，NameNode就会将该数据复制（复制）到多个DataNode。默认复制因子的值为3，可以根据需要进行更改。
万一DataNode发生故障，NameNode将从副本中获取数据并将其复制到另一个节点，从而使数据自动可用。这样，HDFS具有容错功能，被称为容错。
31.请区分HDFS块和输入拆分。
答：HDFS块和输入拆分之间的主要区别在于，HDFS块是数据的物理划分，而输入拆分被视为数据的逻辑划分。
为了进行处理，HDFS首先将数据划分为块，然后将所有块存储在一起，而MapReduce首先将数据划分为输入拆分，然后将此输入拆分分配给mapper函数。
32.当两个客户端尝试访问HDFS中的同一文件时会发生什么？
答：请注意，HDFS仅支持独占写入（一次处理一个文件的写入请求）。
当第一个客户端联系NameNode打开文件进行写入时，NameNode向客户端提供租约以创建此文件。当第二个客户端发送打开该相同文件的写入请求时，NameNode发现该文件的租约已被提供给另一个客户端，因此拒绝了第二个客户端的请求。
33. HDFS中的块是什么？
答：硬盘上可用于存储数据的最小站点（例如，最小）称为块。HDFS中的数据存储为块，然后分布在Hadoop集群上。整个文件首先被分成小块，然后存储为单独的单元。
Hadoop开发人员面试问题
Hadoop开发人员在大数据域中工作时负责Hadoop应用程序的开发。Hadoop大数据面试问题仅基于对Hadoop生态系统及其组件的理解。
34.什么是Apache Yarn？
答：YARN代表“另一个资源谈判者”。它是Hadoop群集资源管理系统。它是在Hadoop 2中引入的，以帮助MapReduce，它是Hadoop中的下一代计算和资源管理框架。它允许Hadoop支持更多不同的处理方法和更广泛的应用程序。
35.什么是节点管理器？
答：节点管理器与Tasktracker等效。它从ResourceManager接收指令，并管理单个节点上的可用资源。它负责容器，还监视并将其资源使用情况报告给ResourceManager。在从属节点上运行的每个单个容器进程最初都由与该从属节点相对应的Node Manager守护程序进行配置，监视和跟踪。
36. Hadoop中的RecordReader用作什么？
在Hadoop中，RecordReader用于将拆分的数据读取到单个记录中。当Hadoop将数据分为多个块时，合并数据非常重要。例如，如果输入数据：
Row1: Welcome to
Row 2: the Hadoop world
使用RecordReader，它将被读为“Welcome to the Hadoop world”。
37.在不影响减速器输出的情况下压缩映射器输出的过程是什么？
为了压缩映射器输出而不影响reducer输出，请设置以下内容：
Conf.set（“ mapreduce.map.output.compress”，true）
Conf.set（“ mapreduce.output.fileoutputformat.compress”，false）
38.解释减速器的不同方法。
Reducer的不同方法如下：
- Setup（）：用于配置不同的参数，例如输入数据大小。
语法：public void setup (context)
- Cleanup（）：用于在任务结束时清除所有临时文件。
语法：public void cleanup (context)
- Reduce（）：此方法称为reducer的心脏。每个键通常与关联的reduce任务一起使用一次。
语法：public void reduce (Key, Value, context)
39.如何在HDFS中配置复制因子？
对于HDFS的配置，使用hdfs-site.xml文件。为了更改HDFS中存储的所有文件的复制因子的默认值，在hdfs-site.xml中更改了以下属性：
dfs.replication
40.“ jps”命令的用途是什么？
“ jps”命令用于检查Hadoop守护程序是否处于运行状态。该命令将列出计算机上运行的所有Hadoop守护程序，即namenode，nodemanager，resourcemanager，datanode等。
41.在Hadoop中重新启动“ NameNode”或所有其他守护程序的过程是什么？
有多种方法可以重新启动NameNode和Hadoop中的所有其他守护程序–
重新启动NameNode的方法：首先，使用命令/sbin/hadoop-daemon.sh stop namenode停止NameNode，然后使用命令/sbin/hadoop-daemon.sh start namenode重新启动NameNode。
重新启动所有守护程序的方法：使用命令/sbin/stop-all.sh一次停止所有守护程序，然后使用命令/sbin/start-all.sh同时启动所有已停止的守护程序。
42.将数据从Hive传输到HDFS的查询是什么？
将数据从Hive传输到HDFS的查询为：
hive> insert overwrite directory ‘/ ‘ select * from emp;
该查询的输出将存储在零件文件中指定HDFS路径的位置。
43.用于复制操作的常见Hadoop Shell命令是什么？
用于复制操作的常见Hadoop Shell命令为：
fs –copyToLocal
fs –put
fs –copyFromLocal
基于场景的Hadoop面试问题
通常，你会被问到一些棘手的大数据采访问题，这些问题涉及特定场景以及如何处理它们。提出此类Hadoop面试问题的原因是检查你的Hadoop技能。
44.你的目录XYZ具有以下文件– Hadoop123Training.txt，_Spark123Training.txt，＃DataScience123Training.txt，.Salesforce123Training.txt。如果将XYZ目录传递到Hadoop MapReduce作业，则可能要处理多少个文件？
答案：Hadoop123Training.txt和＃DataScience123Training.txt是MapReduce作业将处理的唯一文件。发生这种情况是因为我们需要确认所有文件都没有隐藏的文件前缀，例如“ _”或“。”。在使用FileInputFormat在Hadoop中处理文件时。默认情况下，MapReduce FileInputFormat将使用HiddenFileFilter类忽略所有此类文件。但是，我们可以创建自定义过滤器来消除此类条件。
45. 我们有一个Hive分区表，其中country是分区列。我们有10个分区，仅一个国家/地区提供数据。如果我们要复制其他9个分区的数据，是通过命令还是手动反映出来？
答：在上述情况下，只有通过命令放置数据时，该数据才可用于所有其他分区，而不是手动复制。
46. -put，-copyToLocal和-copyFromLocal命令之间有什么区别？
这三个命令可以根据它们的用途进行区分：
-put：此命令用于将文件从源复制到目标。
-copyToLocal：此命令用于将文件从Hadoop系统复制到本地文件系统。
-copyFromLocal：此命令用于将文件从本地文件系统复制到Hadoop系统。
47.左半联接和内联接有什么区别？
左半连接将仅从左侧表返回元组，而内部连接将根据给定条件从两个表（即左侧和右侧表）返回公共元组。
48. Hadoop 1和Hadoop 2中默认块大小的值是什么？是否可以更改块大小？
答：Hadoop 1中块大小的默认值为64 MB。
Hadoop 2中块大小的默认值为128 MB。
是的，可以从默认值更改块大小。以下参数用于hdfs-site.xml文件中，以更改和设置Hadoop中的块大小：
dfs.block.size
49.如何使用jps命令检查NameNode是否正常工作？
答： 以下状态可用于检查NameNode是否正在使用jps命令工作
/etc/init.d/hadoop-0.20-namenode
50.在重新启动之前，MapReduce作业在最近重新启动的群集上失败，而这些作业运行良好。失败的原因可能是什么？
根据数据大小，数据复制将需要一些时间。Hadoop集群需要复制/复制所有数据。因此，作业失败的明显原因是大数据量，因此复制过程被延迟了。可能要花几分钟甚至几小时才能使工作正常进行。
总结
以上就是今天的内容了，如果对你有帮助，希望你能够关注、点赞、转发一键三连支持一下。
需要完整学习线路和配套课堂笔记，请回复111。
