本示例基于“Docker容器（或者虚拟机）+CentOS 8操作系统+Apache Hadoop 3.3.6”进行Hadoop完全分布式集群环境搭建，对于在Docker容器与虚拟机中存在的不同配置之处见文档中说明。

演示示例主机规划如下表：

主机名	节点类型	安装服务
dev-04	Master	NameNode、 ResourceManager、 SecondaryNameNode、 JobHistoryServer
dev-05	Slave	DataNode、 NodeManager
dev-06	Slave	DataNode、 NodeManager

安装前的系统配置

1.1 配置SSH免密登录

在安装Apache Hadoop 3.3.6 之前，我们首先需要配置SSH免密登录。

1.1.1 在Master中配置SSH免密登录

这里选择先对Master dev-04配置SSH免密登录，详细配置步骤如下所示。

1）生成密钥对，执行指令如下所示：

ssh-keygen -t rsa

命令执行期间，所有要求输入项都一直“回车”即可，完成之后如下图所示：

2）拷贝密钥到本机与其他两台机器，拷贝指令如下所示：

ssh-copy-id dev-04 
ssh-copy-id dev-05 
ssh-copy-id dev-06

在拷贝过程中，第一次按照提示输入“yes”，第二次需要输入本机的登陆密码，执行结果如下图所示：

3）通过ssh指令测试是否需要免密登录，ssh指令如下所示：

ssh dev-04 
ssh dev-05 
ssh dev-06

1.1.2 在Slave中配置SSH免密登录

配置好Master dev-04的SSH免密登录之后，Slave dev-05与dev-06按照dev-04的配置方法（即1.1.1的步骤）重复执行配置就可以了。

1.2 设置hostname映射

（本步仅限于虚拟机或者独立服务器需要配置，Docker容器无需配置）

分别在所有虚拟机执行"vim /etc/hosts"，添加hostname映射，示例如下所示：

192.168.88.14 dev-04 
192.168.88.15 dev-05 
192.168.88.16 dev-06

1.3 配置防火墙

（本步仅限于虚拟机或者独立服务器需要配置，Docker容器无需配置）

如果仅在内部开发与测试环境中使用，为了方便建议直接关闭防火墙，如下所示：

#查看防火墙状态
systemctl status firewalld 
#关闭防火墙 
systemctl stop firewalld 
#设置开机禁用防火墙 
systemctl disable firewalld

Hadoop安装与配置

2.1 安装Java Development Kit (JDK)

Hadoop 3.3.6 建议使用 JDK 8 或更高版本，本示例采用的是“jdk-11.0.22_linux-x64_bin.tar.gz”。

确保正确地安装好JDK后，并在“ /etc/profile”文件中配置好PATH参数，配置示例如下所示：

export JAVA_HOME=/usr/local/jdk-11.0.22 
export PATH=${JAVA_HOME}/bin:$PATH

执行“source /etc/profile”使配置生效。

最后，在每台机器上执行“java -version”检查JDK安装是否正确。

2.2 在Master中安装与配置Hadoop

在Master（dev-04）按照如下步骤进行下载、安装与配置。

2.2.1 Hadoop 3.3.6下载

Apache Hadoop 3.3.6可以直接去官方网站进行下载，链接地址为：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/ ，本示例选择的是“hadoop-3.3.6.tar.gz”文件，如下图所示：

2.2.2 Hadoop 3.3.6安装

下载完成之后，执行“tar -zxvf hadoop-3.3.6.tar.gz”指令进行解压安装（本示例直接安装到“/opt”目录下），如下图所示：

解压完成，接下来就需要配置Hadoop PATH环境变量。

即执行“vim /etc/profile”命令，在 “/etc/profile” 文件中加入以下环境变量：

export HADOOP_HOME=/opt/hadoop-3.3.6 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

如下图所示：

添加完Hadoop PATH环境变量后，执行“source /etc/profile”命令使配置生效。

通过“hadoop version”命令查看安装情况，如下图所示：

2.2.3. Hadoop 配置文件

执行“cd /opt/hadoop-3.3.6/etc/hadoop”命令，进入Hadoop配置文件目录，对Hadoop相关的配置文件进行配置项修改。

2.2.3.1 hadoop-env.sh

配置 hadoop-env.sh，为各个角色指定相关的用户。配置示例如下所示：

export JAVA_HOME=/usr/local/jdk-11.0.22
export HADOOP_HOME=/opt/hadoop-3.3.6
export HDFS_SECONDARYNAMENODE_USER="root"
export HDFS_JOURNALNODE_USER="root"
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

2.2.3.2 core-site.xml

core-site.xml 文件用于配置 Hadoop 核心服务的相关属性，其中：

1）fs.defaultFS：定义Hadoop Master的URI和端口；
2）hadoop.tmp.dir：Hadoop 的临时目录，用于存储中间数据和日志文件。

配置示例如下所示：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://dev-04:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop-3.3.6/tmp</value>
    </property>
</configuration>

2.2.3.3 hdfs-site.xml

hdfs-site.xml文件用于配置与HDFS相关属性，其中：

1）dfs.replication: 指定数据块的副本数量，这里设置为 1，表示每个文件块只有一个副本，副本数量的设置对数据的冗余和可靠性有影响；
2）dfs.namenode.name.dir: 指定NameNode存储文件的本地目录，可以配置成多个目录用逗号隔开，且每个目录存放内容相同，通过冗余增加了可靠性；
3）dfs.datanode.data.dir: 指定DataNode存储数据块的本地目录，可以配置成多个目录用逗号隔开，每个目录存储的数据不一样（数据不是副本）；
4）dfs.namenode.secondary.http-address：指定辅助（Secondary）NameNode 的 HTTP 地址；
5）最后还需注意的是：如果Hadoop集群中的Master（dev-04）主机仅用作NameNode，而不是同时兼具DataNode角色，那么就不需要在hdfs-site.xml配置文件中包含dfs.namenode.rpc-address配置项。反之，如果要兼具DataNode角色，那么您就需要添加dfs.namenode.rpc-address配置项以供其他节点与之通信。

配置示例如下所示：

<configuration>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>dev-04:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>dev-04:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop-3.3.6/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop-3.3.6/data/dfs/datanode</value>
    </property>
</configuration>

2.2.3.4 yarn-site.xml文件

yarn-site.xml文件用于配置与YARN资源管理器（ResourceManager）与节点管理器（NodeManager）相关属性，其中：

1）yarn.resourcemanager.hostname：指定资源管理器（ResourceManager）的主机名；
2）yarn.nodemanager.aux-services：指定节点管理器（NodeManager）的辅助服务，这里设置为 mapreduce_shuffle，表示节点管理器将提供 MapReduce Shuffle 服务。

配置示例如下所示：

<configuration> 
    <property>
        <name>yarn.resourcemanager.hostsname</name>
        <value>dev-04</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>dev-04:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://dev-04:19888/jobhistory/logs</value>
    </property>
</configuration>

2.2.3.5 mapred-site.xml

mapred-stie.xml文件用于配置与MapReduce相关属性，其中：

1）mapreduce.framework.name：指定MapReduce 框架的名称，本示例设置值为“yarn”，即指定 MapReduce 程序运行在 Yarn 上, 默认是local 就是本地模式。
2）mapreduce.jobhistory.address：指定作业历史服务器（Job History Server）的地址；
3）mapreduce.jobhistory.webapp.address：指定作业历史服务器的 Web 应用程序地址；
4）yarn.app.mapreduce.am.env：指定 MapReduce 应用程序管理器（ApplicationMaster）的环境变量；
5）mapreduce.map.env 与 mapreduce.reduce.env：用于配置 Map 和 Reduce 任务的环境变量。

配置示例如下所示：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>dev-04:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>dev-04:19888</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.3.6</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.3.6</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/hadoop-3.3.6</value>
    </property>
</configuration>

2.2.3.6 workers

workers文件是用于指定作为DataNode的主机列表的文件，每行包含一个主机名或IP地址，表示要作为DataNode的机器。

其中，在进行分布式配置时，可以保留文件中原来localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。

本示例让Master节点仅作为名称节点使用，因此将dev-04中workers文件中原来的localhost删除，然后添加如下两行内容：

dev-05 
dev-06

2.3 在Slave中安装与配置Hadoop

1）将在Master（dev-04）配置好的hadoop文件分发至Slave（dev-05与dev-06）的“/opt”文件夹下，如下命令所示：

scp -r /opt/hadoop-3.3.6 root@dev-05:/opt/ 
scp -r /opt/hadoop-3.3.6 root@dev-06:/opt/

2）将在Master（dev-04）配置好的“/etc/profile”文件分发至Slave（dev-05与dev-06）的“/etc”文件夹下，如下命令所示：

scp /etc/profile root@dev-05:/etc/ 
scp /etc/profile root@dev-06:/etc/

同时执行“source /etc/profile”使其配置生效。

Hadoop启动与访问

Hadoop 分布式集群的HDFS格式化与启动停止需要在Master（dev-04）中进行操作。

3.1 HDFS格式化

首次启动Hadoop HDFS集群时，必须对主节点进行格式化处理。值得注意的是，格式化意味着集群的数据会被全部删除，因此只有首次启动才执行，之后启动HDFS就别再执行该指令了。当然，如果你考虑再重新格式化HDFS则可以执行该指令，但重新格式化前需考虑原有数据的备份或转移问题。

执行格式化指令如下：

hdfs namenode -format

执行结果如下图所示：

3.2 启动与停止集群

启动Hadoop，你可以通过一次执行start-all.sh进行启动，或者分别启动hdfs和yarn，如下所示：

start-all.sh 

# 启动hdfs 
start-dfs.sh 
# 启动yarn 
start-yarn.sh

停止与启动一样，你可以通过一次执行stop-all.sh进行停止，或者分别停止hdfs和yarn，如下所示：

stop-all.sh 

# 停止hdfs 
stop-dfs.sh 
# 停止yarn 
stop-yarn.sh

完成启动之后，您可以使用"jps"指令来查看相关进程的启动情况。

Master（dev-04）"jps"结果如下图所示：

Slave（dev-05与dev-06）"jps"结果如下图所示：

3.3 启动与停止historyserver

#启动 
mr-jobhistory-daemon.sh start historyserver 

#停止 
mr-jobhistory-daemon.sh stop historyserver

启动historyserver后，"jps"结果如下图所示：

3.3 Web访问

访问NameNode：http://IP:50070

访问YARN：http://IP:8088

访问历史服务：http://IP:19888

#头条创作挑战赛##Hadoop##CentOS##大数据##数据中台#

CentOS 8 搭建Hadoop 3.3.6 完全分布式集群

安装前的系统配置

Hadoop安装与配置

Hadoop启动与访问

相关推荐

idea本地配置连接远程hadoop集群的一些网络问题解决汇总

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

Ceph运维手册(基于P版本)

Docker 命令大全（docker命令大全记录表）

替代Docker build的Buildah简单介绍

Docker Desktop安装使用指南:零基础教程

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

iOS Runtime详解