由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。
一、三个节点的集群规划：
二、安装java1.8
请官网下载jdk1.8安装包,参考链接：
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
tar -zxvf jdk-8u191-linux-x64.tar.gz
mv jdk1.8.0_191 jdk1.8
配置/etc/profile，追加如下内容：
export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
配置生效
source /etc/profile
三、配置hosts文件
三台机器分别执行下列命令
vim /etc/hosts
#添加如下内容
10.10.26.21 node21
10.10.26.245 node245
10.10.26.255 node255
四、设置3台机器之间无密码访问
三台机器分别执行下列命令
#生成公钥
#一直回车，设置为默认值即可
ssh-keygen -t rsa
生成公钥后，分发到3台机器上
ssh-copy-id node21
ssh-copy-id node245
ssh-copy-id node255
五、下载Hadoop安装包并进行配置
1、下载包地址：
mkdir -p /opt/hadoop
cd /opt/hadoop/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zxvf hadoop-3.2.1.tar.gz
2、修改Hadoop环境变量
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh
##追加内容
export JAVA_HOME=/opt/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/var/hadoopdata/pids
export HADOOP_LOG_DIR=/var/hadoopdata/logs
3、修改core-site.xml
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml
fs.defaultFS
hdfs://node21:8020
hadoop.tmp.dir
/var/hadoopdata/tmp
3、修改HDFS的配置文件
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml
dfs.namenode.secondary.http-address
node255:50090
dfs.replication
2
dfs.namenode.name.dir
file:/var/data/hadoop/hdfs/name
dfs.datanode.data.dir
file:/var/data/hadoop/hdfs/data
dfs.namenode.http-address
node21:8084
注意这里的8084 即是HDFS web 页面的监听端口
4、配置worker文件
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/workers
##追加内容
node21
node245
node255
5、配置yarn-site.xml
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.localizer.address
0.0.0.0:8140
yarn.resourcemanager.hostname
node21
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
604800
yarn.log.server.url
http://node255:19888/jobhistory/logs
yarn.resourcemanager.webapp.address
node21:3206
注意这里3296就是hadoop yarn的web访问端口。
6、配置mapred-site.xml文件
vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml
mapreduce.framework.name
yarn
yarn.app.mapreduce.am.env
HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
mapreduce.map.env
HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
mapreduce.reduce.env
HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
mapreduce.jobhistory.address
node255:10020
mapreduce.jobhistory.webapp.address
node255:19888
7、把以上配置完的Hadoop文件夹copy到另两个节点 在node21上执行：
scp -r hadoop-3.2.1 root@node245:/opt/
scp -r hadoop-3.2.1 root@node255:/opt/
9、格式化HDFS的namenode节点 因为node21节点是namenode服务所在服务器，所以在node21上执行：
[root@node21 hadoop]# hdfs namenode -format
六、启动Hadoop集群
在三台机器上分别执行
vim /etc/profile
添加以下内容
#Hadoop config
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
启动命令
[root@node21 hadoop]# start-all.sh
七、查看节点进程情况，验证是否启动成功
3个节点进程如下： node21节点包括yarn的NodeManager和ResourceManager两个进程，hdfs的NameNode和DataNode两个进程。
[root@node21 logs]# jps -l
18470 org.apache.hadoop.hdfs.server.datanode.DataNode
19144 org.apache.hadoop.yarn.server.nodemanager.NodeManager
18940 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
18269 org.apache.hadoop.hdfs.server.namenode.NameNode
19629 sun.tools.jps.Jps
node245节点包括yarn的NodeManager进程，hdfs的DataNode进程。
[root@node245 opt]# jps -l
10689 org.apache.hadoop.hdfs.server.datanode.DataNode
10947 sun.tools.jps.Jps
10810 org.apache.hadoop.yarn.server.nodemanager.NodeManager
node255节点包括yarn的NodeManager进程，hdfs的DataNode和SecondaryNameNode两个进程。
[root@node255 hadoop-3.2.1]# jps -l
20151 sun.tools.jps.Jps
19768 org.apache.hadoop.hdfs.server.datanode.DataNode
19976 org.apache.hadoop.yarn.server.nodemanager.NodeManager
19886 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
[root@node255 hadoop-3.2.1]#
说明Hadoop已经正常启动了。
访问位置：
1、HDFS访问位置：http://10.10.26.21:8084/
可查看数据节点的信息：我的3个节点的硬盘每个都是160G。
HDFS空间：473G
2、Yarn页面访问位置：
http://10.10.26.21:3206/cluster
以上完成了Hadoop安装，主要是HDFS和YARN相关的多个服务进程。
下一篇将继续基于Hadoop集群，来继续完成Hbase集群的搭建工作。
