如下文章字数大约2500字，阅读时间需要25分钟左右。
hadoop 的相关概念这里不做更多介绍，后面的章节会有相关说明。
hadoop 的核心组件有3个：
A:HDFS(分布式文件系统)
B:YARN(运算资源调度系统)
C:MAPREDUCE(分布式运算编程框架)
本文所讲的hadoop集群主要包括2部分：hdfs集群 以及yarn 集群。而对应的mapreduce是编程时使用到的。
【1】hdfs 集群介绍
hdfs集群中有2种角色：主机叫做name node，从机叫做 data node。
【2】yarns 集群介绍
yarns 集群负责mapreduce程序分配运算硬件资源。
其最好在数据运算一侧，否则需要使用网络传输。所以，yarns就放在hdfs集群中 data node 中。
yarns 的从机角色：node manager
yarns 的主机角色：resource manager
在mapreduce运算的时候，是依靠yarns来运算的，这个主机角色非常重要，需要单独部署一台。而实际上，为了节省机器，一般把 resource manager放到和mapreduce主机角色一台机器上。两者端口不同，所以不会互相影响。
两者对应关系如下图：
上述内容如果只部署hdfs，其实也可以，不过其仅仅具有分布式文件系统存储功能。
而部署了yarns之后，才能跑mapreduce程序。
hadoop安装前期环境准备工作：
【1】jdk 安装。使用java -version 查看是否安装成功。
【2】免密登录。
【3】其他依赖环境安装：maven，ant，findbugs,64位本地库等等一系列依赖库。这里不做详细说明，可百度自己查找，后期还有一个详细介绍。
【4】对hadoop进行安装。
上传hadoop压缩包并解锁：tar -xvf hadoop-2.7.5.tar.gz
【5】配置对应配置文件：
进入hadoop解压目录内：如：/home/hadoop-2.7.5.tar.gz/etc/hadoop
大致内容为：
接下来对配置文件进行配置。
而配置文件的内容可以参考官网中说明：
对应配置文件内容有：hadoop-env.sh、core-site.xml、hafs-site.xml、mapred-site.xml、yarn-site.xml
<5.1> hadoop-env.sh 配置
需要得到jdk的安装目录，可以输入命令： echo $JAVA_HOME
然后将对应jdk路径配置到hadoop-env.sh 中JAVA_HOME属性内即可。
<5.2> core-site.xml 配置
主要配置如下：
fs.defaultFS表示：指定hadoop所使用的文件系统schema，HDFS的老大name node 的地址。
hadoop.tmp.dir表示：指定hadoop运行时产生文件的存储目录。
<5.3> hafs-site.xml 配置
dfs.replication表示：指定HDFS副本数量
需要注意的是：
这个hdfs-site.xml 很多内容都有默认值，是不需要配置的。也可以按需求配置内容。
上述中副本的意义是：客户端把文件交给hdfs之后，如果hdfs只保留一份的话，如果保留文件的机器down掉 了，就拿不到了。为了避免这种情况，可以配置副本。配置2的话，会保留2份，默认是3。
<5.4> mapred-site.xml 配置
这个需要注意的是：
此需要修改名字，默认为：mapred-site.xml.template
重命名：mv mapred-site.xml.template mapred-site.xml
mapreduce 是需要放到一个资源调度平台去跑的。就是放在yarns平台上。
所以这里需要给mapreduce指定运行平台名称：
默认为local，就是本机，就变成了单机版小程序，也能运行，而不是集群环境了
<5.5> yarn-site.xml 配置
yarn.resourcemanager.hostname 表示需要配置yarn的老大节点地址，master的作用是分配资源
yarn.nodemanager.aux-services 表示配置resourcemanager需要给mapreduce提供服务的名称
上述内容配置完成后，将对应内容发送到其他主机。
【6】配置hadoop环境变量
/etc/profile 文件下
添加完执行命令：source /ect/profile
【7】对hdfs做格式化
考虑到hdfs是一个文件系统，所以叫做格式化。
hdfs的格式化不是清空内容，而是生成一个个的数据目录。
进入到bin路径下：
/home/hadoop-2.7.5/bin
执行hdfs格式化命令：
./hadoop namenode -format
执行成功的标识就是在日志中有如下内容：
/home/dataDir/hadoopdata/ 这个是对应配置文件中配置的临时目录路径，其又在下面建立了dfs/name/current内容。
到对应路径下，其已包含了一些内容：
需要注意的是：与name node 节点不同的是，如果启动的data node 节点，对应路径会有不同。
如果data node ，启动之后，则路径为
这个data 文件夹就是存放对应文件的路径。
【8】启动相关内容
<8.1> 启动hdfs
根据hadoop机制。一个datanode启动起来后，整个集群中，如果启动一个namenode后，其会自动加入整个集群中。
<8.1.1> 启动name node
进入sbin目录：
执行命令：
sh hadoop-daemon.sh start namenode
这里需要注意，对应关闭就是：sh hadoop-daemon.sh stop namenode
启动之后可以直接namenode的访问页面：ip:50070
这里之所以可以直接通过web页面访问内容，是应为hadoop中嵌入了对应jetty。
50070就是jetty的端口号。
可以看到现在整个存储空间为0.因为文件系统中对应数据会存储到datanode中，现在整个集群中还没有datanode，所以现在是0；
当前namenode的相关信息为：
<8.1.2>启动其他主机上的datanode：
现启动其他主机上一个data node，命令为：hadoop-daemon.sh start datanode
<8.1.3> 测试hadoop集群中相关内容
基于8.1.2步骤中启动一个data node 后，现在再刷新刚才页面：
现在加入了一个17.17的空间。就是刚才启动的主机的容量
对应live Node (存活节点)也变为了 1。
证明：启动的一个data node后，成功加入了hadoop集群中。
也如上所述，name node 会自动将新建的data node 加入到集群中。
<8.1.4> 启动其他从机节点
在启动其他主机的datanode。命名如上。
现在整个集群中是一台namenode，三台data node。
在刷新name node 的访问页面：
现在总空间变成了 51.51 了。
活跃的节点为：3。
如上图所示：每启动一个data node ，都成功加入到集群中。
对应文件放到这50多G上，其就是放到了3台主机上。
对应集群实现了动态的扩展功能
<8.1.5> 集群自动化启动方法
如上述8.1.4中所述的启动方法，如果集群中有100台，则要启动100次，这样会非常麻烦。
其实hadoop已经给我们做好了自动化启动脚本。
在sbin文件下：
对应：stat-all.sh（启动所有）/stop-all.sh
start-dfs.sh（只启动hdfs）/stop-dfs.sh
start-yarns.sh（只启动yarn.sh）/stop-yarn.sh
不过，有了对应启动脚本，还需要有一个文件告诉脚本对应启动的机器的位置在哪里！！
在hadoop解压目录下的文件中： etc/hadoop/slavs 配置对应内容。
初始化slavs文件中只有一个内容：localhost
现在讲从机的data node 地址配置上去：
配置完成后，使用sh start-dfs.sh 启动
如果没有配置免密登录，则需要输入密码：
可以看到：
其是先启动本地的name node,然后再启动其他机器的data node。
最后，其又启动了一个secondary namenode 地址是 0.0.0.0.这个是脚本自己写的。
然后，可以验证对应主机以及其他主机是否启动完成了：
使用免密登录启动的日志：
可以看到，hdfs和yarns都启动起来了。最后resourcemanager是yarn的配置文件。
关于 secondary namenode 的含义后面文章介绍。
关于secondary namenode 的地址也是可以配置的，
就是在hdfs-site.xml 中配置。属性是dfs.secondary.http.address
综上就是Hadoop 集群安装的整个过程。
下篇预告：继续讲一些hadoop相关的内容
已上内容，纯属一家之言，因本人能力一般，见识有限，如有问题，请不吝指正，感谢。
相关技术内容会持续更新，大家可随时交流，欢迎关注本头条号。
