之前我们已经安装伪部署版本。
按照 之前的计划 我们还有两个节点服务器 36，37 服务器
192.168.31.36 ， 192.168.31.37
环境准备
修改三台服务器名称 su vi /etc/sysconfig/network
//192.168.31.30 ,Master//192.168.31.36 ,Slave36//192.168.31.37 ,Slave37
映射IP
su vi /etc/hosts
----------------------------------------
192.168.31.30 Master
192.168.31.31 Job
192.168.31.36 Slave36
192.168.31.37 Slave37
----------------------------------------
复制 hadoop 到客户机上面。
// 192.168.31.36,192.168.31.37cd /public_data/ //这个是我的虚拟机映射的目录，大家根据自己情况下载
cp -Rf ./hadoop/hadoop-2.6.4 /usr/local/hadoop
SSH 登录 实现服务器之间的免登录 （30 免登录到 36 ，37）
方法一：// 192.168.31.30su hadoop
cp ~/.ssh/id_rsa.pub /public_data/hadoop/// 192.168.31.36,192.168.31.37su hadoop
mkdir ~/.ssh/cat /public_data/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh/方法二：//192.168.31.30su hadoop
ssh-copy-id 192.168.31.36
ssh-copy-id 192.168.31.37//注意如果发送密码完成后。依然不能登录。chmod 700 ~/.ssh/chmod 600 ~/.ssh/authorized_keys//权限不对也可能导致无法登录
配置服务器 192.168.31.30
由之前伪分布式 改成 正式 Master 不在负责存储
// 192.168.31.30
编辑 ./etc/hadoop/slaves 文件slaves 文件是向 Master 说明有几个节点服务器
---------------------------------------------------------------
#文本localhost#更变为
192.168.31.36192.168.31.37
---------------------------------------------------------------
然后关闭防火墙 (测试方便，关闭三个服务器防火墙)
service iptables stop
配置节点服务器 192.168.31.36， 192.168.31.37
这两个服务器好配置。只需要将 Master( 192.168.31.30) 上的 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制过去就好了
//core-site.xml
//hdfs-site.xml
// mapred-site.xml
//yarn-site.xml
启动 192.168.31.30 主服务器
/usr/local/hadoop/sbin/start-dfs.sh
我们可以看到两个 36，37服务器 节点服务器已经启动成功了
访问
http://192.168.31.30:50070/dfshealth.html
#启动YARN 8088 端口
/usr/local/hadoop/sbin/start-yarn.sh
#启动 historyserver 服务 19888端口
/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
测试上传
//创建用户名称hdfs dfs -mkdir -p /user/hadoop
//创建用户下的文件夹hdfs dfs -mkdir box
//上传到文件夹中 hdfs dfs -put ./vagrant-centos-6.7.box box
问题记录
１．在启动Master(192.168.31.30)后，查看
Slave36(192.168.31.36)
Slave37(192.168.31.37)
执行 JPS 名称
看下 DataNode 是否已经启动
２。NameNode 格式化前 最好将缓存全部请空掉。不然无法启动。每次格式化都会导致DHFS的磁盘UID变更。所以清空就好了。
