Ambari 离线安装大数据集群

Ambari 系列搭建集群的教程。 小编带你一步步躺坑，带你完全从小白系列搭建一套属于自己的大数据集群。

如下大纲：

1、环境准备

1.1 安装环境

Centos 最小化安装：各个节点进行：网络配置(Nat 模式且可以共享主机网络)

环境部分，所有节点都要做！！！

-  Master 6G 2C 60G
-  Node1 4G 1C 50G
-  Node2 4G 1C 50G

1.2 修改IP

# 修改命令
vi /etc/sysconfig/network-scripts/ifcfg-ens32 

# 内容如下
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp    --- 动态ip
DEFROUTE=yes
NAME=ens32
DEVICE=ens32
ONBOOT=yes       ---自动获取
IPADDR=192.168.6.5
NETMASK=255.255.255.0

#重启网络
service network restart

1.3 修改主机名

# 命令修改
hostnamectl set-hostname Master.hadoop
hostnamectl set-hostname Node1.hadoop
hostnamectl set-hostname Node2.hadoop

# 修改文件
vi /etc/hosts

192.168.6.5 Master.hadoop 
192.168.6.6 Node1.hadoop 
192.168.6.8 Node2.hadoop

1.4 免密登录

# 生成密钥
ssh-keygen

# 免密配置
ssh-copy-id -i /root/.ssh/id_rsa.pub Master.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node1.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node2.hadoop

1.5 防火墙

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewall

#关闭SELinux

临时关闭，不用重启机器：
setenforce 0
修改配置文件需要重启机器：
vi /etc/sysconfig/selinux
SELINUX=disabled

# 查看SELinux状态
sestatus

1.6 安装Httpd

#安装 Apache HTTP 服务器
#安装HTTP 服务器，允许 http 服务通过防火墙(永久)

[root@Master ~]# yum install httpd
[root@Master ~]# firewall-cmd --add-service=http 
[root@Master ~]# firewall-cmd --permanent --add-service=http

添加 Apache 服务到系统层使其随系统自动启动
[root@Master ~]# systemctl start httpd.service
[root@Master ~]# systemctl enable httpd.service

1.7 开启NTP

# 开启NTP服务
[root@Master ~]#yum install ntp
[root@Master ~]#systemctl is-enabled ntpd
disabled
[root@Master ~]#systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@Master ~]#systemctl start ntpd

1.8 JDK

1.8.1 Master安装

# 解压下载压缩包
tar xf jdk-8u144-linux-x64.tar.gz -C /usr/local/

# 修改环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_144/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 刷新环境
source /etc/profile

# 查看
java -version

1.8.2 Scp脚本

同步到 Node1，Node2, 可以到Node....N

# 编写脚本如下：
vi scp.sh

#!/bin/bash
cat host | while read host
do
{
    scp -r $1 $host:$2
}&wait
done

# 编写host 文件,注意与scp.sh 放到一个路径下
vi host

Node1.hadoop
Node2.hadoop


利用shell拷贝
 sh scp.sh /usr/local/jdk1.8.0_144/ /usr/local/jdk1.8.0_144/
 sh scp.sh /etc/profile /etc/
 
 使环境变量生效（全执行）
 source /etc/profile

1.9 时区同步

修改完之后记得重启。 reboot

# 查看时区
date
ll  /etc/localtime

# 修改
timedatectl set-timezone 'Asia/Shanghai'
timedatectl 

2、Amabri源

2.1 添加Amabri用户

adduser ambari
passwd ambari

2.2 安装本地源制作工具

yum install yum-utils createrepo

2.3 下载Amabri-HDP源

#本部分小编已经传到云盘,如有需要联系小编

# 创建Amabri文件夹
mkdir ambari

# 进入文件夹 
cd ambari

# 将下载的Amabri源放到ambari文件夹中,可以使用FZ 等工具上传较快
# 上传完成之后,解压到web服务路径

 tar xf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari/
 
 tar xf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/
 
tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

# 访问本地源  更改为自己的 ip
http://192.168.6.5/ambari/

2.4 配置yum源

# 进入yum路径
cd  /etc/yum.repos.d/

# 配置Amabri-yum 源
 vi ambari.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# 配置HDP-repo 源
 vi hdp.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# yum更新一下
 yum clean all
 yum list update
 yum makecache
 yum repolist

2.5 安装Mysql

# yum安装
yum install mariadb-server

# 启动
 systemctl start mariadb
 systemctl enable mariadb
 mysql_secure_installation
 
 [root@Master ~]# mysql_secure_installation
#首先是设置密码，会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车
#设置密码
Set root password? [Y/n] <– 是否设置root用户密码，输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码
#其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户，回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库，回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表，回车
#初始化MariaDB完成，接下来测试登录，输入密码能正常登陆就完成了
 
 # 安装完成后创建ambari数据库及用户，登录数据库root用户执行下面语句：
[root@Master ~]# mysql -uroot -p
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
# 如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

# 如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

2.6 安装Mysql驱动

# 也可以自己下载 配置启动的时候带上
yum install mysql-connector-java

2.7 安装Amabri服务

# 安装ambari服务
yum install ambari-server

# 配置ambari服务
 ambari-server setup
 
 # 登录mysql
 mysql -u ambari -p123456
 
 # 进行设置
 use ambari;
 source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

# 启动ambari服务
ambari-server start

2.8 卸载Amabri收费服务

SmartSense 收费服务，移除掉。也可以安装后再移除,这里在安装前移除下。

移除前景

移除方式

# 查包
rpm -qa | greo ambri-agent

#查找 名称
find / -name SMARTSENSE


[root@master yum.repos.d]# find / -name SMARTSENSE
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs

移除完成

3、搭建集群

3.1 启动Amabri

ambari-server start

3.2 登录Amabri

# 可以替换为自己的服务器ip
http://192.168.6.5:8080/#/login

# 账号
admin/admin

3.3 配置集群

3.3.1 开始配置

3.3.2 设置名称

3.3.3 配置本地源

Amabri 地址：

http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/
http://192.168.6.5/ambari/HDP-UTILS/

跟本地源要保持一致：

3.3.4 主机名称

与上边设置保持一致,否则会导致下一步注册失败。

密钥文件填写Master 上的key即可。

# 查看Key 命令，然后全部复制，粘贴即可

cat /root/.ssh/id_rsa

3.3.5 注册认证

3.3.6 选择安装服务

3.3.7 配置安装节点资源

3.3.8 配置数据源连接

Hive-TEZ 最少需要 512MB 否则警告。

安装中.........

3.3.9 安装完成

Hive 服务启动异常,重新启动下即可。

第一次启动如下：

4、初步认识

4.1 HDFS

Master 主节点 查看Hdfs

Node1 从节点，查看HDFS

4.2 Hive

Node1 从节点，切换hive 用户，登录hive数据库。

4.3 Hbase

4.4 Spark

4.5 PySpark

4.6 Amabri_Server