百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

bigegpt 2024-09-12 11:19 238 浏览


前期准备

安装好CentOS Linux 8 并升级完内核和软件包之后再进行Hadoop的安装。

参考文章:

1、知道Linux是怎么安装的吗?安装个CentOS Linux 8开始大数据开发

2、Linux内核怎么升级?升级有什么好处?CentOS8升级内核并开启BBR


手里有一台3年前的服务器Dell R620,上面安装了两路CPU型号是Xeon E5-2603 V2 1.8GHz,内存没有插满只有64GB,8个硬盘位插满共8块SAS硬盘。为了后续的测试方便,8块硬盘没有组RAID,在每块硬盘上放一个VMWare的CentOS Linux 8虚拟机。后续的所有的大数据相关的测试都是在这台服务器上进行。服务器配置不高,但是足够咱们在上面折腾各种服务了。

通过VMware将虚拟机分布在这8块硬盘上,模拟在一个机架上的8台服务器:

编号:/BJ0/LG0/hadoop221-228

其中:221-222:NameNode,223-228:DataNode

集群规划

集群规划如下:(服务器编号为hadoop221-hadoop228)

注:

1、NameNodes和zkfc一一对应;

2、DataNode和NodeManager都是works文件配置;

3、Zookeeper至少3个,必须奇数台;

4、journalnode至少3个,必须奇数;

5、NameNodes一个active另一个Standby;

6、ResourceManager一个active另一个Standby;

7、zkfc :DFSZKFailoverControlle作为一个ZK集群的客户端,用来监控NN的状态信息。

特别提示

我们以下所有操作都可以先在一台服务器上操作,完毕以后再将这个虚拟服务器复制成出来7份,完成最终的部署。

安装时间同步软件chrony

根据上面的集群规划,在221-228这8台服务器上安装chrony。从CentOS7开始已经默认使用chrony作为网络时间同步软件了,ntpd作为过时的产品,我们也就不在研究使用了。

若要安装使用Chrony,参考下面这篇文章:如何保证大数据开发的服务器时间同步?chrony服务安装与配置

配置时我们把服务端server都配置成192.168.1.222,这样后面复制出来的其它服务器就能直接在222服务器上获取时间了。


防火墙和SELINUX设置

因为Hadoop需要开启的端口很多,而且牵涉到很多的权限,所以我们在测试时将防火墙和SELINUX都关掉。

在生产环境中,需要针对不同的开放端口做针对性的设置。

关闭防火墙

运行以下命令,关闭防火墙

systemctl stop firewalld #临时关闭防火墙

systemctl disable firewalld #禁止开机启动防火墙

systemctl status firewalld #查看防火墙状态。

关闭SELINUX

运行以下命令:

vi /etc/selinux/config #SELINUX配置文件

相关参数修改如下:

#SELINUX=enforcing

SELINUX=disabled

重启服务器,然后查看SELINUX状态:

reboot #重启

getenforce #查询SELinux的运行模式,permissive(宽容模式);enforcing(强制模式);

/usr/sbin/sestatus -v #查看SELINUX的状态

显示如下内容,则说明SELINUX已经关闭了

hostname相关设置

运行下面的命令,修改本机的hostname:

hostnamectl set-hostname hadoop221 #修改hostname

运行下面的命令查看设置好的hostname:

cat /etc/hostname

如果显示如下的内容,则说明修改成功

222-228服务器上的hostname修改,等服务器安装完毕以后统一操作。


hosts相关设置

由于后续的管理需要一次次的录入IP地址,不利于管理,我们在hosts里面把服务器的hostname跟IP地址对应起来,输入下面的命令开始操作:

vi /etc/hosts

内容设置成如下所示:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.221 hadoop221

192.168.1.222 hadoop222

192.168.1.223 hadoop223

192.168.1.224 hadoop224

192.168.1.225 hadoop225

192.168.1.226 hadoop226

192.168.1.227 hadoop227

192.168.1.228 hadoop228

192.168.1.229 hadoop229

192.168.1.230 hadoop230

添加Hadoop用户

添加hadoop用户,我们默认登录的是Tristone用户,需要切换到root用户执行以下命令:

#useradd hadoop

录入一遍"jiqun996"回车,再录入一遍"jiqun996"回车后将hadoop用户密码设置为"jiqun996"

#passwd hadoop

大数据开发钱的准备工作就做完了,后面就可以开始安装Zookeeper、Hadoop、HBase、Python和PHP等软件了。

相关推荐

如何使用Java API操作HDFS系统?(hdfs java api的常见环境准备?)

1.搭建项目环境打开Eclipse选择FileàNewàMavenProject创建Maven工程,选择“Createasimpleproject”选项,点击【Next】按钮,会进入“New...

DataX写插件开发-集成阿里云RocketMQ

在上一期我们对datax进行了技术调研DataX数据异构、数据同步神器,这一次我们集成一个RocketMQ写插件,能够非常方便对将mysql数据同步到MQ中,下面来总结下具体步骤。1.下载datax源...

以SpringMVC+Shiro+Mybatis为核心开发的精简后台系统源码分享

项目说明源码获取方式:关注转发之后私信回复【源码】即可免费获取到以SpringMVC+Shiro+Mybatis为核心开发的精简后台基础系统。包含用户管理,角色管理,部门管理,权限管理,菜单管理,日志...

手把手教小伙伴们使用 Nginx 部署 TienChin 项目!

今天我就来手把手教小伙伴们部署TienChin项目,一起把这个项目跑起来,看看到底是个什么样的项目。小伙伴们知道,对于这种前后端分离的项目,我们在实际部署的时候,可以按照前后端分离的方式来部署,也...

推荐一款超棒的SpringCloud 脚手架项目

之前接个私活,在网上找了好久没有找到合适的框架,不是版本低没人维护了,在不就是组件相互依赖较高。所以我自己搭建一个全新spingCloud框架,里面所有组件可插拔的,集成多个组件供大家选择,喜欢哪个用...

SpringCloud 微服务迁移到 Kubernetes 容器化完整流程

k8s容器部署流程具体步骤:第一步:熟悉SpringCloud微服务项目第二步:源代码编译构建第三步:构建项目镜像并推送到镜像仓库第四步:K8s服务编排第五步:部署服务所需的基础环境第六步:部署微服...

SpringBoot 实现动态配置及项目打包部署上线

一、动态配置文件我们需要了解Spring动态指定配置文件的方式,来提高我们的部署效率。1.1、概述在实际企业开发中,开发环境、测试环境、生产环境通常采用不同的数据库等中间件的连接方式。如果此时我们按照...

3.5 源码安装ONOS1.3.0(源码包怎么安装)

ONOS是由ON.Lab使用Java及Apache实现发布的首款开源的SDN网络操作系统,主要面向服务提供商和企业骨干网。近日笔者在学习ONOS的过程中写下了这篇文章,希望可以对刚接触ONOS的同学们...

jenkins+gitlab 实现自动化部署(jenkins配置git自动部署)

目录1、安装jdk,要记住安装路径2、安装maven,要记住安装路径3、安装git,要记住安装路径4、安装gitlab5、安装jenkins(centos7)创建安装目录下载通用war包启动和关闭Je...

CI&CD落地实践6-Jenkins接入maven构建后端springboot项目

前言在前面一篇《CI&CD落地实践5-Jenkins分布式环境搭建及多节点运行》中,我们介绍了如何在Windows及Linux系统上部署Jenkins从节点,本章节介绍如何在Jenkins创建mave...

从0到1体验Jenkins+Docker+Git+Registry实现CI自动化发布

阅读目录:一、前言二、发布流程三、环境准备四、部署思路梳理五、三台机器上操作六、Git机器上操作七、Docker机器上操作八、Jenkins机器上操作九、上传JAVA项目代码到Git仓库十、Jenki...

微服务架构实战:使用Jenkins实现自动化构建

使用Jenkins实现自动化构建一个大型平台的微服务架构设计通常会产生很多项目工程,因此会有很多服务和应用需要部署,并且需要不断地迭代和更新,这是一个庞大的工程,所以我们需要借助自动化工具,实现各个微...

Jenkins 自动化部署实例讲解(jenkins自动化部署git 项目)

前言你平常在做自己的项目时,是否有过部署项目太麻烦的想法?如果你是单体项目,可能没什么感触,但如果你是微服务项目,相信你应该是有过这种感触的。这种情况下,我一般会劝你了解一下Jenkins这个玩意...

多模块的微服务项目容器化与Git追踪发布记录

在使用了微服务后,一个项目往往由多个模块组成,而容器化发布的建议是单个容器尽量只运行单个进程。所以我们会把每个模块单独打包成镜像运行。如果每个模块都单独配置Dockerfile会让我们维护起来很麻烦。...

手把手教你使用 Jenkins+Docker 实现持续集成

作者:乐之终曲来源:https://blog.csdn.net/qq_37143673/对于Jenkins我只能用两个字形容,难用。就不过多吐槽了,本篇是基于docker环境的使用。1.安...