百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

linux7.9下面Hadoop3.1.3伪分布式安装详细操作

bigegpt 2025-02-27 14:21 7 浏览

我用的是VM虚拟机，操作系统是RedHat7.9的系统进行JDK和Hadoop的安装实施，

本过程只是作测试和学习参考用。

1、添加hadoop新用户

useradd -m hadoop -s /bin/bash # 添加hadoop用户

passwd hadoop # 配置hadoop用户的密码

vi /etc/sudoers #编辑配置文件 在root后一行加入 hadoop ALL=(ALL) ALL ,为hadoop添加管理员权限

2、配置免密登录(root)用户操作

ssh-keygen -t rsa # 会有提示，都按回车就OK

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 加入授权

chmod 0600 ~/.ssh/authorized_keys #添加权限

配置完成后，执行ssh hadoop(主机名）命令可以不用输入密码即可登录为配置成功。

如查发现生成ssh-keygen报错，这是没有安装openssh造成的，用yum安装即可。

[root@hadoop dfs]# rpm -qa |grep openssh
openssh-server-7.4p1-21.el7.x86_64
openssh-clients-7.4p1-21.el7.x86_64
openssh-7.4p1-21.el7.x86_64

3、配置JDK环境

下载JDK的安装包之后，将jdk安装到/usr/local/jdk 这个目录。

tar -zxvf /home/hadoop/download/jdk-8u212-linux-x64.tar.gz -C /usr/local/jdk/

添加环境变量

vi /etc/profile # 打开环境变量配置文件，添加下面的配置

# java环境变量配置

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

# 配置完成后 执行下面命令是配置生效

source /etc/profile

顺便把HADOOP_HOME的环境变量也一起添加了

# hadoop环境变量配置

export HADOOP_HOME=/usr/local/hadoop

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/sbin:$PATH

[root@hadoop download]# cat /etc/profile
unset i
unset -f pathmunge
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

java环境是否配置成功，我们执行java -version 可以看到java相关的信息

[root@hadoop download]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

4、安装配置Hadoop

Hadoop NameNode格式化及运行测试，接下来对hadoop进行一些配置，使其能以伪分布式的方式运行。
进入到hadoop的配置文件所在的目录

cd /usr/local/hadoop/etc/hadoop
  1. 配置hadoop-env.sh

在该文件内配置JAVA_HOME 所示:

vi /usr/local/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh
###
# Generic settings for HADOOP
###

# Technically, the only required environment variable is JAVA_HOME.
# All others are optional.  However, the defaults are probably not
# preferred.  Many sites configure these options outside of Hadoop,
# such as in /etc/profile.d

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_212

# Location of Hadoop.  By default, Hadoop will attempt to determine
# this location based upon its execution path.
 export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3

JAVA_HOME设置为我们自己的jdk安装路径即可

1、配置hdfs-site.xml

hdfs-site.xml的内容改成下面的配置。



    dfs.replication
    1


    dfs.namenode.name.dir
    file:/home/hadoop_data/dfs/name


    dfs.datanode.data.dir
    file:/home/hadoop_data/dfs/data


dfs.replication # 为文件保存副本的数量
dfs.namenode.name.dir # 为hadoop namenode数据目录，改成自己需要的目录（不存在需新建）
dfs.datanode.data.dir # 为hadoop datanode数据目录，改成自己需要的目录（不存在需新建）

1、配置core-site.xml

core-site.xml的内容改成下面的配置。



    hadoop.tmp.dir
    file:/home/hadoop_data


    fs.defaultFS
    hdfs://hadoop:9000


hadoop.tmp.dir # hadoop 缓存目录，更改为自己的目录（不存在需创建）
fs.defaultFS # hadoop fs 监听端口配置
mkdir /home/hadoop_data/dfs/name
mkdir /home/hadoop_data/dfs/data
cd /home/hadoop_data/ 
 chown -R hadoop:hadoop dfs && chmod  -R 777 dfs

如果只需要HDFS，配置就完成，如果需要用到Yarn，还需要做yarn相关的配置。

1、配置mapred-site.xml

mapred-site.xml的内容改成下面的配置。



    mapreduce.framework.name
    yarn

1、配置yarn-site.xml

yarn-site.xml的内容改成下面的配置。




    yarn.nodemanager.aux-services
    mapreduce_shuffle

Hadoop格式化及启动

现在hadoop基础配置已经完成了，需要对Hadoop的namenode进行格式化，然后启动hadoop dfs服务。

1、NameNode格式化
我们跳转到hadoop的bin目录，并执行格式化命令

cd /usr/local/hadoop/bin
./hdfs namenode -format

执行结果如下图所示，当exit status 为0时，则为格式化成功。

此时我们的hadoop已经格式化成功了，接下来我们去启动我们hadoop。

进到hadoop下的sbin目录

cd /usr/local/hadoop/sbin
./start-dfs.sh # 启动HDFS
./start-yarn.sh # 启动YARN

执行./start-dfs.sh 如下图所示：

[hadoop@hadoop ~]$ stop-dfs.sh
Stopping namenodes on [hadoop]
Stopping datanodes
Stopping secondary namenodes [hadoop]
[hadoop@hadoop ~]$ start-dfs.sh
Starting namenodes on [hadoop]
Starting datanodes
Starting secondary namenodes [hadoop]
[hadoop@hadoop ~]$ jps
48336 Jps
48002 DataNode
48210 SecondaryNameNode
46725 NodeManager
46621 ResourceManager
47886 NameNode
[hadoop@hadoop ~]$

还可以看日志看是不启动报错

[hadoop@hadoop logs]$ ls -rlt
total 2528
-rw-rw-r--. 1 hadoop hadoop      0 Mar 17 23:15 SecurityAuth-hadoop.audit
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 09:37 hadoop-hadoop-datanode-hadoop.out.5
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 09:38 hadoop-hadoop-secondarynamenode-hadoop.out.5
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:04 hadoop-hadoop-namenode-hadoop.out.5
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:04 hadoop-hadoop-datanode-hadoop.out.4
-rw-rw-r--. 1 hadoop hadoop   4124 Mar 18 10:05 hadoop-hadoop-secondarynamenode-hadoop.out.4
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:06 hadoop-hadoop-namenode-hadoop.out.4
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:06 hadoop-hadoop-datanode-hadoop.out.3
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:31 hadoop-hadoop-namenode-hadoop.out.3
-rw-rw-r--. 1 hadoop hadoop 121390 Mar 18 10:50 hadoop-hadoop-secondarynamenode-hadoop.out.3
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:51 hadoop-hadoop-namenode-hadoop.out.2
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:52 hadoop-hadoop-datanode-hadoop.out.2
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:52 hadoop-hadoop-secondarynamenode-hadoop.out.2
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:53 hadoop-hadoop-datanode-hadoop.out.1
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 10:54 hadoop-hadoop-secondarynamenode-hadoop.out.1
-rw-rw-r--. 1 hadoop hadoop   6151 Mar 18 10:55 hadoop-hadoop-namenode-hadoop.out.1
-rw-rw-r--. 1 hadoop hadoop   2215 Mar 18 14:42 hadoop-hadoop-resourcemanager-hadoop.out
-rw-rw-r--. 1 hadoop hadoop   2199 Mar 18 14:43 hadoop-hadoop-nodemanager-hadoop.out
-rw-rw-r--. 1 hadoop hadoop  41972 Mar 18 14:52 hadoop-hadoop-resourcemanager-hadoop.log
-rw-rw-r--. 1 hadoop hadoop  37935 Mar 18 15:42 hadoop-hadoop-nodemanager-hadoop.log
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 15:48 hadoop-hadoop-namenode-hadoop.out
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 15:48 hadoop-hadoop-datanode-hadoop.out
-rw-rw-r--. 1 hadoop hadoop    690 Mar 18 15:48 hadoop-hadoop-secondarynamenode-hadoop.out
-rw-rw-r--. 1 hadoop hadoop 970190 Mar 18 15:48 hadoop-hadoop-datanode-hadoop.log
drwxr-xr-x. 2 hadoop hadoop      6 Mar 18 15:48 userlogs
-rw-rw-r--. 1 hadoop hadoop 572169 Mar 18 15:49 hadoop-hadoop-namenode-hadoop.log
-rw-rw-r--. 1 hadoop hadoop 656741 Mar 18 15:49 hadoop-hadoop-secondarynamenode-hadoop.log
[hadoop@hadoop logs]$ pwd
/usr/local/hadoop/hadoop-3.1.3/logs
[hadoop@hadoop logs]$ tail -20f hadoop-hadoop-namenode-hadoop.log
2022-03-18 15:48:39,521 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* registerDatanode: from DatanodeRegistration(192.168.10.248:9866, datanodeUuid=daafd206-fdfe-44cc-a1fc-8ac1279c5cda, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;cid=CID-f921bab0-7c73-44ef-bc61-ea81d176ec82;nsid=311459717;c=1647534325420) storage daafd206-fdfe-44cc-a1fc-8ac1279c5cda
2022-03-18 15:48:39,523 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.10.248:9866
2022-03-18 15:48:39,523 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockReportLeaseManager: Registered DN daafd206-fdfe-44cc-a1fc-8ac1279c5cda (192.168.10.248:9866).
2022-03-18 15:48:39,889 INFO org.apache.hadoop.hdfs.server.blockmanagement.DatanodeDescriptor: Adding new storage ID DS-6dd0b7dc-1fd0-488c-924b-76de306ac2cb for DN 192.168.10.248:9866
2022-03-18 15:48:40,062 INFO BlockStateChange: BLOCK* processReport 0xf15bae747aec7666: Processing first storage report for DS-6dd0b7dc-1fd0-488c-924b-76de306ac2cb from datanode daafd206-fdfe-44cc-a1fc-8ac1279c5cda
2022-03-18 15:48:40,065 INFO BlockStateChange: BLOCK* processReport 0xf15bae747aec7666: from storage DS-6dd0b7dc-1fd0-488c-924b-76de306ac2cb node DatanodeRegistration(192.168.10.248:9866, datanodeUuid=daafd206-fdfe-44cc-a1fc-8ac1279c5cda, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;cid=CID-f921bab0-7c73-44ef-bc61-ea81d176ec82;nsid=311459717;c=1647534325420), blocks: 0, hasStaleStorage: false, processing time: 3 msecs, invalidatedBlocks: 0
2022-03-18 15:49:44,972 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Roll Edit Log from 192.168.10.248
2022-03-18 15:49:44,972 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Rolling edit logs
2022-03-18 15:49:44,973 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Ending log segment 85, 85
2022-03-18 15:49:44,973 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 2 Number of transactions batched in Syncs: 84 Number of syncs: 2 SyncTimes(ms): 130 
2022-03-18 15:49:44,988 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Number of transactions: 2 Total time for transactions(ms): 2 Number of transactions batched in Syncs: 84 Number of syncs: 3 SyncTimes(ms): 144 
2022-03-18 15:49:44,990 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /home/hadoop_data/dfs/name/current/edits_inprogress_0000000000000000085 -> /home/hadoop_data/dfs/name/current/edits_0000000000000000085-0000000000000000086
2022-03-18 15:49:44,992 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: Starting log segment at 87
2022-03-18 15:49:45,514 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Sending fileName: /home/hadoop_data/dfs/name/current/fsimage_0000000000000000083, fileSize: 533. Sent total: 533 bytes. Size of last segment intended to send: -1 bytes.
2022-03-18 15:49:45,641 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Sending fileName: /home/hadoop_data/dfs/name/current/edits_0000000000000000084-0000000000000000084, fileSize: 1048576. Sent total: 1048576 bytes. Size of last segment intended to send: -1 bytes.
2022-03-18 15:49:45,744 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Sending fileName: /home/hadoop_data/dfs/name/current/edits_0000000000000000085-0000000000000000086, fileSize: 42. Sent total: 42 bytes. Size of last segment intended to send: -1 bytes.
2022-03-18 15:49:46,668 INFO org.apache.hadoop.hdfs.server.common.Util: Combined time for file download and fsync to all disks took 0.00s. The file download took 0.00s at 0.00 KB/s. Synchronous (fsync) write to disk of /home/hadoop_data/dfs/name/current/fsimage.ckpt_0000000000000000086 took 0.00s.
2022-03-18 15:49:46,668 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000086 size 533 bytes.
2022-03-18 15:49:46,684 INFO org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager: Going to retain 2 images with txid >= 83
2022-03-18 15:49:46,684 INFO org.apache.hadoop.hdfs.server.namenode.NNStorageRetentionManager: Purging old image FSImageFile(file=/home/hadoop_data/dfs/name/current/fsimage_0000000000000000081, cpktTxId=0000000000000000081)

这就是namenode启动成功，如查格式化两次就会出现datanode启动不成功，这是clusterID两次不致造成的，可以进入

-rw-rw-r--. 1 hadoop hadoop 229 Mar 18 15:48 VERSION
drwx------. 4 hadoop hadoop  54 Mar 18 15:48 BP-301391941-192.168.10.248-1647534325420
[root@hadoop current]# cat VERSION 
#Fri Mar 18 15:48:38 CST 2022
storageID=DS-6dd0b7dc-1fd0-488c-924b-76de306ac2cb
clusterID=CID-f921bab0-7c73-44ef-bc61-ea81d176ec82
cTime=0
datanodeUuid=daafd206-fdfe-44cc-a1fc-8ac1279c5cda
storageType=DATA_NODE
layoutVersion=-57
[root@hadoop current]# pwd
/home/hadoop_data/dfs/data/current
修改clusterID和namenode节点的clusterID一样后，在重启hadoop服务

现在伪分布式hadoop集群已经部署成功了，如果启动hadoop的时候遇到了问题，可以查看对应的log文件查看是由什么问题引起的。
一般的问题如，未设置JAVA_HOME hadoopdata目录不存在，或者无权限等等。

现要在可以进入hadoop组件hdfs的UI界面:

现要在可以进入hadoop组件yarn的UI界面:

可能安装过成会遇到各样的问题，可是查看日志和搜索或是去官网站都可以找到解决的答案，我只是把做的过程记录出来了，以备后需。

相关推荐

Linux 系统启动完整流程

一、启动系统流程简介如上图，简述系统启动的大概流程：1：硬件引导UEFi或BIOS初始化，运行POST开机自检2：grub2引导阶段系统固件会从MBR中读取启动加载器，然后将控制权交给启动加载器GRU...

超专业解析!10分钟带你搞懂Linux中直接I/O原理

我们先看一张图：这张图大体上描述了Linux系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。这篇文章就以这张图为基础，介绍Linux在I/O上做了哪些事情。文件系统什么是...

linux入门系列12--磁盘管理之分区、格式化与挂载

前面系列文章讲解了VI编辑器、常用命令、防火墙及网络服务管理，本篇将讲解磁盘管理相关知识。本文将会介绍大量的Linux命令，其中有一部分在“linux入门系列5--新手必会的linux命令”一文中已经...

Linux环境下如何设置多个交叉编译工具链?

常见的Linux操作系统都可以通过包管理器安装交叉编译工具链，比如Ubuntu环境下使用如下命令安装gcc交叉编译器：sudoapt-getinstallgcc-arm-linux-gnueab...

可算是有文章，把Linux零拷贝技术讲透彻了

阅读本文大概需要6.0分钟。作者：卡巴拉的树链接：https://dwz.cn/BaQWWtmh本文探讨Linux中主要的几种零拷贝技术以及零拷贝技术适用的场景。为了迅速建立起零拷贝的概念...

linux软链接的创建、删除和更新

大家都知道，有的时候，我们为了省下空间，都会使用链接的方式来进行引用操作。同样的，在系统级别也有。在Windows系列中，我们称其为快捷方式，在Linux中我们称其为链接（基本上都差不多了，其中可能...

Linux 中最容易被黑客动手脚的关键目录

在Linux系统中，黑客攻击后常会针对关键目录和文件进行修改以实现持久化、提权或隐藏恶意活动。本文介绍下黑客最常修改的目录及其手法。一、/etc目录关键文件有：/etc/passwd和/et...

linux之间传文件命令之Rsync傻瓜式教程

1.前言linux之间传文件命令用什么命令？本文介绍一种最常用，也是功能强大的文件同步和传输工具Rsync，本文提供详细傻瓜式教程。在本教程中，我们将通过实际使用案例和最常见的rsync选项的详细说...

Linux下删除目录符号链接的方法

技术背景在Linux系统中，符号链接（symlink）是一种特殊的文件，它指向另一个文件或目录。有时候，我们可能需要删除符号链接，但保留其指向的目标目录。然而，在删除符号链接时可能会遇到一些问题，例如...

阿里云国际站注册教程:aa云服务器怎么远程链接?

在全球化的今天，互联网带给我们无以计数的便利，而云服务器则是其中的重要基础设施之一。这篇文章将围绕阿里云国际站注册、aa云服务器如何远程链接，以及服务器安全防护如Ddos防火墙、网站应用防护waf防火...

Linux 5.16 网络子系统大范围升级 多个新适配器驱动加入

Linux在数据中心中占主导地位，因此每个内核升级周期的网络子系统变化仍然相当活跃。Linux5.16也不例外，周一最新与网络相关的更新加入了大量的驱动和新规范的支持。一个较新硬件的驱动是Realt...

搭建局域网文件共享服务(Samba)，手机电脑都能看喜欢的影视剧

作为一名影视爱好者，为了方便地观看自己喜欢的影视作品，在家里搞一个专门用来存放电影的服务器是有必要的。蚁哥选则用一台Ubuntu系统的电脑做为服务器，共享影音文件，其他同一个局域网内的电脑或手机可以...

分享一个实用脚本—centos7系统巡检

概述这周闲得慌，就根据需求写了差不多20个脚本（部分是之前分享过的做了一些改进），今天主要分享一个给平时运维人员用的centos7系统巡检的脚本，或者排查问题检查系统情况也可以用..实用脚本#!/bi...

Linux 中创建符号链接的方法

技术背景在Linux系统里，符号链接（SymbolicLink），也被叫做软链接（SoftLink），是一种特殊的文件，它指向另一个文件或者目录。符号链接为文件和目录的管理带来了极大的便利，比...

一文掌握 Linux 符号链接

符号链接（SymbolicLink），通常被称为“软链接”，是Linux文件系统中一种强大而灵活的工具。它允许用户创建指向文件或目录的“快捷方式”，不仅简化了文件管理，还在系统配置、软件开发和日...

一周热门
最近发表
标签列表