百度360必应搜狗淘宝本站头条
mqtt服务器xftp6mybatiscollectionkeyerrorc#var
当前位置：网站首页 > 热门文章 > 正文

hadoop2.7.2 完全集群部署

bigegpt 2024-09-12 11:18 60 浏览

hdfs 参数配置

dfs.nameservices： 指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致
dfs.ha.namenodes.ns1：ns1下面有两个NameNode，分别是nn1，nn2
dfs.namenode.rpc-address.ns1.nn1： nn1的RPC通信地址
dfs.namenode.http-address.ns1.nn1： nn1的http通信地址
dfs.namenode.shared.edits.dir：指定NameNode的元数据在JournalNode上的存放位置
dfs.journalnode.edits.dir : 指定JournalNode在本地磁盘存放数据的位置
dfs.ha.automatic-failover.enabled: true是开启NameNode失败自动切换
dfs.client.failover.proxy.provider.ns1：配置失败自动切换实现方式
dfs.ha.fencing.ssh.private-key-files：使用sshfence隔离机制时需要ssh免登陆
fs.defaultFS：指定hdfs的nameservice为ns1
hadoop.tmp.dir：指定hadoop临时目录
ha.zookeeper.quorum：指定zookeeper地址


环境:

系统：centos 6.6 x86_64

机器：

192.168.0.93 lsvr93

192.168.0.94 lsvr94

192.168.0.103 lsvr103

操作账号：root


1.下载地址：

http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

2.安装JDK环境

a.安装jdk

rpm -ivh jdk-8u71-linux-x64.rpm

b.配置环境变量

vi /etc/profile （当前登录用户,可选 /etc/profile 对所有用户生效)

#set java environment

JAVA_HOME=/usr/java/jdk1.8.0_71

JRE_HOME=/usr/java/jdk1.8.0_71/jre

JAVA_BIN=/usr/java/jdk1.8.0_71/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_BIN:$PATH

export PATH JAVA_HOME CLASSPATH

c.检测Java环境

java -version

java version "jdk1.8.0_71"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)


3.ssh 无密码登陆

a.生成SSH KEY

在93节点上执行:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

scp authorized_keys root@192.168.0.94:/root/.ssh

scp authorized_keys root@192.168.0.103:/root/.ssh


b.测试登陆

ssh lsvr93

ssh lsvr94

ssh lsvr103

4.安装 hadoop 2.7.2

三个节点上都需要执行相同操作（93,94,103）

a.解压文件

cd /usr/local/src

tar zxvf hadoop-2.7.2.tar.gz

mv hadoop-2.7.2 /opt


b.创建目录

mkdir -p /opt/hadoop/tmp

mkdir -p /opt/hadoop/hdfs/datanode

mkdir -p /opt/hadoop/hdfs/namenode

mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/datanode /opt/hadoop/hdfs/namenode

c.设置环境变量

vi /etc/profile

#hadoop

export HADOOP_HOME=/opt/hadoop-2.7.2

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$HADOOP_HOME/bin:$PATH


d.设置/etc/hosts文件

192.168.0.93 lsvr93

192.168.0.94 lsvr94

192.168.0.103 lsvr103

d.修改hadoop-env.sh配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_55

e.修改 yarn-env.sh 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_55


f.修改 core-site.xml 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://lsvr93:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
</configuration>

fs.defaultFS: namenode 节点的配置，ip 端口

io.file.buffer.size：hadoop 文件读写缓存大小

hadoop.tmp.dir：临时文件目录


g.修改 hdfs-site.xml 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hdfs/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>lsvr93:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

dfs.namenode.name.dir: namenode 本地存储和处理日志的目录

dfs.datanode.data.dir： datanode 本地存储块目录

dfs.replication：默认复制副本数量

dfs.namenode.secondary.http-address：第二namenode节点的IP地址，端口

dfs.webhdfs.enabled：Enable WebHDFS (REST API) in Namenodes and Datanodes.

h.修改 mapred-site.xml 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

mapreduce.framework.name: hadoop yarn 框架

i.修改 yarn-site.xml 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>lsvr93:8032</value>
    </property>
  <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>lsvr93:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>lsvr93:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>lsvr93:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>lsvr93:8088</value> 
    </property>
</configuration>

yarn.nodemanager.aux-services：mapreduce 处理方式

yarn.nodemanager.auxservices.mapreduce.shuffle.class：

yarn.resourcemanager.address：resourcemanager IP地址 端口，提供给clients 提交作业

yarn.resourcemanager.scheduler.address：ApplicationMasters 获取资源访问接口

yarn.resourcemanager.resource-tracker.address：NodeManager 节点IP地址，端口

yarn.resourcemanager.admin.address： 管理命令IP地址，端口

yarn.resourcemanager.webapp.address：web ui 访问ip地址，端口


j.修改 slaves 配置文件

vi /opt/hadoop-2.7.2/etc/hadoop/slaves

lsvr94

lsvr103

k.修改 masters 配置文件

lsvr93

l. 格式化namenode 文件

bin/hadoop namenode -format

以上需在各节点上执行相同操作！！！


m. 启动hadoop 程序

在93节点上执行：

sbin/start-dfs.sh

sbin/start-yarn.sh

n.机器验证：

在93节点上的进程：（主节点）

在94节点上：

在103节点上：

o.查询集群 HDFS 信息

http://192.168.0.93:50070


p.查询集群 yarn 信息

http://192.168.0.93:8088

r.关闭集群

sbin/stop-all.sh

s.运行测试程序

cd /opt/hadoop-2.7.2

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 20 10

计算PI 精度

相关推荐

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

一、摘要在前端可观测分析场景中，需要实时观测并处理多地、多环境的运行情况，以保障Web应用和移动端的可用性与性能。传统方案往往依赖代理Agent→消息队列→流计算引擎→OLAP存储...

warm-flow新春版:网关直连和流程图重构

本期主要解决了网关直连和流程图重构，可以自此之后可支持各种复杂的网关混合、多网关直连使用。-新增Ruoyi-Vue-Plus优秀开源集成案例更新日志[feat]导入、导出和保存等新增json格式支持...

扣子空间体验报告

在数字化时代，智能工具的应用正不断拓展到我们工作和生活的各个角落。从任务规划到项目执行，再到任务管理，作者深入探讨了这款工具在不同场景下的表现和潜力。通过具体的应用实例，文章展示了扣子空间如何帮助用户...

spider-flow:开源的可视化方式定义爬虫方案

spider-flow简介spider-flow是一个爬虫平台，以可视化推拽方式定义爬取流程，无需代码即可实现一个爬虫服务。spider-flow特性支持css选择器、正则提取支持JSON/XML格式...

solon-flow 你好世界!

solon-flow是一个基础级的流处理引擎（可用于业务规则、决策处理、计算编排、流程审批等......）。提供有“开放式”驱动定制支持，像jdbc有mysql或pgsql等驱动，可...

新一代开源爬虫平台:SpiderFlow

SpiderFlow：新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。-精选真开源，释放新价值。概览Spider-Flow是一个开源的、面向所有用户的Web端爬虫构建平台，它使用Ja...

通过 SQL 训练机器学习模型的引擎

关注薪资待遇的同学应该知道，机器学习相关的岗位工资普遍偏高啊。同时随着各种通用机器学习框架的出现，机器学习的门槛也在逐渐降低，训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工...

鼠须管输入法rime for Mac

鼠须管输入法forMac是一款十分新颖的跨平台输入法软件，全名是中州韵输入法引擎，鼠须管输入法mac版不仅仅是一个输入法，而是一个输入法算法框架。Rime的基础架构十分精良，一套算法支持了拼音、...

Go语言 1.20 版本正式发布:新版详细介绍

Go1.20简介最新的Go版本1.20在Go1.19发布六个月后发布。它的大部分更改都在工具链、运行时和库的实现中。一如既往，该版本保持了Go1的兼容性承诺。我们期望几乎所...

iOS 10平台SpriteKit新特性之Tile Maps(上)

简介苹果公司在WWDC2016大会上向人们展示了一大批新的好东西。其中之一就是SpriteKitTileEditor。这款工具易于上手，而且看起来速度特别快。在本教程中，你将了解关于TileE...

程序员简历例句—范例Java、Python、C++模板

个人简介通用简介：有良好的代码风格，通过添加注释提高代码可读性，注重代码质量，研读过XXX，XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力，参与多个高...

Telerik UI for iOS Q3 2015正式发布

近日，TelerikUIforiOS正式发布了Q32015。新版本新增对XCode7、Swift2.0和iOS9的支持，同时还新增了对数轴、不连续的日期时间轴等；改进TKDataPoin...

ios使用ijkplayer+nginx进行视频直播

上两节，我们讲到使用nginx和ngixn的rtmp模块搭建直播的服务器，接着我们讲解了在Android使用ijkplayer来作为我们的视频直播播放器，整个过程中，需要注意的就是ijlplayer编...

IOS技术分享|iOS快速生成开发文档(一)

前言对于开发人员而言，文档的作用不言而喻。文档不仅可以提高软件开发效率，还能便于以后的软件开发、使用和维护。本文主要讲述Objective-C快速生成开发文档工具appledoc。简介apple...

macOS下配置VS Code C++开发环境

本文介绍在苹果macOS操作系统下，配置VisualStudioCode的C/C++开发环境的过程，本环境使用Clang/LLVM编译器和调试器。一、前置条件本文默认前置条件是，您的开发设备已...

一周热门
最近发表
标签列表