百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Redis高可用方案—主从(masterslave)架构

bigegpt 2024-08-12 14:16 2 浏览

在上篇文章Linux安装Redis中我们在Linux服务器上完成了Redis的安装,并且也能正常使用了。但只有一个redis节点提供服务会存在一个很明显的问题,这台redis挂了怎么办?那就会导致所有的请求全都被打到数据库,降低系统的性能。所以,我们需要部署多个redis节点来保证高可用性。redis最常见的保证高可用的方案有三种:主从(master-slave)模式、哨兵模式和集群。本篇文章主要介绍主从复制模式的原理及搭建。

什么是主从模式

主从复制模式就是,部署多台redis节点,其中只有一台节点是主节点(master),其他的节点都是从节点(slave),也叫备份节点(replica)。只有master节点提供数据的事务性操作(增删改),slave节点只提供读操作。所有slave节点的数据都是从master节点同步过来的。该模式的架构图如下:

该图只是最简单的一种主从结构方式,所有的slave节点都挂在master节点上,这样做的好处是slave节点与master节点的数据延迟较小;缺点是如果slave节点数量很多,master同步一次数据的耗时就很长。针对这一问题,可以使用下图中的主从架构:

master下面只挂一个slave节点,其他的slave节点挂在这个slave节点下面,这样,master节点每次只需要把数据同步给它下面的那一个slave节点即可,后续slave节点的数据同步由这个slave节点完成。这样做虽然降低了master节点做数据同步的压力,但也导致slave节点与master节点数据不一致的延迟更高。

主从模式原理

从主从模式的架构图可以看出,主从模式的核心就是master节点与slave节点之间的数据同步。需要注意的是,Redis和大部分中间件的主从模式中的数据同步都是由slave节点主动发起的,原因是主从模式中只有一个master节点,剩余的全是slave节点,如果由master节点主动推送数据到各个slave节点,首先维护成本太大,master节点上要维护所有slave的地址信息,而且在增加slave节点的时候,也要同步维护到master上,这样master才能将数据同步到所有的slave上面;其次master性能受影响,节点之间同步数据肯定要通过网络传输数据,由master节点建立所有slave节点的连接会对master的性能产生较大影响。而由slave发起数据同步则避免了上述问题,只需在每个slave中维护一个master的地址即可。

Redis中主从节点数据同步有两种方式:全量数据同步和增量数据同步。

全量数据同步

全量数据同步一般发生在slave节点初始化阶段,需要将master上的所有数据全部复制过来。全量同步的流程图如下:

  1. slave节点根据配置的master节点信息,连接上master节点,并向master节点发送SYNC命令;
  2. master节点收到SYNC命令后,执行BGSAVE命令异步将内存数据生成到rdb快照文件中,同时将生成rdb文件期间所有的写命令记录到一个缓冲区,保证数据同步的完整性;
  3. master节点的rdb快照文件生成完成后,将该rdb文件发送给slave节点;
  4. slave节点收到rdb快照文件后,丢弃所有内存中的旧数据,并将rdb文件中的数据载入到内存中;
  5. master节点将rdb快照文件发送完毕后,开始将缓冲区中的写命令发送给slave节点;
  6. slave节点完成rdb文件数据的载入后,开始执行接收到的写命令。

以上就是master-slave全量同步的原理,执行完上述动作后,slave节点就可以接受来自用户的读请求,同时,master节点与slave节点进入命令传播阶段,在该阶段master节点会将自己执行的写命令发送给slave节点,slave节点接受并执行写命令,从而保证master节点与slave节点的数据一致性。

增量数据同步

Redis2.8版本之前,是不支持增量数据同步的,只支持全量同步。增量数据同步是指slave节点初始化完成后,master节点执行的写命令同步到slave节点的过程。该过程比较简单,master节点每执行一个写命令后就会将该命令发送给slave节点执行,从而达到数据同步的目的。

但有一点需要注意,当增量复制过程中发生了异常导致同步失败时,是要支持断点续传的,也就是在异常恢复之后,是要支持从上次断掉的地方继续同步的,而不是全量数据同步。这就需要在master节点和slave节点分别维护一个复制偏移量(offset),代表master向slave节点同步的字节数。master节点每次向slave节点发送N个字节后,master节点的offset增加N;slave节点每次接收到master节点发送过来的N个字节后,slave节点的offset增加N。master节点和slave节点的这两个偏移量分别保存在master_repl_offset和slave_repl_offset这两个字段中。

主从模式搭建

  1. 首先准备三台虚拟机,我使用的是VMware+CentOS7,可以参考我之前的文章虚拟机环境搭建(VMware Workstation14 + centos7.0)VMware+CentOS7 网络及静态IP配置安装好虚拟机环境;
  2. 每台虚拟机上装好Redis,安装教程参考我之前的文章Linux安装Redis
  3. 两台slave节点上配置master节点信息,有三种方式:

(1) redis.conf配置文件中添加:replicaof master节点IP master节点端口;

(2) 启动命令后加上:--replicaof master节点IP master节点端口;

(3) slave节点启动后,直接执行命令:replicaof master节点IP master节点端口。

这里我们使用常用的配置文件的方式配置:

4. 重启3台redis服务,查看slave节点的启动日志,可以看到master的节点信息.

5.验证主从结构是否可用。

(1) 首先,master和slave上的数据都是空的;

(2) master节点上添加一条数据,然后去slave节点上发现已经把这条数据同步了过来。

(3) slave节点上执行写命令会报错:

(4) 在master节点上执行:info replication命令可以看到自己的slave节点信息:

至此,说明我们的主从架构已经搭建成功了。

主从模式的好处

主从模式的优点有很多,下面列举几个最明显的好处:

  1. 数据备份。同样的数据在多个节点都存一份,起到了备份数据的作用。
  2. 故障恢复。当master节点发生故障后,可以选择一个slave节点作为master节点继续提供服务。
  3. 读写分离,提高性能。写操作交给master,读操作交给slave。
  4. 配置简单,容易搭建。只需要在slave节点上维护master节点的地址信息就可实现。

以上就是redis主从架构的实现原理和搭建过程。

点关注不迷路,跟我一起学技术!

相关推荐

数据中台与业务中台总体技术架构设计方案

《数据中台与业务中台总体技术架构设计方案》提出**“开放、稳定、滋养”三原则**,强调通过统一技术架构与框架破除烟囱式系统,构建**“业务中台+数据中台”闭环体系**。方案主张从单体架...

三分钟摸清楚什么叫前后端分离(什么是前后端分离架构?)

什么叫前后端分离?其实,前后端分离的初衷是为了分离前后端开发人员的职责,解决开发模式的问题。说到底,前后端分离就是将前端视图和后端数据进行分离,这样,后端只需要提供接口(后端数据)给前端,而前端也可以...

刚刚,给学妹普及了登录的两大绝学

今天跟大家聊一个比较基础的话题,就是实现登录的方式有哪些?适合刚入行的朋友。华山之Session绝学Session我们称之为会话控制,是一种在服务器端保持会话状态的解决方案。通俗点来讲就是客户...

6种微服务RPC框架,你知道几个?(grpc是微服务框架吗)

开源RPC框架有哪些呢?一类是跟某种特定语言平台绑定的,另一类是与语言无关即跨语言平台的。跟语言平台绑定的开源RPC框架主要有下面几种。Dubbo:国内最早开源的RPC框架,由阿里巴巴公司...

微服务中,Spring Cloud 有哪些注册中心?

SpringCloud是微服务架构中经常使用的一个框架,它提供了一系列工具来帮助开发者构建和管理分布式系统,而服务注册中心又是微服务架构中一个关键组件。那么,SpringCloud支持哪些注册...

Eureka的自我保护机制(eureka自我保护机制原理)

最近遇到一个问题,服务之间调用报错,显示无法路由到指定服务,但是对应的服务是启动的,查询eureka,结果eureka上显示如下,所有实例均消失,我个人对注册中心并没有什么研究,进行正好借此机会简单总...

eureka、zookepeer、nacos的区别(eureka和nacos哪个更好)

前言随着微服务被各大企业应用在项目中,微服务的框架也被更多人学习和使用,但是大部分情况下都是停留在应用层。一、演变过程1.1服务注册和发现基本概念服务注册:将某个或者某些服务的信息(模块的ip和...

40K+Star!Mall电商实战项目开源,附源码、教程合集

最近看了下我的Github,发现mall项目已经突破40K+Star,有点小激动!记得去年8月的时候mall项目刚过20K+Star,时隔1年多已经增长到了40K+Star。今天跟大家聊聊mall项目...

SpringCloud 常见注册中心的比较(springcloud注册过程)

一、概述springcloud是一个非常优秀的微服务框架,要管理众多的服务,就需要对这些服务进行治理,也就是我们说的服务治理,服务治理的作用就是在传统的rpc远程调用框架中,管理每个服务与每个服务之间...

简单介绍Nacos服务注册中心(nacos注册中心有什么用)

Nacos是阿里开源的一个新框架,在分布式的架构中,Nacos同时扮演着服务注册中心和配置中心的角色。今天主要讲的是Nacos作为服务注册中心。分布式中著名的CAP理论,任何一种服务注册中心都只能实现...

入门注册中心——consul(注册中心怎么注册)

基础概念什么是注册中心随着微服务理论发展的成熟,越来越多互联网公司采用微服务架构来支持业务发展。各个微服务之间都需要通过注册中心来实现自动化的注册和发现。注册中心主要有三种角色:服务提供者(RPCS...

08 Eureka的基础知识(eureka replication)

Eureka是Netflix开发的服务发现框架,SpringCloud将它集成在自己的子项目spring-cloud-netflix中,实现SpringCloud的服务发现功能。上图简要描述了Eur...

微服务架构中的服务注册与发现有哪些?Zookeeper、Eu

“大家好,我是码哥,《Redis高手心法》作者,本章节选自《Java面试高手心法58讲》专栏。随着单体应用的拆分,我们面临的首要问题就是采用哪种方式实现服务间的调用,像之前单体应用可能直接在配...

Eureka 都挂了,微服务还能调通吗?

如果你做过微服务开发,这个面试题应该能够立马答出来,如果你没做过微服务开发,但是学过一些SpringCloud组件的用法,这个问题可能要稍微想一下,但是也应该能够答出来。今天就来和大家说说这个问...

ZooKeeper、Eureka、Consul 、Nacos微服务注册中心对比

注册中心前言服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。更进一步,为了支持弹性扩缩容特性,一个微服务的提供...