百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

图解Redis-主从复制实现

bigegpt 2024-08-12 14:17 2 浏览

Redis多机数据库的实现离不开复制功能,在复制功能的基础之上,结合《Redis常见部署架构》,实现高可用的多机数据库解决方案。

主从复制

在Redis中,可以通过执行REPLICAOF命令或者设置replicaof选项(SLAVEOF命令在cluster模式下禁用),让一个服务器去复制另一个服务器,我们称该模式为主从复制模式。Redis主从复制模式主要由SYNC/PSYNC命令实现,主从复制模式是实现Redis可靠性架构的方式之一。SYNC/PSYNC命令主要区别在于PSYNC可以实现slave断线重连后的增量复制,而SYNC是每次全量复制效率非常低,在Redis高版本中该命令已经弃用。

部分重同步实现

部分重同步功能由一下三个部分构成:

  • 主服务器复制偏移量和从服务器复制偏移量
  • 主服务器复制积压缓冲区
  • 服务器运行ID

复制偏移量

主服务器和从服务给自维护一个复制偏移量

复制积压缓冲区

复制积压缓冲区是一个固定长度的FIFO队列,当master开始复制时会进行双写,即同时写入复制积压缓冲区和slave

复制流程

  • 在slave通过REPLICAOF命令设置master的ip地址及端口地址。
  • slave通过设置的ip端口开始与master开始建立套接字连接。
  • slave成为master的客户端之后,首先做的事情就是向master发送PING命令(为了保证master的可用性)。
  • slave收到master回复的PONG后需要进行身份认证,slave通过AUTH密码到master认证(此步骤在认证关闭的情况下不需要做)。
  • 认证完成后slave通过REPLICAOF命令向master发送复制监听端口号。
  • 上述准备工作完成之后,slave将向master发送PSYNC命令,开始执行同步操作,master执行流程见上图。
  • 完成同步操作后,master将会进入命令传播阶段,slave将一直接受master发来的写命令。

主从复制一致性机制

主从复制时过期时间一致性

1)master在执行写命令传播时对设计过期时间的命令做转换操作:

    • 会将EXPIREP/EXPIRE/EXPIREAT 转换为 PEXPIREAT 。
    • 会将SETEX/PSETEX 转换为 SET PEXPIREAT 两个命令。
    • 会将SET [EX seconds][PX milliseconds] 转换为 SET PEXPIREAT 两个命令。

2)官网在《Replication》一节介绍到关于slave复制过期key的策略,具体如下:

    • slave 不会让 key 过期,而是等待 master 让 key 过期。当一个 master 让一个 key 到期(或由于 LRU 算法将之驱逐)时,它会合成一个 DEL 命令并传输到所有的 slave。
    • 但是,由于这是 master 驱动的 key 过期行为,master 无法及时提供 DEL 命令,所以有时候 slave 的内存中仍然可能存在在逻辑上已经过期的 key 。为了处理这个问题,slave 使用它的逻辑时钟以报告只有在不违反数据集的一致性的读取操作(从主机的新命令到达)中才存在 key。用这种方法,slave 避免报告逻辑过期的 key 仍然存在。在实际应用中,使用 slave 程序进行缩放的 HTML 碎片缓存,将避免返回已经比期望的时间更早的数据项。
    • 在Lua脚本执行期间,不执行任何 key 过期操作。当一个Lua脚本运行时,从概念上讲,master 中的时间是被冻结的,这样脚本运行的时候,一个给定的键要么存在要么不存在。这可以防止 key 在脚本中间过期,保证将相同的脚本发送到 slave ,从而在二者的数据集中产生相同的效果。

心跳检测

  • slave默认会每秒一次的频率向master发送REPLICAOF ACK <slave复制偏移量> 用于检测与master网络连接情况及命令是否存在丢失;
  • master则通过min-slaves配置可以判断当指定延迟内的slave数量少于指定数量时,master将拒绝执行写命令传播。
  • 每次心跳master接收到slave发送的复制偏移量后,将会与自己的复制偏移量做对比,如果小于自身偏移量,则master将会在复制缓冲区中找到缺失的部分发送给slave(与部分重同步类似,两者区别在于:部分重同步是发生在slave断连后重连恢复复制时)


以上就是Redis对象系统介绍,如果各位还想了解更多,欢迎评论+关注[送心],Redis图解系列专栏持续更新中。

相关推荐

数据中台与业务中台总体技术架构设计方案

《数据中台与业务中台总体技术架构设计方案》提出**“开放、稳定、滋养”三原则**,强调通过统一技术架构与框架破除烟囱式系统,构建**“业务中台+数据中台”闭环体系**。方案主张从单体架...

三分钟摸清楚什么叫前后端分离(什么是前后端分离架构?)

什么叫前后端分离?其实,前后端分离的初衷是为了分离前后端开发人员的职责,解决开发模式的问题。说到底,前后端分离就是将前端视图和后端数据进行分离,这样,后端只需要提供接口(后端数据)给前端,而前端也可以...

刚刚,给学妹普及了登录的两大绝学

今天跟大家聊一个比较基础的话题,就是实现登录的方式有哪些?适合刚入行的朋友。华山之Session绝学Session我们称之为会话控制,是一种在服务器端保持会话状态的解决方案。通俗点来讲就是客户...

6种微服务RPC框架,你知道几个?(grpc是微服务框架吗)

开源RPC框架有哪些呢?一类是跟某种特定语言平台绑定的,另一类是与语言无关即跨语言平台的。跟语言平台绑定的开源RPC框架主要有下面几种。Dubbo:国内最早开源的RPC框架,由阿里巴巴公司...

微服务中,Spring Cloud 有哪些注册中心?

SpringCloud是微服务架构中经常使用的一个框架,它提供了一系列工具来帮助开发者构建和管理分布式系统,而服务注册中心又是微服务架构中一个关键组件。那么,SpringCloud支持哪些注册...

Eureka的自我保护机制(eureka自我保护机制原理)

最近遇到一个问题,服务之间调用报错,显示无法路由到指定服务,但是对应的服务是启动的,查询eureka,结果eureka上显示如下,所有实例均消失,我个人对注册中心并没有什么研究,进行正好借此机会简单总...

eureka、zookepeer、nacos的区别(eureka和nacos哪个更好)

前言随着微服务被各大企业应用在项目中,微服务的框架也被更多人学习和使用,但是大部分情况下都是停留在应用层。一、演变过程1.1服务注册和发现基本概念服务注册:将某个或者某些服务的信息(模块的ip和...

40K+Star!Mall电商实战项目开源,附源码、教程合集

最近看了下我的Github,发现mall项目已经突破40K+Star,有点小激动!记得去年8月的时候mall项目刚过20K+Star,时隔1年多已经增长到了40K+Star。今天跟大家聊聊mall项目...

SpringCloud 常见注册中心的比较(springcloud注册过程)

一、概述springcloud是一个非常优秀的微服务框架,要管理众多的服务,就需要对这些服务进行治理,也就是我们说的服务治理,服务治理的作用就是在传统的rpc远程调用框架中,管理每个服务与每个服务之间...

简单介绍Nacos服务注册中心(nacos注册中心有什么用)

Nacos是阿里开源的一个新框架,在分布式的架构中,Nacos同时扮演着服务注册中心和配置中心的角色。今天主要讲的是Nacos作为服务注册中心。分布式中著名的CAP理论,任何一种服务注册中心都只能实现...

入门注册中心——consul(注册中心怎么注册)

基础概念什么是注册中心随着微服务理论发展的成熟,越来越多互联网公司采用微服务架构来支持业务发展。各个微服务之间都需要通过注册中心来实现自动化的注册和发现。注册中心主要有三种角色:服务提供者(RPCS...

08 Eureka的基础知识(eureka replication)

Eureka是Netflix开发的服务发现框架,SpringCloud将它集成在自己的子项目spring-cloud-netflix中,实现SpringCloud的服务发现功能。上图简要描述了Eur...

微服务架构中的服务注册与发现有哪些?Zookeeper、Eu

“大家好,我是码哥,《Redis高手心法》作者,本章节选自《Java面试高手心法58讲》专栏。随着单体应用的拆分,我们面临的首要问题就是采用哪种方式实现服务间的调用,像之前单体应用可能直接在配...

Eureka 都挂了,微服务还能调通吗?

如果你做过微服务开发,这个面试题应该能够立马答出来,如果你没做过微服务开发,但是学过一些SpringCloud组件的用法,这个问题可能要稍微想一下,但是也应该能够答出来。今天就来和大家说说这个问...

ZooKeeper、Eureka、Consul 、Nacos微服务注册中心对比

注册中心前言服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。更进一步,为了支持弹性扩缩容特性,一个微服务的提供...