百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Redis主从复制

bigegpt 2024-08-12 14:17 2 浏览

Redis主从复制

Redis的可靠性保证第一是Redis的持久化数据不会丢失,第二是提供不间断服务这个可以通过集群保证,将Redis服务做一个集群服务将Redis的数据副本放在不同主机上,就算其中有机器宕机,因为数据副本存在不同的主机中所以整个集群依旧能正常提供服务,这里就会存在一个问题,不同主机上的数据副本如何保持一致的呢?聊数据一致之前需要先了解Redis的集群结构。

Redis的集群结构

Redis的集群结构简单总结就是主从结构、读写分离,结构图如下所示。

Redis为什么采用读写分离呢?其根本原因还是最低代价来保证所有节点的数据基本同步,如果所有的节点都能进行读写操作,那么在任一节点修改数据都需要同步到所有的节点,这时为了保证数据的正确性,势必涉及到加锁等一系列的内存开销,这样对于Redis而言不太友好。

对于主从同步不知道有没有这些疑问,主从节点同步细节到底是怎么样?出现从节点网络异常后续恢复那么这之间的数据能不能同步?带着这些疑问往下看。

主从同步细节

主从连接建立

当我们存在多个Redis实例时,我们可以通过命令指定主从库,这里会有Redis版本差异5.0之前采用的是salveof,5.0之后采用的是replicaof完成主从设置,如下所示

假设存在实例A(IP:10.8.81.171)实例B(IP:10.8.81.172)等多个实例,需要指定实例B为实例A的从节点,就可以在实例B上执行如下命令

replicaof 10.8.81.171 6379

了解完主从连接建立后,就需要知道主从初次建立连接后的具体过程,如下所示。

注意点

  • replication buffer是从库连接上后,主库创建的一块内存空间。
  • replication buffer的作用是因为主节点在同步从节点数据时,主线程并不会阻塞所以主线程还能正常的处理读写请求,所以同步过程中的数据需要有一块内存专门记录。
  • ==主从全量复制后会建立一个长连接==,主库后续写操作同样会记录到replication buffer中,后续会将replication buffer中的数据发送给从节点完成传输,但一定需要注意的是每一个从节点都会在主节点有一个replication buffer,因为每个主节点的复制速度不一样,会有速度差异。

看完主从同步的流程图后,不知道有没有发现一个问题,在主从节点建立连接后需要主节点马上生成RDB文件,有多个从节点就要生成多次,如果Redis的集群过大对于主节点而言这个全量复制不就会是灾难性的吗?这就要聊到Redis推出的另外一个集群结构:主-从-从结构。

主从从结构

Redis了减缓主节点的全量复制压力以及RDB文件传输的压力,推出主-从-从结构,其结构有点类似企业中的组织结构,如下所示

上述结构的好处是主节点A不再需要同步给从节点D,E由从节点C分担了主节点A的压力,从而保证主节点A的性能。

主从架构将读写压力分散,而且主从的数据同步可以通过全量复制和长链接保证,但如果从节点网络阻塞或者网络断联后,应该如何保证数据的一致性呢?

避免网络问题造成一致性问题

在Redis2.8之前,Redis主从节点在命令传播过程中网络出现问题,那么主从之间的数据需要重新进行全量复制,显然这对Redis的开销压力大。

在Redis2.8开始,网络断了后主从节点只是进行增量同步,那如何知道增量复制的范围呢?这就需要借助repl_backlog_buffer

只要在主节点有数据写入,那么就会写入repl_backlog_buffer中这是一个环形结构,当从库断连后又重新连接后,从库通过psync会将从库偏移量slave_repl_offset告诉主库,主库通过自己的偏移量master_repl_offset对比从库偏移量slave_repl_offset,得到增量数据同步给从库(同步还是需要借用长连接也就是所谓的replication buffer),如下图所示增量数据就是put b c两个。

slave_repl_offset 这个数据是由从节点记录,所以有多少个从节点就会有多少个slave_repl_offset值,因为每个从节点的复制进度不会相同,而repl_backlog_buffer是共享的,所有从节点共享这个环形数组。

所以主从同步步骤细化如下

注意点

既然repl_backlog_buffer是环形结构,如果主节点的写入速度过快,覆盖了从节点读取的偏移量slave_repl_offset,那么这时会走全量复制,并不会走增量复制,所以repl_backlog_buffer环形结构的大小设置至关重要,如果设置小了触发全量复制的几率就高,设置大了对内存又是浪费,这个大小由repl_backlog_size值控制,参考公式如下

(主节点写入速度-主从库网络传输速度)* 操作大小 * 2

假设主节点的写入速度每秒2000个操作,每个操作大小为2K,主从库网络传输速度为1000个,那么在单位时间内还有1000个需要缓存起来,所以需要2M的数据,为应对突发情况所以这个值为4M,这个公式只是参考可以根据Redis所在服务器的性能情况再来调整。

相关推荐

数据中台与业务中台总体技术架构设计方案

《数据中台与业务中台总体技术架构设计方案》提出**“开放、稳定、滋养”三原则**,强调通过统一技术架构与框架破除烟囱式系统,构建**“业务中台+数据中台”闭环体系**。方案主张从单体架...

三分钟摸清楚什么叫前后端分离(什么是前后端分离架构?)

什么叫前后端分离?其实,前后端分离的初衷是为了分离前后端开发人员的职责,解决开发模式的问题。说到底,前后端分离就是将前端视图和后端数据进行分离,这样,后端只需要提供接口(后端数据)给前端,而前端也可以...

刚刚,给学妹普及了登录的两大绝学

今天跟大家聊一个比较基础的话题,就是实现登录的方式有哪些?适合刚入行的朋友。华山之Session绝学Session我们称之为会话控制,是一种在服务器端保持会话状态的解决方案。通俗点来讲就是客户...

6种微服务RPC框架,你知道几个?(grpc是微服务框架吗)

开源RPC框架有哪些呢?一类是跟某种特定语言平台绑定的,另一类是与语言无关即跨语言平台的。跟语言平台绑定的开源RPC框架主要有下面几种。Dubbo:国内最早开源的RPC框架,由阿里巴巴公司...

微服务中,Spring Cloud 有哪些注册中心?

SpringCloud是微服务架构中经常使用的一个框架,它提供了一系列工具来帮助开发者构建和管理分布式系统,而服务注册中心又是微服务架构中一个关键组件。那么,SpringCloud支持哪些注册...

Eureka的自我保护机制(eureka自我保护机制原理)

最近遇到一个问题,服务之间调用报错,显示无法路由到指定服务,但是对应的服务是启动的,查询eureka,结果eureka上显示如下,所有实例均消失,我个人对注册中心并没有什么研究,进行正好借此机会简单总...

eureka、zookepeer、nacos的区别(eureka和nacos哪个更好)

前言随着微服务被各大企业应用在项目中,微服务的框架也被更多人学习和使用,但是大部分情况下都是停留在应用层。一、演变过程1.1服务注册和发现基本概念服务注册:将某个或者某些服务的信息(模块的ip和...

40K+Star!Mall电商实战项目开源,附源码、教程合集

最近看了下我的Github,发现mall项目已经突破40K+Star,有点小激动!记得去年8月的时候mall项目刚过20K+Star,时隔1年多已经增长到了40K+Star。今天跟大家聊聊mall项目...

SpringCloud 常见注册中心的比较(springcloud注册过程)

一、概述springcloud是一个非常优秀的微服务框架,要管理众多的服务,就需要对这些服务进行治理,也就是我们说的服务治理,服务治理的作用就是在传统的rpc远程调用框架中,管理每个服务与每个服务之间...

简单介绍Nacos服务注册中心(nacos注册中心有什么用)

Nacos是阿里开源的一个新框架,在分布式的架构中,Nacos同时扮演着服务注册中心和配置中心的角色。今天主要讲的是Nacos作为服务注册中心。分布式中著名的CAP理论,任何一种服务注册中心都只能实现...

入门注册中心——consul(注册中心怎么注册)

基础概念什么是注册中心随着微服务理论发展的成熟,越来越多互联网公司采用微服务架构来支持业务发展。各个微服务之间都需要通过注册中心来实现自动化的注册和发现。注册中心主要有三种角色:服务提供者(RPCS...

08 Eureka的基础知识(eureka replication)

Eureka是Netflix开发的服务发现框架,SpringCloud将它集成在自己的子项目spring-cloud-netflix中,实现SpringCloud的服务发现功能。上图简要描述了Eur...

微服务架构中的服务注册与发现有哪些?Zookeeper、Eu

“大家好,我是码哥,《Redis高手心法》作者,本章节选自《Java面试高手心法58讲》专栏。随着单体应用的拆分,我们面临的首要问题就是采用哪种方式实现服务间的调用,像之前单体应用可能直接在配...

Eureka 都挂了,微服务还能调通吗?

如果你做过微服务开发,这个面试题应该能够立马答出来,如果你没做过微服务开发,但是学过一些SpringCloud组件的用法,这个问题可能要稍微想一下,但是也应该能够答出来。今天就来和大家说说这个问...

ZooKeeper、Eureka、Consul 、Nacos微服务注册中心对比

注册中心前言服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。更进一步,为了支持弹性扩缩容特性,一个微服务的提供...