线上 MySql 事务死锁,应该怎么排查解决?
bigegpt 2024-10-21 03:47 2 浏览
01. Mysql 事务死锁现象及原因初步判断
做IT的几乎每天都接触 MySql,但是 Mysql 事务死锁却并不常见,前段时间就让我遇到了。异常日志如下
从日志看是发生了 Lock wait timeout exceeded 异常。
Lock wait timeout exceeded:后提交的事务等待前面处理的事务释放锁,但是在等待的时候超过了mysql的锁等待时间,就会引发这个异常。
PreparedStatementCallback; SQL [
UPDATE sf_wx_keyword_rule
SET status = ?,
last_update_time = last_update_time
WHERE id = ?];
Lock wait timeout exceeded;
try restarting transaction;
发生异常的代码主要逻辑如下
分析后其实是因为一个处理流程里开了两个事务,并更新的同一条数据,导致的事务间死锁。
外层方法通过@Transactional 开启了事务1(@t1),对 sf_wx_keyword_rule 一条数据做更新,内层方法通过 REQUIRES_NEW 又开启了一个新事务2(@t2),并对sf_wx_keyword_rule 的同一条数据做更新。
begin @t1;
UPDATE table SET status = ? WHERE id = 1
begin @t2;
UPDATE table SET status = ? WHERE id = 1
commit @t2;
commit @t1;
结论:由于 @t1 和 @t2 更新的是同一条数据,所以 @t2 的执行需要依赖 @t1 的提交,而@t1 的提交又需要 @t2 执行完。所以两个事务互相等待对方提交导致死锁。
02. 复现及深层原因追踪
2.1 复现
为了搞清楚事务死锁,及死锁期间 MySql 的数据状态,新建 test1 表重复上述操作
过了大概 30s @t2 返回锁超时,与异常日志一致。
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
2.2 原因追踪
2.2.1 事务状态
Mysql 事务操作会涉及到三张表
//当前正在执行的每个事务的信息
information_schema.innodb_trx
//当前事务持有的锁记录
information_schema.innodb_locks
// 当前被阻塞的事务锁记录
information_schema.innodb_lock_waits
查询 innodb_trx 表
主要字段的含义
当前有两个未提交的事务,trx_id=21245712 状态为 LOCK WAIT,这条事务产生了一个 id为 21245712:565:3:2 (innodb_locks 表的id) 的锁,也就是该事务的 LOCK因为被阻塞而导致事务超时。
trx_id = 21245684 是执行完 SQL 还未提交的事务。
2.2.2 MySql 锁
主要字段含义
锁在 MySql 事务里是非常主要的,上面的事务就是通过 Primary (主键) 在 Record (行) 上加的X (写) 锁,先加的 X 锁会成功,后加的 X 锁就会被阻塞。下面详细了解一下几个主要的锁。
基本锁
InnoDB 行级锁,分为共享锁(S)和独占锁(X)
所以出现上述事务死锁超时的原因是 UPDATE 会在记录上加 X 锁,阻塞了另一个事务对同一数据加的 X 锁。
延伸一下,有 X 锁之后,我们还能正常的读数据吗?答案是可以的。
select * from test1;
普通的 SELECT 语句上没有加锁,只有 select ... lock in share mode; 才会加 S 锁。
下面是 MySql 的其他锁
意向锁
InnoDB为了支持多粒度(表锁和行锁)的锁并存,引入意向锁。意向锁是表级锁,分为IS锁和IX锁。
锁兼容矩阵
自增锁 auto-inc lock
AUTO-INC锁是事务中的一种特殊的表级锁,通过AUTO_INCREMENT的列来实现,这种锁是作用于语句的而不是事务。
记录锁 record Lock
即行锁。单条索引记录上加锁,record lock锁住的永远是索引,而非记录本身。
间隙锁 gap lock
区间锁, 仅仅锁住一个索引区间(开区间)。在索引记录之间的间隙中加锁,或者是在某一条索引记录之前或者之后加锁,并不包括该索引记录本身。GAP锁的目的是为了防止同一事务的两次当前读,出现幻读的情况。
临键锁 next key lock
行锁和间隙锁组合起来就叫Next-Key-Lock,左开右闭区间。默认情况下,innodb使用next-key locks来锁定记录。但当查询的索引含有唯一属性的时候,Next-Key Lock 会进行优化,将其降级为Record Lock,即仅锁住索引本身,不是范围。
插入意向锁 insert intention lock
Gap Lock中存在一种插入意向锁(Insert Intention Lock),在insert操作时产生。在多事务同时写入不同数据至同一索引间隙的时候,并不需要等待其他事务完成,不会发生锁等待。 假设有一个记录索引包含键值4和7,不同的事务分别插入5和6,每个事务都会产生一个加在4-7之间的插入意向锁,获取在插入行上的排它锁,但是不会被互相锁住,因为数据行并不冲突。
注:插入意向锁并非意向锁,而是一种特殊的间隙锁。
如果插入前,该间隙已经有gap锁,那么insert 会申请插入意向锁。因为了避免幻读,当其他事务持有该间隙的间隔锁,插入意向锁就会被阻塞(不用直接用gap锁,是因为gap锁不互斥)。
这张表里有记录就说明有事务被阻塞里。
主要字段含义
03. 解决方案及总结
线上遇到死锁怎么解决?最快的方式当然是 kill 事务,重启服务,根本原因还是需要看这三张表,以后再遇到数据库死锁、事务死锁,查这三张表就差不多知道原因了。
我们该如何避免死锁呢?常规的回答都是以固定的顺序访问数据。但本案例是因为使用了 REQUIRES_NEW 导致。
使用 REQUIRES_NEW 的原因以下场景,内层事务是一个批量更新,但是又不希望因为某一条失败而影响其他的更新。
begin @t1
aMapper.update()
for pojo in pojos:
begin @t2
bMapper.update(pojo)
rpc.update()
commit
commit
所以一定要避免内外双层事务修改同一条数据的情况,对于 Spring 事务传播机制也要熟知其作用。
要保证数据的最终一致性,应该写成一个Job,更新失败后不断的去补偿。
公众号:看起来很美(kanqilaihenmei_)
相关推荐
- Java 泛型大揭秘:类型参数、通配符与最佳实践
-
引言在编程世界中,代码的可重用性和可维护性是至关重要的。为了实现这些目标,Java5引入了一种名为泛型(Generics)的强大功能。本文将详细介绍Java泛型的概念、优势和局限性,以及如何在...
- K8s 的标签与选择器:流畅运维的秘诀
-
在Kubernetes的世界里,**标签(Label)和选择器(Selector)**并不是最炫酷的技术,但却是贯穿整个集群管理与运维流程的核心机制。正是它们让复杂的资源调度、查询、自动化运维变得...
- 哈希Hash算法:原理、应用(哈希算法 知乎)
-
原作者:Linux教程,原文地址:「链接」什么是哈希算法?哈希算法(HashAlgorithm),又称为散列算法或杂凑算法,是一种将任意长度的数据输入转换为固定长度输出值的数学函数。其输出结果通常被...
- C#学习:基于LLM的简历评估程序(c# 简历)
-
前言在pocketflow的例子中看到了一个基于LLM的简历评估程序的例子,感觉还挺好玩的,为了练习一下C#,我最近使用C#重写了一个。准备不同的简历:image-20250528183949844查...
- 55顺位,砍41+14+3!季后赛也成得分王,难道他也是一名球星?
-
雷霆队最不可思议的新星:一个55号秀的疯狂逆袭!你是不是也觉得NBA最底层的55号秀,就只能当饮水机管理员?今年的55号秀阿龙·威金斯恐怕要打破你的认知了!常规赛阶段,这位二轮秀就像开了窍的天才,直接...
- 5分钟读懂C#字典对象(c# 字典获取值)
-
什么是字典对象在C#中,使用Dictionary类来管理由键值对组成的集合,这类集合被称为字典。字典最大的特点就是能够根据键来快速查找集合中的值,其键的定义不能重复,具有唯一性,相当于数组索引值,字典...
- c#窗体传值(c# 跨窗体传递数据)
-
在WinForm编程中我们经常需要进行俩个窗体间的传值。下面我给出了两种方法,来实现传值一、在输入数据的界面中定义一个属性,供接受数据的窗体使用1、子窗体usingSystem;usingSyst...
- C#入门篇章—委托(c#委托的理解)
-
C#委托1.委托的定义和使用委托的作用:如果要把方法作为函数来进行传递的话,就要用到委托。委托是一个类型,这个类型可以赋值一个方法的引用。C#的委托通过delegate关键字来声明。声明委托的...
- C#.NET in、out、ref详解(c#.net framework)
-
简介在C#中,in、ref和out是用于修改方法参数传递方式的关键字,它们决定了参数是按值传递还是按引用传递,以及参数是否必须在传递前初始化。基本语义对比修饰符传递方式可读写性必须初始化调用...
- C#广义表(广义表headtail)
-
在C#中,广义表(GeneralizedList)是一种特殊的数据结构,它是线性表的推广。广义表可以包含单个元素(称为原子),也可以包含另一个广义表(称为子表)。以下是一个简单的C#广义表示例代...
- 「C#.NET 拾遗补漏」04:你必须知道的反射
-
阅读本文大概需要3分钟。通常,反射用于动态获取对象的类型、属性和方法等信息。今天带你玩转反射,来汇总一下反射的各种常见操作,捡漏看看有没有你不知道的。获取类型的成员Type类的GetMembe...
- C#启动外部程序的问题(c#怎么启动)
-
IT&OT的深度融合是智能制造的基石。本公众号将聚焦于PLC编程与上位机开发。除理论知识外,也会结合我们团队在开发过程中遇到的具体问题介绍一些项目经验。在使用C#开发上位机时,有时会需要启动外部的一些...
- 全网最狠C#面试拷问:这20道题没答出来,别说你懂.NET!
-
在竞争激烈的C#开发岗位求职过程中,面试是必经的一道关卡。而一场高质量的面试,不仅能筛选出真正掌握C#和.NET技术精髓的人才,也能让求职者对自身技术水平有更清晰的认知。今天,就为大家精心准备了20道...
- C#匿名方法(c#匿名方法与匿名类)
-
C#中的匿名方法是一种没有名称只有主体的方法,它提供了一种传递代码块作为委托参数的技术。以下是关于C#匿名方法的一些重要特点和用法:特点省略参数列表:使用匿名方法可省略参数列表,这意味着匿名方法...
- C# Windows窗体(.Net Framework)知识总结
-
Windows窗体可大致分为Form窗体和MDI窗体,Form窗体没什么好细说的,知识点总结都在思维导图里面了,下文将围绕MDI窗体来讲述。MDI(MultipleDocumentInterfac...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- resize函数 (64)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- mybatis大于等于 (64)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- logstashinput (65)
- hadoop端口 (65)
- vue阻止冒泡 (67)
- oracle时间戳转换日期 (64)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)