记一次高并发下导致的数据库死锁解决方案

ops/2025/2/28 6:26:59/

数据库:mysql、引擎:InnoDB,隔离级别为可重复读(repeatable-read)

如果你只是想删除锁住的事务看这里

你需要提前知道

  1. InnoDB行锁的原理是通过给索引上的索引项加锁来实现的。
  2. InnoDB 默认情况下,对于普通的查询语句(如 SELECT),并不会主动加锁,除非你指定了特定的锁定机制。
  3. 无论是精确查询还是非精确查询是否加间隙锁,还是取决于InnoDB 判断数据是否唯一
查询类型命中索引类型加锁情况备注
精确查询唯一索引不加间隙锁唯一索引数据一定记录唯一,不会涉及到记录之间的间隙
非精确查询非唯一索引加间隙锁范围查询 非唯一索引 InnoDB 认为可能存在幻读的风险 一定加间隙锁
精确查询非唯一索引取决于查询的数据是否唯一如果数据唯一,不加间隙锁;如果数据不唯一,可能加间隙锁
非精确查询唯一索引取决于查询的数据是否唯一就算是唯一索引但是查询的范围包含多个可能的插入位置,InnoDB 认为可能存在幻读的风险(如where statistics_date > ‘2022-08-01’ 可能影响多行数据。),除非查询范围内的数据仍然是唯一的 (如根据主键in删除)
  1. 插入意向锁的兼容性
锁类型是否兼容是否等待
插入意向锁兼容不需要等待
共享锁(S Lock)兼容不需要等待
排他锁(X Lock)不兼容需要等待
间隙锁(Gap Lock)不兼容需要等待

场景

并发场景下对数据先删除后批量插入形成死锁

某统计表的数据需要按照指定时间范围进行统计和更新。具体流程如下:按日期分组:将指定时间范围内的数据按日期分组。多线程处理:为每组日期开启独立线程,并行处理数据。数据处理逻辑:删除旧数据:在每组日期的处理中,先删除该日期范围内的旧数据。新增数据:删除完成后,重新计算并插入该日期范围内的新数据。

错误日志分析

错误1
meal_aid_statistics_org_sale_date_unique_uindex :涉及日期的唯一联合索引

在这里插入图片描述
看日志得知删除后增涉及到了记录锁的死锁,锁定对象:只锁定记录本身,不锁定记录之间的间隙(lock_mode X locks rec but not gap waiting
Record lock)

新增事务 持有heap no 301 的 X锁,删除事务想要完成需要heap no 301 的X锁释放删除事务 锁定 statistics_date 在 2023-01-01 到 2023-01-31 之间的所有记录,这些记录被锁又导致新增事务等待,导致了死锁。

错误2
index2 涉及日期的非唯一联合索引(不要在意索引名称)
在这里插入图片描述
看日志得知两次新增涉及到了记录锁的死锁,锁定对象:锁定记录本身以及记录之间的间隙并且是一个插入意向锁(lock_mode X locks rec but not gap waiting
Record lock)导致循环等待

在删除操作中,InnoDB 会对删除的范围加间隙锁,
当多个事务同时操作相同范围的间隙时,可能会发生锁冲突:
事务 453615401 持有间隙锁,阻塞事务 453615400 的插入意向锁。
事务 453615400 持有其他锁,阻塞事务 453615401 的操作。
最终形成死锁。

疑问都是先删除再新增为什么两个错误一个涉及间隙锁 一个不涉及间隙锁呢?

因为InnoDB行锁的原理是通过给索引上的索引项加锁来实现的。如果查询无法通过索引快速定位到具体记录(例如,使用了全表扫描),InnoDB会锁定所有扫描过的行,而不是整个表。在RR事务隔离级别下且索引为非唯一索引,不仅会对数据表中的每一行加上LOCK_REC_NOT_GAP(lock_mode X)的行锁,而且还会两数据行的间隙加上LOCK_GAP间隙锁。

如何通过代码解决此类死锁问题

由上次问题分析 看出
错误1 错误2的根本原因还是删除操作时大量数据被锁住,如果我能尝试缩小被锁数据的范围 是不是就可以解决此类问题

那我的方案是 根据statistics_date先查询数据 然后根据查询数据的id主键进行删除 解决了此问题,新方案之所以能够有效避免死锁,主要因为它减少了操作中的锁竞争、并且通过分离查询与删除操作来避免长时间的锁等待。虽然查询阶段仍然可能加间隙锁,但由于锁定的数据量和锁持有时间的减少,死锁发生的概率大大降低了。

 新方案的锁机制先 SELECT id FROM table WHERE statistics_date BETWEEN '2022-08' AND '2022-09' 查询符合条件的 id。再 DELETE FROM table WHERE id IN (...) 删除数据。锁的变化
查询阶段:查询操作记录锁不指定用 FOR UPDATE 或 LOCK IN SHARE MODE的不会加记录锁(读、写锁),但是可能也会加间隙锁,但是锁的范围还是会显著减小删除阶段:根据 id 删除时,InnoDB 只会对具体的记录加 记录锁(根据主键删除时 除非id 连续 不然不会加间隙锁)。不会加间隙锁,因此不会阻塞其他事务的插入操作。

其他解决方案
1.你也可以调整隔离级别到READ COMMITTED
2.仍保持先根据statistics_date范围删除,但是加入循环每次只删除1000条
3.再新方案的基础上 再加循环逻辑:分页查询 + 分批删除


http://www.ppmy.cn/ops/161876.html

相关文章

本科《IPMC微传感阵列封装和制备方法的研究 》开题报告

一、课题意义 1.理论意义 本课题的理论研究不仅局限于IPMC材料的基础性能分析,更致力于构建一个全面、系统的理论框架,以解释和预测IPMC材料在复杂环境下的行为特性。通过深入研究以nafi膜为代表的先进材料在IPMC制备中的应用,我们期望能够揭…

html css js网页制作成品——HTML+CSS蒧蒧面包店的网页设计(5页)附源码

目录 一、👨‍🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML

React进阶之前端业务Hooks库(四)

前端业务Hooks库 其他功能的hook针对domuseClickAwayuseDocumentVisibilityuseEventListeneruseMutationObserveruseResponsive结合组件库(ant design,element ui)其他功能的hook 针对dom 合理的使用useLatest,useMemoizedFn,能够保证组件的更新是不发生不必要的变化的。 后…

AWS API Gateway灰度验证实现

在微服务架构中,灰度发布(金丝雀发布)是验证新版本稳定性的核心手段。通过将小部分流量(如 10%)导向新版本服务,可以在不影响整体系统的情况下快速发现问题。AWS API Gateway 原生支持流量按比例分配功能,无需复杂编码即可实现灰度验证。本文将详细解析其实现方法、最佳…

React Axios + Django 跨域解决方案详解

一、Django 后端配置(Python) 1.1 安装 CORS 中间件 pip install django-cors-headers1.2 配置 settings.py # settings.py# 核心配置项 INSTALLED_APPS = [...corsheaders, # 新增应用 ]MIDDLEWARE = [...corsheaders.middleware.CorsMiddleware, # 必须放在最前django…

校园快递助手小程序毕业系统设计

系统功能介绍 管理员端 1)登录:输入账号密码进行登录 2)用户管理:查看编辑添加删除 学生信息 3)寄件包裹管理:查看所有的包裹信息,及物流信息 4)待取件信息:查看已到达的…

DeepSeek今日连开3源!针对优化的并行策略,梁文锋本人参与开发

DeepSeek开源周第四天,直接痛快「1日3连发」,且全都围绕一个主题: 优化并行策略。 DualPipe:一种创新的双向流水线并行算法,能够完全重叠前向和后向计算-通信阶段,并减少“流水线气泡”。它通过对称的微批…

MFC案例:利用双缓冲技术绘制顶点可移动三角形

案例目标:在屏幕上出现一个三角形,同时显示各顶点坐标,当用鼠标选择某顶点并拖动时,三角形随鼠标移动而变形。具体步骤为: 一、在VS2022上建立一个基于对话框的MFC应用,项目名称:DrawMovableTr…