Redis实战-利用Lua解决批量插入防重方案

devtools/2024/11/7 22:10:31/

需求场景

一个最简单的插入需求,但是因为考虑写入性能,采用批量插入Mysql的方式,但是这引申了一个并发问题,假如网络抖动等其它原因造成了接口重复请求,批量插入情况下如何对一条条数据做好防重处理。

防重 OR 幂等

在说解决方案之前先偏题一下,因为我在起标题的时候在想防重幂等的区别,标题用词也得精准。在查阅网上资料后,了解到 防重幂等最主要的作用都是为了避免因为网络等原因产生重复或不符合预期的错误数据,然而两者最主要的区别:

  • 防重设计主要为了避免产生重复数据,对接口返回没有太多要求。
  • 幂等设计除了避免产生重复数据之外,还要求每次请求都返回一样的结果。

这么说的话,幂等会让调用者无感知后端对防重逻辑的处理,我们这里因为会返回“此设备重复注册”相关提示语,所以应该属于防重方案

Scripting with Lua

这段开始介绍我的防重方案,这里先介绍一下为什么用Lua,我引用了文档原文,Lua的好处简单来说在于可以做到redis命令的组合执行,但是仅仅是组合执行还不够,意味着会有Java类似的并发问题,然后强大的来了,它不仅支持命令组合执行,而且能做到原子性,当执行一段Lua脚本,所有Redis活动在脚本运行时期间都会被阻塞。这就很好的解决了并发问题,所以防重方案使用Lua脚本作为基础是没有问题的。其余的使用Lua能节省带宽等好处就不说了。

Redis guarantees the script’s atomic execution. While executing the script, all server activities are blocked during its entire runtime. These semantics mean that all of the script’s effects either have yet to happen or had already happened.

Scripting offers several properties that can be valuable in many cases. These include:

  • Providing locality by executing logic where data lives. Data locality reduces overall latency and saves networking resources.
  • Blocking semantics that ensure the script’s atomic execution.
  • Enabling the composition of simple capabilities that are either missing from Redis or are too niche to be a part of it.

然后贴上核心代码:

  • deviceKeyList是当前要插入的列表,也是需要做防重方案的Key
  • Lua脚本有如下逻辑:
    • 批量对传入的Key执行保存操作(SETNX命令)。
    • 如果之前已经存在,则存入existing_keys 待返回。
    • 如果之前不存在,则保存后以后再设置过期时间(EXPIRE命令)。
    • 返回已经存在的Key列表。

等执行完后你会拿到existingKeys,里面就保存着之前已经处理过的Key,那么在操作数据库前,只需要再判断下 existingKeys 有没有这个Key,就能做好防重方案。

当然,这段代码最好能try-catch 捕捉下异常,即便Redis挂了,也不能影响主流程的执行。

private String duplicateScript = "local existing_keys = {} " +"for i = 1, #KEYS do " +"    local key = KEYS[i] " +"    if redis.call('SETNX', key, '') == 0 then " +"        table.insert(existing_keys, key) " +"    else " +"        redis.call('EXPIRE', key, " + commonProperties.getDuplicateScriptSeconds() + ") " +"    end " +"end " +"return existing_keys";// 执行 Lua 脚本
List<String> existingKeys = redissonClient.getScript(new StringCodec()).eval(RScript.Mode.READ_WRITE,duplicateScript,RScript.ReturnType.MULTI,deviceKeyList);

实际在生产环境使用完全没有问题,并且也兼顾了执行性能,Lua脚本更具体的使用语法可以多参照文档。

参考资料

Redis-Scripting with Lua


http://www.ppmy.cn/devtools/132133.html

相关文章

动态规划 之 斐波那契数列模型 算法专题

动态规划 分析:(五步) 状态表示 状态表示是什么? dp表里面的值锁表示的含义 状态表示怎么来的? 题目要求经验 题目要求线性状态表经验: 以i位置为结尾 以i位置为起点分析问题的过程中, 发现重复子问题 状态转移方程 dp[i] 等于什么(一个公式) 用之前或者之后的状态, 推…

Windows 命令提示符(cmd)中输入 mysql 并收到错误消息“MySQL不是内部或外部命令,也不是可运行的程序或批处理文件?

目录 背景: 过程&#xff1a; 1.找到MySQL安装的路径 2.编辑环境变量 3.打开cmd&#xff0c;输入mysql --version测试成功 总结: 背景: 很早之前安装了Mysql数据库&#xff0c;想查询一下当前安装的MySQL客户端的版本号&#xff0c;我在命令行界面输入mysql --verion命令回…

使用 Python 和 OpenCV 实现实时人脸识别

概述 人脸识别是一项重要的计算机视觉任务&#xff0c;广泛应用于安全监控、身份验证等领域。本文将详细介绍如何使用 Python 和 OpenCV 库实现实时人脸识别&#xff0c;并通过具体的代码示例来展示整个过程。 环境准备 在开始编写代码之前&#xff0c;确保已经安装了 OpenC…

《Vue3 报错》Uncaught TypeError: s.finally is not a function

解决方案&#xff1a; 新建文件 my-polyfill.js // 当浏览器环境不支持Promise.prototype.finally if (!Promise.prototype[finally]) {Promise.prototype[finally] function(callback) {let P this.constructor;return this.then(value > P.resolve(callback()).then(…

org.springframework.boot:type=Admin,name=SpringApplication异常

org.springframework.boot:typeAdmin,nameSpringApplication异常 问题&#xff1a;更换最新版本idea之后&#xff0c;启动springboot项目报错 javax.management.InstanceNotFoundException: org.springframework.boot:typeAdmin,nameSpringApplication idea自动默认的启动设…

如何调整电脑的背景色(黑色和白色切换)

1.切换谷歌浏览器里面内容的背景色 打开浏览器->右上角三个点->设置->外观->模式 中点击深色和浅色即可切换。 如果切换完之后并刷新发现有的网站还是没有变化&#xff0c;说明这个网站的背景色是依据电脑的背景色而变化的。也就是需要执行下面的第2个。 2.切换电…

SpringMVC的执行流程以及运行原理

文章目录 SpringMVC的执行流程以及运行原理一、引言二、SpringMVC核心组件与执行流程1、SpringMVC核心组件1.1、DispatcherServlet配置 2、SpringMVC执行流程 三、SpringMVC配置文件及注解四、总结 SpringMVC的执行流程以及运行原理 一、引言 SpringMVC作为Spring框架的核心模…

【笔记】变压器-热损耗-频响曲线推导 - 04 额定功率处损耗特性

0.最大的问题 - 散热 对变压器这类功率器件&#xff0c;最大的问题是散热的效率。因为传统的电路基板热导率并不高&#xff0c;几乎和良性导热材料有近乎两个数量级的导热差异&#xff0c;所以&#xff0c;会采用特殊的导热技术&#xff0c;把热量尽可能快地传导到散热片。 传…