sql server cdc漏扫数据

server/2025/1/12 18:46:17/

SQL Server的CDC指的是“变更数据捕获”(Change Data Capture)。这是SQL Server数据库提供的一项功能,能够跟踪并记录对数据库表中数据所做的更改。这些更改包括插入、更新和删除操作。CDC可以捕获这些变更的详细信息,并使这些信息可用于进一步的处理,例如数据同步、数据仓库的更新或其他业务需求。

做了一个基础服务,定时扫cdc表的数据然后再数据同步到es上。运行一段时间后,发现es上的数据总是丢失变化。我想一个晚上,仍不知道自己错哪了。究竟是定时扫cdc的表拉取数据漏扫数据,还是数据处理出错呢,还是es同步数据出错呢?无奈日志打印内容太少了,只能增加日志重新部署生产观察了。

分析了一个晚上,终于找到原因了。

定时扫cdc的sql是类似这样

select * from table_CT with(nolock) where id>=@param order by id 

扫到数据,处理完数据后把@param替换成上次扫的最大id,接着继续扫。

查询日志发现这条sql会漏扫数据。已知id是自增的,看着是没什么问题的。

with(nolock)是避免锁表,允许脏读(cdc表没有回滚的操作),第一眼看上去没什么问题。最读提前读到未提交的id,也没什么问题。

再细想,有问题,涉及到cdc如何捕获数据变更写入到变更表中。

把with(nolock)去掉,问题得到解决。

一看时间是凌晨4点钟,赶紧打电话给同事告诉他们这个好消息。


http://www.ppmy.cn/server/157824.html

相关文章

17_TypeScript 命名空间 --[深入浅出 TypeScript 测试]

TypeScript 的命名空间(Namespaces)是用于组织代码的一种方式,可以将相关的类、接口、函数和变量封装在一起。使用命名空间可以帮助避免全局作用域的污染,并且可以使代码更模块化和易于维护。从 TypeScript 1.5 开始,推…

机器学习实战——K-均值聚类算法:原理与应用

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ ​​​​​​ ​​​​​​​​​​​​ ​​​​​ 1. K-均值聚类算法的原理解释 ✨ ✨ 1.1 算法概述 K-均值(K-Means&#xff…

【2024年华为OD机试】 (A卷,100分)- 对称美学(Java JS PythonC/C++)

一、问题描述 题目描述 对称就是最大的美学,现有一道关于对称字符串的美学。已知: 第1个字符串:R第2个字符串:BR第3个字符串:RBBR第4个字符串:BRRBRBBR第5个字符串:RBBRBRRBBRRBRBBR 相信你…

通过Android Studio修改第三方jar包并重新生成jar包

最近接手了来自公司其他同事的一个Unity项目,里面有一个封装的jar包要改动一下,无奈关于这个jar包的原工程文件丢失了,于是自己动手来修改下jar包,并做下记录。 一、导入第三方jar包 1、新建项目EditJarDemo(项目名随便取) 2、新建libs文件夹,把你要修改的third.jar 复制…

matlab分析供应商和零售商的利润变化情况

clear clc close alla 100; % 基本市场需求 v 0.6; % 线下渠道所占市场份额 k 7; % 保鲜成本参数 eta 2; % 营销成本参数 lambda 0.5; % 营销水平弹性系数 delta 0.8; % 保鲜水平弹性系数 e 6; % 营销水平 w…

C#Struct堆栈

Struct若其内部含有堆对象,Struct的该对象放在堆上; Struct当做参数传递时,其堆属性作为引用传递,值属性还是作为值传递; struct TS { public int[] t1; public int t2; } public void TF1(TS t) { int[] t1 t.t1; …

探索微软 M365 安全:全方位守护数字世界

在当今这个科技呈井喷式飞速发展,数字化浪潮以汹涌澎湃、锐不可当之势席卷全球的时代,企业与个人仿若置身于一片浩瀚无垠、信息奔涌的海洋之中,尽情畅享着技术革新所带来的无穷无尽便利。然而,恰如平静海面下潜藏着暗礁与汹涌暗流,网络安全问题恰似隐匿在暗处、随时可能给…

Python基于YOLOv8和OpenCV实现车道线和车辆检测

使用YOLOv8(You Only Look Once)和OpenCV实现车道线和车辆检测,目标是创建一个可以检测道路上的车道并识别车辆的系统,并估计它们与摄像头的距离。该项目结合了计算机视觉技术和深度学习物体检测。 1、系统主要功能 车道检测&am…