clickhouse在执行alter table update delete等命令后数据没有更新

news/2025/2/14 7:57:32/

clickhouse之删除数据或更新数据无效的解决思路

  • 例如:
ALTER TABLE 表名 DELETE WHERE 条件
ALTER TABLE 表名 UPDATE column1 = expr1 [, ...] WHERE filter_expr
  • 分析原因:

我们都知道ClickHouse内核中的MergeTree存储一旦生成一个Data Part,这个Data Part就不可再更改了。所以从MergeTree存储内核层面,ClickHouse就不擅长做数据更新删除操作。但是绝大部分用户场景中,难免会出现需要手动订正、修复数据的场景。所以ClickHouse为用户设计了一套离线异步机制来支持低频的Mutation(改、删)操作。我们所说的Mutation也是异步的操作,是Clickhouse中的工作线程池来完成。

  • 查询命令是否执行
    对于Clickhouse执行删除语句后查询数据仍旧存在,等待数分钟后依然存在的话,我们需要先查询system.mutations表,查询未执行的任务,如下:
select * from system.mutations where is_done = 0;

其中 latest_fail_reason 会注明失败的原因

线上发现有如下报错,我们通过如下命令先删除异常的mutation

kill mutation where database=数据库名称 and table=表名;

删除mutation之后,再执行提交的删除发现又执行成功了。至于之前的为什么没执行成功,也没有去探究,只是当时发现线上不少mutations被卡住,未执行成功。

  • 总结:

对于mutations执行失败的话,先去查询system.mutations的任务,查看is_done=0的数据,并且看下latest_fail_reason的原因。如果发现问题不是sql的原因,则删除mutations再尝试执行删除或者更新,如果是sql或者其他原因,查询找到原因解决再执行删除或者更新。

参考源链接:https://cloud.tencent.com/developer/article/1987022


http://www.ppmy.cn/news/1111534.html

相关文章

opencv c++实现鼠标框选区域并显示选择的图片区域

OpenCV可以使用setMouseCallback设置鼠标事件的回调函数,从而然后根据需要进行处理。 setMouseCallback原型为: void cv::setMouseCallback(const cv::String& windowName, MouseCallback onMouse, void* userData = 0); 其中,参数说明如下:windowName:窗口名称 onMo…

Vue.js的服务器端渲染(SSR):为什么和如何

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

uni-app 实现自定义按 A~Z 排序的通讯录(字母索引导航)

创建 convertPinyin.js 文件 convertPinyin.js 将下面的内容复制粘贴到其中 const pinyin (function() {let Pinyin function(ops) {this.initialize(ops);},options {checkPolyphone: false,charcase: "default"};Pinyin.fn Pinyin.prototype {init: functi…

如何高效且优雅地使用Redis

本文从如下7个维度,带你全面理解Redis的最佳实践和优化: 内存性能可靠性运维安全资源规划监控 1、如何节省内存 1.1、控制Key的长度 在开发业务时,要提前预估Redis中写入key的数量,如果key数量达到了百万级别,那过…

如何使用 RunwayML 进行创意 AI 创作

标题:如何使用 RunwayML 进行创意 AI 创作 介绍 RunwayML 是一个基于浏览器的人工智能创作工具,可让用户使用各种 AI 功能来生成图像、视频、音乐、文字和其他创意内容。RunwayML 的功能包括: * 图像生成:使用生成式对抗网络 (…

系列七、Nginx负载均衡配置

一、目标 浏览器中访问http://{IP地址}:9002/edu/index.html,浏览器交替打印清华大学8080、清华大学8081. 二、步骤 2.1、在tomcat8080、tomcat8081的webapps中分别创建edu文件夹 2.2、将index.html分别上传至edu文件夹 注意事项:tomcat8080的edu文件…

【Spatial-Temporal Action Localization(三)】论文阅读2018年

文章目录 1. AVA: A Video Dataset of Spatio-temporally Localized Atomic Visual Actions 时空局部原子视觉动作的视频数据集摘要和结论模型框架思考不足之处时间信息对于识别 AVA 类别有多重要?定位与识别相比有何挑战性?哪些类别具有挑战性&#xff…

MATLAB算法实战应用案例精讲-【自动驾驶】栅格地图(应用篇)(附python代码实现)

目录 数字栅格地图 创建栅格地图 启动建图环境 rivz配置 构建地图 保存地图