clickhouse ttl不生效

devtools/2024/9/22 15:10:14/

现象:
日志保留31天, 但是发现1年前的数据还有。

表结构:

CREATE TABLEads_xxxx_metrics_1m_local (`static_time` String COMMENT '统计时间',......) ENGINE = ReplacingMergeTree (process_time)
PARTITION BYtoYYYYMMDD (toDate (static_time))
ORDER BY(static_time,xxxreal_time_type) TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31) 

定位:
是因为删除数据速度 赶不上插入数据速度,造成历史数据无法被清理。

优化:
TTL 删除数据按照 分区时间删除。

  `TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31)  这个改成  toDate (static_time) + toIntervalDay (31)`   

加速删除数据的速度。

历史使用通过删除分区的方式删除。

  select
* 
fromsystem.parts
where
table = 'xxxxx'; 

通过 partition 字段查找 需要删除的分区。

alter table table_namexxxx DROP PARTITION ‘20231125’;

注意:

为什么optimize后数据TTL仍未生效?
常见原因及解决方案如下。常见原因1:数据的TTL淘汰是在主键合并阶段执行的,如果data part迟迟没有进行主键合并,那过期的数据就无法淘汰。解决方案:您可以通过手动optimize final或者optimize 指定分区的方式触发合并任务。您可以在建表时设置merge_with_ttl_timeout、ttl_only_drop_parts等参数,提高含有过期数据data parts的合并频率。常见原因2:表的TTL经过修改或者添加,存量的data part里缺少TTL信息或者不正确,这样也可能导致过期数据淘汰不掉。解决方案:您可以通过alter table materialize ttl命令重新生成TTL信息。您可以通过optimize 分区更新TTL信息。

http://www.ppmy.cn/devtools/10413.html

相关文章

IP设置https访问

目录 但是IP地址的SSL证书和传统域名证书又有着一些区别: IP证书的原理: IP证书是如何工作的: 具体申请IP证书: 首先IP地址是可以实现https访问的,和传统的域名地址一样,需要用到数字证书部署&#xff0…

Xilinx 7系列FPGA的时钟管理

在7系列FPGA中,时钟管理单元(CMT)包含了混合模式时钟管理器(MMCM)和锁相环(PLL)。PLL是包含了MMCM功能的一个子集。CMT骨干网可用于链接CMT的时钟功能。CMT图(图3-1)展示…

GHO文件安装到Vmware的两种姿势

1、使用 Ghost11.5.1.2269 将gho转换为vmdk文件(虚拟机硬盘),Vmware新建虚拟机自定义配置,然后添加已有的虚拟硬盘文件。 注意ghost的版本,如果你是用Ghost11.5备份的gho文件,再用Ghost12把gho文件转换为vmdk,则vmdk文…

探究C++20协程(5)——基于挂起实现无阻塞的定时器

实现目标 当用传统的线程 sleep 函数来让程序等待时,实际上是在阻塞当前线程。阻塞意味着这个线程在指定的时间(例如100毫秒)内无法执行任何其他任务。这种方式虽然简单,但效率低下,因为它导致CPU资源在等待期间未被充…

指针专题(4)【qsort函数的概念和使用】

1.前言 上节我们学习了指针的相关内容,本节我们在有指针的基础的条件下学习一下指针的运用,那么废话不多说,我们正式进入今天的学习 2.回调函数 我们既然已经学习了指针的相关基础,那么我们此时就可以用指针来实现回调函数 而回…

ruoyi-cloud-plus添加一个不要认证的公开新页面

文章目录 一、前端1. 组件创建2. src/router/index.ts3. src/permission.ts 二、后端1. 设计思想2. ruoyi-gateway.yml3. 开发Controller 版本RuoYiCloudPlusv2.1.2plus-uiVue3 ts 以新增一个公开的课程搜索页面为例。 一、前端 1. 组件创建 在view目录下创建一个页面的vue…

华媒舍:百度竞价排名如何提升点击率

在网络推广中,提升点击率是十分重要的。运用百度搜索引擎广告是一种常用的提升点击率的形式。而百度竞价推广是搜索引擎所提供的一种付费流量方法,根据提高网站在搜索结果中的排名,可以有效提升点击率。下面我们就详细介绍如何运用百度竞价推…

720云手机电动云台全新上市,让手机能自动拍摄亿万像素VR全景

2024年3月,720云正式发布手机拍摄专业级VR全景的云台——720云手机电动云台(LG-05),这款云台极大程度上把拍摄过程简化到极致。云台电机搭载先进的2.4G/蓝牙双模无线遥控功能和4500mAh电池,保证了无需连续充电的长时间使用。全自动拍摄模式和…