doris:删除操作概述

server/2025/2/4 9:13:38/

在 Apache Doris 中,删除操作(Delete)是一项关键功能,用于管理和清理数据,以满足用户在大规模数据分析场景中的灵活性需求。

Doris 提供了丰富多样的删除功能支持,包括:DELETE 语句、删除标记(delete sign)、分区删除、全表删除以及使用临时分区实现原子覆盖写等功能。下面将详细介绍每一项功能:

DELETE 语句​

删除数据时最常用的是 DELETE 语句,该功能支持所有表模型,用户可以使用它删除符合条件的数据。

DELETE 语句的语法如下:

DELETE FROM table_name WHERE condition;

DELETE 语句基本能满足大部分用户在使用 Doris 过程中的删除需求,但在某些场景下它并不是最高效的。为了灵活高效地满足用户在各类场景的删除需求,Doris 还提供了如下几种删除方式。

分区删除​

在 Doris 中,通过日期分区等方式来管理数据是很常见的实践。很多用户只需要保留最近一段时间的数据(例如 7 天),对于过期的数据分区,可以采用分区删除(truncate partition)功能来进行高效的删除。

相比 DELETE 语句,分区删除只需要修改一些分区元数据即可完成删除,是这种场景下最佳的删除方式。

分区删除的语法如下:

TRUNCATE TABLE tbl PARTITION(p1, p2);

整表删除​

整表删除适用于快速清空表且保留表结构的场景,例如在离线分析场景中需要重做数据时。

整表删除的语法如下:

TRUNCATE TABLE table_name;

删除标记(Delete Sign)​

数据删除可以视作数据更新的一种情况。因此,在具有更新能力的主键模型(Unique Key)上,用户可以通过删除标记功能,使用数据更新的方式实现删除操作。

例如在 CDC 数据同步场景中,CDC 程序可以将一条 DELETE 操作的 binlog 打上删除标记,当这条数据写入 Doris 时,就会删除掉对应的主键。

这种方式相对于 DELETE 语句来说,可以批量进行大量主键的删除操作,效率较高。

删除标记属于高级功能,使用起来相比前几种要更复杂一些,详细的用法请参考文档批量删除。

使用临时分区实现原子覆盖写​

某些情况下,用户希望能够重写某一分区的数据,但如果采用先删除再导入的方式进行,在中间会有一段时间无法查看数据。这时,用户可以先创建一个对应的临时分区,将新的数据导入到临时分区后,通过替换操作,原子性地替换原有分区,以达到目的。详细用法请参考文档表原子替换。


http://www.ppmy.cn/server/164847.html

相关文章

java练习(5)

ps:题目来自力扣 给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这…

Scratch 《像素战场》系列综合游戏:像素战场游戏Ⅰ~Ⅲ 介绍

资源下载 Scratch《像素战场》系列综合游戏合集:像素战场游戏Ⅰ~Ⅲ压缩包 https://download.csdn.net/download/leyang0910/90332765 游戏操作介绍 Scratch 《像素战场Ⅰ》操作规则: 这是一款与朋友一起玩的 1v1 游戏。先赢得6轮胜利! WA…

Nginx知识

nginx 精简的配置文件 worker_processes 1; # 可以理解为一个内核一个worker # 开多了可能性能不好events {worker_connections 1024; } # 一个 worker 可以创建的连接数 # 1024 代表默认一般不用改http {include mime.types;# 代表引入的配置文件# mime.types 在 ngi…

Redis真的是单线程的吗?

在学习redis的过程中老是听到:Redis快的原因之一是单线程模型,省去线程切换和竞争的性能开销,但是深入了解redis之后发现它并不是纯的单线程。 Redis 单线程指的是「接收客户端请求->解析请求 ->进行数据读写等操作->发送数据给客户…

【编译系列】Torch.compile()训练编译——算子融合逻辑 工程化

1. 背景: torch.compile()中,Dynamo作为前端负责计算图的捕获,后端有inductor、tvm等进行编译优化。 Dynamo:在Python字节码层面注入pass,实现bytecode-to-bytecode的优化,通过对bytecode逐行进行解析构建FX GraphInductor:负责对FX Graph进行AOTAutograd生成joint-gra…

论文阅读(七):贝叶斯因果表型网络解释遗传变异和生物学知识

1.论文链接:Bayesian Causal Phenotype Network Incorporating Genetic Variation and Biological Knowledge 摘要: 在分离群体中,数量性状基因座(QTL)定位可以确定对表型有因果效应的QTL。这些方法的一个共同特点是Q…

排序算法3

4、希尔排序 希尔排序,也称递减增量排序算法,是插入排序的一种更高效的改进版本。但希尔排序是非稳定排序算法。希尔排序是基于插入排序的以下两点性质而提出改进方法的:插入排序在对几乎已经排好序的数据操作时,效率高&#xff…

STM32 LED呼吸灯

接线图: 这里将正极接到PA0引脚上,负极接到GND,这样就高电平点亮LED,低电平熄灭。 占空比越大,LED越亮,占空比越小,LED越暗 PWM初始化配置 输出比较函数介绍: 用这四个函数配置输…