第2.6章 StarRocks表设计——数据压缩

news/2025/2/19 8:11:26/

注:本篇文章阐述的是StarRocks-3.2版本的数据压缩机制

1.数据压缩概述

  StarRocks支持对表,索引数据进行压缩(compression)。数据压缩不仅有助于节省存储空间,还能提高I/O密集型任务的性能,但是压缩和解压数据需要额外的cpu资源。

2.选择数据压缩算法

  StarRocks支持四种数据压缩算法:LZ4,Snappy,Zstandard(或 zstd)、zlib。每种压缩算法在压缩率和压缩/解压缩性能上有所不同。压缩率排名如下:zlib > Zstandard > LZ4 > Snappy。由于数据高度压缩,使用zlib算法的表,其导入和查询性能会受到一定程度的影响。LZ4 和 Zstandard算法具有较为均衡的压缩比和解压缩性能。如果对存储空间占用没有特殊需求,建议使用LZ4 或Zstandard算法。除此之外,不同的数据类型也会影响算法的压缩率。

3.设置数据压缩算法

     只能在建表时通过增加属性 compression 为其设置数据压缩算法且后续无法修改。如不指定数据压缩算法,StarRocks 默认使用 LZ4

compression 有效值包括:

  • LZ4:LZ4 算法。
  • ZSTD:Zstandard 算法。
  • ZLIB:zlib 算法。
  • SNAPPY:Snappy 算法。
#对表data_compression指定算法 Zstandard
create table `data_compression` (`id`      int(11)     not null     comment "",`name`    char(200)   null         comment ""
)
engine=olap 
unique key(`id`)
comment "olap"
distributed by hash(`id`)
properties (
"compression" = "zstd"
);

参考文章:

数据压缩 | StarRocks


http://www.ppmy.cn/news/1362254.html

相关文章

设计模式学习笔记 - 面向对象 - 3.面向对象比面向过程有哪些优势?面向过程真的过时了吗?

简述 在过往的工作中,我发现很多人搞不清面向对象和面向过程的区别,总认为使用面向对象编程语言来开发,就是在面向面向对象编程了。而实际上,他们只是在用面向对象编程语言,编写面向过程风格的代码而已,并…

vivo 基于 StarRocks 构建实时大数据分析平台,为业务搭建数据桥梁

在大数据时代,数据分析和处理能力对于企业的决策和发展至关重要。 vivo 作为一家全球移动互联网智能终端公司,需要基于移动终端的制造、物流、销售等各个方面的数据进行分析以满足业务决策。 而随着公司数字化服务的演进,业务诉求和技术架构有…

代码随想录算法训练营总结

正式结束了代码随想录算法训练营为期60天的打卡,最终能够坚持下来感觉还是很有成就感的。我作为一个大四保研结束转码的机械人,在推免结束后老师就给我发了代码随想录的网站让我学习算法,我在系统的复习完一遍C语言后初步学习了大致的C语法&a…

Python | OS模块操作

一、介绍 Python的os模块提供了许多与操作系统交互的函数,可以用于文件和目录的操作、进程管理、环境变量的访问等。以下是os模块的一些常用功能: 文件和目录操作:os模块提供了许多函数来进行文件和目录的操作,如创建文件夹(os.mk…

基于springboot+vue的智慧社区系统(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

react + Typescript 中 react有多少内置的类型 分别是什么

react Typescript 中 react有多少内置的类型 分别是什么 React 和 TypeScript 结合使用时,React 提供了一系列的内置类型(也称为类型定义或类型别名)来帮助你在 TypeScript 中编写类型安全的代码。这些类型定义涵盖了 React 的各个方面&…

08 Redis之集群的搭建和复制原理+哨兵机制+CAP定理+Raft算法

5 Redis 集群 2.8版本之前, Redis采用主从集群模式. 实现了数据备份和读写分离 2.8版本之后, Redis采用Sentinel哨兵集群模式 , 实现了集群的高可用 5.1 主从集群搭建 首先, 基本所有系统 , “读” 的压力都大于 “写” 的压力 Redis 的主从集群是一个“一主多从”的读写分…

apidoc接口文档的自动更新与发布

文章目录 一、概述二、环境准备三、接口文档生成1. 下载源码2. 初始化3.执行 四、文档发布五,配置定时运行六,docker运行七,优化方向 一、概述 最近忙于某开源项目的接口文档整理,采用了apidoc来整理生成接口文档。 apidoc是一个…