ES数据压缩、解压调研测试

embedded/2025/2/12 16:36:57/

ES数据压缩、解压调研测试

设置 best_compression 压缩方式 所占磁盘空间
在这里插入图片描述

查询速度(解压)
在这里插入图片描述

设置默认压缩方式(LZ4) 所占磁盘空间
在这里插入图片描述

5分钟后压缩再次触发 变为149M
在这里插入图片描述

查询速度(解压)
在这里插入图片描述

结论
针对压缩来说,压缩触发的因素不单纯是数据落到ES就开始压缩,比如系统负载情况、持久化磁盘后 都会进行压缩,所以才出现了 ecs_http20250208 开始161M 几分钟后变为了149M 但是就目前情况看 best_compression压缩比肯定是比LZ4要高的,如果磁盘空间比较敏感可以考虑使用best_compression。
针对解压来说,解压过程是ES自动触发的,一旦查询ES时,就会根据索引配置对段文件进行解压。因为数据量太少目前两种方式查询速度差不多,除非数据堆到几亿再测试。
但是在互联网调研来说,LZ4解压与压缩速度都比best_compression快,具体快多少目前无从测试,但是压缩比LZ4与best_compression差太多。


http://www.ppmy.cn/embedded/161642.html

相关文章

使用 PDF SDK 通过页面分割和数据提取对建筑图纸进行分类

一家专门从事设计和建设的建筑公司对大量多页建筑 PDF 图纸进行分类,从而提高协作和运营效率。 这类公司通常承担多个建筑设计项目,每个项目包含多个设计图纸,如详细的结构计划、电气与水管计划、机械计划等。如果项目图纸可以在上传后自动分…

Python:凯撒密码

题目内容: 凯撒密码是古罗马恺撒大帝用来对军事情报进行加密的算法,它采用了替换方法对信息中的每一个英文字符循环替换为字母表序列该字符后面第三个字符,对应关系如下: 原文:A B C D E F G H I J K L M N O P Q R …

在win11下配置QT存在问题

原来使用版本为5.12.12,因为版本原因导致不能上架,遂决定升级,但大版本的升级与相像的差别还是很大的,且不说从qmake转到cmake和内部的一些使用差别,只说这个环境的搭建,就成了一个坎儿,到现在还…

力扣——【2149. 按符号重排数组】

#创新点 1、创新:“#”后为原始思路,在题解中,提供了一个新代码,可以少创建一个列表 nums[::2],nums[1::2]a,b 2、创新:在修改后的基础上,可以再减少一个列表的创建,即使用一个for循环&#…

Spring Boot应用开发

Spring Boot 是一个用于简化 Spring 应用程序开发的框架,它提供了一种快速、方便的方式来创建独立的、生产级的 Spring 应用。以下是 Spring Boot 应用开发的基本步骤和一些重要概念。 1. 环境准备 JDK: 确保安装了 JDK 8 或更高版本。 IDE: 推荐使用 IntelliJ IDEA、Eclips…

AI基础 -- AI学习路径图

人工智能从数学到大语言模型构建教程 第一部分:AI 基础与数学准备 1. 绪论:人工智能的过去、现在与未来 人工智能的定义与发展简史从符号主义到统计学习、再到深度学习与大模型的变迁本书内容概览与学习路径指引 2. 线性代数与矩阵运算 向量与矩阵的…

常见数据结构的C语言定义---《数据结构C语言版》

文章目录 1. 静态分配的顺序表2. 动态分配的顺序表3. 单 链 表4. 双 链 表5. 静态链表6. 顺序栈7. 链栈8. 顺序存储的队列9. 链式存储的队列10. 链式存储的二叉树11. 线索二叉树12. 树的双亲表示法13. 树的孩子兄弟表示法12. 图的邻接矩阵法13. 图的邻接表法1-13集合版本 #defi…

【华为OD-E卷 - 119 评论转换输出 100分(python、java、c++、js、c)】

【华为OD-E卷 - 评论转换输出 100分(python、java、c、js、c)】 题目 在一个博客网站上,每篇博客都有评论。 每一条评论都是一个非空英文字母字符串。 评论具有树状结构,除了根评论外,每个评论都有一个父评论。 当评…