优化 Elasticsearch 集群性能:解决节点压力不均衡问题及分片策略调整

devtools/2024/12/22 13:22:13/

在管理 Elasticsearch 集群时,我们经常会遇到节点间压力不均衡的问题,这通常是由不合理的分片策略导致的。本文将分享一个真实案例的解决过程,以及如何优化分片策略来提升集群整体性能。

1. 问题描述

在我们的 Elasticsearch 集群中,我们发现数据节点之间的 JVM 内存压力存在显著差异。这种不均衡主要是由于索引的分片策略不当,导致节点间分片分配不均匀。

2. 初步解决方案

我们首先对大型索引(超过 100GB)的分片策略进行了调整。然而,由于存在旧索引(3、4、5日的数据),效果并不立即显现。

3. 观察期

我们决定在接下来的两周内,等待使用旧分片策略的索引被清除。预期在此期间后,集群节点压力不均的现象应该会得到改善。

4. 评估效果

在旧索引清除后,我们重点关注以下指标:

  • 数据节点的 JVMMemoryPressure 指标
  • 使用 _cat/nodes API 查看各数据节点的 JVM 内存使用情况

我们特别留意是否还存在长时间保持较大差异的现象。

使用以下 Dev Tools 命令查看节点状态:

GET _cat/nodes?v&

http://www.ppmy.cn/devtools/114688.html

相关文章

YOLOv9改进系列,YOLOv9主干网络替换为RepViT (CVPR 2024,清华提出,独家首发),助力涨点

摘要 轻量级视觉变换器(ViTs)在资源受限的移动设备上表现出优越的性能和较低的延迟,相比之下轻量级卷积神经网络(CNNs)稍显逊色。研究人员发现了许多轻量级 ViTs 和轻量级 CNNs 之间的结构联系。然而,它们在块结构、宏观和微观设计上的显著架构差异尚未得到充分研究。在…

2-95 基于matlab的模板定位

基于matlab的模板定位。利用①相关匹配(Correlation Matching)、②基于Hausdorff距离匹配方法 及③考虑对场景图象距离变换(Distance Transform)的Hausdorff距离匹配方法,实现模板目标在场景图象中的定位。程序已调通,…

OpenHarmony(鸿蒙南向开发)——小型系统芯片移植指南(二)

往期知识点记录: 鸿蒙(HarmonyOS)应用层开发(北向)知识点汇总 鸿蒙(OpenHarmony)南向开发保姆级知识点汇总~ OpenHarmony(鸿蒙南向开发)——轻量系统芯片移植指南(一) Op…

FPGA基本结构和简单原理

前言: FPGA全程为(Field Programmable Gate Array)现场可编程逻辑阵列,以基本的逻辑为主可以实现大多数芯片可以实现的功能,比如说:ASIC芯片等,在半导体领域有着重要的作用。 本文…

Linux中使用Docker构建Nginx容器完整教程

🏡作者主页:点击! 🐧Linux基础知识(初学):点击! 🐧Linux高级管理防护和群集专栏:点击! 🔐Linux中firewalld防火墙:点击! ⏰️创作…

使用 VSCode 在 Python 中创建项目环境

了解如何管理 Python 项目的不同环境,欢迎来到雲闪世界。 添加图片注释,不超过 140 字(可选) 介绍 创建数据科学项目非常简单。如今,有了众多资源,您只需选择开发工具并启动项目即可。 除了多个人工智能机…

基于SpringBoot的档案管理系统

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于SpringBoot的档案管理系统,java项目…

蓝桥杯-STM32G431RBT6(解决LCD与LED引脚冲突的问题)

一、LCD与LED为什么会引脚冲突 LCD与LED引脚共用。 网上文章是在LCD_WriteRAM、LCD_WriteRAM_Prepare、LCD_WriteReg中添加,但问题并没有解决。 二、使用步骤 在如下函数中加入uint16_t tempGPIOC->ODR; GPIOC->ODRtemp; LCD_Init(); void LCD_C…