ElasticSearch view

embedded/2025/2/5 2:48:10/

基础知识类
elasticsearch和数据库之间区别?
elasticsearch:面向文档,数据以文档的形式存储,即JSON格式的对象。更强调数据的搜索、索引和分析。
数据库:更侧重于事务处理、数据的严格结构化和完整性,适用于关系复杂、数据一致性要求高的业务场景。
elasticsearch和核心组件包含哪些?
节点(Node):elasticsearch集群中一个服务器实例,负责存储数据、处理请求等,根据角色不同可分为主节点、数据节点、协调节点等。
集群(Cluster):由一个或多个节点组成的elasticsearch实例的集合,用于存储和管理数据。
索引(Index):文档的集合,类似于关系型数据库中的数据库。
类型(Type):一个索引对应一种文档类型。
文档(Document):elasticsearch中存储的基本单位,以JSON格式表示。
什么是elasticsearch中的“倒排索引”?
正向索引:根据文档查询其中包含的词。
倒排索引:建立一个词到文档的映射关系。
具体来说:
每个词对应一个词典项,词典项中包含了改词的所有文档列表,以及每个文档中改词出现的频率、位置等信息。当用户进行搜索时,elasticsearch会根据查询在词典中查找对应的文档列表,从而快速定位包含该词的文档,从而提高效率。

集群管理与监控类
如何查看elasticsearch集群的健康状态?
curl -X GET “localhost:9200/_cluster/health” 813

green:主分片和副本分片都正常分配。
yellow:主分片分配成功,但副本分片未分配,可能存在节点故障或网络问题导致副本未就绪。
red:主分片未分配,此时部分数据不可用,集群处于异常。
elasticsearch集群中主分片和副本分片的作用是什么?如何配置它们的数量?
主分片:每个索引的文档都会被分配到一个主分片中,主分片负责存储实际的数据。
一个索引可以有多个主分片,主分片的数量在索引创建时确定,并且不能更改。
主分片的数量应根据预计的数据量和集群的节点容量来确定,建议:主分片数量最多不要超过集群中节点的数量,避免单个节点分配过多主分片而造成资源紧张。
副本分片:为主分片的副本,用于高可用性和容错性。
当某个主分片所在的节点发生故障时,副本分片可以提升为主分片继续提供服务。同时也能够分担读请求,提高搜索和查询效率。
副本分片的数量可以在索引创建后动态调整。
案例:在不影响业务的情况下最多可以容忍几台服务器宕机?
如果你要容忍N台服务器故障,集群需要2N+1台服务器,故高可用集群都采用奇数台服务器。
1)5台服务器的最大允许宕机服务器数是多少?
2n+1=5---->n=2
2)6台服务器的最大允许宕机服务器数是多少?
2n+1=6---->n=2

如何监控elasticsearch集群的性能指标?
使用elasticsearch自带的监控API:
/_cat:API可以用于获取集群、节点、索引等基本信息。
_cat/indices:查看索引的健康状态、文档数量、存储大小。
_cat/nodes:查看节点的状态、CPU使用率、内存使用率等。
_nodes/status:获取节点的详细统计信息(含索引、分片、缓存、线程池等)。
第三方监控工具:Prometheus + Grafana。
prometheus可以收集elasticsearch的各种指标数据,包含JVM堆内存使用率、索引和搜索的吞吐量、分片分配情况等。
通过Grafana可视化这些数据,及时发现潜在的性能瓶颈和问题。
性能优化与故障处理
如何优化elasticsearch的搜索性能?
合理设置索引的分片和副本数量:
根据数据量和集群资源合理配置主分片数和副本数,避免分片过多或过少。
优化查询语句:
采用更高效的查询方式。
例如避免使用通配符查询(如*)开头的查询方式。
调整java堆内存大小:
elasticsearch运行在jvm上,适当的堆内存大小对性能至关重要。
通常建议将堆内存大小设置为系统物理内存的一半即可。且不超过32GB,避免降低性能。
硬件升级和优化:
对于高并发、大数据量的场景,可以通过增加节点、升级服务器硬件(如,CPU\内存\SSD磁盘等)来提升集群的整体性能。
elasticsearch节点出现故障或集群为red时,如何进行故障排查?
收集故障信息:
查看elasticsearch的日志文件,日志文件通常位于logs目录下,所以从中获取节点故障的错误信息、异常堆栈等,初步判断故障原因。
使用curl -X GET “localhost:9200/_cluster/health”|jq查看集群健康状态,确保集群状态为red的具体原因(如主分片未分配等)。
检查节点连接和网络状况:
确认故障节点是否可以正常通信,检查网络连接是否正常,是否有网络分区或其他网络故障导致节点无法通信。
可通过ping命令测试节点之间的连通性,或使用telnet测试节点间的端口是否开放。
检查硬件资源:
查看故障节点的CPU、内存、磁盘等硬件资源使用情况,是否存在资源被耗尽的情况。
采用top/free -m/df -h等命令查看硬件资源状态。
根据故障原因进行恢复操作:
节点硬件故障(磁盘损坏):更换硬件并更新启动节点。
网络故障:修复网络连接后,集群会自动进行数据恢复和分片分配。
主分片未分配:根据具体情况,如增加副本数、调整分片分配策略等来解决。


http://www.ppmy.cn/embedded/159633.html

相关文章

用Python实现K均值聚类算法

在数据挖掘和机器学习领域,聚类是一种常见的无监督学习方法,用于将数据点划分为不同的组或簇。K均值聚类算法是其中一种简单而有效的聚类算法。今天,我将通过一个具体的Python代码示例,向大家展示如何实现K均值聚类算法&#xff0…

基于微信小程序的酒店管理系统设计与实现(源码+数据库+文档)

酒店管理小程序目录 目录 基于微信小程序的酒店管理系统设计与实现 一、前言 二、系统功能设计 三、系统实现 1、管理员模块的实现 (1) 用户信息管理 (2) 酒店管理员管理 (3) 房间信息管理 2、小程序序会员模块的实现 (1)系统首页 &#xff…

【单细胞-第三节 多样本数据分析】

文件在单细胞\5_GC_py\1_single_cell\1.GSE183904.Rmd GSE183904 数据原文 1.获取临床信息 筛选样本可以参考临床信息 rm(list ls()) library(tinyarray) a geo_download("GSE183904")$pd head(a) table(a$Characteristics_ch1) #统计各样本有多少2.批量读取 学…

阿里云域名备案

一、下载阿里云App 手机应用商店搜索"阿里云",点击安装。 二、登录阿里云账号 三、打开"ICP备案" 点击"运维"页面的"ICP备案"。 四、点击"新增网站/App" 若无备案信息,则先新增备案信息。 五、开始备案

【三元锂电池SOH(State of Health)算法估算】

三元锂电池SOH(State of Health)算法估算是电池健康状态评估的重要内容。在此过程中,我们需要考虑电池的多种参数和因素。以下是一种可能的算法实现步骤: 数据采集:首先我们需要获取电池的实时数据,这可能…

udp和tcp的区别

目录 UDP 和 TCP 的区别 1. 连接性 2. 可靠性 3. 数据传输顺序 4. 流量控制和拥塞控制 5. 效率 6. 应用场景 UDP 和 TCP 的 C/C 代码实现区别 1. TCP 服务器端和客户端 TCP 服务器端(Server) TCP 客户端(Client) 2. U…

软件测试 - 概念篇

目录 1. 需求 1.1 用户需求 1.2 软件需求 2. 开发模型 2.1 软件的生命周期 2.2 常见开发模型 2.2.1 瀑布模型 2.2.2 螺旋模型 1. 需求 对于软件开发而言, 需求分为以下两种: 用户需求软件需求 1.1 用户需求 用户需求, 就是用户提出的需求, 没有经过合理的评估, 通常…

AI大模型开发原理篇-1:语言模型雏形之N-Gram模型

N-Gram模型概念 N-Gram模型是一种基于统计的语言模型,用于预测文本中某个词语的出现概率。它通过分析一个词语序列中前面N-1个词的出现频率来预测下一个词的出现。具体来说,N-Gram模型通过将文本切分为长度为N的词序列来进行建模。 注意:这…