【实战ES】实战 Elasticsearch：快速上手与深度实践-附录-3-从ES 7.x到8.x的平滑迁移策略

news/2025/3/19 7:46:42/

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

附录-版本升级指南

  • 3-Elasticsearch 7.x 到 8.x 平滑迁移策略指南
    • 1. 升级必要性分析
      • 1.1 版本特性对比
      • 1.2 兼容性评估矩阵
    • 2. 预升级准备清单
      • 2.1 环境检查表
      • 2.2 数据备份策略
    • 3. 分阶段升级流程
      • 3.1 滚动升级步骤（零停机）
      • 3.2 关键操作指令
    • 4. 升级后验证体系
      • 4.1 核心功能验证表
      • 4.2 性能基准对比
    • 5. 回退方案设计
      • 5.1 快速回退流程
      • 5.2 回退检查清单
    • 6. 常见问题解决方案
      • 6.1 典型问题处理矩阵
      • 6.2 关键日志分析
      • Elasticsearch 常用结构化查询参数

3-Elasticsearch 7.x 到 8.x 平滑迁移策略指南

  • Elasticsearch版本升级核心流程与关键节点
开始
环境准备
兼容性检查
数据备份
集群预热
滚动升级
配置调整
功能验证
性能测试
监控与优化
文档更新
结束
插件兼容性检查
查询DSL验证
配置参数审计
快照备份
数据校验
停止节点服务
升级二进制文件
启动节点并验证
循环所有节点
移除弃用配置
启用新特性
核心API测试
集群健康检查
Rally基准测试
压力测试工具
监控集群状态
调整JVM参数
优化分片分配
  • 风险控制矩阵：
风险点预防措施应急方案
插件不兼容提前测试所有插件回滚到7.x并隔离问题插件
数据损坏双重备份+校验从快照恢复数据
性能下降预留30%资源+预热调整JVM参数+分片分配策略
配置错误版本差异文档对照使用默认配置重新初始化
  • 升级验证清单：
      1. 集群健康状态（GET /_cluster/health）
      1. 节点版本一致性（GET /_nodes/stats）
      1. 索引元数据校验（GET /_cat/indices）
      1. 搜索功能测试（GET /_search）
      1. 写入性能验证（POST /_bulk）
      1. 安全插件验证（GET /_security/_authenticate）
  • 建议在升级过程中使用以下监控指标：
{// 定义一个包含多个监控指标的数组，用于在 Elasticsearch 集群升级过程中对集群的运行状态进行监控"metrics": [// 监控 JVM 堆内存的使用百分比// 该指标反映了 Elasticsearch 节点上 Java 虚拟机堆内存的使用情况// 过高的堆内存使用百分比可能会导致频繁的垃圾回收，甚至可能引发内存溢出错误，影响集群的性能和稳定性// 一般建议将该指标控制在 70% - 80% 以下，以便为系统预留足够的内存空间"jvm.mem.heap_used_percent",// 监控集群中正在初始化的分片数量// 在集群升级、节点重启或数据重新分配等操作过程中，会有分片进入初始化状态// 过多的初始化分片可能会导致集群资源被大量占用，影响集群的响应速度和可用性// 通过监控该指标，可以及时发现分片初始化过程中是否存在异常情况"cluster.routing.allocation.initializing_shards",// 监控索引搜索操作的执行时间（以毫秒为单位）// 该指标反映了搜索查询在 Elasticsearch 中的执行效率// 搜索查询时间过长可能意味着查询语句复杂、索引结构不合理或集群资源不足等问题// 对该指标进行监控有助于及时发现搜索性能瓶颈，并采取相应的优化措施"indices.search.query_time_in_millis",// 监控搜索线程池的活跃线程数量// 搜索线程池用于处理搜索请求，活跃线程数量反映了当前正在处理搜索请求的线程数量// 如果活跃线程数量持续过高，可能表示搜索请求过于频繁，导致线程池资源耗尽，影响搜索性能// 监控该指标可以帮助我们了解搜索线程池的使用情况，合理调整线程池配置或优化搜索请求负载"thread_pool.search.active"]
}

1. 升级必要性分析

1.1 版本特性对比

功能模块7.x 版本能力8.x 版本增强业务影响评级
安全体系TLS可选TLS默认启用 + 新密码套件⭐⭐⭐⭐⭐
搜索性能传统BM25支持ANN向量搜索⭐⭐⭐⭐
存储效率标准压缩默认ZSTD压缩（提升20%）⭐⭐⭐⭐
运维监控X-Pack基础监控集成APM+机器学习告警⭐⭐⭐
  • 什么是 ES ANN 向量搜索
    • 在 Elasticsearch（ES）中，ANN（Approximate Nearest Neighbor，近似最近邻）向量搜索是一种用于高效查找与给定查询向量最相似的向量数据的技术。在传统的基于关键词的搜索无法满足复杂的语义搜索需求时，向量搜索便发挥出重要作用。例如在图像、音频、文本等领域，通过将这些数据转换为向量表示，利用向量之间的相似度来进行搜索，能实现更精准、更智能的搜索结果。
    • ANN 向量搜索的应用场景
      • 图像搜索。用户上传一张图片，系统通过提取图片的向量特征，在 Elasticsearch 中搜索与之相似的图片。
      • 文本语义搜索。输入一段文本，系统可以找到语义相似的其他文本，而不仅仅是关键词匹配的文本。
      • 推荐系统。根据用户的历史行为或偏好生成向量，在商品、文章等数据的向量库中搜索相似的向量，为用户提供个性化推荐。

1.2 兼容性评估矩阵

组件7.17兼容性8.0兼容性风险级别处理方案
JDK版本8/1117+高提前升级JDK
Logstash插件部分兼容需7.17+中插件版本升级
Kibana仪表盘兼容需重建中导出/导入NDJSON
自定义分词器需要验证需要验证高测试验证+备用方案
  • NDJSON（Newline-Delimited JSON）
    • 一种轻量级的数据交换格式，由多行独立的 JSON 对象组成，每行一个完整的 JSON 文档，通过换行符（\n）分隔。这种格式特别适合处理日志、流式数据或需要批量处理的结构化数据。
  • NDJSON 核心特性
    • 轻量性：无需复杂的解析器，逐行读取即可处理。
    • 流式处理：支持实时数据流处理，适合日志收集、消息队列等场景。
    • 扩展性：每行独立，便于分布式处理。
    • 兼容性：可通过工具轻松转换为 CSV、XML 等格式。
  • NDJSON 在 Elasticsearch 中的应用
    • 批量数据导入。通过 Elasticsearch 的 Bulk API 导入 NDJSON 格式数据：
      curl -X POST "localhost:9200/_bulk" -H "Content-Type: application/x-ndjson" --data-binary @data.ndjson
    • 日志处理。在 Logstash 中使用 json_lines codec 处理 NDJSON 日志：
      input {file {path => "/var/log/app.log"codec => json_lines}
}output {elasticsearch {hosts => ["localhost:9200"]index => "logs-%{+YYYY.MM.dd}"}
}
    • 注意事项
      • 特殊字符处理：确保每行是有效的 JSON，注意转义换行符 \n 和反斜杠 \\。
      • 数据完整性：避免在传输过程中丢失换行符，导致解析错误。
      • 性能优化：对于大规模数据，建议分批次处理，避免内存溢出。
    • 与其他格式对比
      格式优点缺点适用场景
      NDJSON轻量、流式处理不支持嵌套结构日志、实时数据流
      JSON结构灵活解析复杂、不适合流式处理API 响应、配置文件
      CSV易于表格处理类型不明确数据分析、报表生成

2. 预升级准备清单

2.1 环境检查表

# 检查集群健康状态
GET _cluster/health?filter_path=status,*_active_shards# 验证索引兼容性
GET _index_template?filter_path=index_templates.name,index_templates.index_template.template# 检查废弃API使用情况
GET _nodes/usage?filter_path=.*.deprecations

2.2 数据备份策略

// 向 _snapshot/backup_repo/pre_upgrade_bk_2023 端点发送 PUT 请求，目的是在名为 backup_repo 的快照仓库中创建一个名为 pre_upgrade_bk_2023 的快照
PUT _snapshot/backup_repo/pre_upgrade_bk_2023
{// 指定要包含在快照中的索引// 使用 "*" 表示包含集群中的所有索引，这样会对集群内的所有数据进行备份"indices": "*",// 设置是否忽略不可用的索引// 当设置为 true 时，如果某些索引不可用（例如处于损坏或未分配状态），快照过程不会因为这些不可用的索引而失败，而是会跳过它们继续进行快照操作"ignore_unavailable": true,// 设置是否包含集群的全局状态// 全局状态包含了集群的配置信息、节点信息、索引模板等元数据// 设置为 true 表示在快照中会包含这些全局状态信息，以便在恢复快照时可以还原整个集群的配置"include_global_state": true,// 为快照添加元数据信息// 元数据可以用于记录关于快照的额外信息，方便后续的管理和识别// 这里添加了一个名为 "reason" 的元数据字段，其值为 "pre-upgrade-8.x"，表明创建这个快照的原因是在升级到 8.x 版本之前进行备份"metadata": {"reason": "pre-upgrade-8.x"}
}
  • 备份验证指标：
    • 成功率：100%索引包含
    • 耗时：≤数据总量/50MB/s
    • 存储空间：原始数据大小×1.2

3. 分阶段升级流程

3.1 滚动升级步骤（零停机）
否
是
准备阶段
停用分片分配
升级单个节点
重启并验证节点
是否所有节点升级?
启用分片分配
最终集群检查

3.2 关键操作指令

# 停用分片分配
# 向 _cluster/settings 端点发送 PUT 请求，用于修改集群的持久化设置
# 持久化设置意味着即使集群重启，这些设置仍然会生效
PUT _cluster/settings
{# "persistent" 表示这是持久化设置"persistent": {# 设置集群路由分配的启用规则为 "primaries"# 这意味着只允许主分片进行分配，副本分片的分配将被暂停# 在进行节点升级等操作时，停用分片分配可以避免在升级过程中因分片重新分配而导致的性能问题和数据不一致问题"cluster.routing.allocation.enable": "primaries"}
}# 升级单个节点
# 使用 sudo 以管理员权限执行 systemctl 命令，停止 Elasticsearch 服务
# 停止服务是为了确保在升级过程中不会有新的请求进入，避免数据损坏或升级失败
sudo systemctl stop elasticsearch.service# 使用 sudo 以管理员权限执行 rpm 命令，进行软件包的升级操作
# -Uvh 是 rpm 命令的选项，其中 -U 表示升级，-v 表示显示详细的升级过程信息，-h 表示显示进度条
# elasticsearch-8.8.1.rpm 是 Elasticsearch 8.8.1 版本的 RPM 软件包，通过该命令将节点升级到 8.8.1 版本
sudo rpm -Uvh elasticsearch-8.8.1.rpm# 验证节点状态
# 向 _cat/nodes 端点发送 GET 请求，用于获取集群中节点的信息
# v 参数表示以表格形式输出详细信息，方便查看
# h 参数用于指定要显示的列，这里指定显示节点的名称（name）、版本（version）和角色（roles）
# 通过查看这些信息，可以确认节点是否成功升级到 8.8.1 版本以及节点的角色是否正常
GET _cat/nodes?v&h=name,version,roles

4. 升级后验证体系

4.1 核心功能验证表

测试类别测试方法预期结果通过标准
数据完整性随机采样文档对比哈希值哈希值完全匹配100%匹配
搜索相关性相同查询对比7.x/8.x结果前10结果重合≥90%≥95%重合
写入性能批量写入压力测试吞吐量差异≤15%≤10%差异
安全认证多角色权限验证权限控制精确生效无越权访问

4.2 性能基准对比

测试场景7.17 性能指标8.8 性能指标变化率
日志写入吞吐12万条/秒14万条/秒+16%↑
复杂聚合查询2.3秒1.8秒-22%↓
冷数据存储成本$0.023/GB/月$0.018/GB/月-22%↓
安全握手延迟320ms180ms-44%↓

5. 回退方案设计

5.1 快速回退流程
触发回退
停止新数据写入
恢复7.x集群快照
验证数据完整性
切换流量到7.x
清理8.x节点

5.2 回退检查清单

    1. 确认快照版本与7.x集群版本一致
    1. 关闭8.x集群安全认证功能
    1. 清除8.x特定索引模板
    1. 回滚JDK到11版本

6. 常见问题解决方案

6.1 典型问题处理矩阵

问题现象根本原因解决方案紧急程度
节点无法加入集群TLS配置不一致同步安全证书到所有节点⭐⭐⭐⭐⭐
聚合查询返回空结果字段类型不兼容重建索引并更新映射⭐⭐⭐⭐
Kibana仪表板加载失败插件版本不匹配升级Kibana到8.x配套版本⭐⭐⭐
分词器报错停用词列表格式变更调整分词器配置文件⭐⭐

6.2 关键日志分析

# 典型错误日志1：证书不兼容
[WARN][o.e.x.s.t.n.SecurityNetty4Transport] SSL/TLS connection error: handshake_failure# 解决方案：
使用elasticsearch-certutil重新生成统一CA证书# 典型错误日志2：字段类型冲突
java.lang.IllegalArgumentException: field [price] of type [scaled_float] conflicts with existing type [double]# 解决方案：
创建新索引并指定正确字段类型，使用reindex API迁移数据
  • 附录：迁移工具包
工具类别推荐工具使用场景
数据迁移Elasticsearch Reindex API索引结构更新
配置检查ES Upgrade Assistant预检兼容性问题
性能对比Rally基准测试工具版本性能对比
安全迁移Elastic Certutil证书管理

关键注意事项：

  1. 必须先在测试环境验证业务场景
  2. 生产环境升级需选择业务低峰期
  3. 保留至少7天的旧版本快照
  4. 监控系统需提前适配8.x指标格式
  • **注：实际升级耗时与数据规模成正比，每TB数据预计需要2-4小时迁移时间**
    es - head 是一个 Elasticsearch 的可视化管理插件，它本身并不定义查询参数，而是允许用户使用 Elasticsearch 的各种查询参数来执行搜索操作。以下为你详细介绍 Elasticsearch 中常见的查询参数及其含义：

彩蛋！！！

Elasticsearch 常用结构化查询参数

  • match 查询。全文搜索查询，会对查询文本进行分词处理，然后在指定字段中查找匹配的分词。
  • term 查询。精确匹配查询，不会对查询词进行分词处理，直接查找字段中包含确切值的文档。
  • prefix 查询。查找字段中以指定前缀开头的文档。
  • wildcard 查询。支持使用通配符 *（匹配任意数量的任意字符）和 ?（匹配单个任意字符）进行模糊匹配。
  • range 查询。查找字段值在指定范围内的文档，支持 gt（大于）、gte（大于等于）、lt（小于）、lte（小于等于）操作符。
  • bool 查询。用于组合多个查询条件，可使用 must（必须匹配）、must_not（必须不匹配）、should（可以匹配，匹配越多得分越高）和 filter（过滤文档，不影响得分）子句。
  • _source 参数。控制返回文档中包含的字段，可以指定包含或排除某些字段。
  • explain 参数。当设置为 true 时，会在返回结果中包含每个匹配文档的得分解释信息，帮助理解文档得分的计算方式。
  • timeout 参数。指定查询的超时时间，若查询在指定时间内未完成，将返回已找到的部分结果。

http://www.ppmy.cn/news/1580265.html

相关文章

3.18学习总结 JAVA方法

3.18学习总结 JAVA方法

流程跳转语句：break,continue break：在switch中结束case条件判断，在循环体中结束循环continue：作用在循环体中，结束循环体的本次循环，而进入下次循环 方法： 类似于c语言的函数 注意&#xff…
阅读更多...
Python 常用内建模块-argparse

Python 常用内建模块-argparse

目录 argparse 小结 argparse 在命令行程序中，经常需要获取命令行参数。Python内置的sys.argv保存了完整的参数列表，我们可以从中解析出需要的参数： # copy.py import sys print(sys.argv) source sys.argv[1] target sys.argv[2] # TOD…
阅读更多...
3.17学习总结

3.17学习总结

完成了一道算法题，终于自己独立写出了一道二叉树的题了 bool isSameTree(struct TreeNode* p, struct TreeNode* q) {if(pNULL&&qNULL) return true;if(pNULL||qNULL) return false;if(p->val!q->val) return false;if(p->leftNULL&&…
阅读更多...
【C++基础】CMake项目

【C++基础】CMake项目

CMake 项目简介 CMake 是一个跨平台的构建工具，用于管理 C/C 项目的编译过程。它通过生成标准的构建文件（如 Makefile、Visual Studio 项目文件、Ninja 构建文件等）来简化项目的构建流程。CMake 的核心是 CMakeLists.txt 文件，它…
阅读更多...
C++输入输出流第一弹：标准输入输出流 详解（带测试代码）

C++输入输出流第一弹：标准输入输出流 详解（带测试代码）

目录 C输入输出流 流的四种状态（重点） 标准输入输出流 标准输入流 逗号表达式 1. 逗号表达式的基本规则 示例 2. 图片中的代码分析 关键点解析 3. 常见误区 误区 1：逗号表达式等同于逻辑与 && 误区 2：忽略输入…
阅读更多...
4.angular 服务

4.angular 服务

服务是在controller里面引入的服务： 最好是内部服务在前面，自定义服务在后面 内部服务 $scope $scope.$watch(‘属性名’, function(newVal, oldVal) {}, true) true是深度监听,对象函数等$scope.$apply 触发页面更新,里面传入回调函数,比如说之前那个…
阅读更多...
[Banana Pi BPI-R4] RDK 和联发科推出Wi-Fi 7 宽带 CPE 的新硬件参考平台

[Banana Pi BPI-R4] RDK 和联发科推出Wi-Fi 7 宽带 CPE 的新硬件参考平台

全新参考板可帮助运营商、CPE 制造商和应用程序开发商轻松快速地测试和推出下一代 RDK-B 路由器、网关和应用程序联发科与 RDK 合作基于 Banana Pi 开源硬件项目打造全新宽带参考板 巴黎，2024 年 10 月 3 日——在NetworkX年度会议召开之前**，** RDK 管…
阅读更多...
网络爬虫【简介】

网络爬虫【简介】

我叫补三补四，很高兴见到大家，欢迎一起学习交流和进步 今天来讲一讲爬虫 一、网络爬虫的定义 网络爬虫（Web Crawler），又称为网络蜘蛛、网络机器人等，是一种按照一定规则自动抓取互联网信息的程序或脚本。它…
阅读更多...
最新文章

Copyright @ 2022~2023