20250214 随笔 Elasticsearch(ES)索引数据 vs. 业务数据库冗余双写

ops/2025/2/15 14:47:19/

Elasticsearch(ES)索引数据 vs. 业务数据库冗余双写的区别、优缺点分析

在高并发数据查询场景下,Elasticsearch(ES)业务数据库冗余双写 都是常见的数据同步方案。它们主要区别在于数据存储方式、查询性能、数据一致性和运维复杂度


1. ES 与 冗余双写的核心区别

对比点Elasticsearch(ES)索引方案业务数据库冗余双写
核心理念数据存入数据库,同时索引到 ES,用于高性能搜索在数据库表之间冗余存储相同数据,减少查询 JOIN 依赖
存储方式数据库(持久化)+ ES(搜索引擎数据库表内部冗余存储
查询性能适用于复杂查询、模糊匹配、全文检索,速度快适用于结构化数据查询、关系型查询
数据一致性最终一致性(可能会有延迟)事务保证强一致性
适用场景搜索、日志分析、推荐系统、全文检索业务数据表避免 JOIN,提升查询性能

2. 方案一:使用 Elasticsearch(ES)索引数据

✅ 优势

  1. 高效搜索

    • ES 采用倒排索引,擅长 模糊查询、全文检索、复杂过滤、聚合分析
    • 比数据库 LIKE 查询快很多(数据库 LIKE %xxx% 查询效率低)。
  2. 查询速度快,支持大规模数据量

    • 适合海量数据查询,大数据场景(日志系统、推荐系统等)。
    • 支持高并发查询,而数据库查询在高并发下压力大。
  3. 支持复杂查询

    • 适用于 全文检索、模糊查询、聚合计算,而数据库不擅长这些操作。

❌ 缺点

  1. 数据一致性问题(最终一致性)

    • 数据库和 ES 可能不同步,因为数据存入数据库后需要同步到 ES,可能会有延迟数据丢失(同步失败)。
    • 写入不保证事务一致性,可能导致查询结果和数据库数据不一致。
  2. 运维成本高

    • ES 需要额外的服务器资源,包括 CPU、内存、磁盘(ES 需要 SSD 磁盘)。
    • 需要维护索引结构,数据量大时可能需要索引优化
  3. ES 需要定期重建索引

    • 如果数据变化频繁,ES 索引会碎片化,需要重新索引优化查询效率。

3. 方案二:业务数据库冗余双写

✅ 优势

  1. 事务一致性

    • 数据库保证强一致性,冗余数据和原数据同步写入,不会有数据不同步问题。
  2. 无额外系统依赖

    • 不需要额外的搜索引擎(如 ES),数据库内完成查询。
    • 运维简单,不需要维护 ES。
  3. 查询优化

    • 避免跨表 JOIN 查询,提高数据库查询性能。例如:
      • 订单表 (orders) 可能冗余存储用户昵称 (user_name),避免关联 users 表查询。

❌ 缺点

  1. 数据冗余,占用存储

    • 同一份数据可能存入多个表,增加存储开销
    • 需要定期清理、更新冗余字段,否则可能带来数据同步压力。
  2. 数据库写入性能下降

    • 双写增加了写入压力,每次更新数据时,需要更新多个表
    • 如果更新涉及多个冗余字段,会导致 UPDATE 操作增多,影响性能。
  3. 不支持复杂查询(如全文检索)

    • 不适合模糊搜索、全文检索、复杂过滤,这些场景ES 更擅长

4. 使用 ES 还是 冗余双写?如何选择?

场景推荐方案原因
模糊查询、全文检索ESES 支持倒排索引,查询速度快,LIKE 查询在数据库中效率低
高并发查询ESES 支持分布式查询,适合大数据查询
数据库 JOIN 查询性能低冗余双写避免跨表 JOIN,减少查询压力
实时性要求高,数据不能不同步冗余双写数据强一致性
日志分析、推荐系统、报表ES适合大规模数据计算
数据库运维成本低,避免额外服务冗余双写只需数据库,不需要额外搜索引擎

5. 混合方案(ES + 冗余双写

💡 实际业务中,我们通常会结合 ES 和数据库冗余双写,让两者互补!

  1. 查询使用 ES,加速搜索
    • 业务查询走 ES,提高查询效率。
  2. 核心业务数据用数据库(保证事务)
    • 订单、支付等核心数据仍存数据库,保持一致性。
  3. ES 和数据库保持同步
    • 通过 Flink + KafkaBinlog 监听,将数据库变更数据同步到 ES。

6. 结论

  • Elasticsearch 适用于全文搜索、模糊查询、高并发读,但有数据同步问题。
  • 业务数据库冗余双写适用于减少数据库 JOIN,提高事务一致性,但存储冗余、写入性能下降。
  • 混合方案(ES + 数据库)适用于大多数企业应用,利用 ES 提升搜索性能,同时数据库保证事务一致性。

💡 如果你的业务涉及搜索优化,建议引入 ES;如果是高并发结构化数据查询,可以优先考虑数据库冗余双写 🚀


http://www.ppmy.cn/ops/158614.html

相关文章

Spring 事务及管理方式

Spring 事务管理是 Spring 框架的核心功能之一,它为开发者提供了一种方便、灵活且强大的方式来管理数据库事务。 1、事务的基本概念 事务是一组不可分割的操作序列,这些操作要么全部成功执行,要么全部失败回滚,以确保数据的一致…

USB Flash闪存驱动器安全分析(第一部分)

翻译原文链接:Hacking Some More Secure USB Flash Drives (Part I) | SySS Tech Blog 文章翻译总结:文章对一些具有AES硬件加密的USB闪存驱动器的网络安全分析研究。研究由SySS的IT安全专家Matthias Deeg进行,他在2022年初发现了几个安全漏…

JUC并发—3.volatile和synchronized原理

大纲 1.volatile关键字的使用例子 2.主内存和CPU的缓存模型 3.CPU高速缓存的数据不一致问题 4.总线锁和缓存锁及MESI缓存一致性协议 5.Java的内存模型JMM 6.JMM如何处理并发中的原子性可见性有序性 7.volatile如何保证可见性 8.volatile为什么无法保证原子性 9.volati…

Docker拉不下来镜像问题解决法案

打开docker的设置界面 配置如下: vi /etc/docker/daemon.json {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-mirrors": ["…

网络初识-

网络的相关概念 一、局域网和广域网 将各种计算机、外部设备等相互连接起来,实现在这个范围内数据通信和资源共享的计算机网络。它的覆盖范围通常在几百米到几公里之内。例如,一个小型企业的办公室,通过交换机将多台电脑连接在一起&#xf…

[css] 黑白主题切换

link动态引入 类名切换 css滤镜 var 类名切换 v-bind css预处理器mixin类名切换 【前端知识分享】CSS主题切换方案

win10中mstsc远程Centos-Stream 9图形化界面

文章目录 1 前置状态2 安装配置XRDP3 关闭SELinux3.1 查看selinux状态3.2 关闭selinux 4 启动XRDP5 Win10远程连接测试 1 前置状态 已安装CentOS9桌面版;Windows10。 2 安装配置XRDP sudo yum install epel-release sudo yum install xrdp sudo yum install tige…

数据结构——Makefile、算法、排序(2025.2.13)

目录 一、Makefile 1.功能 2.基本语法和相关操作 (1)创建Makefile文件 (2)编译规则 (3)编译 (4)变量 ①系统变量 ②自定义变量 二、 算法 1.定义 2.算法的设计 &#xff…