ElasticSearch数据同步

news/2024/11/30 7:57:03/

文章目录

  • ElasticSearch数据同步
  • 1. 同步调用
  • 2. 异步通知
  • 3. 监听binlog
  • 4. 工作中处理同步的问题

ElasticSearch数据同步

ElasticSearch中酒店数据来自于mysql数据库,因此MySQL数据发生改变时,ElasticSearch也必须跟着改变,这个就是ElasticSearch和MySQL之间的数据同步

在这里插入图片描述

1. 同步调用

在这里插入图片描述

  • 优点:实现简单粗暴
  • 缺点:业务耦合度高

2. 异步通知

在这里插入图片描述

  • 优点:低耦合,实现难度一般
  • 缺点:依赖MQ的可靠性

3. 监听binlog

在这里插入图片描述

  • 优点:完全解除服务间耦合
  • 缺点:开启binlog增加数据库负担,实现复杂度高

4. 工作中处理同步的问题

以上3种,同步调用,异步通知,监听binlog都是增量的。工作中有时候需要全量刷新ES索引,用过以下几种实现方式:

  • 通过Java代码从数据库写到ElasticSearch和定时任务来实现
  • 通过Kettle从数据库写到ElasticSearch来实现
  • 通过Streamsets从数据库写到ElasticSearch来实现(Streamsets也可以实现监听binlog方式)
  • 通过Apache NIFI从数据库写到ElasticSearch来实现
  • 通过ESB从数据库写到ElasticSearch来实现

http://www.ppmy.cn/news/1290600.html

相关文章

61.本地缓存加载与使用实践

文章目录 一、本地缓存理论最佳实践二、Go代码实践:1、本地缓存设计2、本地缓存加载 代码地址:https://gitee.com/lymgoforIT/golang-trick/tree/master/37-load-local-cache 一、本地缓存理论最佳实践 控制缓存大小:根据应用程序的需求和可…

c# 编程点滴--元组

1. 元组 Tuple 是 C# 中表示元组(Tuple)的数据结构。元组是一个用于存储一组有序元素的数据结构,每个元素可以是不同类型的数据。在 C# 中,元组是值类型,允许存储多个值,并且可以通过索引或者具名字段访问…

力扣hot100 翻转二叉树 递归

👨‍🏫 题目地址 😋 AC code /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNod…

CCNP课程实验-05-Comprehensive_Experiment

目录 实验条件网络拓朴 基础配置实现IGP需求:1. 根据拓扑所示,配置OSPF和EIGRP2. 在R3上增加一个网段:33.33.33.0/24 (用Loopback 1模拟) 宣告进EIGRP,并在R3上将EIGRP重分布进OSPF。要求重分布进OSPF后的路由Tag值设置为666&…

CISSP 第7章:PKI和密码学应用

第七章 PKI和密码学应用 7.1 非对称密码学 对称密码系统具有共享的秘钥系统,从而产生了安全秘钥分发的问题 非对称密码学使用公钥和私钥对,无需支出复杂密码分发系统 7.1.1 公钥与私钥 7.1.2 RSA(兼具加密和数字签名) RSA算法依赖…

Linux引导过程和服务

一、Linux操作系统引导过程 1.引导过程 bios 加电自检——mbr——grub——加载内核——启动进程 加电后BIOS程序回自检硬件,硬件无故障后,会根据第一次启动项去找内核,一般来说第一启动项是硬盘,找到硬盘后,会根据mb…

哪些洗地机比较好?洗地机选购指南

随着社会生活水平的提高,人们对居家环境的卫生和清洁要求不断提升。家用洗地机作为一种先进的清洁工具,带来了许多便利和优势,特别是在解决一些特殊需求的家庭环境方面。 以下是一些家用洗地机的优势和适用场景: 1.高效清洁&…

【番外】【Airsim in Windows ROS in WSL2-Ubuntu20.04】环境配置大全

【番外】【Airsim in Windows &ROS in WSL2-Ubuntu20.04】环境配置大全 【前言(可省略不看)】1.在windows上面部署好UE4AirSim联合仿真环境2.在windows上面部署wsl2系统以及在wsl2上面部署ubuntu系统3.安装好ubuntu系统之后,目前只能在命…