es数据同步

embedded/2025/1/31 22:50:58/

Logstash 是 Elastic 技术栈中的一个技术,它是一个数据采集引擎,可以从数据库采集数据到 ES 中。可以通过设置 自增 ID 主键 或 更新时间 来控制数据的自动同步:

自增 ID 主键:Logstatsh 会有定时任务,如果发现有主键的值大于先前同步记录的主键值,就会将对应的增量数据同步到 ES 中
更新时间:其实原理与主键类似,不过如果设置使用主键作为依据的话,那么数据库的数据更新就不会被识别从而更新到 ES 中。

一、安装

下载地址:Past Releases of Elastic Stack Software | Elastic 

注意:使用Logstatsh的版本号与elasticsearch版本号需要保持一致

二、上传并解压

可以在linux下运行,也可以在windows下运行,本文仅尝试win系统,就不再linux尝试了

三、修改配置文件

新建一个文件 /logstash-7.9.1/config/logstash-esconvert.conf

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.input {elasticsearch {hosts => ["http://1.2.3.4:9200"]index => "es_cust_data"user => "elastic"password => "elastic"}
}output {elasticsearch {hosts => ["http://10.20.30.40:9200"]index => "es_cust_data"user => "elastic"password => "elastic"#document_type => "_doc"#document_id => "%{[@metadata][_id]}"}
}

四、执行命令

在安装路径下执行

.\bin\logstash -f .\config\logstash-esconvert.conf

等待执行结果即可,就会从input端同步索引数据到  output端了

一定要注意两个es环境的索引字段要保持一致哈


http://www.ppmy.cn/embedded/158465.html

相关文章

在汇编语言中,ASSUME 是一个用于告诉汇编器如何将段寄存器与特定段名称关联的指令

在汇编语言中,ASSUME 是一个用于告诉汇编器如何将段寄存器与特定段名称关联的指令。它主要用于定义代码段、数据段和栈段等的段寄存器使用方式,帮助编译器生成正确的代码。 具体到 ASSUME DS:DATA, CS:CODE, SS:STACK,这行代码的作用如下&…

deepseek关于蒸馏的通俗讲解

好的!我用一个**做奶茶**的比喻来解释「知识蒸馏」,保证通俗易懂~ --- ### **第一步:先理解什么是蒸馏技术** 想象你有一杯超级浓的奶茶(**大模型**),味道复杂又醇厚,但太浓了喝起…

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)

手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码) 目录 手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion(代码)Stable Diffusion 原理图Stable Diffusion的原理解释Stable Diffusion 和Di…

【2】阿里面试题整理

[1]. 说一下Java与C的区别。 Java和C是两种在软件开发领域应用非常广泛的语言,但它们的设计理念和应用场景有所不同。 Java是一种基于JVM的解释型语言,具有跨平台性,使用自动垃圾回收机制,这使得开发者可以更专注于业务逻辑&…

Learning Vue 读书笔记 Chapter 2

2. Vue 基本工作原理 2.1 Virtual DOM 概念: DOM: DOM以内存中树状数据结构的形式,代表了网页上的HTML(或XML)文档内容。它充当了一个编程接口,将网页与实际的编程代码(如JavaScript)连接起来…

当当网近30日热销图书的数据采集与可视化分析(scrapy+openpyxl+matplotlib)

当当网近30日热销图书的数据采集与可视化分析(scrapy+openpyxl+matplotlib) 当当网近30日热销书籍官网写在前面 实验目的:实现当当网近30日热销图书的数据采集与可视化分析。 电脑系统:Windows 使用软件:Visual Studio Code Python版本:python 3.12.4 技术需求:scrapy、…

【卫星通信】链路预算方法

本文介绍卫星通信中的链路预算方法,应该也适用于地面通信场景。 更多内容请关注gzh【通信Online】 文章目录 下行链路预算卫星侧参数信道参数用户侧参数 上行链路预算链路预算计算示例 下行链路预算 卫星侧参数 令卫星侧天线数为 M t M_t Mt​,每根天线…

计算机网络__基础知识问答

Question: 1)在计算机网络的5层结构中,每一层的功能大概是什么? 2)交换机的功能?https://www.bilibili.com/video/BV1na4y1L7Ev 3)路由器的功能?https://www.bilibili.com/video/BV1hv411k7n…