使用Logstash 将Mysql的数据导入ElasticSearch中

ops/2025/1/12 22:38:44/

1 .Logstash官网

2. 准备工作

3.创建配置文件

4. 启动

5. 版本不一致导致的无法启动

6.目录写错说明

1 .Logstash官网

Logstash：收集、解析和转换日志 | Elastichttps://www.elastic.co/cn/logstash

首先在官网上选择下载

2. 准备工作

Mysql的jar包下载地址：

MySQL ：：下载 MySQL Connector/J （存档版本）https://downloads.mysql.com/archives/c-j/只要这个即可

（1）将Mysql中的jar包，移至到 logstash-core\lib\jars中

（2）进入logstach的bin目录下，创建文件testlogstach.conf，编辑文件

3.创建配置文件

在logstach的bin目录下创建一个自定义名的配置文件

例如：mysql_to_es.conf

input {jdbc {jdbc_driver_library => "D:/Logstach/logstash-7.8.0/logstash-core/lib/jars/mysql-connector-java-8.0.11.jar"jdbc_driver_class => "com.mysql.cj.jdbc.Driver"jdbc_connection_string => "jdbc:mysql://localhost:3306/holy_flower?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai"jdbc_user => "root"jdbc_password => "1234"jdbc_validate_connection => truejdbc_paging_enabled => truejdbc_page_size => 100schedule => "* * * * *"statement => "SELECT id,flower_name,type,growth_habit,description,is_deleted,create_time,update_time FROM tb_flower"use_column_value => truetracking_column => "update_time"last_run_metadata_path => "D:/Logstach/logstash-7.8.0/data/last_time_flower.txt"}
}output {elasticsearch {hosts => ["localhost:9200"]index => tb_flower"document_id => "%{id}"}stdout {codec => json_lines}
}