logstash迁移es自建数据到pass服务

embedded/2024/10/18 18:14:04/

1 安装

下载对应版本的tar文件
https://www.elastic.co/cn/downloads/past-releases#logstash解压
tar -zvxf logstash-6.8.23-linux-x86_64.tar.gz

2 配置

修改Logstash的堆内存使用vi config/jvm.options,修改Logstash配置文件config/jvm.options,增加-Xms2g和-Xmx2g。修改Logstash批量写入记录条数,可以加快集群数据的迁移效率vi config/pipelines.yml pipeline.batch.size从125改为5000

3 创建迁移文件

	配置logstash进入到安装目录下cd /export/server/logstash/confing/创建vi es2es_all.conf文件input {elasticsearch {hosts => "http://ip:9200"  ##源es集群user => "用户名"           ##认证信息password => "密码"index => "索引名称"  ##⽀持通配符,* 表⽰所有索引,如果索引多数据量⼤可以分开配置query => '{ "sort": [ "_doc" ] }'slices => 4   ##是否使⽤slice scroll加速迁移,值不超过单索引shard数scroll => "5m"   ##scroll session保持时间size => 1000docinfo => truessl => false   ##是否使⽤ssl}}filter {# 去掉一些Logstash自己加的字段。mutate {remove_field => ["@timestamp", "@version"]}}output {elasticsearch {hosts => "http://ip:9200" ##目的 es集群user => "用户名"password => "密码"index => "索引名称" #与源es索引保持一致即可#index => "%{[@metadata][_index]}"  #根据原来的信息填写对端的信息document_type => "%{[@metadata][_type]}" #目标端索引type,以下配置表示索引类型与源端保持一致document_id => "%{[@metadata][_id]}" #目标端数据的id,如果不需要保留原id,可以删除以下这行,删除后性能会更好ssl => false #关闭sslssl_certificate_verification => falseilm_enabled => falsemanage_template => false}}

4 执行命令,并观察日志

启动Logstash全量迁移任务
nohup bin/logstash -f config/es2es_all.conf >es_all.log 2>&1 &查看es_all.log日志是否有迁移报错,如果没有则执行以下命令,检查源索引和迁移后的目标索引大小是否一致
tail -f 100 es_all.log
检查数据是否迁移成功
curl -X GET http://ip:9200/_cat/indices?v​

参考博文:elasticsearch数据迁移之logstash-CSDN博客


http://www.ppmy.cn/embedded/8253.html

相关文章

量子时代加密安全与区块链应用的未来

量子时代加密安全与区块链应用的未来 现代密码学仍然是一门相对年轻的学科,但其历史却显示了一种重要的模式。大多数的发展都是基于几年甚至几十年前的研究。而这种缓慢的发展速度也是有原因的,就像药物和疫苗在进入市场之前需要经过多年的严格测试一样&…

Quick Review for Mysql

GROUP group 命令:group by [column...]having 对分组数据进行过滤聚合函数:AVG、SUM、MIN 、MAX、COUNT CONSTRAINS 是什么: 对表中数据的一种限制约束分类: 主键约束(PRIMARY KEY)、外键约束()、唯一约束、检查约束、非空约束、默认约束 INDEX 底…

移动硬盘GPT分区导致在电脑上面无法读取解决办法

现象: 右下角显示u盘接入,在我的电脑里面不显示出来任何硬盘盘符 cmd输入diskmgmt.msc,打开磁盘管理,可以看到 具体操作步骤: 1、进入windows的“命令提示符”,输入DiskPart,然后回车&#x…

DevOps转型的意义:加速创新、提高效率

DevOps作为一种文化和方法论,正在成为现代软件开发和运维的核心。本文将探讨DevOps转型的意义,以及它对组织的影响,如何加速创新、提高效率,并为企业赋予竞争优势。 --- 在当今数字化时代,软件开发和运维已经成为企业竞…

实用图像视频修复工具:完善细节、提高分辨率 | 开源日报 No.225

xinntao/Real-ESRGAN Stars: 25.6k License: BSD-3-Clause Real-ESRGAN 是一个旨在开发实用的图像/视频恢复算法的项目。 该项目主要功能、关键特性和核心优势包括: 提供动漫视频小模型和动漫插图模型支持在线 Colab 演示和便携式 Windows/Linux/MacOS 可执行文件…

【神经网络与深度学习】Long short-term memory网络(LSTM)

简单介绍 API介绍: nn.LSTM(input_size100, hidden_size10, num_layers1,batch_firstTrue, bidirectionalTrue)inuput_size: embedding_dim hidden_size: 每一层LSTM单元的数量 num_layers: RNN中LSTM的层数 batch_first: True对应[batch_size, seq_len, embedding…

文件批量进行重命名,支持批量将文本里的空白格进行删除,实现文件名高效管理

文件数量日益增长,如何高效管理这些文件成为了许多人的头疼问题。文件名,作为文件的“身份证”,其整齐划一、易于识别的特性显得尤为重要。然而,在实际使用中,我们经常会遇到文件名中包含了不必要的空格,这…

护眼台灯什么品牌好?台灯的十大品牌推荐

长时间的使用眼睛,出现疲劳感就会对眼睛造成伤害,最常见的场景就是青少年儿童学习看书,成年人晚上工作时。相信不少人就是这样度过的,因此数据表明目前中国近视患者超过6亿人。所以想要拥有一个良好的视力健康一款光源合适的台灯是…