logstash迁移es自建数据到pass服务

devtools/2024/9/22 23:59:30/

1 安装

下载对应版本的tar文件
https://www.elastic.co/cn/downloads/past-releases#logstash解压
tar -zvxf logstash-6.8.23-linux-x86_64.tar.gz

2 配置

修改Logstash的堆内存使用vi config/jvm.options,修改Logstash配置文件config/jvm.options,增加-Xms2g和-Xmx2g。修改Logstash批量写入记录条数,可以加快集群数据的迁移效率vi config/pipelines.yml pipeline.batch.size从125改为5000

3 创建迁移文件

	配置logstash进入到安装目录下cd /export/server/logstash/confing/创建vi es2es_all.conf文件input {elasticsearch {hosts => "http://ip:9200"  ##源es集群user => "用户名"           ##认证信息password => "密码"index => "索引名称"  ##⽀持通配符,* 表⽰所有索引,如果索引多数据量⼤可以分开配置query => '{ "sort": [ "_doc" ] }'slices => 4   ##是否使⽤slice scroll加速迁移,值不超过单索引shard数scroll => "5m"   ##scroll session保持时间size => 1000docinfo => truessl => false   ##是否使⽤ssl}}filter {# 去掉一些Logstash自己加的字段。mutate {remove_field => ["@timestamp", "@version"]}}output {elasticsearch {hosts => "http://ip:9200" ##目的 es集群user => "用户名"password => "密码"index => "索引名称" #与源es索引保持一致即可#index => "%{[@metadata][_index]}"  #根据原来的信息填写对端的信息document_type => "%{[@metadata][_type]}" #目标端索引type,以下配置表示索引类型与源端保持一致document_id => "%{[@metadata][_id]}" #目标端数据的id,如果不需要保留原id,可以删除以下这行,删除后性能会更好ssl => false #关闭sslssl_certificate_verification => falseilm_enabled => falsemanage_template => false}}

4 执行命令,并观察日志

启动Logstash全量迁移任务
nohup bin/logstash -f config/es2es_all.conf >es_all.log 2>&1 &查看es_all.log日志是否有迁移报错,如果没有则执行以下命令,检查源索引和迁移后的目标索引大小是否一致
tail -f 100 es_all.log
检查数据是否迁移成功
curl -X GET http://ip:9200/_cat/indices?v​

参考博文:elasticsearch数据迁移之logstash-CSDN博客


http://www.ppmy.cn/devtools/6724.html

相关文章

dns高防和ip高防的区别是什么?

在面对日益增长的网络安全威胁时,DNS高防和IP高防作为防御策略发挥着重要的作用。虽然两者都旨在保护网络资源免受攻击,但它们在操作方式和防护重点上有着本质的不同。 DNS高防:保护域名解析服务DNS高防,全称是高防御的域名解析服…

AI大模型引领未来智慧科研暨ChatGPT自然科学高级应用

以ChatGPT、LLaMA、Gemini、DALLE、Midjourney、Stable Diffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮,可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、机器/深度学习、大尺度模拟、论文检索…

Redis如何查看KEY的数据类型

1. 查看数据类型 在Redis中,可以使用 TYPE 命令来查看指定key的数据类型。该命令会返回存储在指定key中的值的数据类型。以下是具体的使用方法和步骤: 连接到Redis服务器:首先,你需要使用Redis客户端工具(如命令行工具…

安装GPT 学术优化 (GPT Academic)@FreeBSD

GPT 学术优化 (GPT Academic)是一个非常棒的项目 可以帮助我们完成中科院的一些日常工作。 先说结论:GPT Academic可以安装,启动服务。但是因为在FreeBSD下pytorch没有装成,所以暂时无法使用本地llama2、chatglm等大模型,而只能…

第十四届蓝桥杯省赛C/C++大学B组真题-飞机降落

思路&#xff1a;根据数据范围N<10猜测用DFS剪枝&#xff0c;因为菜狗不会状压dp。根据题目&#xff0c;一般这种飞机的题都会用到贪心的思想。思想是每架飞机都要卡极限最早降落时间&#xff0c;从而保证后面的飞机能够有充足时间降落。 代码参考博客MQy大佬有详细解答 #i…

Ubuntu 系统安装 VS Code 并配置 C++ 环境

Linux 系列教程&#xff1a; VMware 安装配置 Ubuntu&#xff08;最新版、超详细&#xff09;FinalShell 远程连接 Linux&#xff08;Ubuntu&#xff09;系统Ubuntu 系统安装 VS Code 并配置 C 环境 ➡️➡️ ➡️VS Code 官方教程&#xff1a;Using C on Linux in VS Code&…

idea项目启动异常:Command line is too long.

项目场景&#xff1a; 提示&#xff1a;这里简述项目相关背景&#xff1a; idea中启动项目报错&#xff1a; 解决方案 在idea 的运行配置中&#xff0c;修改enviroment下的shorten command line 为jar manifest 注&#xff1a; 有时shorten command line 可能不是默认存在的…

pytorch中unsqueeze用法说明

在指定的位置插入一个维度&#xff0c;有两个参数&#xff0c;input是输入的tensor&#xff0c;dim是要插到的维度 需要注意的是dim的范围是[-input.dim()-1, input.dim()1)&#xff0c;是一个左闭右开的区间&#xff0c;当dim为负值时&#xff0c;会自动转换为dim diminput.…