Kubernetes Kafka 系列|MirrorMaker 2 同步数据

ops/2025/2/21 4:44:54/

一、MirrorMaker 2介绍

MirrorMaker 2(简称MM2)是Apache Kafka的一个工具,主要用于跨Kafka集群的数据复制和同步。相比早期的MirrorMaker 1(简称MM1),MirrorMaker 2在设计和功能上有了显著的提升,能够更好地适应生产环境的需求。

首先,MM2采用了并行复制的方式,能够实现高吞吐量的数据复制和同步,使得在大数据场景下也能保持高效性能。这使得MM2成为数据备份、灾难恢复、数据分析和实时处理等多种应用场景下的理想选择。

其次,MM2在数据同步方面具有很高的灵活性。它可以构建不同数据中心的主备两个集群容灾架构,实时同步两个集群的数据。当其中一个集群不可用时,可以将上面的应用程序切换到另一个集群,从而实现异地容灾功能。此外,MM2还可以将多个Kafka子集群的数据同步到一个中心Kafka集群,实现数据的汇聚。

二、mm2部署

Strimzi是一个孵化项目,旨在简化Kubernetes上Apache Kafka的部署。通过一组扩展Kubernetes API的操作符与Kafka交互,Strimzi提供了一种Kubernetes原生方式,以更轻松地在Kubernetes上配置、部署和操作Kafka。
本文简洁使用Strimzi部署mm2
具体含义理解可去官网学习
https://strimzi.io/documentation/

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:name: my-mirror-maker-2
spec:version: 3.7.0replicas: 1connectCluster: "cluster-b" # Must be the target custerclusters:- alias: "cluster-a" # Source clusterbootstrapServers: my-cluster-kafka-bootstrap:9092- alias: "cluster-b" # Target clusterbootstrapServers: 10.10.101.114:32094config:# -1 means it will use the default replication factor configured in the brokerconfig.storage.replication.factor: -1offset.storage.replication.factor: -1status.storage.replication.factor: -1mirrors:- sourceCluster: "cluster-a"targetCluster: "cluster-b"sourceConnector:tasksMax: 1config:# -1 means it will use the default replication factor configured in the brokerreplication.factor: -1offset-syncs.topic.replication.factor: -1sync.topic.acls.enabled: "false"refresh.topics.interval.seconds: 600   #broker刷新间隔checkpointConnector:tasksMax: 1config:# -1 means it will use the default replication factor configured in the brokercheckpoints.topic.replication.factor: -1sync.group.offsets.enabled: "false"refresh.groups.interval.seconds: 600topicsPattern: ".*"groupsPattern: ".*"

后续会更新,关注不迷糊


http://www.ppmy.cn/ops/8950.html

相关文章

【python】如何通过python来发送短信

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,…

element plus el-date-picker type=“datetime“ 限制年月日 时分秒选择

如何限制el-date-picker组件的时分秒选中!!!!!!! 文档 文档在这里:DateTimePicker 日期时间选择器 | Element Plus 它提供的disabled-date给我们来限制日期选择 nice!&…

Android studio添加aidl文件时,添加按钮为黑色不可点击添加解决办法

在android studio添加aidl文件时出现下面这个情况只需要在模块的build.gradle.kts文件中的android中添加以下代码即可添加aidl android {// 设置 AIDL 支持buildFeatures {aidl true} }

【UE5.1】使用MySQL and MariaDB Integration插件——(3)表格形式显示数据

在上一篇(【UE5.1】使用MySQL and MariaDB Integration插件——(2)查询)基础上继续实现以表格形式显示查询到的数据的功能 效果 步骤 1. 在“WBP_Query”中将多行文本框替换未网格面板控件,该控件可以用表格形式布局…

Linux —— 进程控制

一、进程创建 —— fork 1.fork fork&#xff1a;在调用时&#xff0c;创建子进程&#xff0c;父进程返回子进程pid&#xff0c;子进程返回0&#xff0c;出错返回-1 头文件&#xff1a;#include<unistd.h> 2.fork函数被调用时&#xff0c;CPU做了什么&#xff1f; a…

3.AlexNet--CNN经典网络模型详解(pytorch实现)

看博客AlexNet--CNN经典网络模型详解&#xff08;pytorch实现&#xff09;_alex的cnn-CSDN博客&#xff0c;该博客的作者写的很详细&#xff0c;是一个简单的目标分类的代码&#xff0c;可以通过该代码深入了解目标检测的简单框架。在这里不作详细的赘述&#xff0c;如果想更深…

通过实例学C#之StreamWriter类

简介 该类可以实现以一种特定的编码向流中写入字符的功能。 在程序所在文件夹的Debug文件下创建一个test.txt的空白文件。 构造函数 StreamWriter (Stream stream) 使用流对象stream创建一个写入流streamWriter。 static void Main(string[] args) {FileStream fs new FileS…

Cmake编译 Qt5 Demo

环境&#xff1a; Linux szdpu13 3.10.0-693.el7.x86_64&#xff0c; Qt 5.9.2 文件&#xff1a; //main.cc mainwindow.cc/.h CMakeLists.txt CMakeLists&#xff1a; cmake_minimum_required(VERSION 3.1)project(qt5Test)# Find Qt5 find_package(Qt5 COMPONENTS Core …