Apache Pulsar的Connector连接器使用

news/2025/3/14 16:55:43/

目录

  • 1. 背景
  • 2. 介绍
  • 3. Pulsar Flink Connector
    • 3.1 Flink读取Pulsar消息
    • 3.1 Flink发送消息到Pulsar

1. 背景

虽然可以使用produce和consume的API进行消息的发送和消费,但Pulsar提供了一种更简便的方式,用来同步其它系统的数据到Pulsar的topic,和将Pulsar的topic的数据发送到其它系统

2. 介绍

Pulsar IO分为Input和Output两个模块。支持的Source Connector和Sink Connector可以参考Pulsar官网Connector部分

3. Pulsar Flink Connector

3.1 Flink读取Pulsar消息

Source可以使用Flink官网DataStream Connector提供的Pulsar Connector

3.1 Flink发送消息到Pulsar

Flink官网DataStream Connector提供的Pulsar Connector没有Sink。使用io.streamnative.connectors提供的pulsar-flink-connector版本1.14.3.0,只有Scala2.11版本的,没有Scala2.12版本的


http://www.ppmy.cn/news/39429.html

相关文章

Centos安装docker以及通过docker部署Mysql,照做就行!

1.安装docker 1.1给虚拟机联网(反斜杠带表该语句没写完) yum install -y yum-utils \device-mapper-persistent-data \lvm2 --skip-broken 1.2更新本地文件镜像 # 设置docker镜像源 yum-config-manager \--add-repo \https://mirrors.aliyun.com/doc…

数据库系列之MySQL线程ID和操作系统线程ID对应关系

在日常运维工作中,MySQL数据库服务器出现SQL语句执行导致服务器CPU使用率突增,如何通过现有手段快速定位排查到哪个SQL语句,并采取应急措施。本文介绍基于传统的操作系统线程的CPU使用监控手段入手,利用操作系统线程ID和MySQL线程…

联想笔记本功能键切换Fn+ESC

按下FnESC可以切换 Fn键的常驻状态。

华为阿里版ChatGPT横空出世,谁的成效更好呢?

“你训练的大模型涌现了吗?”“还没有。好难受。”一时间成为了最近AI赛道玩家的一个爆热梗。 不管承不承认,相信每个玩家都不愿意输掉这场激烈的竞争。自百度成为国内“第一个吃螃蟹的人”后,又有两大中国科技巨头做好了准备——华为和阿里…

vue dom 更新nextTick

this.$nextTick(()>{this.$refs.child.childPay();});

Go面试题-解析输入字符串行数据字段信息

同事分享了一道Go的算法面试题,下面是基于字符串分析的go代码,在写的时候特意将最后一行数据加大复杂度,给大家分享一下: 字符输入规则如下: a. 每行表示一条记录,字段之间以逗号(,&#xff0…

Redis中的BigKey问题:排查与解决思路

本文已收录至Github,推荐阅读 👉 Java随想录 文章目录摘要Big Key问题介绍Big Key问题排查使用BIGKEYS命令Debug Objectmemory usageredis-rdb-toolsBig Key问题解决思路分割大key对象压缩直接删除总结摘要 Redis是一款性能强劲的内存数据库&#xff0c…

URL编码和解析

1.什么是URL? URL(Uniform Resource Locator,统一资源定位符)是互联网上标准资源的地址,互联网上每个文件(即资源)都有一个唯一的URL,它包含了文件的位置以及浏览器处理方式等信息。 URL 标准格式 通常而言,我们所熟…