Flink CDC系列之:学习理解standalone模式

news/2024/11/1 21:08:17/

Flink CDC系列之:学习理解standalone模式

  • 准备工作
  • 启动和停止本地集群
  • 设置 Flink CDC
  • 提交Flink CDC Job

独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。
您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。

准备工作

Flink 可在所有类 UNIX 环境中运行,即 Linux、Mac OS X 和 Cygwin(适用于 Windows)。

可以参考概述来检查支持的版本并下载 Flink 的二进制版本,然后提取存档:

tar -xzf flink-*.tgz

应该设置 FLINK_HOME 环境变量,例如:

export FLINK_HOME=/path/flink-*

启动和停止本地集群

要启动本地集群,请运行 Flink 附带的 bash 脚本:

cd /path/flink-*
./bin/start-cluster.sh

Flink 现在作为后台进程运行。可以使用以下命令检查其状态:

ps aux | grep flink

应该能够导航到 localhost:8081 处的 Web UI 以查看 Flink 仪表板并查看集群是否已启动并正在运行。

要快速停止集群和所有正在运行的组件,可以使用提供的脚本:

./bin/stop-cluster.sh

设置 Flink CDC

从发布页面下载 Flink CDC 的 tar 文件,然后提取存档:

tar -xzf flink-cdc-*.tar.gz

解压后的 flink-cdc 包含四个目录:bin、lib、log 和 conf。

从发布页面下载连接器 jar,并将其移动到 lib 目录。

下载链接仅适用于稳定版本,SNAPSHOT 依赖项需要根据特定分支自行构建。

提交Flink CDC Job

这里是同步整个数据库的示例文件mysql-to-doris.yaml:

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:type: mysqlhostname: localhostport: 3306username: rootpassword: 123456tables: app_db.\.*server-id: 5400-5404server-time-zone: UTCsink:type: dorisfenodes: 127.0.0.1:8030username: rootpassword: ""pipeline:name: Sync MySQL Database to Dorisparallelism: 2

需要根据需要修改配置文件,更多信息请参阅连接器。

  • MySQL 管道连接器
  • Apache Doris 管道连接器

最后,使用 Cli 将作业提交到 Flink Standalone 集群。

cd /path/flink-cdc-*
./bin/flink-cdc.sh mysql-to-doris.yaml

提交成功后返回信息如下:

Pipeline has been submitted to cluster.
Job ID: ae30f4580f1918bebf16752d4963dc54
Job Description: Sync MySQL Database to Doris

然后你就可以通过 Flink Web UI 找到正在运行的名为 Sync MySQL Database to Doris 的作业。


http://www.ppmy.cn/news/1543690.html

相关文章

客户案例 | Ansys助力Lumotive将设计周期缩短两到三个数量级

“我们使用Ansys Lumerical FDTD、亚马逊云科技(AWS)和 Python API设计了这种超表面,同时使其与CMOS制造公差兼容。Lumerical的AWS解决方案有助于Lumotive将设计周期缩短两到三个数量级,而且不会增加成本或降低准确性。” —— P…

uni-app在H5页面唤起小程序登录 然后再回到当前页面

在H5页面触发小程序方法跳转到登录页面 wx.miniProgram.navigateTo({ url: /pages/login/index?webviewRedirect encodeURIComponent(redirectUrl) }); 携带对应的返回地址 在等于成功之后触发webViewPage 携带token if (this.webviewRedirect) { const tempUrl decodeU…

MySQL 复合索引测试

对MySQL复合索引结合具体示例,各条件下索引使用情况的运行结果及分析。 目录 复合索引示例 创建表 新增数据 查询数据 选项A SQL查询 explain分析 选项B SQL查询 explain分析 选项C SQL查询 explain分析 选项D SQL查询 explain分析 选项E SQL查询…

python NLTK快速入门

目录 NLTK简介安装NLTK主要模块及用法 词汇与语料库分词与词性标注句法分析情感分析文本分类综合实例:简单的文本分析项目总结 1. NLTK简介 NLTK(Natural Language Toolkit)是一个强大的Python库,专门用于自然语言处理&#xff…

探索Unity:从游戏引擎到元宇宙体验,聚焦内容创作

unity是实时3D互动内容创作和运营平台,包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者,借助Unity将创意变成现实。提供一整套完善的软件解决方案,可用于创作、运营和变现任何实时互动的2D和3D内容,支持平台包括手机、…

Uniapp如何处理后端返回图片流验证码

登录验证码请求接口返回内容为乱码 处理代码 uni.request({url: 你请求的地址,method: POST,data:data,header:header,//请求头responseType: arraybuffer,//告诉服务器你希望得到的响应类型为arraybuffer(二进制数据)类型success: res > {let resul…

c++数据结构算法复习基础--7--线性表-队列-常用操作接口-复杂度分析

1、队列 特点:先进先出,后进后出 环形队列(依赖数组实现,单必须实现环形) 链式队列(依赖链表实现) 2、环形队列 理论 常规数组思想随着队列的不断使用,会出现越界 所以要将其…

《等保测评:安全与发展的双轮驱动》

在快速发展的数字经济时代,网络安全已成为企业生存与发展的关键因素。等保测评作为国家网络安全等级保护制度的核心内容,不仅为企业筑起一道坚实的安全防线,更成为推动企业高质量发展的双轮之一。本文将深入探讨等保测评如何在保障安全的同时…