Flink CDC系列之:学习理解standalone模式
- 准备工作
- 启动和停止本地集群
- 设置 Flink CDC
- 提交Flink CDC Job
独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。
您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。
准备工作
Flink 可在所有类 UNIX 环境中运行,即 Linux、Mac OS X 和 Cygwin(适用于 Windows)。
可以参考概述来检查支持的版本并下载 Flink 的二进制版本,然后提取存档:
tar -xzf flink-*.tgz
应该设置 FLINK_HOME 环境变量,例如:
export FLINK_HOME=/path/flink-*
启动和停止本地集群
要启动本地集群,请运行 Flink 附带的 bash 脚本:
cd /path/flink-*
./bin/start-cluster.sh
Flink 现在作为后台进程运行。可以使用以下命令检查其状态:
ps aux | grep flink
应该能够导航到 localhost:8081 处的 Web UI 以查看 Flink 仪表板并查看集群是否已启动并正在运行。
要快速停止集群和所有正在运行的组件,可以使用提供的脚本:
./bin/stop-cluster.sh
设置 Flink CDC
从发布页面下载 Flink CDC 的 tar 文件,然后提取存档:
tar -xzf flink-cdc-*.tar.gz
解压后的 flink-cdc 包含四个目录:bin、lib、log 和 conf。
从发布页面下载连接器 jar,并将其移动到 lib 目录。
下载链接仅适用于稳定版本,SNAPSHOT 依赖项需要根据特定分支自行构建。
提交Flink CDC Job
这里是同步整个数据库的示例文件mysql-to-doris.yaml:
################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:type: mysqlhostname: localhostport: 3306username: rootpassword: 123456tables: app_db.\.*server-id: 5400-5404server-time-zone: UTCsink:type: dorisfenodes: 127.0.0.1:8030username: rootpassword: ""pipeline:name: Sync MySQL Database to Dorisparallelism: 2
需要根据需要修改配置文件,更多信息请参阅连接器。
- MySQL 管道连接器
- Apache Doris 管道连接器
最后,使用 Cli 将作业提交到 Flink Standalone 集群。
cd /path/flink-cdc-*
./bin/flink-cdc.sh mysql-to-doris.yaml
提交成功后返回信息如下:
Pipeline has been submitted to cluster.
Job ID: ae30f4580f1918bebf16752d4963dc54
Job Description: Sync MySQL Database to Doris
然后你就可以通过 Flink Web UI 找到正在运行的名为 Sync MySQL Database to Doris 的作业。