Flink学习(八)-Flink 集群搭建

ops/2024/10/18 16:41:30/

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

vim /etc/hosts

 

2,flink做配置

2.1 资源规划

节点服务器

node01

node02

node03

角色

JobManager

TaskManager

TaskManager

TaskManager

2.2 下载 flink-1.19.0-bin-scala_2.12.tgz的包,并上传解压

下载地址

解压命令

tar xzvf flink-1.19.0-bin-scala_2.12.tgz

 

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03

cd flink-1.19.0/conf
vim config.yaml

# JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

# TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

vim workers

node01

node02

node03 

vim masters

 node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

2.4依次启动三台 flink

bin/start-cluster.sh

3,访问 webUI 

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。


http://www.ppmy.cn/ops/24511.html

相关文章

中霖教育:二级建造师报考条件学历要求

针对有意向报考二级建造师的考生,需要满足以下学历和工作年限的要求: 1、学历要求:考生必须至少具备中专以上学历,建筑行业相关专业,如建筑工程技术,土木工程,建筑学等。 2、工作经验要求&…

HDFS命令

HDFS源码查看 1-HDFS的Shell命令 # 查看 hadoop 命令的脚本 # which查看可执行文件的位置 which hadoop # 结果&#xff1a; /usr/local/hadoop/bin/hadoop # 查看源码&#xff1a; cat /usr/local/hadoop/bin/hadoop2-在Maven工程中配置Hadoop关联仓库 <dependency>&…

前端开发中可能出现内存泄漏的情况总结

前端开发中可能出现内存泄漏的情况主要包括以下几种&#xff1a; 1. 闭包引起的循环引用 当一个函数内部引用了外部作用域的变量&#xff0c;并且该函数的作用域链没有被适时断开&#xff0c;就可能形成循环引用。特别是当DOM元素的事件处理函数使用闭包访问外部变量时&#…

c#创建新项目

确保已安装.NET Core SDK。&#xff08;visual studio installer中可安装&#xff09; cmd中先引用到文件夹目录下。 mkdir MyConsoleApp MyConsoleApp是项目文件夹的名字。 mkdir 是一个命令行工具&#xff0c;用于在文件系统中创建新的目录&#xff08;文件夹&#xff09;…

【MHA】MySQL高可用MHA源码1-主库故障监控

1 阅读之前的准备工作 1 一个IDE工具 &#xff0c;博主自己尝试了vscode安装perl的插件&#xff0c;但是函数 、变量 、模块等都不能跳转&#xff0c;阅读起来不是很方便。后来尝试使用了pycharm安装perl插件&#xff0c;阅读支持跳转&#xff0c;自己也能写一些简单的测试样例…

Selenium的基本使用

Selenium是一款自动化测试工具&#xff0c;常用于web应用的自动化测试。通过Selenium&#xff0c;我们可以模拟用户操作&#xff0c;如点击按钮、输入文本等&#xff0c;以测试web应用的各项功能。 一、启动和关闭浏览器 使用Selenium之前&#xff0c;需要确保已经安装了相应…

vue3 html5-qrcode 实现扫描二维码 仿照wx扫码样式

直接上代码&#xff1a;npm i html5-qrcode <van-button class"scanButton" click"stop" type"success">结束扫码</van-button><van-search v-model"searchName" show-action label"" placeholder"请输…

Halide 高效的图像处理语言 简化图像编程

Halide 高效的图像处理语言 简化图像编程 github源码 Halide是用C作为宿主语言的一个图像处理相关的DSL(Domain Specified Language)语言&#xff0c;全称领域专用语言。 主要的作用为在软硬层面上(与算法本身的设计无关)实现对算法的底层加速&#xff0c;我们有必要对其有一…