Flink学习(八)-Flink 集群搭建

devtools/2024/10/21 7:53:15/

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

vim /etc/hosts

 

2,flink做配置

2.1 资源规划

节点服务器

node01

node02

node03

角色

JobManager

TaskManager

TaskManager

TaskManager

2.2 下载 flink-1.19.0-bin-scala_2.12.tgz的包,并上传解压

下载地址

解压命令

tar xzvf flink-1.19.0-bin-scala_2.12.tgz

 

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03

cd flink-1.19.0/conf
vim config.yaml

# JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

# TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

vim workers

node01

node02

node03 

vim masters

 node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

2.4依次启动三台 flink

bin/start-cluster.sh

3,访问 webUI 

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。


http://www.ppmy.cn/devtools/19203.html

相关文章

移动应用安全

移动应用安全 移动应用安全主要关注Android、iOS、Windows Phone等平台上移动应用软件安全状态。它涉及应用程序在其设计运行的平台上下文中的安全问题、它们使用的框架以及预期的用户集。所有主流的移动平台都提供大量可选的安全控制,旨在帮助软件开发人员构建安全…

RabbitMQ各组件参数详解(9)

这里对各个组件的参数进行详解,可能前面有提到过,这里做一个汇总 交换机 在创建交换机的时候用到建造者类ExchangeBuilder,会创建四种交换机 Direct Exchange 直连交换机是 RabbitMQ 中最简单的交换机类型之一。它的工作方式非常简单&…

Spark原理之Cache Table的工作原理及实现自动缓存重复表的思考

CACHE TABLE的能力 使用此语法,可以由用户自定义要缓存的结果集,实际上就是一个临时表,不过数据存储在Spark集群内部,由Application所分配的executors管理。 一旦定义了一个缓存表,就可以在SQL脚本中随处引用这个表名…

前端发版缓存问题

前端发版后浏览器缓存问题 浏览器缓存机制是为了提高网页加载速度和减少带宽消耗而设计的。当浏览器访问一个资源时,它会首先检查该资源是否已经在缓存中。如果资源存在且未过期,浏览器会直接从缓存中加载资源,而不会向服务器发送请求。这种…

快速使用之Log4j2日志框架

目录 1、Log4j2介绍 2、引入Log4j2依赖 3、加入日志配置文件 4、日志使用 1、Log4j2介绍 Apache Log4j2是一个开源的日志记录组件&#xff0c;主要组件构成&#xff1a; &#xff08;1&#xff09;日志信息的优先级 日志信息的优先级从高到低有TRACE < DEBUG < IN…

墨子时事周报

加密孵化器Alliance获Founders Fund战略投资 Peter Thiel 的风险投资旗舰——Founders Fund 宣布已完成对加密货币领域内的新兴孵化器 Alliance 的一项重要「长期战略投资」。尽管投资的具体数额尚未公开&#xff0c;Alliance 的联合创办人 Imran Khan 透露&#xff0c;此轮投资…

实战干货|Spark 在袋鼠云数栈的深度探索与实践

Spark 是一个快速、通用、可扩展的大数据计算引擎&#xff0c;具有高性能、易用、容错、可以与 Hadoop 生态无缝集成、社区活跃度高等优点。在实际使用中&#xff0c;具有广泛的应用场景&#xff1a; 数据清洗和预处理&#xff1a;在大数据分析场景下&#xff0c;数据通常需要…

微信小程序简单实现购物车功能

微信小程序简单实现购物车结算和购物车列表展示功能 实现在微信小程序中对每一个购物车界面的商品订单&#xff0c;进行勾选结算和取消结算的功能&#xff0c;相关界面截图如下&#xff1a; 具体实现示例代码为&#xff1a; 1、js代码&#xff1a; Page({/*** 页面的初始数…