[flink]部署模式

embedded/2024/12/23 6:56:40/

部署模式

在一些应用场景中,对于集群资源分配和占用的方式,可能会有特定的需求。 Flink为各种场景提供了不同的部署模式,主要有以下三种:会话模式(Session Mode)、单作业模式(Per-Job Mode)、应用模式(Application Mode)。

它们的区别主要在于:集群的生命周期(创建和停止集群的时间)以及资源的分配方式(一个独享还是多人共享);以及应用的main方法到底在哪里执行——客户端(Client)还是JobManager。

一、会话模式

会话模式最符合常规思维。我们需要先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业。集群启动时所有资源就都已经确定,所以所有提交的作业会竞争集群中的资源。

会话模式比较适合于单个规模小、执行时间短的大量作业。

二、应用模式

会话模式和单作业模式下,应用的代码都是在客户端上执行的,然后由客户端提交给JobManager,但是这种方式客户端需要占用大量网络带宽,去下载依赖和把二进制数据发送给JobManager;加上很多情况下我们提交作业用的是同一个客户端,就会加重客户端所在节点的资源消耗

所以解决办法是,我们不要客户端了,直接把应用提交到JobManager上运行。而这也就代表着,我们需要为每一个提交的应用单独启动一个JobManager,也就是创建一个集群。这个JobManager只为执行这一个应用而存在,执行结束后JobManager也就关闭了,这就是所谓的应用模式。

应用模式与单作业模式,都是提交作业后才创建集群;单作业模式是通过客户端来提交的,客户端解析出的每一个作业对应一个集群;而应用模式下,是直接由JobManager执行应用程序的。

三、单作业模式(官网已经标记为过时) 应用模式解决了单作业模式的痛点

会话模式因为资源共享会导致很多问题,所以为了更好地隔离资源,我们可以考虑为每个提交的作业启动一个集群,这就是所谓的单作业(Per-Job)模式。

作业完成后,集群就会关闭,所有资源也会释放。

这些特性使得单作业模式在生产环境运行更加稳定,所以是实际应用的首选模式

更需要注意的是,Flink本身无法直接这样运行,所以单作业模式一般需要借助一些资源管理框架来启动集群,如yarn、kubernetes(K8S)


http://www.ppmy.cn/embedded/93722.html

相关文章

api代理爬虫:了解其基本原理和使用方法

​API代理爬虫的使用指南 在数据驱动的时代,API(应用程序接口)成为了获取数据的重要途径。而通过API代理爬虫,我们可以高效地采集和处理数据,尤其是在面对反爬虫机制时。本文将为你介绍API代理爬虫的基本概念、工作原…

SQL Server 的透明数据加密

透明数据加密是SQL Server数据库安全众多特性中的一个,本文只针对透明数据加密。 在此测试之前,已经按照文档如何快速获得一个测试用SQL Server企业版创建了一个SQL Server 2019,并按照文档为SQL Server安装示例数据库AdventureWorks安装了…

数据存储技术详解:从基础概念到未来趋势

一、数据存储的基础概念 数据存储是指通过特定的介质和技术手段保存和管理信息的过程。在当今信息化社会,数据存储无处不在,从个人计算机上的文件保存到企业数据中心的大规模存储,再到云计算平台的海量数据管理,数据存储技术在各…

sublime text插件开发

手工开发了一些ST的py插件,记录过程中遇到的一些问题。 ST3/ST4 begin_edit问题 报错: begin_edit() missing 2 required positional arguments: edit_token and cmdST3时已经不能直接调view.begin_edit方法了,需要通过runCommandTextComm…

Kafka服务端的各种机制实现原理

文章目录 zookeeper整体元数据Controller Broker选举机制Leader Partition选举机制Leader Partition自动平衡机制Partition故障恢复机制HW一致性保障-Epoch更新机制 zookeeper整体元数据 Zookeeper客户端工具: prettyZoo下载地址 我们知道kafka集群选举相关都是基…

【从零开始一步步学习VSOA开发】VSOA数据流

VSOA数据流 概念 实际业务中常常存在既有实时命令通信,又有非实时的大数据通信,如文件、音视频传输服务等,如果使用常规的 RPC 或订阅/发布功能来实现,将实时命令和大数据传输混在一起,则会影响 RPC 通道响应的实时性…

密码学基本理论

密码学是研究信息安全保护的科学,实现信息的保密性、完整性、可用性以及抗抵赖性 根据密码分析者在破译时已经具备的前提条件,密码分析攻击类型分类: 唯密文攻击:已知密文;未知明文+秘钥已知明文攻击:已知部分明文和密文对;未知秘钥+算法选择明文攻击:已知明文+算法--…

如何在linux系统上部署nginx

1)首先去 nginx.org/download 官网下载你所需要的版本 我这里是下载的 nginx-1-23-3.tar.gz 2)然后执行 yum -y install lrzsz 安装文件上传软件 执行 rz 选择你下载nginx的位置进行上传 yum -y install lrzsz 3)执行 tar -zxvf nginx-1.23…