flink主要组件及高可用配置

news/2024/10/29 2:34:23/

背景

flink不论运行在哪种环境,例如Yarn,Mesos,Kebernute以及独立集群,每个应用都会包含重要的几个组件,本文就来讲述下flink的主要组件以及如何实现flink的高可用配置

flink主要组件

在这里插入图片描述
如图所示,flink主要由Dispatcher,JobManager,ResourceManager,TaskManager是个组件组成,以下我们大概说一下他们的主要用途:
Dispatcher: 主要用于接收提交过来的应用程序Jar包,随后Dispatcher就会启动应用的JobManager开始启动flink引用,备注: 在Yarn中,Dispatcher这个角色的工作由ResourceManager角色完成
JobManager: flink应用的大脑,它负责生成Job Graph,并根据具体的ExecutionGraph申请相应的处理槽来执行任务,此外,他会负责检查点的生成等工作
ResourceManager:资源提供者,通过他可以分配到对应的TaskManager处理槽,这样这些处理槽就可以提供给flink任务使用了
TaskManager: 具体flink并行任务的执行者,他会完成数据的处理工作,比如除了输入记录并输出处理结果

高可用配置

TaskManager挂掉:
当TaskManager挂掉之后,JobManager可以知道运行在上面的任务失败了,此时JobManager就会通过ResourceManager申请另外的处理槽,如果成功,只需要在新申请的处理槽上处理失败的任务即可,如果申请处理槽失败,JobManager将会使用重启的策略尝试着申请足够的处理槽
JobManager挂掉:
JobManager挂掉后,这个flink应用的所有任务都会自动取消掉,JobManager需要从Zookeeper中恢复元数据以及检查点路径等管理职责所需的信息,因此接管的JobManager会完成以下的工作:
1.从zookeeper中获取元数据:包括JobGraph执行图存储路径,Jar文件存储路径以及最新检查点的存储路径等信息
2.重新申请作业执行所需的处理槽,也就是向ResourceManager重新申请处理任务所需的处理槽
3.使用最新检查点数据恢复应用的执行.


http://www.ppmy.cn/news/444324.html

相关文章

Python 3 | 菜鸟教程 (一)

目录 一、Python3 简介 二、Python 发展历史 三、Python 特点 (一)易于学习 (二)易于阅读 (三)易于维护 (四)一个广泛的标准库 (五)互动模式 &#…

Vue中如何进行自动化部署与持续集成(CI/CD)

Vue中如何进行自动化部署与持续集成(CI/CD) 随着云计算和容器技术的广泛应用,自动化部署和持续集成(CI/CD)已经成为现代软件开发过程中必不可少的环节。Vue作为一款流行的前端框架,也可以使用自动化部署和…

主动把自己碎掉的海尔,想借力区块链搭上智能时代列车

去年,我看到一篇文章,来自于北大社会学博士姜汝祥,标题是《区块链时代,请集体关注海尔》,这篇文章高度赞扬了海尔CEO张瑞敏对海尔的改革,并表示“海尔将是区块链时代的最伟大的公司。” 这让我对海尔产生了…

海尔智家压轴2021并定调2022:你的美好生活才刚刚开始

一周之内,冬至、圣诞节扎堆过,年味也愈发浓了起来。人们忙着拾掇家里、企业忙着年终总结,很多行业随之进入到了短暂的“淡季”。 本以为接下来的一周可以静等元旦了,但没想到,12月26日晚上,一场大型直播节…

海尔回应绞童案:非质量问题赔偿无法启动

在公安部门排除洗衣机绞童案中小女孩他杀可能后,海尔在拒绝召回涉事洗衣机的同时,也拒绝了死者家属关于赔偿的诉求,称并非海尔产品质量、设计问题直接导致女童意外死亡,在事故调查过程中,赔偿问题无法启动。 “9月24日…

算法刷题-字符串-重复的子字符串

KMP算法还能干这个 459.重复的子字符串 力扣题目链接 给定一个非空的字符串,判断它是否可以由它的一个子串重复多次构成。给定的字符串只含有小写英文字母,并且长度不超过10000。 示例 1: 输入: “abab” 输出: True 解释: 可由子字符串 “ab” 重复两…

Java之类型信息

Java之类型信息 Class对象 Class对象是用来创建类的所有的常规对象的,它同样是一个对象。在Java中,每个类都有一个对应的Class对象,这个对象提供了一些方法来操作这个类,比如实例化对象。因此,在创建一个类的对象之前…

推荐工具D1

Windows右键菜单管理程序: 主要功能 启用或禁用文件、文件夹、新建、发送到、打开方式、自定义文件格式、IE浏览器、WinX等右键菜单项目 对上述场景右键菜单项目进行修改名称、修改图标、导航注册表位置、导航文件位置、永久删除等操作 对上述场景右键菜单自定义添…