Flink任务和任务槽详解

server/2024/9/25 21:29:55/

前言

我们知道作业划分为 5 个并行子任务,需要 5 个线程并行执行。那在我们将应用提交到 Flink集群之后,到底需要占用多少资源呢?是否需要 5 个 TaskManager 来运行呢?

任务槽(Task Slots)

Flink 中每一个 worker(也就是 TaskManager)都是一个 JVM 进程,它可以启动多个独立的线程,来并行执行多个子任务(subtask)。
所以如果想要执行 5 个任务,并不一定非要 5 个 TaskManager,我们可以让 TaskManager多线程执行任务。如果可以同时运行 5 个线程,那么只要一个 TaskManager 就可以满足我们之前程序的运行需求了。
很显然,TaskManager 的计算资源是有限的,并不是所有任务都可以放在一个 TaskManager上并行执行。并行的任务越多,每个线程的资源就会越少。那一个 TaskManager 到底能并行处理多少个任呢?为了控制并发量,我们需要在 TaskManager 上对每个任务运行所占用的资源做出明确的划分,这就是所谓的任务槽(task slots)。

slot 的概念其实在分布式框架中并不陌生。所谓的“槽”是一种形象的表达。如果大家见过传说中的“卡带式游戏机”,就会对它有更直观的认识:游戏机上的卡槽提供了可以运行游戏的接口和资源,我们把游戏卡带插入卡槽,就可以占用游戏机的计算资源,执行卡带中的游戏程序了。一台经典的小霸王游戏机(如下图)一般只有一个卡槽,而在 TaskManager 中,我们可以设置多个 slot,只要插入“卡带”——也就是分配好的任务&#x


http://www.ppmy.cn/server/105598.html

相关文章

依靠 VPN 生存——探索 VPN 后利用技术

执行摘要 在这篇博文中,Akamai 研究人员强调了被忽视的 VPN 后利用威胁;也就是说,我们讨论了威胁行为者在入侵 VPN 服务器后可以用来进一步升级入侵的技术。 我们的发现包括影响 Ivanti Connect Secure 和 FortiGate VPN 的几个漏洞。 除了漏洞之外,我们还详细介绍了一组…

SAP 接口 inbound (SAP CALL JAVA ) 负载均衡说明

关键字:RFC JCO inbound 、outbound 关于SAP和oracle技术资料对于RFC JCO inbound 、outbound 特别说明: 一、ORACLE的资料显示(Integration Adapter for SAP R/3 Users Guide for Oracle WebLogic Server 12c Release (12.2.1.3.0) E84122-01 第11页)…

网络协议的重要性与应用:理解进程间通信和网络分层结构(下)

引言 在之前的章节中,我们重点介绍了TCP/IP网络模型的应用层、传输层和网络层,强调了它们的重要性。现在,我们将继续讨论下一个主题:数据链路层和物理层。这两个层级是网络通信中至关重要的一部分,它们负责处理实际的…

零基础5分钟上手谷歌云GCP - 服务器自动扩展

简介 欢迎来到小李哥谷歌云GCP云计算知识学习系列,适用于任何无云计算或者谷歌云技术背景的开发者,让大家零基础5分钟通过这篇文章就能完全学会谷歌云一个经典的服务开发架构方案。 我将每天介绍一个基于全球三大云计算平台(AWS, Azure, GC…

fpga图像处理实战-白色顶帽变换

白色顶帽 白色顶帽(White Top-Hat Transform),又称顶帽变换,是一种形态学操作,主要用于突出图像中比周围区域更亮的细节。它特别适用于从复杂背景中提取亮区域或对象。白色顶帽操作在图像处理中的应用广泛,特别是在医学图像、工业检测和其他需要增强特定亮区域的应用中。…

MySQL 查询优化详解

在使用 MySQL 数据库时,查询性能往往是影响应用程序整体性能的关键因素。通过对查询进行优化,可以显著提升数据库的响应速度和处理能力。本文将深入探讨 MySQL 查询优化的几个重要方面,包括查询分析与执行计划(EXPLAIN&#xff09…

芯片中的电源VDD和地VSS

一、原理图中的电源和地符号 在绘制原理图的时候您应该会发现某个芯片上有VBAT VDD VSS VDDA VSSA那么他们都是什么意思呢,分别代表什么? 二、与常说的VCC的区别 可以看到VSS是表示GND 数字和模拟是分开的默认是数字,VDD表示电源,…

解析Java中1000个常用类:PropertyResourceBundle类,你学会了吗?

在线工具站 推荐一个程序员在线工具站:程序员常用工具(http://cxytools.com),有时间戳、JSON格式化、文本对比、HASH生成、UUID生成等常用工具,效率加倍嘎嘎好用。程序员资料站 推荐一个程序员编程资料站:程序员的成长之路(http://cxyroad.com),收录了一些列的技术教程…