yarn调度过程

ops/2025/3/17 16:00:01/
1.举例说明:

ResourceManager是房产中介总部
NodeManager是房产中介的区域经理
把客户租赁比作作业提交,
比如有客户要开美容院向RM总部提交租赁申请,
RM总部先让某个NM区域经理提供一块地址container用作美容院的总部AM(ApplicationMaster),
然后美容院总部AM根据自身业务需要向RM总部申请更多的地址container开分店,
各个NM区域经理响应RM总部和美容院总部AM的请求并管理各自的租房资源,
最后美容院总部 AM调度和监控下属的美容院分店,分店也向总部汇报业务状态。

2.口述过程:

ResourceManager负责资源调度
NodeManager负责接受ResourceManager的指令管理所在节点的资源
client提交作业向ResourceManager请求资源分配,ResourceManager向某个NadeManager发出指令,
NodeManager收到指令后给作业分配一个container作为作业的ApplicationMaster;
接着ApplicationMaster向ResourceManager申请更多资源用来处理任务,
NodeManager接收到ResourceManager指令后创建更多的container给ApplicationMaster管理;
后续的container定时给ApplicationMaster发送心跳和任务执行状态。



http://www.ppmy.cn/ops/166541.html

相关文章

论文阅读笔记——ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING

AdaLoRA 论文 在 LoRA 中通过在原特征一侧添加一个低秩的矩阵实现模型在下游任务的微调&#xff1a; h W 0 x Δ W x W 0 x B A x ( 1 ) hW_0x\Delta WxW_0xBAx \qquad \qquad (1) hW0​xΔWxW0​xBAx(1) 其中 d i m ( A ) r k , d i m ( B ) d r r < < m i n …

【NeurIPS 2024】LLM-ESR:用大语言模型破解序列推荐的长尾难题

标题期刊年份关键词LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential RecommendationNeurIPS2024Large Language Models, Sequential Recommendation, Long-tailed &#x1f4da;研究背景 在电商和社交媒体的世界里&#xff0c;序列推荐系统&#xff…

笔记:代码随想录算法训练营day48:739. 每日温度\496.下一个更大元素 I\503.下一个更大元素II

学习资料:代码随想录 单调栈适合找左边或右边比当前大或小的元素 739. 每日温度 力扣题目链接 大致意思为用栈存储当前值以及比当前的小的值,但后遇到比当前值大的值的时候再计算 非常巧妙的是,最后需要等于0的时候,正好后面没有比当下大的数的那个数的位置的result保留为0…

SQL Server查询优化

最常用&#xff0c;最有效的数据库优化方式 查询语句层面 避免全表扫描 使用索引&#xff1a;确保查询条件中的字段有索引。例如&#xff0c;查询语句 SELECT * FROM users WHERE age > 20&#xff0c;若 age 字段有索引&#xff0c;数据库会利用索引快速定位符合条件的记…

【前缀和的力量:高效解决子数组和矩阵问题的秘笈】—— 蓝桥杯高频热点题型知识点

文章目录 前缀和&#xff1a;【模板】前缀和【模板】二维前缀和寻找数组的中心下标除自身以外的数组的乘积和为K的子数组和可被K整除的数组连续数组矩阵区域和 前缀和&#xff1a; 前缀和&#xff08;Prefix Sum&#xff09;是一种常用的算法技巧&#xff0c;用于快速计算数组…

嵌入式裸机设计--MCU常用裸机架构有哪些?

为什么是裸机设计 792125321入群学习更高效&#xff01; 在MCU&#xff08;微控制器单元&#xff09;裸机开发中&#xff0c;我们常见的架构设计主要围绕如何高效管理资源和任务调度。认识这些开发方式&#xff0c;对我们开发一个小型项目来说及有好处&#xff01; 下面介绍…

生成对抗网络——pytorch与paddle实现生成对抗网络

生成对抗网络——pytorch与paddle实现生成对抗网络 本文将深入探讨生成对抗网络的理论基础&#xff0c;并通过PyTorch和PaddlePaddle两个深度学习框架来展示如何实现生成对抗网络模型。我们将首先介绍生成对抗网络的基本概念&#xff0c;这些理论基础是理解和实现生成对抗网络…

批量压缩与优化 Excel 文档,减少 Excel 文档大小

当我们在 Excel 文档中插入图片资源的时候&#xff0c;如果我们插入的是原图&#xff0c;可能会导致 Excel 变得非常的大。这非常不利于我们传输或者共享。那么当我们的 Excel 文件非常大的时候&#xff0c;我们就需要对文档做一些压缩或者优化的处理。那有没有什么方法可以实现…