hive on tez 指定队列后任务一直处于running状态

news/2024/10/18 21:23:41/

如上图所示一直处于running状态,查看日志发现一直重复弹出同一个info:


2024-10-18 16:57:32,739 [INFO] [AMRM Callback Handler Thread] |rm.YarnTaskSchedulerService|:

Allocated: <memory:0, vCores:0>

释义: 当前应用程序没有分配到任何内存(memory:0)和虚拟核心(vCores:0)。这意味着 YARN 还没有给该作业分配任何资源来启动任务。

Free: <memory:1024, vCores:1>

释义: 当前集群中可用的资源包括 1024MB 的内存和 1 个 vCore(虚拟核心)。虽然有一些空闲资源,但可能不够或者未被分配给当前作业。

pendingRequests: 6

释义: 当前作业还有 6 个任务在等待资源分配。YARN 还没有为这些任务找到可以运行的容器,作业因此被阻塞。

delayedContainers: 0

释义: 没有任何延迟分配的容器。通常,当 YARN 没有立即分配到符合要求的资源时,容器会被延迟,直到合适的资源可用。

heartbeats: 3551

释义: ApplicationMaster (AM) 与 ResourceManager (RM) 之间已经进行了 3551 次心跳通信。这是 YARN 用来监控资源和应用状态的机制。每个心跳之间,RM 会更新 AM 关于资源的状态。

lastPreemptionHeartbeat: 3550

释义: 这是第 3550 次心跳发送时,ResourceManager 发送的最后一次“抢占心跳”(Preemption Heartbeat)。抢占是 YARN 在资源紧张时的机制,用于重新分配低优先级任务的资源给更高优先级的任务。

highestWaitingRequestWaitStartTime: 1729241801061

: 当前队列中等待时间最长的资源请求的开始时间。这个数值是时间戳,通常是从1970年1月1日 UTC 时间以来的毫秒数,代表该任务的等待时间较长

highestWaitingRequestPriority: 32

释义: 这是当前等待资源的最高优先级请求的优先级值。通常,优先级值越小,优先级越高。32 代表该请求的优先级较低,因此它可能在调度过程中优先级靠后。

重点是:Allocated: <memory:0, vCores:0>和Free: <memory:1024, vCores:1>

先看集群总内存和cores情况,总共132G,75cores:

整个集群明显还有空闲资源,再看对于aviation队列的设置:

configured capacity=5%,表示队列的初始容量百分比,即avation队列在最开始可以使用132G*5%=6.75G,75*5%=3.75cores。

configured max capacity=10%定义了队列使用集群资源的上限,即使其他队列资源空闲,aviation 队列也不能超过这个上限,即132*10%=13.2G,75*10%=7.5cors

尝试调大configured max capacity至30%,

成功解决:


http://www.ppmy.cn/news/1540093.html

相关文章

沥川的算法学习笔记:基础算法(1)----快速排序

1.快速排序 快速排序是一种高效的排序算法&#xff0c;它利用了分治的思想。快速排序的基本思想是选择一个基准元素&#xff0c;将数组分成两个子数组&#xff0c;其中一个子数组的元素都小于等于基准元素&#xff0c;另一个子数组的元素都大于等于基准元素&#xff0c;然后对这…

OpenCV高级图形用户界面(7)获取指定窗口的属性值函数getWindowProperty()的使用

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 提供窗口的参数。 函数 getWindowProperty 返回窗口的属性。 cv::getWindowProperty() 函数用于获取指定窗口的属性值。这个函数允许你查询窗口…

【学习笔记】什么是MongoDB

文章目录 MongoDB 简介体系结构数据模型MongoDB 的特点 MongoDB 简介 学习一个东西就跟认识一个人一样&#xff0c;下面有情MongoDB来做个自我介绍 大家好&#xff0c;俺是MongoDB&#xff0c;是一个开源、高性能、无模式的文档型数据库&#xff0c;当初的设计俺就是用于简化开…

JS逆向应该学习哪些基础知识?

JS逆向工程中&#xff0c;需要掌握的基础知识领域如下&#xff1a; ‌JavaScript基础‌&#xff1a; 变量、数据类型、运算符和表达式控制流语句&#xff08;如if-else、循环等&#xff09;函数和闭包对象和数组异步编程&#xff08;Promises、async/await&#xff09;DOM操作和…

基于python的网络爬虫实现代码

以下是一个基于Python的简单网络爬虫实现示例&#xff0c;以爬取豆瓣电影Top250的电影名称和评分为例&#xff1a; 安装必要的库 我们需要安装requests库用于发送HTTP请求获取网页内容&#xff0c;BeautifulSoup库用于解析HTML页面。可以使用pip install requests beautifulsou…

Spring Boot构建高效医疗病历B2B交互平台

第3章 需求分析与可行性分析 3.1 需求分析 伴随着信息行业的蓬勃发展和人们办公自动化意识的增强&#xff0c;学习信息管理部门的工作也越来越繁重&#xff0c;原来的基于B2B平台的医疗病历交互系统已经不能完全满足相关人员使用的需要。为了协助信息开展学习信息管理工作&…

九盾叉车高位显示器:重塑叉车视界,引领高位精准

在繁忙的物流与仓储中&#xff0c;叉车不仅是力量与效率的化身&#xff0c;更是精准与安全的守护者。九盾安防&#xff0c;以科技之名&#xff0c;打造叉车高位显示器&#xff0c;彻底革新了货叉升降的盲区挑战&#xff0c;为物流、仓储及码头等领域带来了前所未有的作业体验。…

中级注册安全工程师《安全生产法律法规》真题及详解

2022年中级注册安全工程师《安全生产法律法规》真题及详解 一、单项选择题 &#xff08;共70题&#xff0c;每题1分。每题的备选项中&#xff0c;只有1个最符合题意&#xff09; 1. 法律的制定主体不同&#xff0c;其法律地位和法律效力也不同。关于法律地位和效力的说法&…