1.YARN介绍
- 一个通用的资源管理系统和调度平台
- YARN不分配磁盘,由HDFS分配
- 相当于一个分布式的操作系统平台,为上层MR等计算程序提供运算所需要的资源(内存、CPU等)
2.YARN三大组件
- 不要忘记AppMaster,他是程序内部的老大,监督程序的运行,在MR钟是MRAppMaster
3.程序提交YARN集群交互流程
4.资源调度器Scheduler和调度策略
- 在YARN中,负责给应用分配资源的是Scheduler,它是RM的核心组件之一
5.容量调度与公平调度区别
- 都比FIFO好:**允许多队列并行执行任务,**不会出现一个大任务一直抢占资源让之后的任务一直等待
- 容量调度在每个队列内部使用FIFO策略,先到先服务;公平调度按缺额排列,缺额大者优先
- 容量调度每个队列中同一时间只有会一个任务在执行;而公平调度同一时间一个队列中可能有多个任务