Hadoop生态圈三大组件：HDFS的读写流程、MapReduce计算流程、Yarn资源调度

1. HDFS的读写流程

客户端向Namenode发送写入请求。
Namenode接收到写入请求后，首先判断当前这个操作的用户是否具有写入权限，如果不具备写入权限会直接报错；如果有写入权限，再进行判断在写入的目录下是否存在这个文件；如果要写入的目录下已经存在这个文件，会直接报错；如果要写入的目录下不存在这个文件，通知客户端可以写入。
客户端对文件进行切分操作，形成block块。
客户端请求第一个block块存储在哪些地方。
Namenode根据机架感知原理、拓扑关系、副本机制等，找到相应的可以上传的Datanode的连接列表，返回给客户端。
客户端从接受的Datanode列表中选择第一台建立连接，当连接第一台Datanode以后，让第一台Datanode与第二台Datanode连接，然后第二台Datanode与第三台Datanode连接形成一条pipeline（管道）。
客户端通过数据包的形式发送数据。当第一台Datanode接收到数据后，将数据发送给第二台Datanode，第二台接收完，再将数据发送给第三台。当最后一个Datanode接受请求后建立一个反向的应答队列。当每个节点都将数据包接收到以后，反向给予应答响应（ack确认机制）。

在这里插入图片描述
MR天龙八部

在这里插入图片描述
YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，其资源调度机制如下：

接收任务请求
- Resource Manager接收到客户端的任务请求。
选择Node Manager
- Resource Manager在Node Manager上寻找一个比较空闲的节点。
- 通知并启动一个Application Master，将任务信息发送给Application Master，等待Application Master启动成功。
- 如果启动失败，认为当前任务直接报错，告知任务无法执行。
获取任务相关信息
- Application Master启动后，开始和主节点保持心跳机制，获取任务相关的信息（如JAR包路径、主类、参数）。

资源分配工作
- 根据收到的资源申请的结果信息，进行资源的分配工作。
- 如果资源比较宽松，一次性将所需的所有资源一并全返回。
- 如果资源比较紧张，最起码应该返回所有Map Task所需资源。

获取资源信息
- Application Master通过心跳包，一直询问是否已经准备好资源，一旦准备好，将资源信息全部获取。
通知Node Manager
- 根据获取的资源信息，通知各个Node Manager，启动相关的程序（先启动Map Task），告知Node Manager任务信息（如JAR包路径、主类、参数）。

执行任务进度监控
- 每一个运行的container定时和Application Master汇总执行任务执行的进度。
- 并且还基于Node Manager和Resource Manager的使用情况，报告资源的使用情况。
- 如果初始化的时候，只是返回Map Task运行的资源。
- 当Map Task执行完成后，或者执行过程中，Application Master向Resource Manager/Node Manager询问Reduce Task的资源是否已经准备好了，如果准备好了，就进行Reduce任务。
任务完成报告
- 当整个Map Task和Reduce Task都运行完成后，通知Application Master已经完成执行任务了。
资源回收
- Resource Manager收回所有分配的资源，然后通知Application Master可以执行自毁程序了。

这种资源调度机制确保了在YARN集群中，任务能够高效地获取和利用资源，同时也保证了资源的合理分配和管理。