一、什么是MapReduce
MapReduce将计算过程分为两个阶段:Map和Reduce。
1、Map阶段并行处理输入数据。
2、Reduce阶段对map结果进行汇总。
二、结构图
三、HDFS、Yarn、MapReduce三者之间的调用关系
HDFS三台服务器,第一台上有DataNode和NameNode。第二台上有DataNode。第三台上有DataNode和SecondaryNameNode。
接下来Yarn,第一台上有NodeManager。第二台上有ResourceManager和NodeManager。第三台上有NodeManager。
运行过程:
(1)ResourceManager找到一个服务器,开启一个Container,然后运行任务App Mstr。
(2)App Mstr向ResourceManager申请资源。
(3)ResourceManager找到两个节点,有对应的资源。App Mstr开启MapTask。
(4)把Map阶段所有的结果写入到HDFS。