Hadoop基础之《(5)—MapReduce概述》

news/2024/11/1 19:33:38/

一、什么是MapReduce
MapReduce将计算过程分为两个阶段:Map和Reduce。

1、Map阶段并行处理输入数据。
2、Reduce阶段对map结果进行汇总。

二、结构图

三、HDFS、Yarn、MapReduce三者之间的调用关系

HDFS三台服务器,第一台上有DataNode和NameNode。第二台上有DataNode。第三台上有DataNode和SecondaryNameNode。
接下来Yarn,第一台上有NodeManager。第二台上有ResourceManager和NodeManager。第三台上有NodeManager。

运行过程:
(1)ResourceManager找到一个服务器,开启一个Container,然后运行任务App Mstr。
(2)App Mstr向ResourceManager申请资源。
(3)ResourceManager找到两个节点,有对应的资源。App Mstr开启MapTask。
(4)把Map阶段所有的结果写入到HDFS。
 


http://www.ppmy.cn/news/20189.html

相关文章

Qt扫盲-Reentrant和线程安全

Reentrant和线程安全一、概述二、Reentrant三、线程安全四、Qt类的注意事项一、概述 在整个文档中, Reentrant 和 thread-safe 术语用于标记类和函数,指明如何在多线程应用程序中使用它们: 一个 thread-safe的函数可以从多个线程同时调用,即…

4729. 解密

Powered by:NEFU AB-IN Link 文章目录4729. 解密题意思路代码4729. 解密 题意 给定一个正整数 k, 有 k次询问,每次给定三个正整数 ni,ei,di,求两个正整数 pi,qi,使 nipiqi,eidi(pi−1)(qi−1)1 思路 通过数学推导可以推出 p q …

Git操作

合并远端提交 将远程三次提交合成一次 git -rebase -i HEAD~3:wq 保存 就叫 day 17 再保存 最后 git push -f提交 rebase 与 merge merge 1 新建一个分支 git chekout -b feature-1 添加代码a 并提交 1.1 发现此次提交内容有误 又不想产生两条提交记录 先 git add . gi…

[Vulnhub] DC-4

下载链接&#xff1a;https://download.vulnhub.com/dc/DC-4.zip 同DC-3 这个靶机也是只有一个flag。 全面信息搜集hydra爆破登录和ssh密码teehee命令(写入文件内容)提权/etc/passwd & /etc/sudoers 文件利用 目录 <1> 信息搜集 <2> hydra爆破登录密码 <…

一道编程劝退题,检测你是否适合干编程

前言大家都知道要想成为一名优秀的开发工程师&#xff0c;需要数学基础好&#xff0c;即你要有很强的逻辑思维能力&#xff0c;这里有一道美国斯坦福大学出的一道逻辑思维的测试题&#xff0c;检测你的逻辑思维能力&#xff0c;大家可以看看自己逻辑能力怎么样。题目有一个抽奖…

bug解决:Uncaught (in promise) TypeError: Toast.loading is not a function

在使用vue3做项目时&#xff0c;在其中使用了vant框架&#xff0c;在使用toast的加载组件或者是一些其他组件时&#xff0c;出现了如下的错误&#xff1a;Uncaught (in promise) TypeError: Toast.loading is not a function错误代码如下&#xff1a;Toast.loading({ message: …

C技能树-判断语句

三个数从小到大排序并输出 任意输入3个整数&#xff0c;使用if语句对这3个整数由小到大进行升序排序。请判断下面哪一项无法实现该功能。 #include <stdio.h>/* 交换x和y */ void swap(int* x, int* y) {int temp *x;*x *y;*y temp; }int main(int argc, char** arg…

springboot 入门

springboot是什么 传统的开发模式下&#xff0c;无论是基于xml或注解&#xff0c;都要做许多配置&#xff0c;如果项目中集成越多的其他框架&#xff0c;配置内容也会越多。为了让开发人员以最少的配置去开发应用&#xff0c;springboot诞生了。springboot的原则是约定大于配置…