Hadoop组成概述

ops/2024/12/25 12:23:18/

Hadoop主要由HDFS、Mapreduce、yarn三部分组成,hdfs负责分布式文件数据的存储,yarn复杂资源的调度,mapreduce负责运算。

一、hdfs架构

namenode:存储文件的元数据信息

datanode:存储真实数据

2nn:对namenode的元数据进行备份

二、yarn架构

resourceManager:整个集群资源(内存 cpu等)的老大

nodeManager:单个节点服务器的老大

ApplicationMaster:单个任务运行的老大

container:节点中虚拟出来的容器,有自己的cpu 内存等任务运行所需的资源

三、mapreduce架构

mapTask:多个maptask并行处理输入数据

reduceTask:对map阶段数据进行汇总

四、HDFS、Mapreduce、yarn三者之间的关系、工作流程

(1)客户端向集群提交mr任务

(2)resourceManager选取一个节点,开辟一个容器container,运行applicationMaster

(3)applicationMaster向resourceManager申请运行所需的集群资源

(4)resourceManager分配有空闲资源的节点,开启container,在容器中运行mapTask(可以多个并行)

(6)同样也会开启容器运行reduceTask,对map阶段运行的结果进行汇总

(5)reduceTask将任务运行结果写入到datanode上进行保存,并将元数据存储到namenode上

(6)随后2nn也进行了元数据的备份


http://www.ppmy.cn/ops/144849.html

相关文章

视频汇聚融合云平台Liveweb一站式解决视频资源管理痛点

随着5G技术的广泛应用,各领域都在通信技术加持下通过海量终端设备收集了大量视频、图像等物联网数据,并通过人工智能、大数据、视频监控等技术方式来让我们的世界更安全、更高效。然而,随着数字化建设和生产经营管理活动的长期开展&#xff0…

k8s-metrics-server

一:拉取镜像 直接从阿里云的镜像仓库拉取,国外的镜像仓库比较慢。。。。 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/metrics-server:v0.7.2 打包镜像,之后传到k8s的服务器上面 docker save -o metrics-server.ta…

【动手学轨迹预测】2.3 场景表征方法

场景表征是指在所有可用的场景信息数据中, 提取出对于预测网络有用的数据, 并将其转换为易于模型学习的数据格式. 对于预测网络来说, 最重要的数据是交通参与者的历史轨迹和地图信息, 表达它们的常见方法有:栅格化和稀疏化 2.1.1 栅格化 多通道表达 如上图所示, 将历史轨迹和…

python+PyPDF2实现PDF的文本内容读取、多文件合并、旋转、裁剪、缩放、加解密、添加水印

目录 读取内容 合并文件 旋转 缩放 裁剪 加密和解密 添加水印 安装:pip install PyPDF2 -i https://pypi.tuna.tsinghua.edu.cn/simple 读取内容 from PyPDF2 import PdfReader, PdfMerger, PdfWriterdef read_pdf(pdf_path):pdf_reader PdfReader(pdf_p…

HW | AMD GPU查看型号rocm-smi --showallinfo

. 背景 在使用GPU进行AI模型训练或推理部署的时候,我们通常需要确认当前系统中的硬件信息,如GPU型号、GPU数量、GPU可用显存等等。 在NVIDIA GPU上,指令nvidia-smi默认打印以上所有的常用信息。对应来说,AMD GPU中常用指令rocm…

2024楚慧杯WP

web 速算比赛 Sal的图集 ssti {{config.__class__.__init__.__globals__.get("os").popen(tac /flag).read()}} popmart index.php源码 <?php173 $pat "/^(((1?\d{1,2})|(2[0-4]\d)|(25[0-5]))\.){3}((1?\d{1,2})|(2[0-4]\d)|(25[0-5]))/";17…

【前端】入门指南:Vue中使用Node.js进行数据库CRUD操作的详细步骤

&#x1f4a5; 欢迎来到我的博客&#xff01;很高兴能在这里与您相遇&#xff01; 首页&#xff1a;GPT-千鑫 – 热爱AI、热爱Python的天选打工人&#xff0c;活到老学到老&#xff01;&#xff01;&#xff01;导航 - 人工智能系列&#xff1a;包含 OpenAI API Key教程, 50个…

ASP.NET Core Web API 控制器

文章目录 一、基类&#xff1a;ControllerBase二、API 控制器类属性三、使用 Get() 方法提供天气预报结果 在深入探讨如何编写自己的 PizzaController 类之前&#xff0c;让我们先看一下 WeatherController 示例中的代码&#xff0c;了解它的工作原理。 在本单元中&#xff0c…