Standalone是什么?Standalone集群的三类进程

news/2025/3/20 3:27:09/

Standalone是什么

Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。

StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。

Standalone是什么Standalone
在这里插入图片描述

StandAlone集群在进程上主要有3类进程:

(1)主节点Master进程:

Master角色, 管理整个集群资源,并托管运行各个任务的Driver

(2)从节点Workers:

Worker角色, 管理每个机器的资源,分配对应的资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPU Cores核数。

(3)历史服务器HistoryServer(可选):

Spark Application运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。


http://www.ppmy.cn/news/724951.html

相关文章

外出闯荡_外出拍摄时如何确保照片安全

外出闯荡 As a photographer, there’s nothing worse than losing your hard shot photos, whether it’s from hard drive failure, theft, or anything else. With a good backup strategy, it’s easy to keep your photos safe at home, but what about when you’re stil…

自学go语言的笔记干货

在经过3个月的Go的学习中 整理出来的比较 感觉还拿得出手。 文档资料:http://yuancao.meicx.com/d/34 书签网:https://www.bookstack.cn/ 格式化:gofmt -w hello.go 编译*指令:go build -o 123.exe main.gogo build xxx.go输入输…

【云原生丶Kubernetes】Kubernetes初体验

人生若只如初见,何事秋风悲画扇。 前言 Kubernetes 是目前最流行的容器编排工具之一,由Google开发并维护。它提供了完整的容器编排解决方案,包括自动化部署、资源管理和调度、服务发现和负载均衡等功能。 然而,对于初学者来说&a…

SpringBoot处理全局异常详解(全面详细+Gitee源码)

前言:在日常的开发工作中,项目在运行过程中多多少少是避免不了报错的,对于报错信息肯定不可以把全部信息都抛给客户端去显示,这里就需要我们对常见的七种异常情况统一进行处理,让整个项目更加优雅。 目录 一、基本介绍…

中国移动发狠,给携转用户巨额优惠,反击中国电信

近日据业内人士指出中国移动针对携号转网用户提供了巨额优惠,只要21元就可获得30GB全国通用流量移动套餐,再另送500M宽带,两年免费、安装费全免,对于我们老用户来说这可是139元套餐才能享受到,这显示出中国移动为了争夺…

Java实现PDF转Word【收集整理】

首先感谢 Mgg9702 博主提供的转换依赖包处理,关于如何获得一个破解的pdf转word我这里就不追述了,有需要去看: https://blog.csdn.net/Mgg9702/article/details/124987483?spm1001.2014.3001.5506 我这里主要涉及到整理一个pdf转word的jar工…

以太网 (数据链路层协议)

以太网 认识以太网以太网数据帧 认识以太网 “以太网” 不是一种具体的网络,而是一种技术标准;既包含了数据链路层的内容,也包含了一些物理层的内容。 例如:规定了网络拓扑结构,访问控制方式,传输速率等&a…

重装系统会影响到电脑的正常使用吗

​重装系统对电脑有影响吗?重装系统是指对计算机的操作系统进行重新的安装。当用户错误操作或遭受病毒的破坏时,系统中的重要文件就会受损导致错误,严重甚至可能出现崩溃,电脑无法启动操作,因此不得不进行重新安装。一些喜欢操作…