spark client mode cluster mode 区别 与选择

devtools/2024/12/23 2:15:21/

1、在我们使用spark-submit 提交spark 任务一般有以下参数

/bin/spark-submit \--class <main-class> \--master <master-url> \--deploy-mode <deploy-mode> \--conf <key>=<value> \... # other options<application-jar> \[application-arguments]

其中 deplay-mode是针对集群而言,是指集群的部署模式,根据Driver主进程放在哪的两种方式。:client和cluster,默认是client,下面我们就详细研究一下这两种模式的区别

2、spark-submit 详细参数说明
参数名 参数说明
–master master 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local
–deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client
–class 应用程序的主类,仅针对 java 或 scala 应用
–name 应用程序的名称
–jars 用逗号分隔的本地 jar 包,设置后,这些 jar 将包含在 driver 和 executor 的 classpath 下
–packages 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
–exclude-packages 为了避免冲突 而指定不包含的 package
–repositories 远程 repository
–conf PROP=VALUE 指定 spark 配置属性的值,
( 例如 -conf spark.executor.extraJavaOptions=“-XX:MaxPermSize=256m”)
–properties-file 加载的配置文件,默认为 conf/spark-defaults.conf
–driver-memory Driver内存,默认 1G
–driver-java-options 传给 driver 的额外的 Java 选项
–driver-library-path 传给 driver 的额外的库路径
–driver-class-path 传给 driver 的额外的类路径
–driver-cores Driver 的核数,默认是1。在 yarn 或者 standalone 下使用
–executor-memory 每个 executor 的内存,默认是1G
–total-executor-cores 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
–num-executors 启动的 executor 数量。默认为2。在 yarn 下使用
–executor-core 每个 executor 的核数。在yarn或者standalone下使用

3、spark deploy model 对于程序容错的处理
spark 程序中 ,task 有失败重试机制)


http://www.ppmy.cn/devtools/99344.html

相关文章

【深度学习】嘿马深度学习笔记第3篇:TensorFlow介绍,学习目标【附代码文档】

本教程的知识点为&#xff1a;深度学习介绍 1.1 深度学习与机器学习的区别 TensorFlow介绍 2.4 张量 2.4.1 张量(Tensor) 2.4.1.1 张量的类型 TensorFlow介绍 1.2 神经网络基础 1.2.1 Logistic回归 1.2.1.1 Logistic回归 TensorFlow介绍 总结 每日作业 神经网络与tf.keras 1.3 …

docker手动部署django项目Dockerfile编排-后端发布

1、首先创建一个桥接网络 docker network create auto 2、部署redis,提供celery的消息队列服务 docker run --name redis --restartalways -d --network auto -v redis:/data redis:alpine3、部署数据库 注意数据库账号密码 docker run --name mariadb --restartalways -d…

vue.config 基础代理配置

const webpack require(‘webpack’); const CompressionPlugin require(‘compression-webpack-plugin’) const PATH require(‘./src/utils/path.js’); module.exports { //部署应用包时的基本 URL publicPath: ‘./’, //build时输出的文件目录 outputDir: ‘dist’,…

观察者模式解析:实现对象间的舞蹈同步!

观察者模式&#xff08;Observer Pattern&#xff09;是一种行为型设计模式&#xff0c;允许对象在状态改变时通知多个依赖对象&#xff0c;并自动更新这些依赖对象的状态。 观察者模式主要用于实现对象间的一种一对多的依赖关系&#xff0c;让多个观察者对象同时监听某一个主…

黑神话:悟空-配置推荐

显卡推荐&#xff08;按类别整理&#xff09; 1. GTX 10系列、GTX 16系列&#xff1a; 如果希望体验光线追踪&#xff0c;建议根据预算升级到RTX 40系列显卡。对于1080p分辨率&#xff0c;至少需要RTX 4060才能流畅运行。 2. RTX 20系列&#xff1a; RTX 2060、RTX 2070&#…

git cherry-pick 用法

/* * cherry-pick */ git cherry-pick 允许开发者有选择地合并其他分支的提交到当前分支&#xff0c; 这对于解决代码冲突、修复bug以及在不同分支之间转移提交非常有用。 基本用法&#xff1a; 1.合并一个提交&#xff1a;通过指定提交的哈希值&#xff0c…

Python编程、机器学习与深度学习

Python编程、机器学习与深度学习 第一章、Python基础 1、Python环境搭建&#xff08;Python软件下载、安装与版本选择&#xff1b;PyCharm下载、安装&#xff1b;Python之Hello World&#xff1b;第三方模块的安装与使用&#xff1b;Python 2.x与Python 3.x对比&#xff09; …

kali修改镜像

引言 由于国内访问kali的官方网站或者下载包比较慢&#xff0c;我们可以将kali里面的apt配置修改成国内阿里云的仓库 配置方法 修改 /etc/apt/sources.list , 将相关 url 改成阿里云的源。使用root用户来操作 deb https://mirrors.aliyun.com/kali kali-rolling main non-f…