【spark】远程debug spark任务(含有pyspark)

news/2024/11/24 10:20:08/

--master yarn--master client都是可以的。

spark-submit \
--master yarn \
--deploy-mode client \
--name "test-remote-debug" \
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005" \
--conf "spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=*:5006" \
/home/user/test.py

idea中如下配置,当然需要配置两个debug任务并同时启动。
在这里插入图片描述

运行spark-submit后再在idea中debug即可。在这里插入图片描述


http://www.ppmy.cn/news/1549513.html

相关文章

TabTransformer 模型示例

代码功能 定义模型: TabTransformer 类继承自 nn.Module,包含嵌入层、Transformer 编码器和全连接层。 前向传播方法 forward 中,输入数据经过嵌入层、Transformer 编码器和全连接层,最终输出分类结果。 定义数据集类&#xff…

【MySQL课程学习】:MySQL安装,MySQL如何登录和退出?MySQL的简单配置

🎁个人主页:我们的五年 🔍系列专栏:MySQL课程学习 🌷追光的人,终会万丈光芒 🎉欢迎大家点赞👍评论📝收藏⭐文章 目录 MySQL在Centos 7环境下的安装: 卸载…

CSS3_BFC(十二)

BFC MDN对BFC的解释:块格式化上下文(Block Formating Context, BFC)是web页面的可视CSS渲染的一部分,是块盒子的布局过程发生的区域,也是浮动元素与其他元素交互的区域。 1、开启BFC flow-root对内容的影响是最低的&am…

【应用介绍】FastCAE-PHengLEI流体仿真

1 风雷组件集成背景 1.1 风雷软件简介 风雷软件是中国空气动力研究与发展中心(CARDC)研发的面向流体工程的混合CFD平台。平台的建立遵循面向对象的设计理念,采用C语言编程。自2010年开始,气动中心开始着力于工程化品牌CFD软件的…

力扣第 61 题旋转链表

题目描述 给定一个链表,旋转链表,将链表中的每个节点向右移动 k k k 个位置,其中 k k k 是非负数。 示例 1: 输入: head [1,2,3,4,5], k 2 输出: [4,5,1,2,3] 解释: 向右旋转 1 步: [5,1,2,3,4] 向右旋转 2 步: [4,5,1,2,3]示例 2: 输…

LLM( Large Language Models)典型应用介绍 1 -ChatGPT Large language models

ChatGPT 是基于大型语言模型(LLM)的人工智能应用。 GPT 全称是Generative Pre-trained Transformer。-- 生成式预训练变换模型: Generative(生成式):可以根据输入生成新的文本内容,例如回答问题…

android 性能分析工具(03)Android Studio Profiler及常见性能图表解读

说明:主要解读Android Studio Profiler 和 常见性能图表。 Android Studio的Profiler工具是一套功能强大的性能分析工具集,它可以帮助开发者实时监控和分析应用的性能,包括CPU使用率、内存使用、网络活动和能耗等多个方面。以下是对Android …

应急响应靶机——linux2

载入虚拟机,打开虚拟机: 居然是没有图形化界面的那种linux,账户密码:root/Inch957821.(注意是大写的i还有英文字符的.) 查看虚拟机IP,192.168.230.10是NAT模式下自动分配的 看起来不是特别舒服&…