【VSCode调试技巧】Pytorch分布式训练调试

ops/2024/9/23 6:25:42/

最近遇到个头疼的问题,对于单机多卡的训练脚本,不知道如何使用VSCode进行Debug。

解决方案:

1、找到控制分布式训练的启动脚本,在自己的虚拟环境的/lib/python3.9/site-packages/torch/distributed/launch.py中

2、配置launch.josn文件,按照正确的参数顺序,填入args参数,注意区分位置参数和可选参数,debug文件前面的参数是分布式训练的参数,后面为该文件所需的参数。这个顺序和命令行执行的顺序一致,所以可参考命令行的顺序

3、选择到文件,开始debug,选择该配置 launch.josn文件


http://www.ppmy.cn/ops/19578.html

相关文章

【继承和多态】

闭上眼睛,什么都不听.............................................................................................................. 文章目录 前言 一、【继承】 1.1【继承的概念】 1.2【 继承的定义】 1.2.1【定义格式】 1.2.2【继承关系和访问限定符】 1.2…

如何备考华为OD机试?如何刷题以取得高分?常考的算法类型?

华为OD机试通常指的是华为在线开发(Onsite Development)机试,是华为公司招聘过程中的一项技术测试,主要针对求职者的编程能力和技术水平进行评估。这种机试通常包括编程题和技术题,目的是测试应聘者在实际工作中遇到问…

【Linux】常用命令

1. 切换命令: cd 语法: cd [相对路径或绝对路径] 使用小tips: 输入文件夹名称过程中可以使用Tab来自动不全。 演示效果: 使用了相对路径和绝对路径,可以看到它们的效果是一样的。 2. 创建目录:mkdir 语法: mkdir […

C语言入门课程学习记录4

C语言入门课程学习记录4 第18课 - signed 与 unsigned第19课 - 再论数据类型第20课 - 经典问题剖析第21课 - 程序中的辅助语句(上)第22课 - 程序中的辅助语句(下) 本文学习自狄泰软件学院 唐佐林老师的 C语言入门课程,…

5367: 【图论】奇点数

题目描述 美术老师生病了,今天美术课编程老师来上,给大家一张无向图,包含 n个顶点(编号1∼n),m条边,求这张图中的奇点数。 偶点(even vertex):度数为偶数的顶点称为偶点 奇点(odd…

第106届中国劳动保护用品交易会现场来了,百华鞋业展会现场人气爆棚!

第106届中国劳动保护用品交易会 暨2024中国国际职业安全及健康产业博览会 开幕啦! 4月25日,万千瞩目的第106届劳保会在上海新国际博览中心盛装登场!一大早,上海新国际博览中心大排长龙,水泄不通。大批远道而来的专家…

『大模型OS笔记』Meta 宣布推出 Llama 3 的介绍视频

Meta 宣布推出 Llama 3 的介绍视频 文章目录 一. Meta 宣布推出 Llama 3 的介绍视频一、引言二、Llama 模型历史回顾三、Llama 3 模型介绍四、Llama 3 背后的开发思路五、许可证和生态系统六、安全和信任七、其他亮点八、未来计划九、现场演示四. 参考文献一. Meta 宣布推出 Ll…

鸿蒙官网学习3

鸿蒙官网学习3 每日小提示项目的模块类型跨设备预览调试阶段应用的替换方式有两种 打开老的demo工程报错UIAbility 每日小提示 项目的模块类型 moduleType分为三种,只有1,2的模块支持直接调试和运行 entryfeaturehar 跨设备预览 需要手动在config.j…