【代码问题】【Pytorch】训练模型时Loss为NaN或INF

news/2024/11/20 23:38:12/

解决方法或者问题排查:

加归一化层
我的问题是我新增的一个模块与原来的模块得到的张量相加,原张量是归一化后的,我的没有:

python">class Module(nn.Module):def __init__(self,dim,):super().__init__()# 新增一个LayerNorm层进行归一化self.layer_norm = nn.LayerNorm(dim)def forward(self, x, size):# 最后输出前进行处理x = self.layer_norm(x)return x

batchsize设小点

学习率降低

数据缺少label


我只遇到了第一个那种情况,所以我给出第一个的解决方法,其他的后续遇到再补充。
排查的时候可以在关键节点增加断点,比如我的训练一个epoch时没问题,一个epoch训练完要进行验证的时候出现问题,所以打印出一个epoch的所有loss看怎么回事。
在这里插入图片描述


http://www.ppmy.cn/news/1439780.html

相关文章

【设计模式】使用中介者模式优化表单交互

我们想象一下机场的指挥塔,如果没有指挥塔的存在,每一架飞机要和方圆 100 公里内的所有飞机通信,才能确定航线以及飞行状况,后果是不可想象的。现实中的情况是,每架飞机都只需要和指挥塔通信。指挥塔作为调停者&#x…

js实现字符串转json对象的四种方法

在JavaScript中,将字符串转换为JSON对象通常使用的是JSON.parse()方法。但为了满足你的需求,我将提供四种方法,虽然其中大部分方法都是基于JSON.parse()。 方法一:使用JSON.parse() JSON.parse()是最常用且最标准的方法&#xf…

OV SSL证书申请指南——六步轻松搞定

OV证书的申请流程如下: 一 确定申请渠道 根据自己的品牌偏好,选择一个证书服务商,这里推荐JoySSL,作为国产服务商,除了提供Digicert、Sectigo、Geotrust、Globalsign等国际品牌证书外,还拥有自主品牌OV证书。在JoySSL…

分类与预测算法评价的介绍

分类与预测算法的评价是在机器学习中至关重要的一步,它帮助我们了解模型在解决特定问题上的表现如何,并且可以帮助我们选择最适合我们需求的算法。下面是分类与预测算法评价的一般介绍: 分类与预测问题 分类问题:是指将数据分为预…

《HCIP-openEuler实验指导手册》1.5 Apache持久化连接配置

一、知识点 二、配置方法 在/etc/httpd/conf.d目录中创建持久连接相关配置文件keepalived.conf,并添加如下配置信息: KeepAlive On KeepAliveTimeout 20 MaxKeepAliveRequests 500

【Redis | 第十篇】Redis与MySQL保证数据一致性(两种解决思路)

文章目录 10.Redis和MySQL如何保证数据一致性10.1双写一致性问题10.2数据高度一致性10.3数据同步允许延时10.3.1中间件通知10.3.2延迟双删 10.Redis和MySQL如何保证数据一致性 10.1双写一致性问题 Redis作为缓存,它是如何与MySQL的数据保持同步的呢?特…

git提交常用

git config --global user.name "你的名字或昵称" git config --global user.email "你的邮箱" 第一次上传到码云 1.找到要提交到码云的文件夹 右击打开Git Bash Here 2.用命令行创建本地仓库 git init 3.将待全部文件放入缓冲区 git add . 4.提交缓…

服务器(AIX、Linux、UNIX)性能监视器工具【nmon】使用介绍

目录 ■nmon简介 1.安装 2.使用简介 3.使用(具体使用的例子【CPU】【内存】) 4.采集数据 5.查看log(根据结果,生成报表) 6.分析结果 7.设定任务计划(Cron),每日执行 ■nmo…