交叉熵损失 在PyTorch 中的计算过程

devtools/2024/10/18 20:30:19/

其实就是根据 真实值的结果,当成索引去取的值
import torch
import torch.nn as nnaaaa = torch.tensor([[2.0,1.0,3.0],[2.0,4.0,2.0]])l1 = nn.LogSoftmax(dim=-1)
result = l1(aaaa)
print(result)

import torch
import torch.nn as nn# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 模拟的模型输出(没有经过 softmax)
aaaa = torch.tensor([[2.0, 1.0, 3.0],[2.0, 4.0, 2.0]])# 模拟的目标类别
target = torch.tensor([2, 1])# 计算交叉熵损失
loss = criterion(aaaa, target)
print("交叉熵损失:", loss.item())

 

在这个例子中,CrossEntropyLoss 会先对模型输出进行 softmax,然后计算目标类别的负对数似然损失(NLLLoss)。

其中 aaaa 是模型的原始输出,没有经过 softmax,target 是目标类别。

计算过程详细解释:

1. Softmax 操作:

• 第一行:[2.0, 1.0, 3.0]

• 计算 softmax 值:

经过计算得到:


• 第二行:[2.0, 4.0, 2.0]

• 计算 softmax 值:

经过计算得到:

2. 取对数:

• 第一行:[0.2595, 0.0952, 0.6452] 的对数:

• 第二行:[0.1065, 0.7869, 0.1065] 的对数:

3. NLLLoss 计算:

现在我们使用目标类别计算负对数似然损失:

4. 计算平均损失:

将两个样本的损失值相加后取平均:

因此,最终的交叉熵损失值为 0.33935。

总结:​​​​​​​

Softmax 将模型输出转换为概率分布。

LogSoftmax 将 softmax 的概率取对数。

NLLLoss 根据目标类别提取 log-prob 对应的值,并计算损失。

CrossEntropyLoss 将 LogSoftmax 和 NLLLoss 结合起来。


http://www.ppmy.cn/devtools/126810.html

相关文章

AI绘图大模型 Stable Diffusion 使用详解

近年来,生成式 AI 技术,特别是 AI 绘图模型的进展令人瞩目。Stable Diffusion 是其中一款开源的大规模图像生成模型,它能够根据文本描述生成高质量的图像,支持从写实风格到卡通、幻想等各种不同的视觉效果。本文将深入介绍如何使用…

OpenCV高级图形用户界面(8)在指定的窗口中显示一幅图像函数imshow()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 在指定的窗口中显示一幅图像。 函数 imshow 在指定的窗口中显示一幅图像。如果窗口是以 cv::WINDOW_AUTOSIZE 标志创建的,图像将以原…

五年以上倾斜摄影osgb模型转3dtiles如何在mars3d加载

方案一: // 兼容1.50 (2018-10-01)版本更改了名称,造成部分3dtiles可能会出现加载不上导致渲染停止的错误。 // 错误说明为:RuntimeError: Unsupported glTF Extension: KHR_technique_webgl // 原因:KHR_technique_w…

策略灵活应变:Catia软件许可瓶颈

在数字化转型的浪潮中,武汉格发信息技术有限公司以其先进的技术实力和精准的解决方案,为各个行业用户带来了显著的效率提升与成本节约,通过其自主研发的LicOMS软件成功实施了《软件许可资源集中监控与优化管理》项目。该项目不仅为用户提供了…

3种常用的缓存读写策略详解

在详解3种常用的缓存读写之前,我们先要了解什么事缓存读写。 缓存读写是指在使用缓存技术时,对数据进行读取和更新的操作过程。缓存是一种用于提高系统性能和可扩展性的技术,通过减少对慢速存储(如数据库)的访问次数&…

基于Spring Boot的JavaWeb在线考试系统设计与实践

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及,互联网成为人们查找信息的重要场所,二十一世纪是信息的时代,所以信息的管理显得特别重要。因此,使用计算机来管理基于JavaWeb技术的在线考试系统设计与实现…

4.建造者模式

对于建造者模式而已,它主要是将一个复杂对象的构建与表示分离,使得同样的构建过程可以创建不同的表示。适用于那些产品对象的内部结构比较复杂。 建造者模式将复杂产品的构建过程封装分解在不同的方法中,使得创建过程非常清晰,能够…

QT + opengl 让2d贴图动起来

1 qtopengl 实现纹理贴图,平移旋转,绘制三角形,方形-CSDN博客 在上篇文章里面我已经学会了给贴图,并且旋转,那我们如何动态的显示2D的图片呢,那我们在qt里面是如何实现呢,定时器连续更新。 上…