前言
仅记录学习过程，有问题欢迎讨论
感觉全连接层就像一个中间层转换数据的形态的,或者说预处理数据？
代码
softmax就是把输出的y 归一化，把结果转化为概率值！，在分类问题中很常见。
而交叉熵是一种损失函数，也是在分类问题中使用，通常搭配着softmax使用；可以计算分布概率之间的差异；期望是两个概率分布的更相似。
# softMAX --概率归一化
# 主要把输出的y 的可能性 sum = 1
# 比如 判断是否为 猫狗 y = 【猫，狗，都不是】# 【1，2，3】====》[ e^1/(e^1+e^2+e^3) ，e^2/(e^1+e^2+e^3) ，e^3/(e^1+e^2+e^3) ]# 损失函数：
# 均方差 (y-y_pre)**2/n
# 交叉熵：y_true=[1,0,0] y_pred=[0.5,0.4,0.1] =loss==>| 1*log0.5+0*log0.4+0 | = 0.3import torch
import torch.nn as nn
import numpy as np##使用torch计算交叉熵
ce_loss = nn.CrossEntropyLoss()
# 假设有3个样本，每个都在做3分类
pred = torch.FloatTensor([[0.3, 0.1, 0.3],[0.9, 0.2, 0.9],[0.5, 0.4, 0.2]]) # n*class_num
# 正确的类别 == [0,1,0][0,0,1][1,0,0]
target = torch.LongTensor([1, 2, 0])
print(target)
loss = ce_loss(pred, target)
print(loss, "torch输出交叉熵")# 实现softMax函数 x为矩阵格式！！
def softmax(x):return np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)# 验证softmax函数
# print(torch.softmax(pred, dim=1))
# print(softmax(pred.numpy()))# 将输入转化为onehot矩阵 == [0,1,0][0,0,1][1,0,0]
def to_one_hot(target, shape):one_hot_target = np.zeros(shape)# enumerate 也是一种循环 格式为【index,value】for i, t in enumerate(target):one_hot_target[i][t] = 1return one_hot_target# target_matrix = to_one_hot(target,pred.shape)
# print(target_matrix)# 实现交叉熵
def cross_entropy(pred, target):batch_size, class_num = pred.shape# 先归一化pred = softmax(pred)# 变为矩阵格式target = to_one_hot(target,pred.shape)# 每一列求entropy = -np.sum(target * np.log(pred), axis=1)return sum(entropy) / batch_sizeprint(cross_entropy(pred.numpy(), target.numpy()), "手动实现交叉熵")
