Pytorch深度学习教程_10_神经网络训练

欢迎来到《深度学习保姆教程》系列的第九篇！在前面的几篇中，我们已经介绍了python基本用法，学习了梯度、激活函数、损失函数、优化算法等，在上一个教程中我们学习了搭建神经网络的nn模块，今天我们学习如何训练神经网络。

1 数据加载和预处理

（1）理解数据格式

数据加载

（2）数据清洗

（3）数据预处理

（4）数据划分

2 Loop

关键组件

3 评估指标

(1)分类指标

(2)回归指标

(3)选择合适的指标

4 模型保存和加载

(1)保存模型

保存整个模型

仅保存模型的状态字典

(2)加载模型

加载整个模型

加载状态字典

5 小结

1 数据加载和预处理

数据是机器学习模型的根本。你如何准备和处理数据会显著影响模型性能。

（1）理解数据格式

数据可以有多种格式：

CSV/Excel: 表格数据，包含行和列。
JSON: 键值对结构的数据。
图像: 基于像素的表示。
文本: 字符或单词的序列。
音频/视频: 多通道的时间序列数据。

数据加载

库: 使用像Pandas、NumPy和OpenCV这样的库进行高效的数据加载。
文件格式: 处理不同的文件格式和编码。
数据结构: 将数据转换为适当的数据结构（数组、张量）。

import pandas as pd
import numpy as np# 从CSV加载数据
data = pd.read_csv('data.csv')# 转换为numpy数组
data_array = data.to_numpy()

（2）数据清洗

缺失值: 处理缺失数据（插补、删除）。
异常值: 识别和处理异常值（移除、封顶、转换）。
数据不一致: 修正错误和不一致性。

import pandas as pd# 处理缺失值
data = data.fillna(method='ffill')  # 用前一个值填充缺失值# 移除异常值
outlier_threshold = 100  # 假设阈值为100
data = data[data['column_name'] < outlier_threshold]

（3）数据预处理

归一化: 将数值特征缩放到特定范围（0-1，-1到1）。
标准化: 中心化和缩放特征，使其具有零均值和单位方差。
特征编码: 将分类数据转换为数值格式（独热编码、标签编码）。
特征提取: 从原始数据中提取相关特征。

from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
data_scaled = scaler.fit_transform(data)

（4）数据划分

训练集、验证集和测试集: 将数据划分为用于模型训练、评估和测试的子集。

from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

2 Loop

循环是机器学习的核心。它是将数据输入模型、计算误差并更新参数的迭代过程。

典型的训练循环包括以下步骤：

数据加载: 从数据集中获取一批数据。
前向传播: 将数据通过模型以获得预测。
损失计算: 计算预测与真实值之间的差异。
反向传播: 计算损失相对于模型参数的梯度。
参数更新: 根据梯度使用优化器调整模型参数。

import torch# 假设你有一个模型、优化器和数据加载器
for epoch in range(num_epochs):for i, (inputs, labels) in enumerate(train_loader):# 将参数梯度清零optimizer.zero_grad()# 前向传播outputs = model(inputs)loss = criterion(outputs, labels)# 反向传播loss.backward()# 更新参数optimizer.step()

关键组件

轮次 (Epoch)‌: 完整遍历整个数据集一次。
批量大小 (Batch size)‌: 一次处理的样本数量。
优化器 (Optimizer)‌: 用于更新模型参数的算法。
损失函数 (Loss function)‌: 测量预测值与真实值之间误差的函数。

3 评估指标

评估指标是我们衡量模型性能的标尺。它们提供了关于模型优势和劣势的见解，帮助我们了解模型在未见数据上的泛化能力。

(1)分类指标

对于分类问题，常用的指标包括：

准确率 (Accuracy)‌: 正确预测的比例。

from sklearn.metrics import accuracy_scoreaccuracy = accuracy_score(y_true, y_pred)

精确率 (Precision)‌: 被正确预测为正类的正类预测比例

from sklearn.metrics import precision_scoreprecision = precision_score(y_true, y_pred)

召回率 (Recall)‌: 实际正类中被正确识别的比例。

from sklearn.metrics import recall_scorerecall = recall_score(y_true, y_pred)

F1分数 (F1-score)‌: 精确率和召回率的调和平均值。

from sklearn.metrics import f1_scoref1 = f1_score(y_true, y_pred)

混淆矩阵 (Confusion matrix)‌: 一个总结分类算法性能的表格。

(2)回归指标

对于回归问题，常用的指标包括：

均方误差 (Mean Squared Error, MSE)‌: 预测值与实际值之间平方差的平均值。

from sklearn.metrics import mean_squared_errormse = mean_squared_error(y_true, y_pred)

平均绝对误差 (Mean Absolute Error, MAE)‌: 预测值与实际值之间绝对差的平均值。

from sklearn.metrics import mean_absolute_errormae = mean_absolute_error(y_true, y_pred)

决定系数 (R-squared)‌: 模型解释的因变量方差的比例。

from sklearn.metrics import r2_scorer2 = r2_score(y_true, y_pred)

(3)选择合适的指标

指标的选择取决于问题和期望的结果：

不平衡数据集: 精确率、召回率和F1分数可能比准确率更有信息量。
异常值: MAE可能比MSE对异常值更稳健。
ROC曲线和AUC: 用于评估分类模型，特别是在不平衡数据集上。
对数损失 (Log loss)‌: 衡量概率分类模型的性能。
自定义指标: 为特定问题创建定制的指标。

4 模型保存和加载

保存和加载训练好的模型对于可重现性、部署和分享你的工作至关重要。PyTorch 提供了方便的工具来实现这一目的。

(1)保存模型

PyTorch 提供了两种主要的方法来保存模型：

保存整个模型

这种方法保留了模型的架构和参数。

import torchtorch.save(model, 'model.pth')

仅保存模型的状态字典

这会保存模型的参数，允许你将它们加载到不同的模型架构中（如果兼容的话）。

torch.save(model.state_dict(), 'model_params.pth')

(2)加载模型

要加载一个已保存的模型：

加载整个模型

loaded_model = torch.load('model.pth')

加载状态字典

model = MyModel(*args, **kwargs)  # 创建模型实例
model.load_state_dict(torch.load('model_params.pth'))

5 小结

本篇博客快速介绍神经网络训练的基本概念，包括数据加载处理、训练轮次、评估指标及模型保存加载。