【漫话机器学习系列】087.常见的神经网络最优化算法（Common Optimizers Of Neural Nets）

embedded/2025/2/12 4:09:06/

常见的神经网络优化算法

1. 引言

在深度学习中，优化算法（Optimizers）用于更新神经网络的权重，以最小化损失函数（Loss Function）。一个高效的优化算法可以加速训练过程，并提高模型的性能和稳定性。本文介绍几种常见的神经网络优化算法，包括随机梯度下降（SGD）、带动量的随机梯度下降（Momentum SGD）、均方根传播算法（RMSProp）以及自适应矩估计（Adam），并提供相应的代码示例。

2. 常见的优化算法

2.1 随机梯度下降（Stochastic Gradient Descent, SGD）

随机梯度下降（SGD）是最基本的优化算法，其更新规则如下：

其中：

  • w 代表网络参数（权重）；
  • α 是学习率（Learning Rate），控制更新步长；
  • ∇L(w) 是损失函数相对于权重的梯度。

代码示例（使用 PyTorch 实现 SGD）

import torch
import torch.nn as nn
import torch.optim as optim# 定义简单的线性模型
model = nn.Linear(1, 1)  # 1 个输入特征，1 个输出特征
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.01)  # 随机梯度下降# 训练步骤
for epoch in range(100):optimizer.zero_grad()  # 清空梯度inputs = torch.tensor([[1.0]], requires_grad=True)targets = torch.tensor([[2.0]])outputs = model(inputs)loss = criterion(outputs, targets)  # 计算损失loss.backward()  # 反向传播optimizer.step()  # 更新参数if epoch % 10 == 0:print(f'Epoch [{epoch}/100], Loss: {loss.item():.4f}')

运行结果

Epoch [0/100], Loss: 4.9142
Epoch [10/100], Loss: 2.1721
Epoch [20/100], Loss: 0.9601
Epoch [30/100], Loss: 0.4244
Epoch [40/100], Loss: 0.1876
Epoch [50/100], Loss: 0.0829
Epoch [60/100], Loss: 0.0366
Epoch [70/100], Loss: 0.0162
Epoch [80/100], Loss: 0.0072
Epoch [90/100], Loss: 0.0032

2.2 带动量的随机梯度下降（Momentum SGD）

带动量的 SGD 在 SGD 的基础上加入动量（Momentum），用于加速收敛并减少震荡：


其中：

  • 是累积的梯度，类似于物理中的动量；
  • β 是动量系数（通常取 0.9）。

代码示例（Momentum SGD）

import torch
import torch.nn as nn
import torch.optim as optimmodel = nn.Linear(1, 1)  # 1 个输入特征，1 个输出特征
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)for epoch in range(100):optimizer.zero_grad()inputs = torch.tensor([[1.0]], requires_grad=True)targets = torch.tensor([[2.0]])outputs = model(inputs)loss = criterion(outputs, targets)loss.backward()optimizer.step()if epoch % 10 == 0:print(f'Epoch [{epoch}/100], Loss: {loss.item():.4f}')

运行结果 

Epoch [0/100], Loss: 3.0073
Epoch [10/100], Loss: 1.3292
Epoch [20/100], Loss: 0.5875
Epoch [30/100], Loss: 0.2597
Epoch [40/100], Loss: 0.1148
Epoch [50/100], Loss: 0.0507
Epoch [60/100], Loss: 0.0224
Epoch [70/100], Loss: 0.0099
Epoch [80/100], Loss: 0.0044
Epoch [90/100], Loss: 0.0019

优点：

  • 缓解了 SGD 震荡问题，提高收敛速度；
  • 在非凸优化问题中表现更好。

2.3 均方根传播算法（RMSProp）

RMSProp 通过自适应调整学习率来加速训练，并缓解震荡问题：

​

其中：

  • 是梯度平方的滑动平均；
  • β 是衰减系数（一般取 0.9）；
  • ϵ 是一个很小的数，防止除零错误。

代码示例（RMSProp）

import torch
import torch.nn as nn
import torch.optim as optim# 定义简单的线性模型
model = nn.Linear(1, 1)  # 1 个输入特征，1 个输出特征
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.RMSprop(model.parameters(), lr=0.01, alpha=0.9)for epoch in range(100):optimizer.zero_grad()inputs = torch.tensor([[1.0]], requires_grad=True)targets = torch.tensor([[2.0]])outputs = model(inputs)loss = criterion(outputs, targets)loss.backward()optimizer.step()if epoch % 10 == 0:print(f'Epoch [{epoch}/100], Loss: {loss.item():.4f}')

运行结果

Epoch [0/100], Loss: 1.1952
Epoch [10/100], Loss: 0.5887
Epoch [20/100], Loss: 0.3333
Epoch [30/100], Loss: 0.1731
Epoch [40/100], Loss: 0.0752
Epoch [50/100], Loss: 0.0239
Epoch [60/100], Loss: 0.0043
Epoch [70/100], Loss: 0.0003
Epoch [80/100], Loss: 0.0000
Epoch [90/100], Loss: 0.0000

优点：

  • 适用于非平稳目标函数；
  • 能有效处理不同特征尺度的问题；
  • 在 RNN（循环神经网络）等任务上表现较好。

2.4 自适应矩估计（Adam, Adaptive Moment Estimation）

Adam 结合了动量法（Momentum）和 RMSProp，同时考虑梯度的一阶矩（平均值）和二阶矩（方差）：



其中：

  • ​ 是梯度的一阶矩估计；
  • ​ 是梯度的二阶矩估计；
  • ​ 分别控制一阶矩和二阶矩的指数衰减率（通常取 0.9 和 0.999）。

代码示例（Adam）

import torch
import torch.nn as nn
import torch.optim as optim# 定义简单的线性模型
model = nn.Linear(1, 1)  # 1 个输入特征，1 个输出特征
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.Adam(model.parameters(), lr=0.01)for epoch in range(100):optimizer.zero_grad()inputs = torch.tensor([[1.0]], requires_grad=True)targets = torch.tensor([[2.0]])outputs = model(inputs)loss = criterion(outputs, targets)loss.backward()optimizer.step()if epoch % 10 == 0:print(f'Epoch [{epoch}/100], Loss: {loss.item():.4f}')

输出结果 

Epoch [0/100], Loss: 3.6065
Epoch [10/100], Loss: 2.8894
Epoch [20/100], Loss: 2.2642
Epoch [30/100], Loss: 1.7359
Epoch [40/100], Loss: 1.3021
Epoch [50/100], Loss: 0.9555
Epoch [60/100], Loss: 0.6855
Epoch [70/100], Loss: 0.4805
Epoch [80/100], Loss: 0.3287
Epoch [90/100], Loss: 0.2192

优点：

  • 结合 Momentum 和 RMSProp 的优势；
  • 适用于大规模数据集和高维参数优化；
  • 具有自适应学习率，适用于不同类型的问题。

3. 选择合适的优化算法

优化算法特点适用场景
SGD计算简单，但容易震荡适用于大规模数据，适合凸优化问题
Momentum SGD增加动量，减少震荡，加速收敛适用于复杂深度神经网络
RMSProp自适应调整学习率，适用于非平稳问题适用于 RNN、强化学习等
Adam结合 Momentum 和 RMSProp，自适应学习率适用于大多数深度学习任务

4. 结论

在神经网络训练过程中，优化算法的选择对最终的模型性能有重要影响。SGD 是最基础的优化方法，而带动量的 SGD 在收敛速度和稳定性上有所提升。RMSProp 适用于非平稳目标函数，而 Adam 结合了 Momentum 和 RMSProp 的优势，成为当前最流行的优化算法之一。

不同任务可能需要不同的优化算法，通常的建议是：

  • 对于简单的凸优化问题，可以使用 SGD。
  • 对于深度神经网络，可以使用 Momentum SGD 或 Adam。
  • 对于 RNN 和强化学习问题，RMSProp 是一个不错的选择。

合理选择优化算法可以显著提升模型训练的效率和效果！


http://www.ppmy.cn/embedded/161509.html

相关文章

开发指南098-logback-spring.xml说明

开发指南098-logback-spring.xml说明

可执行的工程src\main\resources目录有logback-spring.xml文件用于配置日志。配置日志有些容易犯晕的地方&#xff0c;这里列出&#xff1a; 1、<logger>标签的优先级高于<root>标签‌&#xff1a;所以&#xff0c;如果<logger>标签指定了某个具体的包或类的…
阅读更多...
AI软件外包需要注意什么 外包开发AI软件的关键因素是什么 如何选择AI外包开发语言

AI软件外包需要注意什么 外包开发AI软件的关键因素是什么 如何选择AI外包开发语言

1. 定义目标与需求 首先&#xff0c;要明确你希望AI智能体做什么。是自动化任务、数据分析、自然语言处理&#xff0c;还是其他功能&#xff1f;明确目标可以帮助你选择合适的技术和方法。 2. 选择开发平台与工具 开发AI智能体的软件时&#xff0c;你需要选择适合的编程语言、…
阅读更多...
LeetCode--416. 分割等和子集/494. 目标和【01背包】

LeetCode--416. 分割等和子集/494. 目标和【01背包】

416. 分割等和子集 494. 目标和 前言 哈哈&#xff0c;又是背包问题&#xff0c;一开始没写出来&#xff0c;写个题解加深记忆 正文 416. 分割等和子集 给你一个 只包含正整数 的 非空 数组 nums 。请你判断是否可以将这个数组分割成两个子集&#xff0c;使得两个子集的元素…
阅读更多...
Linux TCP 编程详解与实例

Linux TCP 编程详解与实例

一、引言 在网络编程的领域中&#xff0c;TCP&#xff08;Transmission Control Protocol&#xff09;协议因其可靠的数据传输特性而被广泛应用。在 Linux 环境下&#xff0c;使用 C 或 C 进行 TCP 编程可以实现各种强大的网络应用。本文将深入探讨 Linux TCP 编程的各个方面&…
阅读更多...
四边形网格处理——沿Edge遍历 矩形域顶点提取

四边形网格处理——沿Edge遍历 矩形域顶点提取

记录最近遇到的一个问题和解决方案。 最近遇到的问题&#xff1a;将一个五边形划分为四边形网格。 参考文献《Closed -form Quadrangulation of n-Sided Patches》&#xff0c;划分方式如下图所示&#xff0c;实际上是在五边形中间添加了一个顶点&#xff0c;顶点分别向五边形的…
阅读更多...
使用Redis实现业务信息缓存（缓存详解，缓存更新策略，缓存三大问题）

使用Redis实现业务信息缓存（缓存详解，缓存更新策略，缓存三大问题）

一、什么是缓存？ 缓存是一种高效的数据存储方式，它通过将数据保存在内存中来提供快速的读写访问。这种机制特别适用于需要高速数据访问的应用场景，如网站、应用程序和服务。在处理大量数据和高并发请求时， 缓存能显著提高性能和用户体验。 Redis就是一款常用的缓存中间件。…
阅读更多...
工作案例 - python绘制excell表中RSRP列的CDF图

工作案例 - python绘制excell表中RSRP列的CDF图

什么是CDF图 CDF&#xff08;Cumulative Distribution Function&#xff09;就是累积分布函数&#xff0c;是概率密度函数的积分。CDF函数是一个在0到1之间的函数&#xff0c;描述了随机变量小于或等于一个特定值的概率。在可视化方面&#xff0c;CDF图表明了一个随机变量X小于…
阅读更多...
0073.基于springboot的蜗牛兼职网的设计与实现+论文

0073.基于springboot的蜗牛兼职网的设计与实现+论文

一、系统说明 基于springbootvue的蜗牛兼职网的设计与实现,系统功能齐全, 代码简洁易懂&#xff0c;适合小白学编程。 随着科学技术的飞速发展&#xff0c;社会的方方面面、各行各业都在努力与现代的先进技术接轨&#xff0c;通过科技手段来提高自身的优势&#xff0c;蜗牛兼职…
阅读更多...
最新文章

Copyright @ 2022~2023