在 PyTorch 中，nn.Parameter 是一个用于定义可训练参数的模块。它通常用于自定义模型时，将张量注册为模型的一部分，使其在训练过程中能够被优化。
nn.Parameter 的作用
- 可训练性：将一个普通张量转换为
Parameter后，它会被自动添加到模型的参数列表中（model.parameters()），并参与梯度计算和优化。 - 模块关联：
Parameter通常与nn.Module配合使用，用于定义模型的权重或偏置。
方法签名
torch.nn.Parameter(data, requires_grad=True)
参数说明
data: 初始化Parameter的张量。requires_grad: 是否计算梯度。默认为True，意味着它会参与反向传播。
用法示例
示例 1：将张量定义为可训练参数
import torch
from torch.nn import Parameter# 创建一个普通张量
tensor = torch.randn(3, 3)# 转换为 nn.Parameter
param = Parameter(tensor)
print("参数值:\n", param)
print("是否计算梯度:", param.requires_grad)
示例 2：在自定义模型中使用 nn.Parameter
import torch
import torch.nn as nnclass CustomModel(nn.Module):def __init__(self):super(CustomModel, self).__init__()# 使用 nn.Parameter 定义一个可训练参数self.weight = nn.Parameter(torch.randn(5, 5))self.bias = nn.Parameter(torch.randn(5))def forward(self, x):# 使用定义的参数进行计算return x @ self.weight + self.bias# 实例化模型
model = CustomModel()
print("模型参数:")
for name, param in model.named_parameters():print(f"{name}: {param.shape}")
示例 3：控制 requires_grad
param = nn.Parameter(torch.randn(4, 4), requires_grad=False)
print("是否计算梯度:", param.requires_grad)
如果 requires_grad=False，则参数不会在反向传播中更新。
注意事项
-
与
torch.Tensor的区别：- 普通张量不会被自动添加到模型的参数列表中。
- 使用
nn.Parameter可以确保张量是模型的一部分，参与优化。
-
冻结参数： 如果需要临时冻结
nn.Parameter的更新，可以手动设置其requires_grad=False： -
model.weight.requires_grad = False -
自定义参数初始化： 可以在定义
nn.Parameter时使用自定义初始化： -
self.weight = nn.Parameter(torch.zeros(10, 10))
常见应用场景
- 自定义权重和偏置：当模型结构中需要手动定义权重或偏置时，
nn.Parameter是最佳选择。 - 实现特殊模块：比如需要权重共享或参数固定的模型模块。
- 控制参数是否参与优化：通过
requires_grad，可以灵活控制某些参数是否更新。
通过 nn.Parameter，开发者可以更加灵活地构造自定义模型，并充分利用 PyTorch 的自动梯度和优化功能。
