【动手学习深度学习】逐行代码解析合集
02线性回归的简洁实现
视频链接：B站-动手学习深度学习
课程主页：https://courses.d2l.ai/zh-v2/
教材：https://zh-v2.d2l.ai/
线性回归的简洁实现-代码
以下代码是在PyCharm中运行的
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l"====================1、生成数据集===================="
def synthetic_data(w, b, num_examples): #@save"""生成y=Xw+b+噪声"""X = torch.normal(0, 1, (num_examples, len(w))) # 生成均值为0，方差为1，1000行2列的矩阵Xy = torch.matmul(X, w) + by += torch.normal(0, 0.01, y.shape) #噪声矩阵的size需要和y相同# reshape(-1,1)代表将二维数组重整为一个一列的二维数组# reshape(1,-1)代表将二维数组重整为一个一行的二维数组return X, y.reshape((-1, 1)) # reshape(-1,1)中的-1代表无意义true_w = torch.tensor([2, -3.4])
true_b = 4.2
# 得到的features为【1000，2】,labels为1列
features, labels = d2l.synthetic_data(true_w, true_b, 1000)"====================2、读取数据集===================="
# 布尔值is_train表示是否希望数据迭代器对象在每个迭代周期内打乱数据。
def load_array(data_arrays, batch_size, is_train=True): #@save"""构造一个PyTorch数据迭代器"""# TensorDataset用来对 tensor 进行打包，包装成dataset。类似 python 中的 zip 功能dataset = data.TensorDataset(*data_arrays)return data.DataLoader(dataset, batch_size, shuffle=is_train) #将数据划分为小批量batch_size = 10
data_iter = load_array((features, labels), batch_size)
# 使用iter构造Python迭代器，并使用next从迭代器中获取第一项。
# print(next(iter(data_iter)))"====================3、初始化参数与定义函数===================="
# nn是神经网络的缩写
from torch import nn
# 全连接层在Linear类中定义，第一个参数指定输入特征形状，第二个参数指定输出特征形状
net = nn.Sequential(nn.Linear(2, 1))"初始化模型参数"
# net[0]选择网络中的第一个图层
# 使用weight.data和bias.data方法访问参数。
# 使用替换方法normal_和fill_来重写参数值。
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)"定义损失函数 均方误差"
# 计算均方误差使用的是MSELoss类，也称为平方L2范数
loss = nn.MSELoss()"定义优化算法 小批量梯度下降算法"
# 优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数计算值的作用
# 在PyTorch中optim模块中实现了小批量梯度下降算法
# 从net.parameters()中获得需要优化的参数：权重w和偏置b
trainer = torch.optim.SGD(net.parameters(), lr=0.03)"====================4、训练===================="
# 对于每一个小批量，我们会进行以下步骤:
# 1、通过调用net(X)生成预测并计算损失l（前向传播）。
# 2、通过进行反向传播来计算梯度。
# 3、通过调用优化器来更新模型参数。
num_epochs = 3
for epoch in range(num_epochs):for X, y in data_iter:l = loss(net(X) ,y)trainer.zero_grad() # 梯度清零l.backward() # 对损失函数进行反向传播，计算梯度trainer.step() # 更新学习率# 再算一遍loss只是为了输出结果l = loss(net(features), labels)print(f'epoch {epoch + 1}, loss {l:f}')
'''
输出：
epoch 1, loss 0.000181
epoch 2, loss 0.000109
epoch 3, loss 0.000109
'''
w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)
'''
输出：
w的估计误差： tensor([-0.0009, -0.0002])
b的估计误差： tensor([0.0010])
'''
