b站小土堆PyTorch视频学习笔记（CIFAR10数据集分类实例）

news/2024/12/26 19:19:01/

1、准备数据集并查看数据集长度 

train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))

 2、利用DataLoader加载数据集

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)

batch_size=64：一次读取64张图片

3、搭建神经网络

卷积是提取特征：通过卷积核提取特征（卷积核的个数=out_chennl数;j卷积核的大小随机设置）

池化是压缩特征：降低特征的数据量/剔除冗余,取池化核对应格子中最明显的一个格子（比如通过池化可以将4k画质变为720P画质）

最大池化不改变chennl数，卷积会改变chennl数

输入层的图片：3通道，像素个数/大小：32*32

  1. 进行第一次卷积（卷积核为5）：输入通道为3，输出通道为32，像素个数/大小：32*32
  2. 进行最大池化（池化核为2）：通道不变：32，像素个数/大小：16*16
  3.  进行第二次卷积（卷积核为5）：输入通道为32，输出通道为32，像素个数/大小：16*16
  4.  进行最大池化（池化核为2）：通道不变：32，像素个数/大小：8*8
  5. 进行第三次卷积（卷积核为5）：输入通道为32，输出通道为64，像素个数/大小：8*8
  6. 进行最大池化（池化核为2）：通道不变：64，像素个数/大小：4*4
  7. 进行展平（通俗理解就是将矩阵形式的像素点变为向量形式的像素点）

 一共有64*4*4个像素点 

      8.进行一次全连接：输入为1024压缩为64

      9.进行第二次全连接：输入为64压缩为10

复杂版 

简化版

利用了Sequential让模型更简化了 

class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2), MaxPool2d(2),Flatten(),  Linear(1024, 64),  Linear(64, 10)  )def forward(self,x):x = self.model1(x)return x

将该模型单独放到一个py文件中

from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoaderclass Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return x
if __name__ == '__main__':tudui = Tudui()## 验证网络的正确性input = torch.ones([64,3,32,32])output = tudui(input)## 看输出的尺寸是不是自己想要的print(output.shape)

 

torch.ones是什意思？可查看下面的文章

张量转换

from model_tudui import *：指调用自己创建的model_tudui.py文件中的模型

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss：{}".format(total_test_loss))

输出为：

改进代码将上面的结果在tensorBoder中展示出来：

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss：{}".format(total_test_loss))writer.add_scalar("test_loss", loss.item(), total_test_step)total_test_step = total_test_step + 1
writer.close()

在终端输入：

conda activate pytorch5
tensorboard --logdir="D:\python_project\pythonProject\logs_train" --port=6008

在浏览器打开网址：

进一步优化：可以让模型 保存，并且显示测试集的正确率

###保存每一轮训练结果

torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0total_accuracy = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy = total_accuracy + accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率为；{}".format(total_accuracy/test_data_size))writer.add_scalar("test_loss", loss.item(), total_test_step)writer.add_scalar("test_accuracy", total_accuracy/test_data_size,total_test_step )total_test_step = total_test_step + 1##保存每一轮训练的结果torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
writer.close()

####随便找一张图来尝试

测试代码：

import torchvision
from PIL import Image
import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
image_path = "imgs/dog.png"
image = Image.open(image_path)
print(image)
image = image.convert('RGB')
###由于改图片的大小为size=1120x856；通道为mode=RGBA（png格式为4个通道） ；而建立的tudiu模型要求输入的图片大小为32*32，且通道转化为三通道
## Resize:输入什么数据类型就输出什么数据类型
##torchvision.transforms.Resize((32, 32))->获得了一个PIL的images
transform = torchvision.transforms.Compose([torchvision.transforms.Resize((32, 32)),torchvision.transforms.ToTensor()])image = transform(image)
print(image.shape)###图片变成了想要的### 导入网络模型
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return xmodel = torch.load("tudiu_9")
print(model)
image = torch.reshape(image, (1, 3, 32, 32))
model.eval()
with torch.no_grad():##简化操作，不需要再训练模型只需要测试模型output = model(image)
print(output)
output1 = output.argmax(1)
print(output1)

注明:该模型相对简单没有用到非线性变化


http://www.ppmy.cn/news/1544412.html

相关文章

java项目之微服务在线教育系统设计与实现（springcloud）

java项目之微服务在线教育系统设计与实现（springcloud）

风定落花生，歌声逐流水，大家好我是风歌，混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的闲一品交易平台。项目源码以及部署相关请联系风歌，文末附上联系信息 。 项目简介： 微服务在线教育系统设计与…
阅读更多...
7thonline第七在线7大价值助力品牌实现智能化商品管理

7thonline第七在线7大价值助力品牌实现智能化商品管理

在高波动和不确定的商业环境中，精准的销售预测对于零售品牌灵活应对市场需求、降低决策风险至关重要。
阅读更多...
使用 MMDetection 实现 Pascal VOC 数据集的目标检测项目练习（四） annaconda和pytorch

使用 MMDetection 实现 Pascal VOC 数据集的目标检测项目练习（四） annaconda和pytorch

anaconda 一、下载 Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 在清华镜像网页选择版本，这里选的是： 下载得到文件：Anaconda3-2022.10-Linux-x86_64.sh。将文件拷贝到ubuntu的Downloads文件夹。…
阅读更多...
如何在Linux系统中使用Git进行版本控制

如何在Linux系统中使用Git进行版本控制

如何在Linux系统中使用Git进行版本控制 Git简介 安装Git 在Debian/Ubuntu系统中安装 在CentOS/RHEL系统中安装 初始化Git仓库 配置全局用户信息 基本的Git命令 添加文件到暂存区 查看状态 提交更改 查看提交历史 工作流 分支管理 切换分支 合并分支 远程仓库 添加远程仓库 推…
阅读更多...
在绑定 Google 邮箱的手机设备上，未收到二步验证码通知是什么原因？

在绑定 Google 邮箱的手机设备上，未收到二步验证码通知是什么原因？

在绑定 Google 邮箱的手机设备上，未收到二步验证码通知，可能是由以下原因引起的： 1. 未启用 Google Prompt Google 的二步验证有不同的方式，例如 Google Prompt、短信验证码、Authenticator 应用等。如果您的二步验证设置中未启…
阅读更多...
HTML 基础标签——分组标签 ＜div＞、＜span＞ 和基础语义容器

HTML 基础标签——分组标签 ＜div＞、＜span＞ 和基础语义容器

文章目录 1. `<div>` 标签特点用途示例2. `<span>` 标签特点用途示例3. `<fieldset>` 标签特点用途示例4. `<section>` 标签特点用途示例5. `<article>` 标签特点用途示例总结HTML中的分组（容器）标签用于结构化内容，将页面元素组织成逻辑区域…
阅读更多...
计算机网络串联——打开网站的具体步骤

计算机网络串联——打开网站的具体步骤

参与浏览网站的重要名词 1、MAC地址也叫硬件地址、物理地址。那这个东西就是设备你出厂的时候就会带有的&#xff0c;详情跳转&#xff0c;其构成如下&#xff1a; MAC地址用16进制表示&#xff0c;就是一共有12位&#xff0c;前六位他们会像一个国际的这种专门组织去申…
阅读更多...
网络安全渗透重要知识点总结——及黑客工具的使用

网络安全渗透重要知识点总结——及黑客工具的使用

目录 [TOC](目录)重要知识点总结1. 渗透测试基础知识2. 重要概念与攻击手段3. 常见攻击方式 黑客常用工具及使用说明实际工具使用案例案例1&#xff1a;使用Nmap扫描网络案例2&#xff1a;利用Metasploit进行漏洞利用案例3&#xff1a;使用Burp Suite测试SQL注入案例4&#xff…
阅读更多...
最新文章

Copyright @ 2022~2023