1.pytorch加载收数据(B站小土堆)

ops/2024/10/18 10:57:53/

数据的加载主要有两个函数:

1.dataset整体收集数据:提供一种方法去获取数据及其label,告诉我们一共有多少数据(就是自开始把要的数据和标签都收进来)

2.dataloader后面传入模型时候,每次录入数据的方法

※想使用这两个函数,要引入pytorch库,并且从torch“工具箱”utils的data模块中拿出函数

python">import pytorch
from torch.utils.data import Dataset,DataLoader



Dataset

1.官网解释:

2.准备工作/相关工作解释:

1.安装opencv

(注意要安装opencv,怎么安装?)

无论是opencv还是tensorflow啥的,都要先进入虚拟化环境

(anconda创建虚拟环境:conda create --name ×× python=3.8)

 (激活、进入环境:conda activate ××

安装opencv:conda install ××(这里是opencv-python

注:什么是opencv,opencv和pillow(PIL):

OpenCV(Open Source Computer Vision Library)和 PIL(Python Imaging Library)都是用于图像处理和计算机视觉任务的库(本质上是同级的关系,但是opencv适用于更复杂的图像处理),但它们有一些区别和各自的优势:

  1. 功能特点

    • PIL 主要专注于基本的图像处理任务,如图像加载、保存、调整大小、旋转、裁剪等,以及一些简单的滤波和颜色空间转换。
    • OpenCV 不仅提供了图像处理功能,还提供了更多复杂的计算机视觉算法,如特征检测、目标识别、摄像头捕获、视频处理等。
  2. 性能

    • OpenCV 通常在处理大型图像和实时视频时表现更优,因为它经过了高度优化,采用了底层优化的C/C++代码实现,并且支持多线程处理。
    • PIL 在一些简单的图像处理任务上可能更轻量级和简单,但对于复杂的任务和大规模数据处理,性能可能不如 OpenCV。
  3. 语法和接口

    • PIL 的语法相对简单易懂,适合初学者和快速开发。
    • OpenCV 的 API 更庞大和复杂,但也更灵活,可以进行更多种类的图像处理和计算机视觉任务。
  4. 应用场景

    • 如果只需要进行简单的图像处理,如调整大小、转换格式等,而且希望代码简单易懂,可以选择使用 PIL。
    • 如果需要进行复杂的计算机视觉任务,如目标检测、特征提取、实时视频处理等,或者需要高性能和灵活性,可以选择使用 OpenCV。

2.对图片的操作——PIL库的image模块(控制台写代码就是一步一步的看运行的效果,在总面板上就是写完整个完整代码,然后看运行结果)

1.为方便,将图片文件引入改代码文件夹(文件夹 直接操作即可)

2.在控制台中引入pillow库(PIL)中的Image模块 。“from PIL import Image”

3.写入图片路径,用变量"img_path"接收,注意路径的写法:  如:“  img_path="D:\\demo\\images\\0.jpg"          ”

复制后写入控制台,然后将单斜杠“\”都写成“\\”

4.打开此路径 “img=Image.open(img_path)

5.对图片进行相应的操作,如img.size  ;img.show()等

3.将图片名称写成列表(总体获取图片名称)

1.引入os库:import os

2.写入图片文件夹地址

这里不用变双斜杠root="D:\demo..."

3.用os中的listdir将该文件夹下的路径都变为列表形式     img_list=os.listdir(root)

4.直接用用列表名查看对应的名称即可 img_list[0]

4.将路径和“标签”进行拼接 ——os.path.join(A,B)

1.写入标签 img_label="plant diseases"(不过一般这里是所存在的文件夹名称,因为后序很可能用到相应的操作,如果单纯随意出来的一个名称,后序可能无法执行)

2.拼接(注意,拼接的是标签和文件夹,不是上面图片路径的列表) lastpath=os.path.join(root,img_label)

常见的写法是:root=“D:\demo\cnn\AgriculturalDisease_trainingset”或者用

                        label_dir=“image”

例2:拼接出具体图片地址用列表w)

3.整个dataset函数:

总训练集可以直接用+来拼接,但是使用加号的的前提是,在mydataset函数中正确写入——len——函数,注意这个len函数是图像列表的长度,不是某一图像名称的长度

控制台看效果:

具体实例化:



其他:

1.打开jupyter notebook的方法:

(base) PS C:\Users\WZS-CN> conda activate pytorch_learn
(pytorch_learn) PS C:\Users\WZS-CN> jupyter notebook

2.函数中变量写法——“self.××”是啥意思

就是本质上函数里面定义的变量是局部变量,不可以跨函数使用,但是我需要库函数使用,让她类似于一个函数内部定义的全局变量,那么就用“self.××”

在总面板上写的代码,可以在控制台一步一步写出然后运行,但是相应的变量名中不会有self出现,这种在控制台进行验证会方便我们观察,相当于就是在def中写函数,在控制台写相应的具体实现来验证函数


http://www.ppmy.cn/ops/20800.html

相关文章

MultiHeadAttention在Tensorflow中的实现原理

前言 通过这篇文章,你可以学习到Tensorflow实现MultiHeadAttention的底层原理。 一、MultiHeadAttention的本质内涵 1.Self_Atention机制 MultiHeadAttention是Self_Atention的多头堆嵌,有必要对Self_Atention机制进行一次深入浅出的理解,这…

数学与机器学习:共舞于智能时代的双璧

随着人工智能的崛起,机器学习作为其核心技术之一,正引领着新一轮的科技革命。而在这场革命中,数学以其深邃的理论和精妙的工具,为机器学习提供了坚实的支撑。数学与机器学习之间的关系,如同琴瑟和鸣,共同编…

友盟+|如何通过阿里云Flink+Paimon实现流式湖仓落地方案

1. 友盟介绍 友盟 以“数据智能,驱动业务增长”为使命,为移动应用开发者和企业提供包括统计分析、性能监测、消息推送、智能认证等一站式解决方案。截止 2023 年 6 月,已累计为 270 万移动应用和 980 万家网站,提供十余年的专业数…

JavaEE——介绍 HTTPServlet 三部分使用与 cookie 和 session 的阐述

文章目录 一、HTTPServlet介绍其中的关键 三个方法 二、HTTPServletRequest(处理请求)1.分块介绍方法作用get 为前缀的方法字段中 含有 getParameter 字段 的方法(前后端交互):字段中 含有 getHeader 字段 的方法: 2.解释前后端的交互过程3.使用 json 格…

Open sesame! universal black box jailbreaking of large language models - 论文翻译

论文链接: https://arxiv.org/pdf/2309.01446.pdf Open sesame! universal black box jailbreaking of large language models Abstract1 Introduction2 Previous Work3 Threat Model4 Our Method4.1 Genetic Algorithm4.2 Population Encoding4.3 Fitness4.4 Sele…

RabbitMQ消息是如何分发的,消息是怎么路由的, RabbitMQ中的交换机类型有哪些

目录 面试官:讲一下RabbitMQ消息如何分发和消息怎么路由的?消息分发消息路由RabbitMQ中的交换机类型示例Spring Boot代码示例1. 直接路由(Direct Exchange)2. 扇出路由(Fanout Exchange)3. 主题路由(Topic Exchange)4. 头路由(Headers Exchange)该文章专注于面试,面…

如何精通ChatGPT Prompt:步骤详解

引言 在人工智能的时代,ChatGPT已经成为一个不可或缺的工具,它能够模拟真实的对话,提供信息支持,甚至进行创造性写作。为了充分利用这一技术,了解如何编写有效的Prompt至关重要。本文将一步步介绍如何精通ChatGPT Pro…

正点原子[第二期]ARM(I.MX6U)裸机篇学习笔记-1.2

前言: 本文是来自哔哩哔哩网站上视频“正点原子[第二期]Linux之ARM(MX6U)裸机篇”的学习笔记,在这里会记录下正点原子Linux ARM MX6ULL 开发板根据配套的哔哩哔哩学习视频所作的实验和笔记内容。本文大量的引用了正点原子哔哔哩网…