PyTorch使用教程(7)-数据集处理

1、基础概念

在PyTorch中，torch.utils.data模块是处理数据集和数据加载的核心工具。以下是该模块中一些基础概念的理解：
在这里插入图片描述

1.1 Dataset

定义：Dataset是一个抽象类，用于表示数据集。用户需要通过继承Dataset类并实现其__len__和__getitem__方法来创建自定义的数据集。
功能：Dataset定义了数据集的内容，它相当于一个类似列表的数据结构，具有确定的长度，并能够用索引获取数据集中的元素。
类型：Dataset主要分为两种类型：map-style和iterable-style。map-style数据集需要实现__getitem__和__len__方法，而iterable-style数据集则需要实现__iter__方法。

python">from typing import Generic, TypeVar, List_T_co = TypeVar('_T_co', covariant=True)class Dataset(Generic[_T_co]):def __getitem__(self, index: int) -> _T_co:raise NotImplementedError("Subclasses of Dataset should implement __getitem__.")def __len__(self) -> int:raise NotImplementedError("Subclasses of Dataset should implement __len__.")def __add__(self, other: "Dataset[_T_co]") -> "ConcatDataset[_T_co]":"""Adds two datasets. This can be useful when you have two datasets with potentiallyoverlapping elements and you want to treat the elements as distinct."""from .dataset_ops import ConcatDatasetreturn ConcatDataset([self, other])

1.2 DataLoader

定义：DataLoader是一个迭代器，用于封装Dataset，并提供一个可迭代对象，方便进行批量加载、数据打乱、并行加载等操作。
功能：DataLoader能够控制batch的大小、batch中元素的采样方法，以及将batch结果整理成模型所需输入形式的方法。
参数：常用的参数包括dataset（表示要加载的数据集对象）、batch_size（表示每个batch的大小）、shuffle（表示是否在每个epoch开始时打乱数据）、num_workers（表示用于数据加载的进程数）等。

python">DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,batch_sampler=None, num_workers=0, collate_fn=None,pin_memory=False, drop_last=False, timeout=0,worker_init_fn=None, *, prefetch_factor=2,persistent_workers=False)

1.3 Sampler

定义：Sampler是一个抽象类，用于从数据集中生成索引。
功能：Sampler的作用是在Dataset上面进行抽样，抽样的方式有多种，如按顺序抽样、随机抽样、在子集合中随机抽样、带权重的抽样等。
类型：包括SequentialSampler、RandomSampler、SubsetRandomSampler、WeightedRandomSampler、BatchSampler等。

1.4 Batching

定义：Batching是指将数据集分成多个小批次（batch）进行处理的过程。
功能：Batching可以提高数据处理的效率，并有助于模型训练过程中的梯度更新和收敛。
实现：通过DataLoader的batch_size参数来实现批量加载。

1.5 Shuffling

定义：Shuffling是指在每个epoch开始时打乱数据集中的元素顺序。
功能：Shuffling有助于提高模型的泛化能力，防止模型对数据的顺序产生依赖。
实现：通过DataLoader的shuffle参数来启用数据打乱功能。

1.6 Multi-process Data Loading

定义：Multi-process Data Loading是指使用多个进程来并行加载数据的过程。
功能：Multi-process Data Loading可以显著提高数据加载的速度，尤其是在处理大规模数据集时。
实现：通过DataLoader的num_workers参数来设置并行加载的进程数。

2、创建数据集

在PyTorch中，创建数据集通常涉及继承torch.utils.data.Dataset类并实现其必需的方法。以下是一个详细的步骤指南，用于创建自定义数据集：

导入必要的库
首先，确保你已经导入了PyTorch和其他可能需要的库。

python">import torch
from torch.utils.data import Dataset

继承Dataset类
创建一个新的类，继承自Dataset。

python">class CustomDataset(Dataset):def __init__(self, data, labels, transform=None):# 初始化数据集，存储数据和标签self.data = dataself.labels = labelsself.transform = transform# 确保数据和标签的长度相同assert len(self.data) == len(self.labels), "Data and labels must have the same length"def __len__(self):# 返回数据集的大小return len(self.data)def __getitem__(self, idx):# 根据索引获取数据和标签sample = self.data[idx]label = self.labels[idx]# 如果定义了转换，则应用转换if self.transform:sample = self.transform(sample)return sample, label

准备数据和标签
在创建CustomDataset实例之前，你需要准备好数据和标签。这些数据可以是图像、文本、数值等，具体取决于你的任务。

python"># 假设你有一些数据和标签（这里只是示例）
data = [torch.randn(3, 32, 32) for _ in range(100)]  # 100个3x32x32的随机图像
labels = [torch.tensor(i % 2) for i in range(100)]   # 100个标签，0或1

创建数据集实例
使用你准备好的数据和标签来创建CustomDataset的实例。

python">dataset = CustomDataset(data, labels)

（可选）应用转换

如果你需要对数据进行预处理或增强，可以定义一个转换函数，并在创建数据集实例时传递给它。

python"># 定义一个简单的转换函数（例如，将图像数据标准化）
def normalize(sample):return (sample - sample.mean()) / sample.std()# 创建数据集实例时应用转换
dataset = CustomDataset(data, labels, transform=normalize)

使用DataLoader加载数据
最后，使用torch.utils.data.DataLoader来加载数据集，以便进行批量处理、打乱数据等。

python">from torch.utils.data import DataLoaderdataloader = DataLoader(dataset, batch_size=32, shuffle=True)# 现在你可以遍历dataloader来加载数据了
for batch_data, batch_labels in dataloader:# 在这里进行模型训练或评估pass

注意事项

确保你的数据和标签是可索引的，通常它们应该是列表、NumPy数组或PyTorch张量。
如果你的数据是图像，并且存储在文件系统中，你可能需要在__getitem__方法中实现图像读取和预处理逻辑。
对于大型数据集，考虑使用torchvision.datasets中提供的预定义数据集类，它们通常包含了常见的图像数据集（如CIFAR、MNIST等）的加载逻辑。
如果数据集太大无法全部加载到内存中，你可以考虑使用torch.utils.data.IterableDataset来创建一个可迭代的数据集，这样你就可以按需加载数据了。