PyTorch 系统教程：理解机器学习数据分割

数据分割是机器学习中的一个基本概念，它直接影响模型的性能和泛化。在本文中，我们将深入研究为什么数据分割在机器学习中很重要，并演示如何使用PyTorch有效地实现它。

理解数据分割

数据分割是将数据集划分为单独的组以进行训练、验证和测试模型的过程。通常，数据集分为三个子集：

训练集：用于拟合机器学习模型。
验证集：用于调整模型参数和执行特征选择。
测试集：一个单独的数据段，用于评估模型的最终性能。

适当的数据分割可以确保模型不仅记住训练数据，而且真正学会推广到未见过的数据。

为什么数据分割很重要？

数据分割在机器学习中至关重要的主要原因包括：

避免过拟合：使用单独的验证和测试集有助于确保模型不是简单地记忆训练数据方面。
改进的模型评估：拥有不同的数据集用于训练和测试，有助于评估模型的泛化能力。
可靠的超参数调优：验证集对于调优超参数而不影响测试集的性能非常重要。

在这里插入图片描述

PyTorch数据分割示例

PyTorch是流行的开源机器学习库，它提供了适合有效实现数据分割的实用程序。下面，我们将展示使用PyTorch工具拆分数据集的各种方法。
在这里插入图片描述

使用PyTorch的Dataset类

首先，让我们使用PyTorch的TensorDataset创建一个样本数据集并拆分它：

import torch
from torch.utils.data import Dataset, random_split
from torch.utils.data import DataLoader, TensorDataset# Generating random data
data = torch.randn(100, 10)  # 100 samples, 10 features
labels = torch.randint(0, 2, (100,))  # Binary targetsdataset = TensorDataset(data, labels)

现在分割数据：

# Defining train, val, test splits
train_size = int(0.7 * len(dataset))
val_size = int(0.15 * len(dataset))
test_size = len(dataset) - train_size - val_sizetrain_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size])

在这种情况下，我们分配了70%用于培训，15%用于验证，15%用于测试。

创建DataLoaders

为了便于模型训练期间的批处理，我们使用PyTorch DataLoader：

# Creating DataLoaders:
train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=8, shuffle=False)
test_loader = DataLoader(test_dataset, batch_size=8, shuffle=False)

其中shuffle=True与训练数据一起使用，以促进小批量中的多样性。

高级数据分割技术

在实现更高级的模型时，可以使用诸如交叉验证之类的额外分割技术。PyTorch可以与Scikit-learn等库顺利集成以实现这些目的。

from sklearn.model_selection import KFold
import numpy as npkf = KFold(n_splits=5)
data_np = data.numpy()
labels_np = labels.numpy()for train_index, val_index in kf.split(data_np):train_data, val_data = data_np[train_index], data_np[val_index]train_labels, val_labels = labels_np[train_index], labels_np[val_index]# Convert to PyTorch tensors and use as Datasettrain_dataset = TensorDataset(torch.tensor(train_data), torch.tensor(train_labels))val_dataset = TensorDataset(torch.tensor(val_data), torch.tensor(val_labels))