【深度学习-调参】Batch 大小与类别数到底有没有潜在的关系?

server/2024/12/26 9:05:04/

文章目录

    • 深度学习中的 Batch 概念
    • 为什么关注批次内的类别分布?
    • 合理的类别分布策略
      • 1. 保持与整体数据集的类别比例一致
      • 2. 固定每个类别的采样数量
      • 3. 动态采样(自适应采样)
    • 不同场景下的选择
    • Batch 大小与类别数之间的关系
    • 结语
    • 使用 PyTorch 的 `WeightedRandomSampler` 来平衡批次类别分布
      • 代码示例
      • 运行结果与讲解
    • 自定义 `Sampler` 的思路


深度学习中的 Batch 概念

深度学习的训练过程中,我们通常不会把整个数据集一次性送入模型进行前向传播和反向传播,而是将数据划分成多个批次(batch进行迭代训练。每一个批次包含了若干条训练样本,批次的大小即为我们常说的 batch_size。其目的是为了在保证一定的计算效率的同时,让模型在每个迭代过程中可以对数据进行一定程度的采样,从而更好地学习到数据中的特性。

但是,batch_size 并不只影响计算效率和显存使用,它还有另外一个关键影响因素,就是 批次内数据的类别分布是否均衡。在分类任务中,若批次内类别分布与真实数据分布差异过大,可能导致模型在训练时受到的梯度更新不稳定,甚至在某些训练轮数里过度偏向某些类别。这会使得模型整体的收敛过程变得较为困难,影响模型的最终表现。


为什么关注批次内的类别分布?

对于一个多分类任务(例如有 10 个不同类别要识别),如果我们使用随机采样的方式在每个 batch 中抽取数据,理论上这能够让批次平均下来与整体数据分布相


http://www.ppmy.cn/server/153275.html

相关文章

周期性边界条件、近邻列表和原子间作用势

文章目录 1.周期性边界条件1.什么是周期性边界条件(PBC)2.周期性边界条件基本特点3.最小镜像约定4.Python实现 2.势场的有限距离截断1.原子间相互作用力2.势场截断的理论基础3.势场截断方法 3.近邻列表构筑与更新1.近邻算法:VerletList法2.近邻算法:区间…

【UI自动化】从WebDriver看Selenium与Appium的底层关联

Selenium与Appium单纯从字面上来看都有后缀ium,一个是Web端页面自动化工具,一个移动换页面自动化工具,他们两者之间有没有关联呢,是不是有底层相同的地方呢? 我们先来上代码看下,如何使用Selenium WebDrive…

智谱BigModel研习社|搭建 AI 搜索引擎 - 使用免费的Web-Search-Pro+脑图Agent智能体

**作者:**Cartman 文章:多智能体 AI 搜索引擎 点击链接,更多实践案例等你探索~ #智谱 BigModel 研习社 是专业的大模型开发者交流平台,欢迎在评论区与我们互动! 传统搜索引擎如今的问题在于输出很多不相关结…

Redis 基本全局命令

个人主页:C忠实粉丝 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 C忠实粉丝 原创 Redis 基本全局命令 收录于专栏[redis] 本专栏旨在分享学习Redis的一点学习笔记,欢迎大家在评论区交流讨论💌 目录 KEYS EXISTS DEL…

Llama 3 模型系列解析(一)

目录 1. 引言 1.1 Llama 3 的简介 1.2 性能评估 1.3 开源计划 1.4 多模态扩展 ps 1. 缩放法则 2. 超额训练(Over-training) 3. 计算训练预算 4. 如何逐步估算和确定最优模型? 2. 概述 2.1 Llama 3 语言模型开发两个主要阶段 2.2…

013__作用域(空间)

[ 基本难度系数 ]:★★☆☆☆ 一、基本概念 C语言中,标识符都有一定的可见范围,这些可见范围保证了标识符只能在一个有限的区域内使用,这个可见范围,被称为作用域(scope)。 软件开发中,尽量缩…

卷积神经网络(CNN)模型 CIFAR-10 数据集 例子

使用 TensorFlow 构建一个简单的卷积神经网络(CNN)模型,完成对 CIFAR-10 数据集的图像分类任务。 使用自动编码器作为特征提取器,先通过自动编码器对图像数据进行降维,将图像从高维映射到低维特征空间,然后…

【论文阅读】Comprehensive Review of End-to-End Video Compression

摘要: 近年来,端到端视频压缩作为一种新兴且有前景的解决方案开始在视频压缩领域受到关注。本文对端到端视频编码和解码技术的发展与现状进行了全面的综述,详细介绍了传统混合编码器和端到端编码器的基本原理。本研究深入探讨了从传统视频压…