一、Batch Size 的核心作用

Batch Size 决定了模型每次更新参数时使用的样本数量。直接影响以下方面：

1. 梯度计算的准确性：

   • 大 Batch 的梯度是多个样本的平均，更接近“真实梯度”（整个数据集的梯度方向）。
   • 小 Batch 的梯度噪声更大，但可能带来正则化效果，防止过拟合。

2. 硬件资源利用率：

   • GPU 的并行计算能力在大 Batch 下更高效。
   • 但 Batch 过大会导致显存不足（OOM），需权衡资源。

3. 收敛速度和稳定性：

   • 大 Batch 单步更新更准，但可能收敛到“尖锐”最小值（泛化差）。
   • 小 Batch 更新频繁，收敛路径更“抖动”，但可能找到“平坦”最小值（泛化好）。

---

二、Batch Size 与梯度下降的关系

1. 梯度噪声的数学解释

假设总样本数为 ( N )，Batch Size 为 ( B )，损失函数为 ( L )。

• 全批量梯度下降（B=N）：

$${\theta }_{t+1}={\theta }_t-\eta \cdot \frac{1}{N}\sum _{i=1}^N\nabla L_i({\theta }_t)$$

梯度无噪声，但计算成本高。

• 小批量梯度下降（B≪N）：

$${\theta }_{t+1}={\theta }_t-\eta \cdot \frac{1}{B}\sum _{i=1}^B\nabla L_i({\theta }_t)$$

梯度是真实梯度的有偏估计，噪声方差与 $(\frac{1}{B})$ 成正比。

2. 噪声对训练的影响

• 小 Batch（B=32）：

  • 噪声大 → 参数更新方向波动大 → 可能跳出局部最优。
  • 类似“随机探索”，适合复杂任务（如小数据集、高噪声数据）。

• 大 Batch（B=1024）：

  • 噪声小 → 更新方向稳定 → 快速收敛，但易陷入局部最优。
  • 类似“精确制导”，适合大数据集、分布式训练。

---

三、Batch Size 的实践选择策略

1. 资源限制下的最大 Batch Size

• 显存估算公式：

$$\text{最大 Batch Size}=\frac{\text{可用显存}-\text{模型占用的显存}}{\text{单个样本的显存占用}}$$

• 例如：GPU 显存 24GB，模型占用 4GB，每个样本占 0.2GB → 最大 Batch Size ≈ ( (24-4)/0.2 = 100 )。

• 技巧：

  • 使用梯度累积（Gradient Accumulation）：小 Batch 多次前向传播后累积梯度，再更新参数。
    例如：目标 Batch Size=64，实际 GPU 只能支持 16 → 累积 4 次梯度再更新。

2. 学习率与 Batch Size 的联动

• 线性缩放规则（Linear Scaling Rule）：

  • 当 Batch Size 乘以 ( k )，学习率也应乘以 ( k )。
  • 理论依据：大 Batch 的梯度方差减小 ( k ) 倍，需增大学习率以保持更新步长一致。
  • 例如：原 Batch Size=64，学习率=0.1 → Batch Size=256 时，学习率≈0.4。

• 注意事项：

  • 学习率不能无限放大！实际中需结合热身（Warmup）策略，逐步增加学习率。

3. 不同任务的经验值

• 图像分类（ImageNet）：

  • 常用 Batch Size=256 或 512（需多 GPU 并行）。
  • 小模型（如 MobileNet）可降低到 64~128。

• 目标检测/分割（COCO）：

  • Batch Size=2~16（因高分辨率图像显存占用大）。
  • 例如 Mask R-CNN 通常用 Batch Size=2~8。

• 自然语言处理（BERT）：

  • Batch Size=32~512，结合梯度累积。
  • 大 Batch（如 8192）需特殊优化（如 LAMB 优化器）。

---

四、Batch Size 的进阶影响

1. 泛化能力（Generalization）

• 大 Batch 的泛化困境：

  • 实验表明，大 Batch 训练容易收敛到“尖锐”最小值，测试集表现较差。
  • 解决方法：
    • 增加数据增强（Data Augmentation）。
    • 使用随机权重平均（SWA, Stochastic Weight Averaging）。
    • 引入显式正则化（如 Label Smoothing）。

• 小 Batch 的隐式正则化：

  • 梯度噪声相当于对参数施加随机扰动，类似 Dropout 的效果。

2. 与 Batch Normalization 的耦合

• BN 对 Batch Size 的依赖：
  • BN 通过当前 Batch 的均值和方差做归一化。
  • Batch Size 过小 → 统计量估计不准 → 训练不稳定。
  • 建议：Batch Size ≥ 32 时使用 BN；若 Batch Size 过小，可改用 Group Normalization 或 Layer Normalization。

3. 分布式训练中的 Batch Size

• 数据并行（Data Parallelism）：

  • 每个 GPU 处理子 Batch，最终同步梯度。
  • 全局 Batch Size = 单卡 Batch Size × GPU 数量。
  • 例如：4 块 GPU，每卡 Batch Size=64 → 全局 Batch Size=256。

• 极端大 Batch 训练：

  • 如 Google 的 1.5M Batch Size 训练 ResNet：
    • 需配合 LARS（Layer-wise Adaptive Rate Scaling）优化器。
    • 学习率根据每层权重的范数自适应调整。

---

五、调试 Batch Size 的具体步骤

1. 初始选择

• 从常用值开始（如 32 或 64），观察显存占用和训练速度。
• 若显存不足，逐步减半 Batch Size，直到不再 OOM（Out Of Memory）。

2. 监控训练动态

• 训练损失曲线：

  • 小 Batch：损失下降波动大，但整体趋势向下。
  • 大 Batch：损失平滑下降，但可能停滞早。

• 验证集表现：

  • 若训练集损失下降但验证集不降 → 可能过拟合（需减小 Batch Size 或增强数据）。
  • 若两者均不降 → 可能模型容量不足或标注错误。

3. 超参数调优

• 固定 Batch Size，调学习率：
  • 使用学习率搜索（LR Finder）：逐步增加学习率，找到损失下降最快的区间。
• 联合调参：
  • Batch Size 和 学习率需共同调整（参考线性缩放规则）。

---

六、实际案例：图像分割中的 Batch Size 调整

假设你在训练 U-Net 做医学图像分割：

1. 硬件条件：单卡 12GB 显存，输入尺寸 256x256。
2. 估算 Batch Size：
   • 模型本身占用 3GB，剩余 9GB。
   • 每张图显存占用约 0.5GB → 最大 Batch Size≈18 → 选择 16（2 的幂数）。
3. 训练效果：
   • 发现验证集 IoU 波动大 → 可能 Batch Size 过小，梯度噪声大。
   • 尝试梯度累积：累积 4 步（等效 Batch Size=64），学习率调整为 4 倍。
4. 结果：
   • 损失曲线更平滑，IoU 提升 5%。

---

七、总结

• Batch Size 是训练中的杠杆：需平衡速度、资源、稳定性、泛化能力。
• 核心法则：
  • 资源允许时，从常用值（32~256）开始。
  • 大 Batch 需调大学习率，小 Batch 需注意梯度噪声。
  • 结合任务特点和硬件条件灵活调整。