环境
- python 3.9
- numpy 1.24.1
- pytorch 2.0.0+cu117
一、Batch Normalize 作用
- 加快收敛、提升精度：对输入进行归一化，从而使得优化更加容易
- 减少过拟合：可以减少方差的偏移
- 可以使得神经网络使用更高的学习率：BN 使得神经网络更加稳定，从而可以使用更大的学习率，加速训练过程
- 甚至可以减少 Dropout 的使用：因为 BN 可以减少过拟合，所以有了 BN，可以减少其他正则化技术的使用
二、数据归一化
方法1） [0,1]归一化，使结果值映射到[0,1]之间
方法2）正态分布归一化，这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1
