(一)简介
1.白化(whitening/sphering)的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(1)特征之间相关性较低;(2)所有特征具有相同的方差。
2.常见的白化预处理有:(1)PCA白化;(2)ZCA白化;
(二)PCA白化
1.根据本人之前的博文《PCA算法》,可以知道对X的协方差矩阵分解后得到的特征向量U,可以使得数据:
满足特征之间相关性较低,也就是其协方差矩阵为对角线矩阵;
2.为了满足白化的条件(2),也就是所有特征具有相同的方差,PCA白化的做法是使用
作为缩放因子来缩放每个特征;也就是:
,其中的D是以