Whitening:白化
主要分为PCA白化和ZCA白化,是一种重要的预处理过程,其目的就是降低输入数据的冗余性,使得经过白化处理的输入数据具有如下性质:(但是真的使用是,就很少2出现)
1.特征之间相关性较低;
2.所有特征具有相同的方差。
主要介绍PCA方法,先介绍PCA是什么:(其实线性代数中学过)
将—组N维向量降为K维(K大于0,小于N),目标是选择K个单位正交基,使原始数据变换到这组基上后,各字段两两间协方差为0,字段的方差则尽可能大
有主成分分析那股味了
上面图片,左图表示原始数据X,然后通过协方差矩阵求出特征向量(线性代数知识)u1,u2,然后把每个数据点,投影到这两个新的特征向量,便可以得到新的坐标表达,如下,而这就是PCA白化。
为什么要白化呢?
为了加快训练速度,可以让一些数值放到以原点为中心,更好拟合函数信息。