07无监督学习—

1.降维的概述

维数灾难(Curse of Dimensionality):通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。

1.1什么是降维？

1.降维(Dimensionality Reduction)是将训练数据中的样本(实例)从高维空间转换到低维空间。

2.有很多种算法可以完成对原始数据的降维，在这些方法中，降维是通过对原始数据的线性变换实现的。

1.2为什么要降维？

1.高维数据增加了运算的难度，维度越高，算法的搜索难度。

2.高维使得学习算法的泛化能力变弱，降维能够增加数据的可读性，利于发掘数据的有意义的结构。

1.3降维的主要作用：

减少冗余特征，降低数据维度
数据可视化

降维的优点:

通过减少特征的维数，数据集存储所需的空间也相应减少，减少了特征维数所需的计算训练时间;
数据集特征的降维有助于快速可视化数据;
通过处理多重共线性消除冗余特征。

降维的缺点:

由于降维可能会丢失一些数据;
在主成分分析(PCA)降维技术中，有时需要考虑多少主成分是难以确定的，往往使用经验法则

2.奇异值分解

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。

sVD可以将一个矩阵A分解为三个矩阵的乘积:
一个正交矩阵U(orthogonal matrix),
一个对角矩阵(diagonal matrix) $\Sigma$
一个正交矩阵V的转置

分解的作用：线性变换 = 旋转 + 拉伸 +旋转

SVD分解可以将一个矩阵进行分解，对角矩阵对角线上的特征值递减存放，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。

也就是说，对于奇异值，它跟我们特征分解中的特征值类似，我们也可以用最大的k 个的奇异值和对应的左右奇异向量来近似描述矩阵。

3.主成分分析

主成分分析( Principal Component Analysis,PCA )是一种降维方法，通过将一个大的特征集转换成一个较小的特征集，这个特征集仍然包含了原始数据中的大部分信息，从而降低了原始数据的维数。
减少一个数据集的特征数量自然是以牺牲准确性为代价的，但降维的诀窍是用一点准确性换取简单性。因为更小的数据集更容易探索和可视化，并且对于机器学习算法来说，分析数据会更快、更容易，而不需要处理额外的特征。

PCA识别在训练集中占最大方差量的轴。

PCA的算法两种实现方法:
(1）基于SVD分解协方差矩阵实现PCA算法

PCA 减少n维到lk维·
设有m条n维数据将原始数据按列组成n行m列矩阵X
第一步是均值归一化。我们需要计算出所有特征的均值和标准差，然后做Z值化。
第二步是计算协方差矩阵( covariance matrix )) $\Sigma$ ，其特征向量就是我们要求解的主成分。

(2)基于特征值分解协方差矩阵实现PCA算法

PCA减少n维到k 维:
设有m条n维数据，将原始数据按列组成n 行m列矩阵X
第一步是均值归一化。我们需要计算出所有特征的均值和标准差，然后做z值化。
第二步是计算协方差矩阵(covariance matrix)2，其特征向量就是我们要求解的主成分。特征值分解矩阵
对于矩阵A，有一组特征向量v，将这组向量进行正交化单位化，就能得到一组交单位向量。特征值分解，就是将矩阵A 分解为如下式:
${\rm{A = P}}\Sigma {P^{^{ - 1}}}$
其中，Р是矩阵A的特征向量组成的矩阵，习则是一个对角阵，对角线上的元素就是特征值。