摘要: 矩阵分解是使用数学应对机器学习问题的一类典型而巧妙的方法.

1. 基本概念

矩阵分解是把将一个 $m\times n$ 矩阵 $\mathbf{A}$ 分解为 $m\times k$ 矩阵 $\mathbf{B}$ 和 $n\times k$ 矩阵 $\mathbf{C}$, 使得 $\mathbf{A}\approx \mathbf{B}{\mathbf{C}}^{\mathsf{T}}$, 其中 k ≪ min ⁡ { m , n } k \ll \min\{m, n\} k≪min{m,n}.
有两种常见的情况:

• 非负矩阵分解 要求三个矩阵的元素均为非负值. 这样在其应用中才有良好的解释.
• 稀疏矩阵分解 要求 $\mathbf{A}$ 为稀疏矩阵, 即其元素绝大多数值为 0.

2. 稀疏矩阵分解的应用: 推荐系统

问题引入: 电影网站有 $m>10^6$ 个用户, 以及 $n>10^4$ 部电影. 由于每个用户仅看了少量 (通常少于 $10^3$, 很多少于 $10^2$) 电影, 所以评分矩阵 $\mathbf{R}=(r_{ij}{)}_{m\times n}$ 是一个稀疏矩阵, 其中 $r_{ij}=0$ 表示用户没看这部电影, 而 $1\sim 5$ 分表示从最不喜欢到最喜欢. 现在需要预测用户对电影的评分, 也就是将 $0$ 替换成具体的分数.

问题定义:

• 输入: 评分矩阵 $\mathbf{R}$, 轶 $k$.
• 输出: 用户偏好矩阵 $\mathbf{U}\in {\mathbb{R}}^{m\times k}$, 电影特征矩阵 $\mathbf{V}\in {\mathbb{R}}^{n\times k}$.
• 优化目标:
  $$\min \Vert \mathbf{R}-\mathbf{U}{\mathbf{V}}^{\mathsf{T}}{\Vert }_2^2..\text{\hspace{1em}(1)}$$

这里计算优化目标的时候, $r_{ij}=0$ 的数据点并不参加计算. 这样, 当把两个小矩阵 (也称用户子空间与项目子空间, subspace) 求到后, 直接相乘 ${\mathbf{R}}^{\prime }=\mathbf{U}{\mathbf{V}}^{\mathsf{T}}$, 以前 $r_{ij}=0$ 的地方, $r_{ij}^{\prime }\ne 0$就有了值, 这就是预测评分.

有没有觉得特别神奇?

给个小的例子 (等徐媛媛提供).

为了避免过拟合, 优化目标上还可以加上正则项, 如 [1]:
$$\min \Vert \mathbf{R}-\mathbf{U}{\mathbf{V}}^{\mathsf{T}}{\Vert }_2^2+{\lambda }_U\Vert \mathbf{U}{\Vert }_2^2+{\lambda }_V\Vert \mathbf{V}{\Vert }_2^2.\text{\hspace{1em}(2)}$$

[1] Ruslan Salakhutdinov and Andriy Mnih, Probabilistic Matrix Factorization, NIPS, 2007.