1. 前置知识

秩为 $1$ 的张量是指由一个向量的外积所生成的张量。对于一个向量 $\mathbf{v}\in {\mathbb{R}}^n$，它的秩为 $1$ 的张量【张量习惯性使用欧拉粗体字母表示】可以表示为 $\mathcal{T}=\mathbf{v}\circ \mathbf{v}$。这个张量的维度是 $n\times n$，其中每个元素 ${\mathcal{T}}_{ij}$ 都等于 ${\mathbf{v}}_i\cdot {\mathbf{v}}_j$，即向量 $\mathbf{v}$ 的第 $i$ 个分量和第 $j$ 个分量的乘积。秩为1的张量表示了向量 $\mathbf{v}$ 在多个维度上的线性关系，它可以用于描述一些特定的模式或结构。

假设我们有 $3$ 个秩为 $1$ 的张量：

张量 $A$ ：$\mathbf{a}=[1,2{]}^T$
张量 $B$ ：$\mathbf{b}=[3,4{]}^T$
张量 $C$ ：$\mathbf{c}=[5,6{]}^T$

它们的外积可以通过求乘积和组合得到。外积的结果是一个 $3$ 维张量，其维度为 $2\times 2\times 2$ 。

外积计算如下：

$\mathcal{X}=\mathbf{a}\circ \mathbf{b}\circ \mathbf{c}$

其中，$\circ$ 表示张量的外积运算。

张量的外积（tensor outer product）是一种张量运算，用于将两个张量相乘生成一个新的张量。它涉及对两个张量的每个元素进行乘积运算，并将结果按照一定规则组合形成新的张量。外积的结果张量的维度是原始张量维度的乘积

最终得到的三阶张量 $\mathcal{X}$ 的元素为：
$$\begin{gathered} {\mathcal{X}}_{ijk}=a_i\cdot b_j\cdot c_k \\ \mathcal{X}=\left[\begin{array}{c}\left[\begin{array}{c}\left[\begin{array}{c}1\times 3\times 5,1\times 3\times 6\end{array}\right]\\ \left[\begin{array}{c}1\times 4\times 5,1\times 4\times 6\end{array}\right]\end{array}\right]\\ \left[\begin{array}{c}\left[\begin{array}{c}2\times 3\times 5,2\times 3\times 6\end{array}\right]\\ \left[\begin{array}{c}2\times 4\times 5,2\times 4\times 6\end{array}\right]\end{array}\right]\end{array}\right]\left[\begin{array}{c}\left[\begin{array}{c}\left[\begin{array}{c}15,18\end{array}\right]\\ \left[\begin{array}{c}20,24\end{array}\right]\end{array}\right]\\ \left[\begin{array}{c}\left[\begin{array}{c}30,36\end{array}\right]\\ \left[\begin{array}{c}40,48\end{array}\right]\end{array}\right]\end{array}\right] \end{gathered}$$
在这个例子中，外积结果的维度是 $2\times 2\times 2$ ，每个元素是对应位置上张量 $A,B,C$ 对应元素的乘积。

2. CP分解介绍

CP（Canonical Polyadic）分解，也称为PARAFAC（Parallel Factors）分解，是一种常用的高阶张量分解方法。它的基本思想是将一个 $N$ 阶张量表示为若干个秩为 $1$ 的张量之和的形式。

具体来说，对于一个 $N$ 阶张量 $\mathcal{X}$ ，CP分解将它表示为 $N$ 个秩为 $1$ 的张量的线性组合，即：

$$\mathcal{X}\approx \sum _{r=1}^R{\mathbf{u}}_r\circ {\mathbf{v}}_r\circ {\mathbf{w}}_r\circ \cdots \circ {\mathbf{z}}_r$$

其中，${\mathbf{u}}_r,{\mathbf{v}}_r,{\mathbf{w}}_r,\dots ,{\mathbf{z}}_r$ 是秩为 $1$ 的张量，$R$ 是分解的秩（或称为因子个数，即拆分为几个张量）。

假设我们有一个三阶张量 $\mathbf{\chi }$，其维度为 $I\times J\times K$。通过CP分解，我们得到了三个因子矩阵 $\mathbf{A}$、$\mathbf{B}$ 和 $\mathbf{C}$，分别具有维度 $I\times R$、$J\times R$ 和 $K\times R$。

CP分解的目标是找到一组最优的秩为 $1$ 的张量，使得它们的线性组合与原始张量 $\mathcal{X}$ 的逼近误差最小。通过CP分解，我们可以将原始的 $N$ 阶张量转化为一组低秩张量的叠加，从而实现对高阶数据的降维和表示。

因此，CP分解的思想是将一个 $N$ 阶张量分解为若干个秩为 $1$ 的张量之和的形式，以此来表示和近似原始张量。这种分解方式可以提取出张量的特定模式和结构信息，并广泛应用于高阶数据的分析和处理领域。

$$\mathbf{\chi }\approx [\mathbf{A},\mathbf{B},\mathbf{C}]\approx \sum _{r=1}^R{\mathbf{\lambda }}_r{\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$$
这个数学公式是关于CP分解（CANDECOMP/PARAFAC分解）的表示方式。CP分解是一种用于对张量进行低秩近似的方法。

在该公式中，我们有一个原始张量 $\mathbf{\chi }$，它被近似表示为三个因子矩阵 $\mathbf{A}$，$\mathbf{B}$ 和 $\mathbf{C}$ 的叠加。符号 $\approx$ 表示近似关系。

公式右侧的第一个近似项 $[\mathbf{A},\mathbf{B},\mathbf{C}]$ 表示将因子矩阵 $\mathbf{A}$，$\mathbf{B}$ 和 $\mathbf{C}$ 直接叠加在一起。这相当于在原始张量的每个位置上进行了一次张量积（outer product），得到一个低秩张量的近似。

公式右侧的第二个近似项 ${\sum }_{r=1}^R{\mathbf{\lambda }}_r{\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$ 表示对于每个秩 $r$，我们有一个系数 ${\mathbf{\lambda }}_r$ 和三个向量 ${\mathbf{a}}_r$，${\mathbf{b}}_r$ 和 ${\mathbf{c}}_r$，代表因子矩阵 $\mathbf{A}$，$\mathbf{B}$ 和 $\mathbf{C}$ 的第 $r$ 列，将张量外积配合权重计算得到重构张量 ${\mathcal{X}}_{\text{recon}}$

总之，这个公式表示了将原始张量近似表示为多个秩为 $1$ 的张量的线性组合，其中每个秩为 $1$ 的张量由一个系数和三个因子向量的逐元素相乘得到。CP分解通过调整因子矩阵和系数来找到最佳的近似结果。

上边式子是以一维张量为单位进行的操作，若是不好理解可以看如下👇公式，二者等价：
$${\chi }_{i,j,k}=\sum _{r=1}^R{\lambda }_r\cdot a_{ir}\cdot b_{jr}\cdot c_{kr}$$
其中，$a_{ir}$ 表示因子矩阵 $\mathbf{A}$ 在第 $i$ 行、第 $r$ 列的元素，$b_{jr}$ 表示因子矩阵 $\mathbf{B}$ 在第 $j$ 行、第 $r$ 列的元素，$c_{kr}$ 表示因子矩阵 $\mathbf{C}$ 在第 $k$ 行、第 $r$ 列的元素，${\lambda }_r$ 表示权重向量 $\mathbf{\lambda }$ 的第 $r$ 个元素。

按照上述公式，我们可以依次计算重构张量 ${\mathcal{X}}_{\text{recon}}$ 中的每个元素。最终，得到的重构张量 ${\mathbf{\chi }}_{\text{recon}}$ 的维度应与原始张量 $\mathbf{\chi }$ 的维度相同。

请注意，由于CP分解是一种近似方法，重构张量 ${\mathbf{\chi }}_{\text{recon}}$ 可能无法完全恢复原始张量 $\mathbf{\chi }$ 中的所有信息。分解的准确性取决于 $R$ 的值和分解算法的性能。

3. CP分解例子

因子矩阵的求法通常交由计算机完成，也不是此处的重点，这里的重点在于已知因子矩阵，如何求重构张量 ${\mathbf{\chi }}_{\text{recon}}$

假设我们有一个三阶张量 $\mathbf{\chi }$，维度为 $2\times 3\times 4$，进行 CP 分解，选择 $R=2$。那么我们得到三个因子矩阵 $\mathbf{A}$、$\mathbf{B}$ 和 $\mathbf{C}$，它们的维度分别为 $2\times 2$、$3\times 2$ 和 $4\times 2$。

假设得到的因子矩阵如下：
$$\mathbf{A}=\left[\begin{array}{cc}0.7& 0.2\\ 0.4& 0.6\end{array}\right],\mathbf{B}=\left[\begin{array}{cc}0.1& 0.9\\ 0.3& 0.7\\ 0.5& 0.5\end{array}\right],\mathbf{C}=\left[\begin{array}{cc}0.7& 0.3\\ 0.2& 0.8\\ 0.9& 0.1\\ 1.0& 1.0\end{array}\right].$$

现在我们可以根据 CP 分解的公式计算重构后的张量 ${\mathbf{\chi }}_{\text{recon}}$。计算过程如下：

$${\mathbf{\chi }}_{\text{recon},i,j,k}=\sum _{r=1}^R{\lambda }_r\cdot a_{i,r}\cdot b_{j,r}\cdot c_{k,r}$$

其中，${\lambda }_r$ 是因子权重，$a_{i,r}$、$b_{j,r}$ 和 $c_{k,r}$ 是因子矩阵的元素。

假设我们选择 ${\lambda }_1=0.5$ 和 ${\lambda }_2=0.8$。

现在，我们可以计算重构后的张量 ${\mathbf{\chi }}_{\text{recon}}$ 的元素。

3.1 计算方法1

若是一个一个元素求，则有：
$$\begin{gathered} {\mathbf{\chi }}_{\text{recon},1,1,1}=0.5\cdot 0.7\cdot 0.1\cdot 0.7+0.8\cdot 0.2\cdot 0.9\cdot 0.3=0.0677 \\ {\mathbf{\chi }}_{\text{recon},1,1,2}=0.5\cdot 0.7\cdot 0.1\cdot 0.2+0.8\cdot 0.2\cdot 0.9\cdot 0.8=0.1222 \\ ⋮ \\ {\mathbf{\chi }}_{\text{recon},2,3,4}=0.5\cdot 0.4\cdot 0.5\cdot 1.0+0.8\cdot 0.6\cdot 0.5\cdot 1.0=0.34 \end{gathered}$$

以此类推，可以计算其他元素的值，最后进行组合即可。

3.2 计算方法2

$${\mathcal{X}}_{\text{recon}}={\lambda }_1\cdot \left(\begin{array}{c}0.7\\ 0.4\end{array}\right)\circ \left(\begin{array}{c}0.1\\ 0.3\\ 0.5\end{array}\right)\circ \left(\begin{array}{c}0.7\\ 0.2\\ 0.9\\ 1\end{array}\right)+{\lambda }_2\cdot \left(\begin{array}{c}0.2\\ 0.6\end{array}\right)\circ \left(\begin{array}{c}0.9\\ 0.7\\ 0.5\end{array}\right)\circ \left(\begin{array}{c}0.3\\ 0.8\\ 0.1\\ 1\end{array}\right)$$

此两种方法都可以实现张量分解后的重构，至于评判张量分解效果的好坏则需要将重构后的张量与原始张量进行对比，常用的方法是重构误差，当然还有许多其他方法。

本篇博客涉及的内容是自己在学习过程中所整理的笔记，不一定特别严谨【比如数学符号，各种数学名词的使用等】，因此读者在阅读时也要有自己的思考，也欢迎各位直接与我进行交流。