系列博客目录

---

---

1.《A low-rank support tensor machine for multi-classification》

近年来，处理高维多通道张量数据的需求不断增加。由于无法利用内部结构信息，支持向量机（SVM）及其变种在对扁平化的张量数据进行分类时表现不佳，从而导致“维度灾难”问题。此外，大多数此类方法无法直接应用于多类数据集。为了解决这些问题，我们提出了一种新颖的分类方法——多类低秩支持张量机（MLRSTM）。该方法受到成熟的低秩张量假设的启发，该假设认为每个通道之间存在相关性。具体来说，MLRSTM采用了铰链损失函数，并在正则化项中引入了张量秩的凸近似——阶-d张量核范数（order-d TNN）。通过利用阶-d TNN，MLRSTM有效地利用了张量数据中固有的结构信息，提升了泛化性能，避免了维度灾难问题。此外，我们开发了交替方向乘子法（ADMM）算法，以优化训练MLRSTM时遇到的凸优化问题。最后，综合实验验证了MLRSTM在张量多分类任务中的优异表现，展示了其在处理高维多通道张量数据中的潜力和有效性。

2.Supervised Learning by Low Rank Estimation on Tensor Data.

摘要

在现实生活中，数据往往以张量格式出现，例如视频和磁共振成像（MRI）。然而，经典的回归和分类方法并没有设计用于捕捉张量格式数据中的信息，因此无法高效地分析这些数据。本文由两个主要部分组成，分别是张量回归和张量分类。第一部分，我们考虑了文献 \cite{paper} 中提出的低秩张量回归框架，该框架保护了数据中张量协变量的自然形式和空间结构。我们提出并研究了通过采用收缩型惩罚函数（包括岭回归和套索回归）来正则化低秩张量回归，并与未正则化的低秩张量回归进行比较。通过在不同张量秩、张量维度、样本大小和噪声方差下进行广泛的数值实验，评估了新方法的性能。此外，我们还比较了在高阶张量设置下的正则化和未正则化低秩张量回归。最后，我们将张量回归模型应用于手写数字分类问题。

第二部分，我们考虑了使用高维张量作为协变量的二分类问题。受到线性判别分析（LDA）最小二乘公式的启发，LDA已广泛应用于向量和矩阵输入的分类问题 \cite{sda}。然而，将其扩展到高维张量时，带来了独特的理论和计算挑战。经典的LDA方法严重依赖于估计均值张量和样本协方差矩阵的逆，而在高维设置下，这一计算开销非常大，甚至不可行。当参数的数量远大于训练样本数时，协方差矩阵的逆运算问题变得病态。为了解决这个问题，我们提出了一个用于分类任意维度张量的广义LDA框架，该框架通过正则化最小二乘问题来避免估计高维张量方差。该新框架结合了现有的向量和矩阵输入方法 \cite{stat, matrix2, tda}，解决了维度灾难问题，同时通过低秩稀疏特征提高了计算效率。我们研究了估计量的理论性质，证明了它们的最优性和Fisher一致性。此外，我们还为计算最优截距提供了封闭形式的公式，专门为从向量输入到张量输入的转换进行了适配 \cite{sda}。通过仿真和实际应用于三维生物医学成像数据，我们验证了新方法的有效性。

3.Tensor Regression Using Low-rank and Sparse Tucker Decompositions 张量回归：低秩和稀疏Tucker分解方法

**本文研究了一种张量结构的线性回归模型，其中响应变量是标量，预测变量是张量结构的。回归参数形成一个秩为 $d$ 的张量（即一个 $d$-阶多维数组），其维度为 $R^{n_1\times n_2\times \cdots \times n_d}$。特别地，本文关注的是从 (m) 次观测值（响应变量和预测变量）中估计回归张量的问题，其中 $m\ll n={\prod }_i{n}_i$。

尽管这个估计问题看似不适定，但如果回归参数张量属于稀疏的低Tucker秩张量空间，这个问题仍然可以求解。因此，估计过程被表述为一个非凸优化问题，在稀疏低Tucker秩张量空间上进行优化，并提出了一种张量变体的投影梯度下降方法来求解该非凸问题。此外，本文提供了数学保证，证明在某些条件下，所提出的方法能够线性收敛到一个合适的解。

进一步地，本文为所考虑的模型的张量参数估计给出了样本复杂度的上界，特别考虑了当个别（标量）预测变量独立地从子高斯分布中抽取值的特殊情况。样本复杂度上界展示了对 n ˉ = max ⁡ { n i : i ∈ { 1 , 2 , … , d } } \bar{n} = \max\{n_i : i \in \{1, 2, \dots, d\}\} nˉ=max{ni​:i∈{1,2,…,d}} 的多对数依赖关系，并且按阶数来看，该上界与从启发式参数计数推导出的上界一致。

最后，通过数值实验验证了所提出的张量模型和估计方法在一个合成数据集以及一组与注意力缺陷多动障碍（ADHD）相关的神经影像数据集上的有效性。具体来说，所提出的方法在合成数据集和真实数据集上都展现了更好的样本复杂度，证明了该模型和方法在 (n \gg m) 的情境下的实用性。**

4.low rank tensor regression framework

低秩张量回归框架 (Low-Rank Tensor Regression Framework) 是一种用于处理张量数据的回归方法，旨在通过假设回归参数或数据本身具有低秩结构来降低模型复杂性，从而提高回归模型在高维张量数据上的表现。

1. 张量与低秩概念

   • 张量 (Tensor)：可以看作是多维数组或矩阵的推广。在数学和数据分析中，张量常用于表示具有多维结构的数据。例如，二维张量可以看作是矩阵，三维张量可以想象为立方体，其中每个维度可以表示数据的不同特征或时间步长。

   • 低秩 (Low Rank)：在矩阵或张量的背景下，低秩意味着数据的秩（即非零特征值的个数）远小于其维度。对于矩阵，低秩通常意味着数据具有较强的低维结构，可以通过少量的变量来有效地逼近和描述数据。同样，低秩张量假设数据的张量秩较低，可以通过少数几个成分或因子来解释高维数据。

2. 低秩张量回归框架
   低秩张量回归框架的目标是通过假设回归参数或特征张量的低秩性质，从而减少模型的复杂性和提高其计算效率。在这种框架中，假定数据和回归参数可以表示为低秩张量的形式，这有助于更有效地建模和估计数据中的潜在结构。

   例如，考虑一个回归问题，其中：

   • 响应变量（通常是标量值或一维向量）是通过多个张量结构的预测变量（即输入数据的多维特征）来预测的。
   • 回归参数（通常是一个张量）将具有低秩结构，意味着我们假设回归参数张量在某些潜在维度上有相关性，并且这些维度的复杂性相对较低。

3. 低秩张量回归的优点

   • 减少计算复杂度：通过引入低秩假设，可以减少参数空间的维度，降低计算成本，尤其是在高维数据（如视频、MRI影像等）中尤为有效。
   • 改善泛化能力：低秩结构能够抑制过拟合，因为它限制了模型能够表示的复杂度，从而提升在新数据上的表现。
   • 适用于高维数据：低秩张量回归能够处理和分析具有复杂结构和多维度的数据集，这在传统的回归方法（如线性回归或SVM）中是很难实现的。

4. 常见方法与技术

• Tucker分解：Tucker分解是张量分解的一种方式，通过将张量分解成核心张量和因子矩阵的乘积来降低其秩。低秩张量回归框架常常利用Tucker分解来有效建模张量数据。
• 正则化方法：为了确保回归模型的低秩结构，通常会引入正则化项，如Tucker秩的惩罚（例如，核范数正则化），来控制张量的复杂度，防止过拟合。

5. 应用场景

   • 生物医学数据分析：如使用低秩张量回归处理高维的MRI影像数据。
   • 视频分析：通过低秩张量回归方法处理视频帧数据，以捕捉帧之间的时空相关性。
   • 推荐系统：在协同过滤中，低秩张量回归可以用于预测用户与物品之间的交互，基于用户和物品的多维特征。

6. 总结
   低秩张量回归框架是一种利用张量低秩结构来进行回归分析的方法。通过在高维数据中挖掘潜在的低秩结构，可以显著降低模型的复杂度，提高计算效率，并改善在高维数据上的泛化性能。这使得它在处理如图像、视频、神经影像等多维数据时具有广泛的应用潜力。

5.应用到多模态图文检索方面

在**图文检索（Image-Text Retrieval）**领域，低秩张量回归框架与多模态数据的结合可以显著提升图像与文本数据之间的相似性匹配与检索效率。图文检索任务通常需要在图像数据（视觉模态）和文本数据（语言模态）之间建立关联，以便从大量的图像或文本数据中找到与查询相关的内容。

图文检索的挑战与多模态低秩张量回归的解决方案

1. 挑战：

   • 跨模态语义对齐：图像和文本之间通常没有直接的结构性关系，因此如何在视觉模态和语言模态之间建立有效的语义对齐是一个挑战。
   • 数据的高维性：图像和文本数据本身都具有很高的维度，直接处理这些高维数据可能导致计算复杂度过高。
   • 跨模态查询问题：图文检索通常会涉及两种查询方式：基于图像查询文本（Image-to-Text Retrieval）和基于文本查询图像（Text-to-Image Retrieval），这要求模型能够在不同的模态之间进行高效的映射与检索。

2. 低秩张量回归框架的优势：

   • 低秩约束：低秩假设能够有效地捕捉不同模态之间的结构性关系，减少高维数据的复杂性。在图文检索任务中，低秩张量回归能够将图像和文本特征映射到一个共享的低维空间，在该空间中，图像和文本的相似度能够得到更好地衡量。
   • 跨模态信息融合：低秩张量回归框架能够同时考虑图像和文本数据，并将其融合到一个统一的低秩张量中，从而捕捉两者之间的潜在关联。
   • 高效的计算与存储：通过低秩结构，模型能够显著减少存储需求和计算负担，尤其是在处理大规模图像-文本数据时，低秩张量回归能够有效提升检索效率。

低秩张量回归在图文检索中的应用

1. 多模态数据表示：

在图文检索中，我们需要将图像和文本数据表示为统一的多模态张量。假设有一个图像-文本对数据集，其中每个图像 $\mathbf{I}$ 和文本 $\mathbf{T}$ 构成一个图文对。我们可以将这些图文对表示为一个四维张量：
$$\mathbf{X}\in {\mathbb{R}}^{n\times d_{\text{image}}\times d_{\text{text}}\times m}$$
其中，$n$ 表示图文对的数量，$d_{\text{image}}$ 和 $d_{\text{text}}$ 分别是图像和文本的特征维度，$m$ 是模态数（这里为 2，表示图像和文本）。该张量结合了图像和文本的特征信息，并且可以通过低秩约束来降低模型的复杂度。

2. 低秩张量回归模型：

为了在图像和文本之间进行检索，可以设计一个低秩张量回归模型，通过回归来估计图像和文本之间的相似性。在多模态张量回归中，我们的目标是通过一个共享的低维空间来表示图像和文本，最终计算它们的相似性或相关性。

具体来说，低秩张量回归问题可以表示为：
$$\underset{\mathbf{B}}{\min }\Vert \mathbf{X}\times \mathbf{B}-\mathbf{Y}{\Vert }^2+\lambda \Vert \mathbf{B}{\Vert }_{\ast }$$
其中，$\mathbf{X}$ 是多模态数据张量，$\mathbf{Y}$ 是目标输出（例如，相关度或相似度），$\mathbf{B}$ 是回归参数，$\lambda$ 是正则化参数，$\Vert \mathbf{B}{\Vert }_{\ast }$ 是低秩约束（核范数或其它低秩度量）。

3. 跨模态匹配与检索：

在图文检索中，通常有两种类型的查询任务：

• 图像查询文本（Image-to-Text Retrieval）：给定一张图像，检索与之相关的文本描述。
• 文本查询图像（Text-to-Image Retrieval）：给定一个文本，检索与之相关的图像。

对于这两种任务，低秩张量回归模型能够通过以下方式进行处理：

• 图像查询文本：通过将图像数据和文本数据映射到同一个低维空间，计算图像和文本之间的相似度。如果图像和文本属于相同的低秩张量空间，则它们的相关性可以通过简单的张量乘积或内积计算。

• 文本查询图像：同样地，通过将文本特征和图像特征嵌入到一个共享的低秩张量空间中，计算文本和图像之间的匹配度或相似性。

4. 损失函数与优化：

为了优化低秩张量回归模型，通常需要设计合适的损失函数。一个常用的选择是对比损失（Contrastive Loss）或三元组损失（Triplet Loss），旨在最小化相似图像和文本之间的距离，同时最大化不相似图像和文本之间的距离：
$$\mathcal{L}=\sum _{i=1}^N\left[\Vert {\mathbf{I}}_i-{\mathbf{T}}_i{\Vert }^2+\lambda \sum _{j\ne i}\max (0,\alpha -\Vert {\mathbf{I}}_i-{\mathbf{T}}_j{\Vert }^2)\right]$$
其中，${\mathbf{I}}_i$ 和 ${\mathbf{T}}_i$ 分别是图像和文本的低秩嵌入，$\alpha$ 是正负样本之间的距离阈值，$\lambda$ 是正则化参数。

5. 实验与评估：

通过在多个标准数据集（如 MS COCO，Flickr30K 等）上进行实验，低秩张量回归方法能够在图像-文本匹配任务中显著提高检索准确率。相比于传统方法（如基于特征的检索或基于联合表示的检索），低秩张量回归能够更好地捕捉图像和文本之间的复杂关系，同时减少模型的计算开销。

总结

在图文检索中，低秩张量回归框架通过结合图像和文本模态的数据，可以在一个共享的低秩张量空间中进行有效的跨模态信息融合。这种方法能够减少高维数据带来的计算负担，并通过低秩结构捕捉模态间的相关性，从而提高图文检索的准确性和效率。

6.低秩张量回归框架应用到图文检索方面和一般的多模态图文检索的区别

低秩张量回归（Low-Rank Tensor Regression, LRTR）框架应用于图文检索和一般的多模态图文检索在方法论和模型构建上有一些明显的区别。以下是它们的主要区别和优势：

1. 多模态图文检索（Multimodal Image-Text Retrieval）

多模态图文检索通常指的是在图像与文本数据的跨模态检索任务中，利用图像和文本的相关性来进行搜索。例如，用户输入文本查询，检索系统返回相关的图像，或者用户提供图像，系统返回描述相关的文本。常见的技术方法有：

• 特征对齐：通过将图像和文本映射到共享的向量空间，使得它们在这个空间中具有相似的表示。
• 深度学习方法：比如卷积神经网络（CNN）提取图像特征，循环神经网络（RNN）或者转换器（Transformer）模型处理文本，然后利用深度神经网络来学习图像和文本的联合表示。
• 相似性度量：常用的技术有余弦相似度、欧几里得距离等，用来衡量图像和文本之间的相似度。
• 跨模态对齐：例如通过共享的嵌入空间或者多模态深度学习模型来对齐图像和文本的语义特征。

优点：

• 方法多样：可以通过多种方法（例如基于深度学习的模型、对抗训练、跨模态对齐等）处理图文检索任务。
• 灵活性：能适应各种数据格式和检索需求。

缺点：

• 模型复杂度高：深度学习模型（如深度卷积网络、深度生成模型等）需要大量的数据和计算资源。
• 跨模态映射挑战：由于图像和文本属于不同的模态，它们的特征在本质上是不同的，因此需要复杂的算法来对齐它们。

---

2. 低秩张量回归框架（LRTR）应用于图文检索

低秩张量回归框架利用张量（即多维数组）来建模图像和文本数据之间的关联。张量通常被用来表示具有多个维度的数据，例如图像可以通过三维张量来表示（宽度 × 高度 × 通道数），而文本也可以通过张量来表示（例如词嵌入的矩阵形式）。低秩张量回归框架假设数据中存在低秩结构（即在高维空间中有很多冗余），并通过回归方法学习这种结构。

在图文检索任务中，低秩张量回归框架的应用通常包括：

• 张量表示：图像和文本分别使用张量表示，其中每个模态的数据（例如图像的特征和文本的特征）都被看作是一个高维数组或矩阵。
• 低秩假设：低秩假设意味着图像和文本的高维数据中存在冗余结构，这可以通过对数据进行降维（例如通过低秩矩阵分解）来提取有用的特征。
• 回归建模：使用回归模型（例如张量回归）来学习图像和文本之间的关系，从而进行检索。通过将图像和文本的特征嵌入到共享的低秩张量空间中，可以有效地进行跨模态的检索。

优点：

• 数据建模更准确：低秩张量回归能够更好地捕捉多模态数据之间的结构性和冗余性，从而提升模型的泛化能力和鲁棒性。
• 计算高效：低秩假设减少了需要处理的参数数量，使得训练和推理过程更加高效，尤其是在高维数据下，避免了“维度灾难”。
• 自然建模跨模态关系：低秩张量回归能够自然地将图像和文本作为高维张量进行联合建模，避免了直接对齐不同模态特征时可能出现的映射问题。

缺点：

• 模型构建复杂：相比于深度学习方法，低秩张量回归模型的构建和优化更加复杂，需要掌握张量分解和低秩回归等数学工具。
• 对张量数据的需求：需要将数据转化为张量格式，这对于某些数据格式或任务可能不太直观或适用。

---

低秩张量回归与多模态图文检索的主要区：

• 模型表示方式：

  • 多模态图文检索：通常使用神经网络将图像和文本映射到共享的低维空间（例如通过卷积神经网络和循环神经网络），然后使用相似性度量来进行检索。
  • 低秩张量回归：利用张量表示法建模图像和文本的高维关系，回归模型通过对张量的低秩近似来提取图像和文本之间的潜在结构，从而进行更精细的检索。

• 计算复杂性：

  • 多模态图文检索：通常依赖于复杂的深度神经网络模型，训练过程需要大量数据和计算资源。
  • 低秩张量回归：通过张量分解和回归方法，能够在保证精度的同时，减少计算和存储需求。

• 适用场景：

  • 多模态图文检索：适用于多种复杂的图文匹配和检索任务，尤其是在需要处理多样化文本和图像数据时（例如描述性文本、类别标签等）。
  • 低秩张量回归：更适合于需要捕捉数据中潜在结构关系且具有低秩特性的任务，尤其是在高维数据下，能够有效降低维度并提高计算效率。

---

总结：

低秩张量回归框架为图文检索提供了一种更高效的建模方法，特别是在高维数据和需要处理数据内部结构（如冗余）的情形下，可以有效地提升检索效率和模型泛化能力。而一般的多模态图文检索方法则更多依赖于深度学习模型，通过复杂的网络结构来学习不同模态之间的对齐和相似性。这两者的区别在于建模方法、计算复杂性以及适用的任务场景。