引言
今天带来一篇真正远古(2005年)论文的笔记，论文是Dimensionality Reduction by Learning an Invariant Mapping。
该论文中提出的对比损失(2.1节)可以用于训练嵌入模型。
为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。
降维涉及将一组高维输入点映射到低维流形(low dimensional manifold)上，以使得输入空间中“相似”的点被映射到流形上的相邻点。现有的大多数技术在解决这一问题时存在两个缺点。首先，它们大多数依赖于输入空间中一个有意义且可计算的距离度量。其次，它们不能计算出一个能够准确映射新输入样本的“函数”，这些新样本与训练数据的关系未知。
我们提出了一种方法——称为通过学习不变映射进行降维(Dimensionality Reduction by Learning an Invariant Mapping, DrLIM)——用于学习一个全局一致的非线性函数，将数据均匀地映射到输出流形上。该学习过程完全依赖于邻域关系，不需要输入空间中的任何距离度量。该方法可以学习对某些输入变换不变的映射。
