Autoencoder（李宏毅）机器学习 2023 Spring HW8 (Boss Baseline)

Autoencoder是一种用于学习数据高效压缩表示的人工神经网络。它由两个主要部分组成：

Encoder

Decoder

vanilla autoencoder是最简单形式的自动编码器，旨在通过瓶颈层尽可能准确地重构输入数据。它是更高级自动编码器变体的基础。

Vanilla autoencoder的训练目标是最小化输入 $x$ 和输出 $x^\prime$ 之间的重构损失. 常见的损失函数包括：

均方误差（MSE）：适用于连续数据。

$\text{MSE Loss}= \frac{1}{n} \sum_{i=1}^{n} (x_i - x_i')^2 \\$

二元交叉熵损失（Binary Cross-Entropy Loss）: 适用于二元数据。

$\text{BCE Loss} = - \frac{1}{n} \sum_{i=1}^{n} \left[ x_i \log(x_i') + (1 - x_i) \log(1 - x_i') \right] \\$

Denoising autoencoder (DAE) 是一种自动编码器变体，它专门训练从受损（有噪声）的输入中重构干净的输入数据。这使其成为学习有意义特征和执行数据去噪任务的强大工具。

原始输入数据通过添加噪声或引入干扰被人为破坏，生成带噪输入。常见的破坏类型包括：

与基础型自动编码器类似，常用的损失函数包括均方误差（MSE）和二元交叉熵损失（Binary Cross-Entropy Loss）。

变分自动编码器（VAE）是一种用于学习数据概率表示的自动编码器。与标准自动编码器将数据编码为固定的潜在表示不同，VAE 将数据编码为潜在空间中的一个分布（通常是高斯分布）。这使得 VAE 在生成任务中尤其有用。

VAE 的三个主要组成部分：

编码器（Encoder）

潜在空间（Latent Space）

表示输入数据的压缩概率分布。
潜在空间中的变量 $z$ 通过以下公式采样： $\\ z = \mu + \sigma \cdot \epsilon \\$ 其中 $\epsilon \sim \mathcal{N}(0, I)$ 。这种操作称为重参数化技巧（reparameterization trick），它允许通过随机采样过程进行反向传播。

解码器（Decoder）

VAE 的损失函数由两部分组成:

重构损失 $\mathcal{L}_{\text{recon}}$

KL 散度 $\mathcal{L}_{\text{KL}}$

它使潜在空间分布 $q(z|x)$ 接近先验分布 $p(z)$ , 通常是标准高斯分布 $\mathcal{N}(0, I)$ .
定义为: $\mathcal{L}_{\text{KL}} = D_{\text{KL}}(q(z|x) \| p(z)) \\$ 该项正则化潜在空间，确保插值平滑且具有意义。