文章目录
- 1. MAE说明
- 2. MAE笔记
1. MAE说明
MAE 是何凯明大神的基于随机自掩码机制的新神经网络，主要分为Encoder编码器结构+Assemble部分+Decoder解码器结构三个部分,
- Encoder 部分
encoder部分是先将输入图像patch化后，将75%的patch块进行掩码遮掩，分成25%原图patch和75%的掩码patch- 25%的patch块A-- 隐性表征
将块A重新堆叠形成新的矩阵A1后，通过神经网络映射成新的隐性表征A2 - 75%的patch块B-- 隐性表征
用同一个相同的向量表示每个被掩码的patch块，就有75%的patch通过神经网络映射成新的表征B2
- 25%的patch块A-- 隐性表征
- Assemble部分
- 将25%的隐性表征A2和75%的隐性表征B2按照原图像的位置编码重新组合成新的矩阵C
- Decoder部分
decoder部分是将隐性表征矩阵C通过decoder解码器映射成新的表征矩阵D，最后通过神经网络恢复成新的预测图像
2. MAE笔记
MAE 编码器自掩码扩展网络
-
step1: 将输入图像进行patch分块处理，并通过均匀分布来将75%的Patch块进行掩码遮掉处理
-
step2: 将剩下的25%未被掩码块组成新的矩阵后，拉成一个矩阵A后进行映射成新的隐藏表征
-
step3: 将被掩码的75%的块映射后用同一个可学习的向量进行表征
-
step4: 将25%未被掩码的表征向量和 75%可学习的相同的表征向量一起，根据原来的位置编码来组合成新的表征矩阵进入decoder解码器
-
step5: 将decoder 生成新的解码特征向量通过逆块unpatch的方式重新生成新的图像
