背景与现状

图像修复是一个长期存在的低层次视觉问题，旨在从损坏的输入图像中获取高质量图像，例如去模糊、去噪、去雾、去雨以及超分辨等。
$$\mathbf{L}=\mathbf{D}(\mathbf{H})+\gamma$$
其中，L是低质量图像，H是高质量图像，$D,\gamma$分别表示成像和传输过程中的退化函数和噪声

图像修复是一个典型的不可逆问题，因为任何原始输入都有很多候选项。为了限定无限的可行解，传统方法通过对不同的修复任务设计不同的先验知识，将图像修复转化为一个MAP问题：
$$\hat{\mathbf{H}}=\underset{\mathbf{H}}{\mathrm{argmax}}\log P(\mathbf{L}|\mathbf{H})+\log P(\mathbf{H})$$

但是设计这样一个先验，通常具有很大的挑战，而且不可泛化

随着深度学习方法在高层次视觉任务中的使用，以及数据规模的增加，能够隐式的学习通用先验的CNN以及Transformer开始用于解决图像修复任务，并取得了SOTA效果。

目前图像修复的网络模型架构主要包括残差块、多尺度、多阶段、编码器-解码器。

当前面对的问题：图像修复的质量（空间细节、上下文信息）；图像修复的模型系统复杂性

主流方法

残差块结构 （2018年 ESRGAN）

多尺度结构 （2020 MIPNet 2022 MIRNetV2）

主要创新点：DAU和SKFF

多阶段结构 （2021MPRNet）

主要创新点： SAM

编码器-解码器结构 （2022Restormer）

主要创新点： 线性复杂度的注意力机制（就是转置），门控前馈神经网络

编码器-解码器结构（2022Uformer）

主要创新点 : LeFF和modulator （对这个模块的作用存疑，提升的太大了）

编码器-解码器结构（2022 NAFNet）

主要创新点：移除或替代了非线性激活函数，使模型系统复杂性降低。主要是提出了一个新的baseline，后续可以在其基础上进行做一些工作。

总结

感觉图像修复真的太吃设备了，动不动就跑几周，时间成本太大了