Boosting Verified Training for Robust Image Classifications via Abstraction

基于抽象的鲁棒图像分类模型高效训练与验证方法：

针对问题：

深度神经网络在面对对抗性攻击时的鲁棒性问题

提出了一种基于抽象的、经过认证的训练方法，用于提高深度神经网络对抗性攻击的鲁棒性；提出黑盒验证方法，该方法与神经网络的大小和架构无关，可扩展到任意类型的神经网络。

具体方法：通过抽象，所有扰动图像在进入神经网络进行训练之前都被映射到区间内。通过在区间上进行训练，所有被映射到同一区间的扰动图像都被分类为相同的标签，使得训练集的方差变小，模型的损失函数的曲面变得平滑

局限性：训练时间过长且只能针对特定类型的对抗性攻击进行防御

Rethinking Gradient Projection Continual Learning: Stability / Plasticity Feature Space Decoupling

基于空间分解的梯度投影增量学习：

针对问题：

要求梯度与整个特征空间完全正交，导致塑性差；当任务不断到来时，可行的梯度方向变窄（特征空间无限扩展）；灾难遗忘

核心思想：将新任务的梯度投影到旧任务输入空间的正交空间上

将每层是输入变为输入矩阵，进行奇异值分解到特征空间；当做新任务时，与特征空间正交，来缓解灾难遗忘问题

正交性：OWM（NMI 2019）；GPM（ICLR2021）；TRGP（ICLR2022）

在GPM这篇文章上进行扩展，只是GPM是将重复的基直接删除

将新任务的梯度投射到零空间上，与上种方法等价

零空间：Adam-NSCL（CVPR 2021）；AdNs（EECV 2022）

基于多示例学习的动态表情识别：

动态面部表情识别通过视频识别面部表情

针对问题；

DFER的学习范式定义为一个弱监督的问题。短期和长期的时间关系是不平衡的。

提出了一个多实例三维动态面部表情学习（M3DFEL），通过多实例学习（MIL）来学习不确切的标签。M3DFEL通过生成三维实例和使用3DCNN提取特征来建立强大的短期时间关系且动态聚合实例的同时学习长期时间关系。