论文阅读-Federated Unlearning With Momentum Degradation
联邦忘却与动量退化
Yian Zhao IEEE Internet of Things Journal 2023 年 10 月 2 日
CCF-C
momentum degradation-MoDe 动量退化
memory guidance-记忆引导
knowledge erasure-知识擦除
Deep-learning neural network—DNN深度神经网络
backdoor attacks -后门攻击
degradation model-退化模型
FL系统中的全局模型容易受到恶意节点的数据中毒攻击。在本文中，我们分析了将忘却学习和训练过程解耦的必要性，并提出了一种与训练无关的有效方法，可以有效地执行两种类型的忘却任务：1）客户端撤销 2）类别删除。
具体来说，我们将遗忘过程分解为两个步骤：1）知识擦除 2）记忆引导。
首先提出了一种新颖的知识擦除策略，称为动量退化MoDe，他实现了模型中隐含知识的擦除，并确保模型能够平滑地移动到重新训练模型的早期状态。为了减轻第一步造成的性能下降，记忆引导策略在不同数据点上对模型进行引导微调，可以有效恢复模型在剩余点上的可区分性。
FL带来的安全问题主要是由私有数据对全局模型的参数更新造成的。通过及时撤销恶意节点对全局模型的参数更新，可以有效降低数据泄露的可能性。联邦忘却学习可以通过撤销那些被污染的数据，为系统提供抵御数据中毒的方法，从而提供FL训练的安全性。
即使数据从服务器或数据库中删除，训练数据也已经隐式嵌入到使用该数据训练的模型的参数分布中。因此，为了让数据持有者或FL系统安全可靠的撤销目标数据，有必要擦除先前从特定数据中获取的模型的隐含知识。。
与训练无关的高效联邦忘却学习方法。所提出的方法将联邦忘却学习过程与训练完全解耦，并允许将两种类型的忘却学习任务(类别删除和客户端撤销)应用于任何设置下成功完成FL训练的任何模型架构，而无需修改训练过程以适应忘却学习算法。
主要贡献：
- 提出了一种基于MoDe和记忆引导的知识擦除来微调模型性能。所提出的方法将联邦忘却学习过程与训练完全解耦，并允许将忘却学习应用于任何设置下完成FL训练的任何模型架构，而无需修改训练过程以适应忘却学习算法。
- 所提出的方法可以有效执行客户端撤销和类别删除两种类型的撤销任务，不仅可以满足用户发起的数据撤销请求，而且可以实现服务器对数据中毒攻击的主动防御。
FedEraser、FUKD、UPGA->针对客户端撤销
FUCP->类别删除
(本文使用的主要符号)
当客户端ci发出数据撤销请求时或者服务器需要擦除一个或多个特定类别时，我们的方法利用同构且随机初始化的退化模型Mde分别在MoDe和记忆引导阶段进行退化和引导M。
- 在MoDe阶段，利用退化模型Mde的参数Wde作为影子参数对预训练模型参数W进行动量更新，从而实现预训练模型M到再训练模型Mre早期状态的平滑转移。MoDe抹去了目标数据点si在M的参数中的贡献。
- 在记忆引导阶段，我们利用退化模型Mde获得目标数据点的分类结果作为伪标签来引导预训练模型M并同时在剩余数据点上进行更新。记忆引导恢复了M对剩余数据点S的可区分性。
MoDe概述：客户端Client N发出撤销请求，利用同构且随机初始化的退化模型(unlearning框中的蓝色菱形)分别在MoDe和记忆引导阶段对目标模型(图中橙色菱形)进行降级和引导。
- 知识擦除knowledge erasure
MoDe阶段的基本原理是调整预训练的模型参数W，从而使其失去对目标数据点的强辨别力。理想的结果是调整后的模型参数Wadj非常接近重新训练的模型参数Wre。
使用随机分配的参数Wde初始化同构模型Mde，该参数作为Wre的初始状态。在忘却学习过程中，由于Mde是使用剩余数据点进行训练的，因此Wde逐渐向Wre收敛。因此，我们利用Wde作为更新W的方向。 W ← λW + (1 − λ ）Wde
- 记忆引导 memory guidance
经过MoDe之后，预训练的模型M对所有数据点的可辨别性都有轻微下降。需要在下一次退化之前及时微调其参数W，确保W既不会持续向Wre的早期状态移动，导致M对剩余数据点的可辨别性下降，也不会更新得太过平滑导致数据撤销过程缓慢。
为了实现此目标，提出了一种记忆引导策略。利用初始化的退化模型Mde将目标数据点的预测推断为伪标签，以指导预训练模型M，同时用剩余数据点的真值标签更新它。
- 实现 implementation
（ 服务器端的MoDe算法）：首先服务器随机初始化一个与预训练模型M结构相同的退化模型Mde。然后服务器将退化模型Mde发送给其余客户端进行FL训练，退化模型根据公式完成一轮聚合后，服务器对预训练模型M进行MoDe。最后，通过记忆引导对预训练模型M进行微调。
即小于一定轮次时，随机生成一个退化模型发给非目标Client，训练聚参，动量更新全局模型： W ← λW + (1 − λ ）Wde
（ 目标客户端MoDe算法）：服务器将预训练模型M发送给所有客户端，同时将退化模型Mde发送给目标客户端ci。其他客户端对M进行FL训练，而目标客户端ci利用Mde在本地数据集上的输出结果作为伪标签来指导M的本地训练。
即把W和Wde都发给目标Client，用Wde在目标数据集上产生的伪标签训练W。所有的模型再聚合
在四个数据集上评估MoDe在客户端撤销和类别删除方面的性能。实验表明，MoDe可以有效地从预训练模型中消除目标数据点或特定类别的贡献，并且与重新训练相比，实现了显著的加速。
数据集：MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100
评估指标：
- 客户端撤销指标：后门攻击是一种针对DNN是隐蔽性破坏性攻击方法，他通过毒害部分训练数据将后门触发器植入到模型中。将目标客户端的本地训练图像插入特定的后门触发器，这样全局模型容易受到后门触发的影响。成功的忘却学习过程应该产生一个模型，该模型在后门攻击的测试集上后门攻击的成功率较低，同时保证干净测试集的可区分性。
- 类别删除指标：为了评估类别删除的有效性，我们计算测试集上目标类别(U集)和剩余类别(R集)。我们的期望是忘却学习模型在U集上获得较低的准确度，但在R集上保持与预训练模型相似或更高的准确度。
实验结果：
客户端撤销：
- 对5个和10个客户端进行FL训练，并对目标客户端进行后门攻击。FL训练完，MoDe被用来撤销目标客户端的所有数据点。
- FedAvg表示使用FedAvg聚合算法训练的全局模型结果，Retrained表示从头开始重新训练的模型结果。
- 分别评估了后门攻击的成功率和模型在后门攻击测试集和干净测试集上的准确性，对应atk和clean。
- speed up表示提出的MoDe相比重新训练的加速。
MoDe处理的模型准确率和后门攻击成功率与重新训练的模型相似，差异小于1%，但是执行速度方面具有显著优势。
类别删除：
对10个客户进行FL训练，并应用所提出的MoDe来消除数据集中类别索引"0"的所有样本的贡献。
U-set表示目标类别的准确度，R-set表示其余类别的平均准确度。
所提出的MoDe方法在所有四个数据集上有效地执行了类别去除（U集精度为0.00%）
与SOTA的比较：
比较了两种算法：FUKD和UPGA（专门处理客户端撤销）；
FUCP（专门处理类别删除）
消融实验：
MoDe由两个阶段组成，即MoDe和记忆引导。这两个阶段中使用的同构退化模型在每一轮的MoDe期间的剩余数据点上进行训练。
为了验证MoDe各部分的有效性，我们对MoDe中的三个关键变量，即MoDe、记忆指导和退化模型更新进行了消融实验。
后三行分别表示省略MoDe、记忆引导和退化模型更新时的结果。
根据实验结果得出三个结论：
- MoDe的缺乏导致无法有效消除目标数据点的贡献
- 没有记忆引导，预训练模型在所有数据点上的准确率会不断下降，因为MoDe后的模型参数无法及时调整。
- 冻结退化模型会导致预训练模型迭代向初始状态退化，导致判别出现轻微随机性。
提出了一种与训练无关且高效的联邦忘却学习方法，称为MoDe，该方法通过两个步骤迭代执行：知识擦除MoDe和记忆引导。MoDe能有效消除预训练模型中目标数据点的贡献，而记忆引导在MoDe之后恢复了模型的性能，因此这两个步骤是协作和互补的
支持client revocation and category removal。包括knowledge erasure 和 memory guidance两个步骤：knowledge erasure是一个逐渐趋近的过程，memory guidance是再次微调的过程。
型中目标数据点的贡献，而记忆引导在MoDe之后恢复了模型的性能，因此这两个步骤是协作和互补的
支持client revocation and category removal。包括knowledge erasure 和 memory guidance两个步骤：knowledge erasure是一个逐渐趋近的过程，memory guidance是再次微调的过程。
