2024/9/27 The Limitations of Deep Learning in Adversarial Settings读后感

I. INTRODUCTION
（第二页第一段）

用费曼学习法来解释这段话，我们可以将其分解为几个简单的问题，并用易理解的语言来描述各部分的含义。费曼学习法的核心是以通俗易懂的方式来解释复杂的概念，并确保自己能真正理解它。

1. 什么是前馈（无环）深度神经网络（DNN）？

前馈神经网络可以想象成一个流水线，它有多个“工作站”，信息只能从第一个工作站流到最后一个工作站，不能回到之前的工作站。每个工作站都有自己的任务（也就是每一层神经元在处理信息），这就像生产线一样，信息一步步加工，直到得到最终结果（输出）。这种网络没有回头路，所以称为“无环”。

2. 本文中的新算法和之前的方法有什么不同？

之前的方法是**通过观察输出的变化，来反推输入要怎么变才能达到欺骗的效果。**就好比你猜别人的心思，根据他的反应来调整你的说法。而本文的方法是直接找到一条捷径，从输入直接指向目标输出，好比你知道对方想听什么，就直接说出他想听的话。这样就更高效，不需要猜来猜去。

3. 如何实现对抗样本生成？

要理解这部分，我们可以把神经网络看作一个“黑箱子”，输入是一些原始特征（比如图片中的像素），输出是它的分类（比如猫、狗、车等）。我们的目标是通过加入一个很小的扰动（就像在水中轻轻拨动几下），让“黑箱子”把这幅猫的图片错认成狗。这就涉及到一个优化问题：“我怎么改动图片最少的部分，同时又能让‘黑箱子’输出我想要的结果？”

4. 这种方法的好处是什么？

因为我们只改动了很少的输入特征，就像在一幅画中只改了几笔，却改变了整幅画的印象。这种方法不仅减少了输入的扰动，还能让我们更容易找到让模型犯错的地方，就像用放大镜找画中的瑕疵一样。

5. 如何应用这个算法？

我们可以在攻击过程中用“放大镜”（启发式搜索）来找到“画面中的瑕疵”，即模型最容易出错的特征点（输入特征）。这样，我们只需要对这些特征点进行小小的修改，就能让模型输出我们想要的错误结果。

总的来说，这篇文章提出了一种新的、更高效的欺骗神经网络的方法，它通过直接操控输入特征（而不是通过反推的方法），达到了减少扰动、提高欺骗成功率的效果。用费曼学习法解释，就是“找对地方，做对事，少做事，事半功倍”。

**对抗显著图（Adversarial Saliency Map）**是一种用于理解和构建对抗样本的工具，它能够指示哪些输入特征对神经网络的输出影响最大，从而指导我们在生成对抗样本时该如何调整这些特征，以最大化地影响模型的预测结果。

1. 显著图的概念：

在计算机视觉中，**显著图（Saliency Map）**通常用于表示输入图像中哪些像素或区域对模型的决策影响最大。它反映了模型在做出分类决策时最关注的图像部分。在对抗攻击中，对抗显著图则用于识别对模型最重要的特征，以便有针对性地进行扰动。

2. 对抗显著图的构建原理：

对抗显著图基于前向导数（forward derivative）构建，它反映了模型的输出（预测）对输入特征变化的敏感性。其主要原理如下：

输入特征的重要性： 对于每一个输入特征（例如，图像的一个像素或向量的一个元素），我们可以计算该特征变化对输出结果的影响程度。如果一个特征的微小变化导致模型输出发生较大的变化，那么这个特征就被认为是“显著的”。
雅可比矩阵（Jacobian Matrix）： 为了量化输入特征对输出的影响，我们可以计算模型输出对每个输入特征的偏导数。这些偏导数构成了一个称为雅可比矩阵的结构，它描述了输出随输入变化的“方向”和“程度”。
显著性值计算： 显著值可以用雅可比矩阵来表示。对于给定的输入特征，我们可以用雅可比矩阵的绝对值来衡量每个特征的重要性。然后将这些显著性值映射回输入特征的对应位置，生成一个“热图”样的显著图。

3. 对抗显著图的作用：

对抗显著图可以帮助识别出对抗攻击过程中最有效的输入特征修改方向。具体来说：

定位攻击目标： 显著图显示了对模型决策最关键的特征（例如，哪些像素或输入维度对于模型的分类结果最敏感）。攻击者可以优先选择对这些特征进行微调，以达到欺骗模型的目的。
减少扰动： 通过显著图，攻击者可以更有针对性地施加最小的扰动量（例如，改变尽量少的像素或输入特征），就能实现攻击目标，从而减少对抗样本的可察觉性。
生成对抗样本： 显著图为对抗样本生成提供了指导方向。它能告诉攻击者在特定位置施加怎样的扰动能最大化地改变模型的输出。这样，生成的对抗样本在视觉上与原始样本很相似，但却能误导模型做出错误的预测。