IJCAI 2021 - 腾讯复旦联合出品：人脸黑盒攻击对抗算法：Adv-Makeup

作者 | 孙裕道编辑 | CV君报道 | 我爱计算机视觉（微信id：aicvml）

分享一篇来自 IJCAI 2021 的论文：Adv-Makeup: A New Imperceptible and Transferable Attack on Face Recognition，由腾讯和复旦大学联合出品：人脸黑盒攻击对抗算法：Adv-Makeup。

论文链接：//p1-tt.byteimg.com/origin/pgc-image/05d38cbc06cf43d9b12321a34abde940.jpg" style="width: 650px;">

Makeup生成模块

给定源图像和化妆图像，使用人脸对齐方法去生成不同人脸的围绕双眼的Bounding-Box分别为和。将作为生成器的输入，并生成人脸眼影。

接下计算区域，将该区域添加到源面部图像中得到合成的人脸图像。为了提高生成的质量，作者引入了一个判别器去鼓励生成器生成的图像更加真实逼真。相应的生成器的损失函数和判别器的损失函数如下所示：

Makeup混合模块

为了消除边界处明显的伪影和眼影块导致的风格，作者提出了一种Makeup混合模块来实现不易察觉性的生成。作者利用梯度约束目的是将损失函数转化为一个可微函数，以减轻生成边界上的变化。通过最小化损失函数，生成的面的图像细节能够被保留，同时改变颜色以匹配原始图像。 梯度约束损失定义为:

其中扩展与原图像尺寸相同的掩模。为了增强风格和内容的整合，以更好地提高合成眼影的自然度，作者利用预先训练的VGG16模型来计算风格损失 和内容损失 ，其损失函数为

其中为卷积神经网络的层数，是激活的通道数，是每个通道中激活值的数量。是第层神经网络的激活矩阵。是一个特征提取的Gram矩阵。

Makeup攻击模块

为了使生成的Makeup具有对抗性，作者引入了一个针对人脸识别模型的攻击损失函数，并利用预先训练的人脸特征提取器。模拟攻击的损失可以表示为

其中表示的是目标图像。该损失函数目的是使得对抗样本与目标图像相近。作者提出了细粒度的元学习对抗攻击来提高黑盒的可迁移性。假定有个预训练人脸识别模型即，然后选择模型作为元训练模型

其中，是生成器的参数，表示Makeup生成的眼影伴随着Makeup混合生成的脸的图像。表示的是不同模型分享同一个生成器，并从个模型中收集到的梯度信息作为先验。当更新参数为了获得个副本则有

另外一个人脸识别模型作为测试模型则有

为了在两个阶段收集所有信息，作者提出了一个联合优化策略。

实验结果

为了证明所提出的Adv-Makeup在数字图像上的有效性，作者设计了多模型攻击实验来展示性能的改进，超越了其他的对抗训练方法。作者选择了七种不同的攻击方法进行比较。如下表所示，每一列代表可迁移测试的黑盒受害者模型的ASR结果。与其他攻击相比，Adv-Makeup在所有受害者模型上实现了最佳的可迁移结果。

下图展示了Adv-Makeup的人眼不可察觉性，由Adv-Makeup生成的六张对抗人脸图像，每张脸图像下面的两个数字是由商业在线人脸识别系统给出的。对抗人脸和相应的匹配结果表明，该方法对光照、姿态、性别和眼妆强度等多种干扰因素具有鲁棒性。

下图展示了Adv-Makeup生成的攻击区域具有视觉上最难区分的外观，而其他形式需要更大的攻击区域，比较的量化结果再次凸显了Adv-Makeup在可迁移黑盒攻击中的优势。

如下图所示，与当前的物理攻击相比，Adv-Makeup的攻击强度明显高于其他攻击，这表明本文提出的方法可以在实际应用中生成更好可迁移性的对抗样本。