作者：朱晓培。

编辑：好困。

【新智元导读】众所周知，打印一张图揣身上就能骗过图像识别，那你知道如何才能骗过红外识别么？

在疫情期间，红外行人识别系统得到了广泛应用。

这是由于热红外识别系统的两个重要优点：

1.由于对温度敏感，红外图像的成像利用了物体的热辐射，因此可以反映物体的温度。这一特性对于人体的非接触测温有着重要的应用。

2.红外成像具有一定的“透视”特性。即使人体被一些衣服遮挡，热辐射仍然可以通过衣服被接收器感知，因此可以通过遮挡进行成像。

虽然目前红外行人检测系统得到了广泛的应用，但很少有人注意到该系统的安全隐患。

今年，清华大学的一个研究团队提出了一种基于小灯泡的物理攻击方法。相关论文发表在AAAI2021会议上(朱等.利用小灯泡污染现实世界中的热红外儿科探测器)。相关技术已申请国家发明专利。

以下是一个例子。从图中我们可以看到，拿着小灯泡板的人成功躲过了探测器的探测，而拿着空白板且什么都没有的人则被探测器探测到了。

研究背景

近年来，对抗样本的研究越来越受到人们的重视。在数字空间中，研究人员发现，通过设计特定的噪声，神经网络可以以高置信度对图像进行错误分类，而这种噪声是人眼无法察觉的。进而发现对抗样本在现实世界中也能产生威胁。

比如一只3D打印的乌龟，当它的表面装饰有对抗性纹理时，就会被神经网络误认为是步枪。对抗样本会干扰分类模型和目标检测模型。例如，一张打印的对抗纸可以成功欺骗目标检测器YOLOv2，使其无法检测行人。

然而，目前对对抗样品的研究几乎都集中在可见光领域。然而，红外领域的研究仍处于空白阶段。与可见光图像(三通道)相比，红外图像只有一个灰度通道，红外图像的纹理信息远远少于可见光。

此外，为了实现物理攻击，红外图像不能像可见光图像一样直接用激光打印机打印在纸上。因此，很难在物理世界中显示特定的模式。

研究方法

由于热像不能通过“印刷”来实现，作者采取了不同的方法。有没有可能用发热物体本身的热图作为基本模块？

后去优化模块的位置。作者于是考察了多种电子元件，包括二极管，电阻等等。

最后发现了一个看似简单却十分好用的器件——小灯泡！因为小灯泡所成的热红外图像十分接近于一个二维高斯函数。

那么这个猜想是否成立呢，作者对小灯泡的红外图像进行了数学分析。

在拍摄了单个灯泡的红外图像之后，尝试用一个二维的高斯函数来建模和拟合。函数拟合后发现，二维高斯函数可以很好地拟合灯泡的红外图像。

有了基本的单元之后，作者就想到，可以构建一个正方形的平面，平面上有多个符合二维高斯分布的「光斑」，这些光斑的位置就可以是优化变量，通过优化，就有可能能找到一个具有对抗特性的图案。

而这个图案，恰好可以与物理世界一一对应，正方形平面对应于一块板子，而数字世界的「光斑」，就是对应于物理世界中小灯泡的成像效果。

此时整个的优化流程就清晰了，首先在数字世界，首先构建一个带有多个「光斑」的patch，将它「贴」到红外数据集中的行人上面，同时作者也在数字世界模拟了物理世界的一些扰动，例如噪声，亮度变化，平移，旋转等等。这使得patch的鲁棒性进一步提高。

优化的目标函数包括检测器的物体置信度输出以及patch光滑度的和。通过反向传播来优化patch上「光斑」的位置，直到找到一个最优的图案。

而当数字世界验证好以后，就可以通过小灯泡将此图案在物理世界中实现，从而达到在物理世界中攻击红外行人检测器的目的。

实验结果

思路明确了，那么实验的效果如何呢？

实验结果表明，数字世界中基于二维高斯函数的patch可以成功地使得YOLOv3检测器的AP (Average Precision) 降低了64.12%。

注意到与之对比的同样大小的随机噪声patch和空白的patch仅使得检测器性能分别降低了25.05%和29.69%。

下面给出了一个具体的例子，可以看到，在数字空间中作者设计的patch可以成功躲避行人检测器。而与之对比的放有blank patch，random noise patch以及什么都不放的人却被检测到了。

接下来作者进行了物理实验。

以下左图是实际制造出来的装有小灯泡的板子，而右图是这个板子的红外热图像与模拟的数字图像的对比。

作者招募了若干名志愿者，在相同的环境下，测试优化后的小灯泡板子对红外行人检测器的对抗效果。对照组包含了使用空白的板子以及什么都不带的情况。

计算结果表明，在物理世界中，优化后的小灯泡板子可以使得YOLOv3检测器的AP降低了34.48%，而同样大小的空白板子仅仅使得检测器的性能下降了14.91%。

以下给出了一组具体的例子，由图中可以看到，在相同的条件下，使用了优化后的小灯泡板子的人没有被YOLOv3检测到，而持有空白板子以及什么都不带的人，被YOLOv3检测到了。

这表明，经过优化后的小灯泡板子可以成功攻破红外行人检测器。

上文中作者都是针对YOLOv3检测模型进行攻击，那么进一步的问题就是，生成的对抗样本能否迁移到其他检测模型上去。

一开始，作者采用了直接进行迁移攻击的方式，结果确不如人意。实验表明，通过YOLOv3模型生成的对抗patch直接迁移攻击，仅使得Cascade RCNN和RetinaNet的AP分别降低了11.60%和25.86%。

这时候作者想到了黑盒攻击的经典办法，模型集成。简而言之，就是集成多种模型来生成对抗样本，这样生成的对抗样本，由于已经综合了不同类型模型的信息，所以具有更好的迁移到未知模型的能力。

作者在实验中，集成了三种经典的目标检测模型，包括YOLOv3，Faster-RCNN和Mask-RCNN。集成之后生成的对抗patch，可以使得Cascade-RCNN和RetinaNet的AP分别降低了35.28%和46.95%。

由此可见，集成攻击的效果相比于直接迁移攻击有了大幅度的提高。

总结和展望

本文首次提出了针对红外行人检测系统进行物理攻击的方法。作者在数字世界中基于二维高斯函数构建对抗性的patch，并在物理世界中用小灯泡实现了对抗性的板子。

经过优化之后的对抗性板子可以成功地攻击YOLOv3模型。作者进一步采用集成攻击的方法，提高了对未知模型的迁移攻击能力。该

研究揭示了目前广泛使用的红外目标检测模型可能存在安全隐患，作者表示下一步的研究工作就是研究防御对抗样本的方法，这对于提升红外行人检测系统的安全性具有重要意义。

作者简介

本文的第一作者是来自于清华大学集成电路学院2018级的直博生朱小佩。他目前的研究方向是计算机视觉、对抗样本和目标检测。

本文的通讯作者是清华大学集成电路学院的王喆垚教授和清华大学计算机系的胡晓林副教授。

参考资料：

https://arxiv.org/abs/2101.08154