一种基于元学习的人脸识别物理对抗补丁生成方法及系统

摘要: 本发明属于人工智能安全,具体涉及一种基于元学习的人脸识别物理对抗补丁生成方法及系统。背景技术:1、近年来,深度神经网络(deepneuralnetwork,dn...
一种基于元学习的人脸识别物理对抗补丁生成方法及系统

本发明属于人工智能安全,具体涉及一种基于元学习的人脸识别物理对抗补丁生成方法及系统。

背景技术:

1、近年来,深度神经网络(deep neural network,dnn)因其在图像识别任务中的卓越性能,已被广泛部署于各类实际场景中。特别是在人脸识别领域,基于深度神经网络的系统已普遍应用于身份认证、智能安防等对安全性要求较高的场合。然而,随着深度神经网络在关键安全基础设施中的深入应用,其固有脆弱性也逐渐暴露。研究表明,深度神经网络极易受到对抗样本的干扰,尤其值得关注的是物理世界中的对抗鲁棒性分析:对抗鲁棒性分析者通过在真实环境中佩戴或展示精心设计的对抗补丁(如眼镜框、贴纸),即可欺骗部署在现实场景中的人脸识别设备。

2、现有对抗鲁棒性分析方法常常需要完全了解目标模型,这在现实中往往不可行,且许多方法生成的图像在经历打印、光照变化、视角偏移和摄像头成像等物理过程后,对抗鲁棒性分析效果显著下降,难以稳定复现,因此,如何在仅掌握少量目标人员面部图像且对目标识别设备内部模型一无所知的前提下,生成具有强迁移性和良好物理可实现性的对抗补丁,成为当前人工智能安全领域亟待解决的问题。

技术实现思路

1、本发明的目的在于提出一种基于元学习的人脸识别物理对抗补丁生成方法及系统,以解决在黑盒条件下因目标模型未知、样本受限导致的攻击性能不足,以及对抗样本在物理部署中因环境干扰导致的鲁棒性下降和位置适配性差等技术问题,达到生成具备强迁移性、高物理稳定性且位置自适应的可打印对抗补丁,实现在真实物理环境下对未知人脸识别设备进行高成功率身份干扰的目的。

2、为实现上述目的,本发明采用了以下技术方案。

3、一种基于元学习的人脸识别物理对抗补丁生成方法,包括以下步骤:

4、根据预先获取的单张分析人员面部图像的面部关键点确定目标区域,并从所述目标区域获取先验图像;

5、根据预先获取的单张目标人员面部图像的面部关键点,在所述单张目标人员面部图像中确定多个候选区域,并根据各候选区域与所述单张分析人员面部图像组合后的图像和所述单张目标人员面部图像之间的特征相似度,确定目标面部最优区域图像;

6、根据所述先验图像和所述目标面部最优区域图像,利用生成模型生成融合对抗补丁;

7、对所述融合对抗补丁进行物理模拟,得到模拟对抗补丁,并将所述模拟对抗补丁与所述单张分析人员面部图像组合,得到攻击图像;

8、根据所述攻击图像和所述单张目标人员面部图像,利用元训练模型和元测试模型对所述生成模型进行元学习训练,得到优化生成模型;

9、根据所述先验图像和所述目标面部最优区域图像,利用所述优化生成模型生成最优对抗补丁,并将所述最优对抗补丁制作为物理对抗样本。

10、进一步地,根据预先获取的单张分析人员面部图像的面部关键点确定目标区域,并从所述目标区域获取先验图像,包括:

11、对所述单张分析人员面部图像中的双眼、鼻尖和嘴角进行面部关键点检测,得到关键点坐标集;

12、根据所述关键点坐标集确定目标区域,并从所述目标区域获取先验图像。

13、进一步地,根据所述关键点坐标集确定目标区域,并从所述目标区域获取先验图像,包括:

14、按照预设映射关系将所述关键点坐标集映射为矩形区域,得到所述目标区域;

15、按照所述目标区域从所述单张分析人员面部图像中裁剪图像,得到所述先验图像。

16、进一步地,根据预先获取的单张目标人员面部图像的面部关键点,在所述单张目标人员面部图像中确定多个候选区域,并根据各候选区域与所述单张分析人员面部图像组合后的图像和所述单张目标人员面部图像之间的特征相似度,确定目标面部最优区域图像,包括:

17、根据所述单张目标人员面部图像的面部关键点和预设偏移量,在所述单张目标人员面部图像中确定多个候选区域;

18、根据各候选区域与所述单张分析人员面部图像组合后的图像和所述单张目标人员面部图像之间的特征相似度,从所述多个候选区域中确定所述目标面部最优区域图像。

19、进一步地,根据所述单张目标人员面部图像的面部关键点和预设偏移量,在所述单张目标人员面部图像中确定多个候选区域,包括:

20、根据所述单张目标人员面部图像的面部关键点确定基准矩形区域;

21、按照所述预设偏移量将所述基准矩形区域分别沿水平方向和竖直方向进行空间偏移,得到位于所述单张目标人员面部图像中不同位置的多个候选区域。

22、进一步地,根据各候选区域与所述单张分析人员面部图像组合后的图像和所述单张目标人员面部图像之间的特征相似度,从所述多个候选区域中确定所述目标面部最优区域图像,包括:

23、将各候选区域对应的候选区域图像分别与掩膜组合,并粘贴至所述单张分析人员面部图像,得到对应的候选攻击图像;

24、利用人脸识别模型获取各候选攻击图像与所述单张目标人员面部图像的特征表征,并根据所述特征表征计算对应的特征相似度;

25、依次将各特征相似度与当前最高特征相似度进行比较,并根据比较结果更新所述当前最高特征相似度及其对应的候选区域图像;

26、将全部候选区域图像比较完成后保存的候选区域图像确定为所述目标面部最优区域图像。

27、进一步地,根据所述先验图像和所述目标面部最优区域图像,利用生成模型生成融合对抗补丁,包括:

28、将所述先验图像与所述目标面部最优区域图像在颜色通道进行拼接,得到拼接张量;

29、将所述拼接张量输入基于u-net网络架构的生成模型,得到对抗图像;

30、对所述对抗图像与所述目标面部最优区域图像进行归一化像素融合,得到所述融合对抗补丁。

31、进一步地,对所述融合对抗补丁进行物理模拟,得到模拟对抗补丁,并将所述模拟对抗补丁与所述单张分析人员面部图像组合,得到攻击图像,包括:

32、对所述融合对抗补丁进行随机缩放、随机坐标偏移和饱和度映射,得到所述模拟对抗补丁;

33、利用掩膜图像遮罩所述模拟对抗补丁,并将遮罩后的模拟对抗补丁与所述单张分析人员面部图像组合,得到所述攻击图像。

34、进一步地,根据所述攻击图像和所述单张目标人员面部图像,利用元训练模型和元测试模型对所述生成模型进行元学习训练,得到优化生成模型,包括:

35、根据元训练模型分别对所述单张目标人员面部图像和所述攻击图像提取的特征表征计算元训练损失,并根据所述元训练损失对所述生成模型的参数进行梯度更新,得到临时模型参数;

36、根据所述临时模型参数和元测试模型计算元测试损失;

37、根据所述元训练损失、所述元测试损失、所述攻击图像和所述单张分析人员面部图像构造总损失函数,并根据所述总损失函数优化所述生成模型,得到所述优化生成模型。

38、进一步地,根据所述元训练损失、所述元测试损失、所述攻击图像和所述单张分析人员面部图像构造总损失函数,并根据所述总损失函数优化所述生成模型,得到所述优化生成模型,包括:

39、根据所述元训练损失和所述元测试损失确定对抗目标损失;

40、根据所述攻击图像与所述单张分析人员面部图像在掩膜区域内的二维空间梯度差异计算梯度损失;

41、根据所述攻击图像中相邻像素的取值差异计算全变差损失;

42、根据所述对抗目标损失、所述梯度损失和所述全变差损失构造所述总损失函数,并根据所述总损失函数迭代优化所述生成模型,得到所述优化生成模型。

43、进一步地,根据所述先验图像和所述目标面部最优区域图像,利用所述优化生成模型生成最优对抗补丁,并将所述最优对抗补丁制作为物理对抗样本,包括:

44、将所述先验图像和所述目标面部最优区域图像输入所述优化生成模型,得到优化对抗图像;

45、将所述优化对抗图像与所述目标面部最优区域图像进行像素融合,得到所述最优对抗补丁;

46、对所述最优对抗补丁进行亮度校正和分辨率调整,得到待输出补丁图像;

47、利用打印介质输出所述待输出补丁图像,得到所述物理对抗样本。

48、一种基于元学习的人脸识别物理对抗补丁生成系统,包括:

49、目标区域确定模块,用于根据预先获取的单张分析人员面部图像的面部关键点确定目标区域,并从所述目标区域获取先验图像;

50、最优区域确定模块,用于根据预先获取的单张目标人员面部图像的面部关键点,在所述单张目标人员面部图像中确定多个候选区域,并根据各候选区域与所述单张分析人员面部图像组合后的图像和所述单张目标人员面部图像之间的特征相似度,确定目标面部最优区域图像;

51、对抗补丁生成模块,用于根据所述先验图像和所述目标面部最优区域图像,利用生成模型生成融合对抗补丁;

52、物理模拟模块,用于对所述融合对抗补丁进行物理模拟,得到模拟对抗补丁,并将所述模拟对抗补丁与所述单张分析人员面部图像组合,得到攻击图像;

53、模型训练模块,用于根据所述攻击图像和所述单张目标人员面部图像,利用元训练模型和元测试模型对所述生成模型进行元学习训练,得到优化生成模型;

54、物理样本生成模块,用于根据所述先验图像和所述目标面部最优区域图像,利用所述优化生成模型生成最优对抗补丁,并将所述最优对抗补丁制作为物理对抗样本。

55、与现有技术相比,本发明取得了如下有益效果。

56、1. 本发明通过建立元学习训练机制,将白盒模型划分为元训练和元测试模型,模拟对抗补丁迁移至未知模型时的攻击效果,并引入对抗目标损失、梯度损失和全变差损失进行联合优化,在惩罚过拟合的同时最大化了攻击图像在多模型间的相似度表征,有效解决了黑盒条件下由于目标模型未知导致的迁移性差的问题,显著提升了对抗补丁对未知人脸识别设备的泛化性能。

57、2. 本发明通过对抗补丁物理模拟步骤,在数字生成阶段引入随机缩放、坐标偏移和饱和度映射等物理退化因素,增强了补丁对打印失真、光照变化及成像噪声的耐受度,配合全变差损失对图像平滑度的约束,保证了对抗补丁在数字态向物理实体转化过程中的稳定性,从而实现了在真实物理环境下高成功率且可稳定复现的身份干扰。

58、3. 本发明采用目标区域定位与目标面部最优区域识别相结合的策略,利用关键点检测模型实现分析人员面部的自动化定位以及目标人员面部高贡献度区域的滑动搜索筛选,实现了补丁位置的自适应调整,解决了物理对抗场景中补丁张贴位置与面部特征不匹配导致的攻击失效问题,提升了对抗补丁的实用性。

59、4. 本发明基于u-net架构的生成网络,将分析人员的先验图像与目标人员的最优区域图像进行通道拼接后输入模型,并采用像素融合技术生成兼具平滑性与语义特征的对抗补丁,在保证攻击强度的同时,使补丁在视觉上更具平滑度且空间梯度差异更小,增强了对抗样本在物理现实中的隐蔽性。

60、5. 本发明构建了从数字态生成、元学习优化到物理态部署的闭环流程,通过将优化后的模型参数固化并进行物理化处理,将复杂的对抗分析转化为可操作的物理对抗样本,极大地降低了在黑盒环境下对特定人员实施身份安全性评估的门槛,为提升人脸识别设备的鲁棒性防御提供了高效的评估工具。