人脸识别攻击检测系统、方法、电子设备及存储介质

1.本技术涉及人脸识别攻击检测，尤其涉及人脸识别攻击检测系统、方法、电子设备及存储介质，属于人脸识别攻击检测技术领域。


背景技术：

2.人脸识别作为一种方便且精度高的识别技术，在国内外都属于研究和应用热点。从20世纪末，随着特征脸方法的应用，人脸识别技术的研究便开始流行。21世纪初，基于局部特征的人脸识别技术开始进入商用。同时，随着深度学习的飞速发展，基于深度学习的人脸识别技术不断更新与发展，并成为主流。如今，这项技术被广泛运用于各种生活环境与生产环境，为人们的生活带来便利。
3.随着人脸识别技术的广泛运用，针对检测人脸识别攻击层出不穷，一种通过挖掘人脸识别中的漏洞来实现的攻击的研究也在国内外受到关注。对于人脸识别攻击的检测，常见的方式是运用人脸活体检测技术。人脸活体检测技术主要分为基于经验手工特征的方法和基于深度学习的方法。基于手工经验的方法依赖设计特征，无法更加完整地获取人脸的相关信息。同时，随着深度学习的发展，基于深度学习的方法飞速发展，同时在不同数据集和现实环境中受到认可。
4.公开号为cn108647650a的专利提出了一种基于角膜反射和光学编码的人脸活体检测方法及系统，通过光学编码方式将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化；通过提取角膜图像的亮暗信息得到角膜反射信息，再通过信息比对实现人脸活体检测。
5.上述方法虽然通过人脸活体检测来防御人脸识别攻击，但该方法性能提升空间较低，没有考虑到敏感生物信息的数据安全和隐私保护问题。


技术实现要素：

6.在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.鉴于此，为解决现有技术中存在的性能提升空间较低，没有考虑到敏感生物信息的数据安全和隐私保护问题，本发明提供人脸识别攻击检测系统、方法、电子设备及存储介质。
8.方案一、人脸识别攻击检测系统，包括，物联网设备模块、边缘计算模块、深度集成学习模块和web应用模块；
9.所述深度集成学习模块部署在边缘计算模块上，所述边缘计算模块部署在物联网设备模块上；所述物联网设备与web应用模块通信连接；
10.所述深度集成学习模块包括深度学习模块1、深度学习模块2和深度学习模块3；
11.所述深度学习模块1、深度学习模块2和深度学习模块3均包括inception模块、cbam注意力机制模块和多层感知机；所述inception模块、cbam注意力机制模块和多层感知机顺序连接；
12.所述深度学习模块1、深度学习模块2和深度学习模块3中的每个inception模块不同；
13.将学习模块1、深度学习模块2和深度学习模块3以stacking的方式组成集成模型。
14.所述物联网设备模块用于使操作系统和硬件设备进行交互，在确保边缘计算模块功能实现的同时，解决获取数据和设备正常运行两个问题。
15.所述边缘计算模块用于将物联网设备模块收集到的数据利用深度集成学习模块进行实时推断并将相关信息与服务器进行通信，同时不使人脸等隐私数据离开设备。
16.所述深度集成学习模块用于提供人脸识别攻击检测的核心算法，便于下一阶段的开发。
17.所述web应用模块用于展示与统计一个以及多个物联网设备模块对于人脸识别攻击的识别数据。通过数据分析统计有效地对于人脸识别攻击检测发生的时间、地点、ip以及结果进行统计，并且针对所有物理网设备和单个物联网设备都有相应的统计策略。
18.优选的，所述深度学习模块1中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层和1*1卷积核；所述第二层卷积层包括3*3卷积核、1*1卷积核和7*7卷积核；所述第三层拼接层；
19.深度学习模块2中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层、1*1卷积核和1*1卷积核；所述第二层卷积层包括3*3卷积核、1*1卷积核和5*5卷积核；所述第三层拼接层；
20.深度学习模块3中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层、1*1卷积核和1*1卷积核；所述第二层卷积层包括7*7卷积核、1*1卷积核和5*5卷积核；所述第三层拼接层；
21.方案二、人脸识别攻击检测方法，包括以下步骤：
22.s1.获取正常人脸图片和人脸识别攻击图片，构建数据集；
23.s2.将正常人脸图片和人脸识别攻击图片进行数据增强，扩增数据集，模拟正常人脸和打印照片攻击在复杂光照下的图像特征；
24.s3.将增强后的正常人脸图片和人脸识别攻击图片输入至方案一所述深度集成学习模块，进行模型训练；
25.s4.将训练后的部署在边缘计算模块，并将边缘计算模块模块上，实时人脸识别攻击检测；
26.s5.将人脸识别攻击检测结果与物联网设备相关信息传输到物联网设备上的通信模块，通过tcp方式发送至服务器进行保存，经过检测后的人脸信息丢弃，检测结束。
27.方案三、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案二所述的人脸识别攻击检测方法的步骤。
28.方案四、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案二所述的人脸识别攻击检测方法。
29.本发明的有益效果如下：本发明通过将深度学习模型部署在树莓派上，实现设备
侧深度学习的边缘计算，使人脸信息这一敏感数据不离开设备，有效地确保了数据安全和隐私安全。同时，深度学习模型运用cbam空间通道注意力机制、inception模块特征融合以及stacking集成学习方法，将深度学习与传统集成学习的方法相结合，使模型对于人脸识别攻击有效地检测，解决了现有技术中存在的性能提升空间较低，没有考虑到敏感生物信息的数据安全和隐私保护问题。
附图说明
30.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
31.图1为人脸识别攻击检测系统结构示意图；
32.图2为深度集成学习模块结构示意图；
33.图3为深度学习模块1的inception模块结构示意图；
34.图4为深度学习模块2的inception模块结构示意图；
35.图5为深度学习模块3的inception模块的结构示意图；
36.图6为集成模型结构示意图；
37.图7为人脸识别攻击检测方法流程示意图。
具体实施方式
38.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
39.实施例1、参照图1-图6说明本实施方式，人脸识别攻击检测系统，包括，物联网设备模块、边缘计算模块、深度集成学习模块和web应用模块；
40.所述物联网设备模块用于使操作系统和硬件设备进行交互，在确保边缘计算模块功能实现的同时，解决获取数据和设备正常运行两个问题。
41.所述边缘计算模块用于将物联网设备模块收集到的数据利用深度集成学习模块进行实时推断并将相关信息与服务器进行通信，同时不使人脸等隐私数据离开设备。
42.所述深度集成学习模块用于提供人脸识别攻击检测的核心算法，便于下一阶段的开发。
43.所述web应用模块用于展示与统计一个以及多个物联网设备模块对于人脸识别攻击的识别数据。通过数据分析统计有效地对于人脸识别攻击检测发生的时间、地点、ip以及结果进行统计，并且针对所有物理网设备和单个物联网设备都有相应的统计策略。
44.所述深度集成学习模块部署在边缘计算模块上，所述边缘计算模块部署在物联网设备模块上；所述物联网设备与web应用模块通信连接；
45.所述深度集成学习模块包括深度学习模块1、深度学习模块2和深度学习模块3；参照图2，深度集成学习模块结构示意图。
46.所述深度学习模块1、深度学习模块2和深度学习模块3均包括inception模块、cbam注意力机制模块和多层感知机；所述inception模块、cbam注意力机制模块和多层感知
机顺序连接；参照图3-图5，深度学习模块1、深度学习模块2和深度学习模块3的inception模块结构示意图。
47.所述深度学习模块1、深度学习模块2和深度学习模块3中的每个inception模块不同；
48.cbam注意力机制模块：
49.cbam注意力机制模块是一种轻量级的注意力模块，通过将跨通道信息和空间信息混合在一起来提取信息特征的，通过注意力机制来增加网络的表征力，σ表示sigmoid函数,同时注意，mlp权重w0和w1对于两个输入都是共享的，relu激活函数后面跟着w0。f7×7表示一次带有7
×
7卷积核的卷积运算。具体公式如下：
[0050][0051][0052]
inception模块：
[0053]
inception模块代替人工确定卷积层中的卷积核类型，通过多种卷积层和池化层的组合多尺度地学习数据的特征，从而实现特征融合。inception模块结构复杂但效果优异。
[0054]
将学习模块1、深度学习模块2和深度学习模块3以stacking的方式组成集成模型，参照图6，集成模型结构示意图。
[0055]
stacking集成学习方法：
[0056]
将不同的模型进行集成，首先，有t个不同模型，根据数据，各自独立训练，每个模型输出结果为ht，其中t＝1,2,3...t；其次，根据每个模型预测，创建新的训练集，训练集的数据(x)是预测结果，y是实际结果；最后，训练元分类器，各个预测中再生成最后预测。
[0057]
模型的评估指标一般为准确率(accuracy)，精确率(precious)，召回率(recall)以及f1分数，其中真正类(tp)指的是被正确分类出的正例数量；假负类(fn)指的是把正例错误分类成负例的数量；假正类(fp)代表将负例错误分类为正例的数量；真负类(tn)指的是正确的分类为负例的数量。
[0058]
基于以上假设，可知准确率为预测正确的结果占总样本的比例，公式如下：
[0059][0060]
精确率为在被预测为正样本的结果中实际为正样本的比例，公式如下：
[0061][0062]
召回率为在实际为正的样本中被预测为正样本的比例，公式如下：
[0063][0064]
f1分数则是同时考虑精确率和召回率所得到的值，公式如下：
[0065][0066]
所述深度学习模块1中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层和1*1卷积核；所述第二层卷积层包括3*3卷积核、1*1卷积核和7*7卷积核；所述第三层拼接层；
[0067]
深度学习模块2中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层、1*1卷积核和1*1卷积核；所述第二层卷积层包括3*3卷积核、1*1卷积核和5*5卷积核；所述第三层拼接层；
[0068]
深度学习模块3中inception模块包括第一层卷积层、第二层卷积层和第三层拼接层；所述第一层卷积层包括1*1卷积核、最大池化层、1*1卷积核和1*1卷积核；所述第二层卷积层包括7*7卷积核、1*1卷积核和5*5卷积核；所述第三层拼接层；
[0069]
本实施例以边缘计算的方式将深度学习模块进行部署和运行。边缘计算模块由数据获取模块，部署在物联网设备上的深度学习模块与通信模块组成，同时，部署在服务器上的接收模块、分析模块以及web应用展示模块与边缘计算模块相互协作。
[0070]
实施例2、参照图7说明本实施方式，人脸识别攻击检测方法，包括以下步骤：
[0071]
s1.获取正常人脸图片和人脸识别攻击图片，构建数据集；
[0072]
s2.将正常人脸图片和人脸识别攻击图片进行数据增强，扩增数据集，模拟正常人脸和打印照片攻击在复杂光照下的图像特征；
[0073]
所述数据增强通过对于数据进行几何变换等多种增强方式来扩增数据，可加强模型的泛化程度，使模型在复杂现实环境中正常完成检测任务，本实施例所述方法包括以下步骤：
[0074]
s21.随机水平翻转输入；
[0075]
s22.随机垂直翻转输入；
[0076]
s23.图片填充，图片填充的方式由最接近的像素点决定；
[0077]
s24.随机缩放的最大值为0.3；
[0078]
s25.图像水平移动的最大幅度为图片总宽度的0.3；
[0079]
s26.图像竖直移动的最大幅度为图片总高度的0.3；
[0080]
s27.随机旋转的度数范围为30。
[0081]
s3.将增强后的正常人脸图片和人脸识别攻击图片输入至所述深度集成学习模块，进行模型训练；
[0082]
s4.将训练后的深度集成学习模块部署在边缘计算模块，并将边缘计算模块部署在物联网设备模块上，实时人脸识别攻击检测；
[0083]
s5.将人脸识别攻击检测结果与物联网设备相关信息传输到物联网设备上的通信模块，通过tcp方式发送至服务器进行保存，经过检测后的人脸信息丢弃，检测结束。
[0084]
实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于creo软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
[0085]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路
(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0086]
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0087]
实施例4、计算机可读存储介质实施例
[0088]
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于creo软件的可修改由关系驱动的建模数据的建模方法的步骤。
[0089]
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0090]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。