一种人脸识别方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种人脸识别方法和装置。


背景技术：

2.随着人工智能技术的发展，目标检测识别模型已经应用于实际生活的多个场景中。与此同时，攻击者通过对抗攻击技术，对检测识别对象进行逃逸攻击或顶替攻击，可以骗过检测，让检测识别模型做出错误的判断，使得目标检测识别模型的安全性受到较大的威胁。如何对针对目标检测识别模型，尤其是人脸识别模型的对抗攻击进行有效的防御，提高识别模型的安全性和准确率，是当前亟需解决的问题。
3.现有技术中至少存在如下问题：
4.现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御。面对真实场景下，尤其是针对人脸识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差。


技术实现要素：

5.有鉴于此，本发明实施例提供一种人脸识别方法和装置，能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种人脸识别方法，包括：
7.获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；
8.对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；
9.将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
10.进一步地，在获取待识别人脸图像的步骤之前，方法还包括：
11.获取多个人脸图像；
12.利用对抗样本生成模型生成多个对抗样本，将对抗样本添加至人脸图像中，得到多个带有对抗样本的人脸图像；
13.将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据；
14.根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型；其中，对抗样本检测模型用于识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
15.进一步地，根据多个训练样本数据和损失函数，训练并优化训练对抗样本检测模型的步骤，包括：
16.将训练样本数据输入至对抗样本检测模型中进行图像特征提取、多尺度融合处理和卷积处理，结合损失函数确定检测值；其中检测值指示了是否存在对抗样本以及对抗样本对应的样本区域；
17.基于实际值和检测值进行反向传播，以实现训练并优化对抗样本检测模型。
18.进一步地，在将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤之前，方法还包括：
19.对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理。
20.进一步地，将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤，包括：
21.将人脸图像和带有对抗样本的人脸图像调整至相同的尺寸，得到初始样本集合；
22.从初始样本集合中随机选取多张图像进行拼图处理，得到训练样本数据，并将对抗样本的坐标位置进行转换处理，确定对抗样本在训练样本数据中的坐标位置。
23.进一步地，在获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型的步骤之后，方法还包括：
24.判断待识别人脸图像中是否存在对抗样本；
25.在待识别人脸图像中不存在对抗样本的情况下，将待识别人脸图像输入至人脸识别模型，进行人脸识别处理。
26.根据本发明实施例的又一个方面，提供了一种人脸识别装置，包括：
27.获取模块，用于获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；
28.目标人脸图像确定模块，用于对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；
29.人脸识别模块，用于将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
30.进一步地，还包括模型训练及优化模块，在获取待识别人脸图像的步骤之前，模型训练及优化模块用于：
31.获取多个人脸图像；
32.利用对抗样本生成模型生成多个对抗样本，将对抗样本添加至人脸图像中，得到多个带有对抗样本的人脸图像；
33.将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据；
34.根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型；其中，对抗样本检测模型用于识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
35.根据本发明实施例的另一个方面，提供了一种人脸识别的电子设备，包括：
36.一个或多个处理器；
37.存储装置，用于存储一个或多个程序，
38.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一种人脸识别方法。
39.根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一种人脸识别方法。
40.上述发明中的一个实施例具有如下优点或有益效果：因为采用获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人脸识别处理的技术手段，所以克服了现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御，面对真实场景下，尤其是针对人脸
识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差的技术问题，进而达到能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验的技术效果。
41.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
42.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
43.图1是根据本发明一个实施例提供的人脸识别方法的主要流程的示意图；
44.图2是根据本发明另一个实施例提供的人脸识别方法的主要流程的示意图；
45.图3是根据本发明实施例提供的人脸识别装置的主要模块的示意图；
46.图4是本发明实施例可以应用于其中的示例性系统架构图；
47.图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
48.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
49.图1是根据本发明一个实施例提供的人脸识别方法的主要流程的示意图；如图1所示，本发明实施例提供的人脸识别方法主要包括：
50.步骤s101，获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域。
51.具体地，由于针对人脸识别模型的对抗攻击，主要是在待识别人脸图像中添加对抗样本，因此，在利用人脸识别模型进行人脸识别处理之前，先通过对抗样本检测模型确定待识别人脸图像中的对抗样本以及对抗样本对应的样本区域，以便于后续将相应样本区域内的对抗样本进行清除，再执行人脸识别处理，能够有效提高人脸识别模型的安全性和准确率。
52.进一步地，根据本发明实施例，在获取待识别人脸图像的步骤之前，上述方法还包括：
53.获取多个人脸图像；
54.利用对抗样本生成模型生成多个对抗样本，将对抗样本添加至人脸图像中，得到多个带有对抗样本的人脸图像；
55.将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据；
56.根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型；其中，对抗样本检测模型用于识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
57.具体地，根据本发明实施例的具体实施方式，可从公开的人脸数据集中获取多个不用角度、不同编号(人脸用户编号)的人脸数据作为原始人脸图像，再利用对抗样本生成
模型生成对抗样本，其中，对抗样本可以为其他人脸图像中剪切下来的部分区域，可以为空白贴条等。通过stn(spatial transformer networks，空间仿射变换网络)将对抗样本进行形变后，添加到原始人脸图像中，即可得到带对抗样本的人脸图像。将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据，进而根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型。
58.由于在训练对抗样本检测模型时，优化的损失函数是对每一张输入的图像(即训练样本数据)进行单独计算的，因此如果直接将原始人脸图像(不包括对抗样本的人脸图像)和带对抗样本的人脸图像直接输入模型中进行训练，那么只会分别在原始人脸图像和带对抗样本的人脸图像上进行计算损失函数，上述方式训练出来的模型只能学会如何去做定位，但无法区分所定位的区域是否为对抗样本，因此训练时会针对原始人脸图像和带对抗样本的人脸图像分别输出检测框，使得模型无效。这是因为在训练过程中，对于带有对抗样本的人脸图像，模型只能识别出对抗贴条，但无法识别出非对抗贴条区域的真实人脸图像。
59.通过上述设置，将人脸图像与带有对抗样本的人脸图像进行拼图处理，就是随机地将一些带对抗样本的人脸图像和不带对抗样本的人脸图像(原始人脸图像)进行拼接，作为训练样本数据，使得同一个训练样本数据中既包括人脸图像，又包括带对抗样本的人脸图像，保证了在训练过程中计算损失时，对于单个输入样本，对抗样本检测模型既能检测到带对抗样本的人脸图像又能检测到原始人脸图像，使其可以区分所检测出来的区域是否为对抗样本，进而为后续将对抗样本对应的样本区域进行清除提供支持，避免对后续人脸识别的影响，提高人脸识别的准确率。
60.根据本发明实施例的另一实施方式，还可以直接在真实场景下获取带对抗样本的人脸图像，例如，由实际的用户在面部佩戴(或贴附)对抗样本，进行不同角度拍摄，即可得到带对抗样本的人脸图像。
61.优选地，根据本发明实施例，上述根据多个训练样本数据和损失函数，训练并优化训练对抗样本检测模型的步骤，包括：
62.将训练样本数据输入至对抗样本检测模型中进行图像特征提取、多尺度融合处理和卷积处理，结合损失函数确定检测值；其中检测值指示了是否存在对抗样本以及对抗样本对应的样本区域；
63.基于实际值和检测值进行反向传播，以实现训练并优化对抗样本检测模型。
64.具体地，根据本发明实施例，对抗样本检测模型可选取现有技术中的目标检测模型，如retinanet模型(一个单阶段的目标检测模型)，输入训练样本数据，结合损失函数，对模型进行训练和优化，使得对抗样本数据能够有效识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
65.可选地，根据本发明实施例，在将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤之前，方法还包括：
66.对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理。
67.示例性地，数据增强处理主要包括：对图像进行随机水平翻转、随机平移、随机颜色变化等方式，通过对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理，有助于增加训练数据的多样性，进而提升模型的泛化能力。
68.进一步地，根据本发明实施例，上述将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤，包括：
69.将人脸图像和带有对抗样本的人脸图像调整至相同的尺寸，得到初始样本集合；
70.从初始样本集合中随机选取多张图像进行拼图处理，得到训练样本数据，并将对抗样本的坐标位置进行转换处理，确定对抗样本在训练样本数据中的坐标位置。
71.其中，上述图像尺寸是指训练样本数据中每张人脸图像的宽和高，训练数据的尺寸是固定的，具体取值根据后续人脸识别模型来决定。坐标位置指示了对抗样本在图像中的坐标，由于拼图后，坐标原点发生变化，因此将对抗样本的坐标位置进行转换，以对应其在训练样本数据中的实际坐标。
72.步骤s102，对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像。
73.具体地，根据本发明实施例，可将待识别人脸图像中对抗样本对应的样本区域进行涂白，以清除待识别人脸图像中的对抗样本，以避免后续进行人脸识别时，对抗样本对人脸识别造成影响。
74.步骤s103，将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
75.根据本发明实施例，利用上述对抗样本检测模型确定待识别图像中的对抗样本，并将对抗样本清除得到目标人脸图像后，可直接输入至人脸识别模型中进行处理，由于已经去除了对抗样本，故而有效规避了针对人脸识别的对抗攻击，提高了人脸识别模型的安全性和准确率，提升了用户体验。
76.进一步地，根据本发明实施例，在获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型的步骤之后，上述方法还包括：
77.判断待识别人脸图像中是否存在对抗样本；
78.在待识别人脸图像中不存在对抗样本的情况下，将待识别人脸图像输入至人脸识别模型，进行人脸识别处理。
79.若经过对抗样本检测模型检测发现待识别人脸图像中并不存在对抗样本，根据本发明实施例，可直接将待识别人脸图像输入至人脸识别模型中进行处理。
80.根据本发明实施例的技术方案，因为采用获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人脸识别处理的技术手段，所以克服了现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御，面对真实场景下，尤其是针对人脸识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差的技术问题，进而达到能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验的技术效果。
81.图2是根据本发明另一个实施例提供的人脸识别方法的主要流程的示意图；如图2所示，本发明实施例提供的人脸识别方法主要包括：
82.步骤s201，获取多个人脸图像；并利用对抗样本生成模型生成多个对抗样本，将对抗样本添加至人脸图像中，得到多个带有对抗样本的人脸图像。
83.具体地，根据本发明实施例的具体实施方式，可从公开的人脸数据集中获取多个不用角度、不同编号(人脸用户编号)的人脸数据作为原始人脸图像，再利用对抗样本生成
模型生成对抗样本，其中，对抗样本可以为其他人脸图像中剪切下来的部分区域，可以为空白贴条等。
84.根据本发明实施例的另一实施方式，还可以直接在真实场景下获取带对抗样本的人脸图像，例如，由实际的用户在面部佩戴(或贴附)对抗样本，进行不同角度拍摄，即可得到带对抗样本的人脸图像。
85.可选地，根据本发明实施例，在将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤之前，方法还包括：
86.对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理。
87.示例性地，数据增强处理主要包括：对图像进行随机水平翻转、随机平移、随机颜色变化等方式，通过对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理，有助于增加训练数据的多样性，进而提升模型的泛化能力。
88.步骤s202，将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据。
89.进一步地，根据本发明实施例，上述将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤，包括：
90.将人脸图像和带有对抗样本的人脸图像调整至相同的尺寸，得到初始样本集合；
91.从初始样本集合中随机选取多张图像进行拼图处理，得到训练样本数据，并将对抗样本的坐标位置进行转换处理，确定对抗样本在训练样本数据中的坐标位置。
92.其中，上述图像尺寸是指训练样本数据中每张人脸图像的宽和高，训练数据的尺寸是固定的，具体取值根据后续人脸识别模型来决定。坐标位置指示了对抗样本在图像中的坐标，由于拼图后，坐标原点发生变化，因此将对抗样本的坐标位置进行转换，以对应其在训练样本数据中的实际坐标。
93.由于在训练对抗样本检测模型时，优化的损失函数是对每一张输入的图像(即训练样本数据)进行单独计算的，因此如果直接将原始人脸图像(不包括对抗样本的人脸图像)和带对抗样本的人脸图像直接输入模型中进行训练，那么只会分别在原始人脸图像和带对抗样本的人脸图像上进行计算损失函数，上述方式训练出来的模型只能学会如何去做定位，但无法区分所定位的区域是否为对抗样本，因此训练时会针对原始人脸图像和带对抗样本的人脸图像分别输出检测框，使得模型无效。这是因为在训练过程中，对于带有对抗样本的人脸图像，模型只能识别出对抗贴条，但无法识别出非对抗贴条区域的真实人脸图像。
94.具体地，可通过stn(spatial transformer networks，空间仿射变换网络)将对抗样本进行形变后，添加到原始人脸图像中，即可得到带对抗样本的人脸图像。将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据，进而根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型。通过上述设置，将人脸图像与带有对抗样本的人脸图像进行拼图处理，就是随机地将一些带对抗样本的人脸图像和不带对抗样本的人脸图像(原始人脸图像)进行拼接，作为训练样本数据，使得同一个训练样本数据中既包括人脸图像，又包括带对抗样本的人脸图像，保证了在训练过程中计算损失时，对于单个输入样本，对抗样本检测模型既能检测到带对抗样本的人脸图像又能检测到原始人脸图像，使其可以区分所检测出来的区域是否为对抗样本，进而为后续将对抗样本对应的样本区域
进行清除提供支持，避免对后续人脸识别的影响，提高人脸识别的准确率。
95.步骤s203，将训练样本数据输入至对抗样本检测模型中进行图像特征提取、多尺度融合处理和卷积处理，结合损失函数确定检测值；其中检测值指示了是否存在对抗样本以及对抗样本对应的样本区域；基于实际值和检测值进行反向传播，以实现训练并优化对抗样本检测模型。
96.具体地，根据本发明实施例，对抗样本检测模型可选取现有技术中的目标检测模型，如retinanet模型(一个单阶段的目标检测模型)，输入训练样本数据，结合损失函数，对模型进行训练和优化，使得对抗样本数据能够有效识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
97.根据本发明实施例的提供了一个训练并优化对抗样本检测模型的具体实施方式(需要说明的是，具体实施方式中的数值仅为示例，并不作为对本技术的限定，数值指示的图像尺寸是指训练样本数据每张人脸图像的宽和高，训练样本数据的尺寸是固定的，具体取值是根据后面人脸识别模型来决定的)：
98.首选，确定训练样本数据，在确定好原始人脸图像和带对抗样本的人脸图像后，将两者均调整至120
×
120的尺寸(长度、宽度)，再随机选取四张图像(既包括原始人脸图像，也包括带对抗样本的人脸图像)拼接成240
×
240的训练样本图像；
99.其次，进行特征提取处理，选取retinanet模型作为对抗样本检测模型，使用轻量的mobilenet作为主干网络模型，将尺寸为240
×
240
×
3(其中3表示特征图的通道数)的输入数据送入到主干网络模型中进行特征提取，在模型的不同阶段，分别得到三个不同大小的特征图p1(30
×
30
×
128)、p2(16
×
16
×
256)、p3(8
×8×
512)；接着，分别使用三个1
×
1的卷积层对三个尺寸的特征图的通道数进行变换，将通道数均调整至64，得到p1'(30
×
30
×
64)、p2'(16
×
16
×
64)、p3'(8
×8×
64)。
100.然后，进行多尺度融合处理，特征图p3'的尺寸最小可不去其他特征图进行融合，直接送入上下文模块进行卷积处理；将特征图p2'与特征图p3'进行融合，具体操作为：先将p3'(8
×8×
64)的大小维度通过上采样调整至16
×
16
×
64后，直接与p2'(16
×
16
×
64)对应位置进行相加操作，得到融合后的p2”(16
×
16
×
64)输入至上下文模块进行卷积处理(执行多尺度融合的特征图的图像尺寸并未改变，直接在其中添加了其他特征图的特征)；同理，将p1'也进行多尺度融合处理得到c1”。
101.然后，将多尺度融合处理后的特征图输入至上下文模块，其中，上下文模块由数个卷积核尺寸更大(如5
×
5)的卷积层组成，且保证输出的特征图尺寸不变原则，目的是通过扩大感受视野以引入更多上下文信息。
102.最后，结合损失函数确定的检测值与实际值来对模型进行反向传播，进一步优化。其中，检测值指示了是否存在对抗样本以及对抗样本对应的样本区域。实际值指示了人脸图像中是否存在对抗样本以及对抗样本的实际坐标位置。
103.本发明实施例，还提供了确定对抗样本检测模型的损失函数的具体实施方式：
104.损失函数包含回归框位置损失函数以及回归框分类损失函数，在计算损失函数前，需要对上下文模块输出的通道数进行调整。以p2”为例，p2”的特征图尺寸为16
×
16
×
64，经过上下文模块后仍为16
×
105.16
×
64，为了计算回归框位置损失，需要通过检测头(一个1
×
1的卷积操作)，将特
征图尺寸变为16
×
16
×
4，其中通道维度是4，分别代表回归框的位置信息；同样为了计算回归框分类损失，需要通过分类头(一个1
×
1的卷积操作)，将特征图尺寸变为16
×
16
×
2，其中通道维度是2，分别代表回归框的分类信息(该区域是对抗样本或者不是对抗样本)。最终的损失函数为带权重的回归框位置损失函数与回归框分类损失函数相加得到：
[0106][0107]
其中，i代表回归框的索引，pi代表这个回归框是否是对抗样本的概率，是该回归框的标签，1代表对抗样本，0代表不是对抗样本。ti是回归框的位置信息，是对抗样本回归框的位置信息。l
cls
使用的是两类(对抗样本和非对抗样本)的softmax损失函数，l
reg
使用的是smooth l1损失函数，与相乘，保证只对对抗样本回归框计算位置损失函数。λ用来权衡回归框位置损失函数与回归框分类损失函数。
[0108]
本发明通过步骤s201至步骤s203训练得到的对抗样本检测模型，具有轻量化、对于对抗攻击的防御成功率高、鲁棒性强的特点，同时具备即插即用的特性，可以附加在任何人脸识别模型中，达到有效检测真实场景下对抗样本的目的，从而防御针对人脸识别模型的身份冒充与顶替的攻击，保证人脸识别系统的安全性，实用性较强。
[0109]
步骤s204，获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，判断是否存在对抗样本。若是，即待识别人脸图像中存在对抗样本，执行步骤s205；若否，即待识别人脸图像中不存在对抗样本，转到步骤s207。
[0110]
具体地，由于针对人脸识别模型的对抗攻击，主要是在待识别人脸图像中添加对抗样本，因此，在利用人脸识别模型进行人脸识别处理之前，先通过对抗样本检测模型确定待识别人脸图像中的对抗样本以及对抗样本对应的样本区域，以便于后续将相应样本区域内的对抗样本进行清除，再执行人脸识别处理，能够有效提高人脸识别模型的安全性和准确率。
[0111]
步骤s205，对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像。
[0112]
具体地，根据本发明实施例，可将待识别人脸图像中对抗样本对应的样本区域进行涂白，以清除待识别人脸图像中的对抗样本，以避免后续进行人脸识别时，对抗样本对人脸识别造成影响。
[0113]
步骤s206，将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
[0114]
根据本发明实施例，利用上述对抗样本检测模型确定待识别图像中的对抗样本，并将对抗样本清除得到目标人脸图像后，可直接输入至人脸识别模型中进行处理，由于已经去除了对抗样本，故而有效规避了针对人脸识别的对抗攻击，提高了人脸识别模型的安全性和准确率，提升了用户体验。
[0115]
步骤s207，将不存在对抗样本的待识别人脸图像直接输入至人脸识别模型，进行人脸识别处理。
[0116]
根据本发明实施例的技术方案，因为采用获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人
脸识别处理的技术手段，所以克服了现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御，面对真实场景下，尤其是针对人脸识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差的技术问题，进而达到能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验的技术效果。
[0117]
图3是根据本发明实施例提供的人脸识别装置的主要模块的示意图；如图3所示，本发明实施例提供的人脸识别装置300主要包括：
[0118]
获取模块301，用于获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域。
[0119]
具体地，由于针对人脸识别模型的对抗攻击，主要是在待识别人脸图像中添加对抗样本，因此，在利用人脸识别模型进行人脸识别处理之前，先通过对抗样本检测模型确定待识别人脸图像中的对抗样本以及对抗样本对应的样本区域，以便于后续将相应样本区域内的对抗样本进行清除，再执行人脸识别处理，能够有效提高人脸识别模型的安全性和准确率。
[0120]
进一步地，上述人脸识别装置300还包括模型训练及优化模块，在获取待识别人脸图像的步骤之前，模型训练及优化模块用于：
[0121]
获取多个人脸图像；
[0122]
利用对抗样本生成模型生成多个对抗样本，将对抗样本添加至人脸图像中，得到多个带有对抗样本的人脸图像；
[0123]
将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据；
[0124]
根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型；其中，对抗样本检测模型用于识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
[0125]
具体地，根据本发明实施例的具体实施方式，可从公开的人脸数据集中获取多个不用角度、不同编号(人脸用户编号)的人脸数据作为原始人脸图像，再利用对抗样本生成模型生成对抗样本，其中，对抗样本可以为其他人脸图像中剪切下来的部分区域，还可以为空白贴条等。通过stn(spatial transformer networks，空间仿射变换网络)将对抗样本进行形变后，添加到原始人脸图像中，即可得到带对抗样本的人脸图像。将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据，进而根据多个训练样本数据和损失函数，训练并优化对抗样本检测模型。
[0126]
通过上述设置，将人脸图像与带有对抗样本的人脸图像进行拼图处理，就是随机地将一些带对抗样本的人脸图像和不带对抗样本的人脸图像(原始人脸图像)进行拼接，作为训练样本数据，使得同一个训练样本数据中既包括人脸图像，又包括带对抗样本的人脸图像，保证了在训练过程中计算损失时，对于单个输入样本，对抗样本检测模型既能检测到带对抗样本的人脸图像又能检测到原始人脸图像，使其可以区分所检测出来的区域是否为对抗样本，进而为后续将对抗样本对应的样本区域进行清除提供支持，避免对后续人脸识别的影响，提高人脸识别的准确率。
[0127]
根据本发明实施例的另一实施方式，还可以直接在真实场景下获取带对抗样本的人脸图像，例如，由实际的用户在面部佩戴(或贴附)对抗样本，进行不同角度拍摄，即可得到带对抗样本的人脸图像。
[0128]
优选地，根据本发明实施例，上述模型训练及优化模块还用于：
[0129]
将训练样本数据输入至对抗样本检测模型中进行图像特征提取、多尺度融合处理和卷积处理，结合损失函数确定检测值；其中检测值指示了是否存在对抗样本以及对抗样本对应的样本区域；
[0130]
基于实际值和检测值进行反向传播，以实现训练并优化对抗样本检测模型。
[0131]
具体地，根据本发明实施例，对抗样本检测模型可选取现有技术中的目标检测模型，如retinanet模型(一个单阶段的目标检测模型)，输入训练样本数据，结合损失函数，对模型进行训练和优化，使得对抗样本数据能够有效识别出人脸图像中的对抗样本，并确定对抗样本对应的样本区域。
[0132]
可选地，根据本发明实施例，上述人脸识别装置300还包括数据增强模块，在将人脸图像与带有对抗样本的人脸图像进行拼图处理，得到多个训练样本数据的步骤之前，数据增强模块用于：
[0133]
对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理。
[0134]
示例性地，数据增强处理主要包括：对图像进行随机水平翻转、随机平移、随机颜色变化等方式，通过对人脸图像和带有对抗样本的人脸图像分别进行数据增强处理，有助于增加训练数据的多样性，进而提升模型的泛化能力。
[0135]
进一步地，根据本发明实施例，上述模型训练及优化模块还用于：
[0136]
将人脸图像和带有对抗样本的人脸图像调整至相同的尺寸，得到初始样本集合；
[0137]
从初始样本集合中随机选取多张图像进行拼图处理，得到训练样本数据，并将对抗样本的坐标位置进行转换处理，确定对抗样本在训练样本数据中的坐标位置。
[0138]
其中，上述图像尺寸是指训练样本数据中每张人脸图像的宽和高，训练数据的尺寸是固定的，具体取值根据后续人脸识别模型来决定。坐标位置指示了对抗样本在图像中的坐标，由于拼图后，坐标原点发生变化，因此将对抗样本的坐标位置进行转换，以对应其在训练样本数据中的实际坐标。
[0139]
目标人脸图像确定模块302，用于对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像。
[0140]
具体地，根据本发明实施例，可将待识别人脸图像中对抗样本对应的样本区域进行涂白，以清除待识别人脸图像中的对抗样本，以避免后续进行人脸识别时，对抗样本对人脸识别造成影响。
[0141]
人脸识别模块303，用于将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
[0142]
根据本发明实施例，利用上述对抗样本检测模型确定待识别图像中的对抗样本，并将对抗样本清除得到目标人脸图像后，可直接输入至人脸识别模型中进行处理，由于已经去除了对抗样本，故而有效规避了针对人脸识别的对抗攻击，提高了人脸识别模型的安全性和准确率，提升了用户体验。
[0143]
进一步地，根据本发明实施例，上述人脸识别装置300还包括判断模块，在获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型的步骤之后，上述判断模块用于：
[0144]
判断待识别人脸图像中是否存在对抗样本；
[0145]
在待识别人脸图像中不存在对抗样本的情况下，将待识别人脸图像输入至人脸识别模型，进行人脸识别处理。
[0146]
若经过对抗样本检测模型检测发现待识别人脸图像中并不存在对抗样本，根据本发明实施例，可直接将待识别人脸图像输入至人脸识别模型中进行处理。
[0147]
根据本发明实施例的技术方案，因为采用获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人脸识别处理的技术手段，所以克服了现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御，面对真实场景下，尤其是针对人脸识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差的技术问题，进而达到能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验的技术效果。
[0148]
图4示出了可以应用本发明实施例的人脸识别方法或人脸识别装置的示例性系统架构400。
[0149]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405(此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整)。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0150]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如人脸识别类应用、支付类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0151]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0152]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所(进行人脸识别/进行数据处理)的服务器(仅为示例)。该服务器可以对接收到的待识别人脸图像等数据进行分析等处理，并将处理结果(例如人脸识别结果
‑‑
仅为示例)反馈给终端设备。
[0153]
需要说明的是，本发明实施例所提供的人脸识别方法一般由服务器405执行，相应地，人脸识别装置一般设置于服务器405中。
[0154]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0155]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0156]
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总
线504。
[0157]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0158]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
[0159]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0160]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0161]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包
括获取模块、目标人脸图像确定模块和人脸识别模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“用于获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域的模块”。
[0162]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人脸识别处理。
[0163]
根据本发明实施例的技术方案，因为采用获取待识别人脸图像，将待识别人脸图像输入至对抗样本检测模型中，以确定对抗样本对应的样本区域；对待识别人脸图像中的样本区域进行清除处理，得到目标人脸图像；将目标人脸图像输入至人脸识别模型，进行人脸识别处理的技术手段，所以克服了现有技术主要是针对通用物体的检测识别模型，仅仅是针对图像域层面的攻击进行防御，面对真实场景下，尤其是针对人脸识别模型的逃逸攻击和顶替攻击，难以适用，导致识别模型的准确率和安全性较低，用户体验较差的技术问题，进而达到能够有效防御针对人脸识别系统的对抗攻击，提高人脸识别模型的安全性和识别准确率，提升用户体验的技术效果。
[0164]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。