一种人脸识别系统的训练样本的生成方法及装置与流程

1.本发明涉及计算机视觉技术领域，特别是涉及一种人脸识别系统的训练样本的生成方法及装置。


背景技术：

2.人脸识别系统在日常生活中的应用越来越广泛。例如，利用人脸识别系统进行刷脸支付、上班打卡、刷脸门禁等等。
3.如果目标用户佩戴有包含对抗信息的配饰如眼睛、帽子、贴纸等，人脸识别系统的识别结果有可能将目标用户识别为其他用户。
4.目前，常见的对抗信息被做成可穿戴的配饰，如眼镜、贴纸等，当目标用户佩戴该饰品出现在摄像头中时，人脸识别系统可以将目标用户误识别为其他用户。尤其是随着近些年疫情的出现，佩戴口罩出行成为人们日常生活必不可少的一部分。对佩戴口罩用户的识别准确率也应当符合要求。
5.如果要提高人脸系统对佩戴口罩用户的识别准确率，可以对人脸识别系统的训练样本进行改进，但是，目前没有对抗样本口罩的生成方法。


技术实现要素：

6.本发明实施例的目的在于提供一种人脸识别系统的训练样本的生成方法及装置，以生成对抗样本口罩图像作为人脸识别系统的训练样本，提高人脸识别系统的识别精度。
7.本发明公开的一种人脸识别系统的训练样本的生成方法，包括：
8.采集目标用户的人脸数据图像，所述人脸数据图像为佩戴口罩的人脸图像；
9.调用图像检测器检测所述人脸数据图像中人脸的位置信息；
10.根据所述位置信息裁剪所述人脸图像中得到目标人脸图像；
11.调整所述目标人脸图像符合预设生成条件；
12.将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像。
13.在一些实施例中，还包括：
14.利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型；其中，所述干扰用户的人脸数据图像与对抗样本口罩图像的相似度小于预设阈值。
15.在一些实施例中，所述目标用户包括多个用户，所述方法还包括：
16.将不同用户的人脸图像归类到不同的文件夹，其中，每个文件夹下的图片标识相同。
17.在一些实施例中，所述预设生成条件为224*224像素。
18.在一些实施例中，所述利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型包括：
19.根据图片标识计算损失函数；
20.利用所述损失函数更新所述生成器的参数；
21.根据更新参数后的生成器所生成更新后的目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练所述预设人脸识别模型，直到所述预设人脸模型的输出值符合指定范围。
22.在一些实施例中，所述损失函数使得所述目标用户的对抗样本口罩图像与干扰用户的人脸数据图像的余弦相似度符合第一预设值，且所述目标用户的对抗样本口罩图像与所述目标用户的人脸数据图像的余弦相似度符合符合第二预设值。
23.在一些实施例中，所述生成器为采用卷积神经网络cnn构造的。
24.在一些实施例中，所述将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层包括：
25.在预设画布中设置所述符合预设生成条件的目标人脸图像为第一图层；
26.设置所述生成器生成的对抗样本口罩图像作为第二图层；
27.移动所述第二图层与所述第一图层重叠；
28.设置所述第二图层为顶层；
29.设置所述第二图层的图像参数与所述第一图层的图像参数相匹配。
30.本发明另一方面还公开了一种人脸识别系统的训练样本的生成装置，包括：
31.采集模块，用于采集目标用户的人脸数据图像，所述人脸数据图像为佩戴口罩的人脸图像；
32.识别模块，用于调用图像检测器检测所述人脸数据图像中人脸的位置信息；
33.裁剪模块，用于根据所述位置信息裁剪所述人脸图像中得到目标人脸图像；
34.调整模块，用于调整所述目标人脸图像符合预设生成条件；
35.生成模块，用于将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像。
36.在一些实施例中，还包括：
37.模型训练模块，用于利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型；其中，所述干扰用户的人脸数据图像与对抗样本口罩图像的相似度小于预设阈值。
38.本发明实施例提供了一种人脸识别系统的训练样本的生成方法和生成装置，所述方法采集目标用户的人脸数据图像，所述人脸数据图像为佩戴口罩的人脸图像；调用图像检测器检测所述人脸数据图像中人脸的位置信息；根据所述位置信息裁剪所述人脸图像中得到目标人脸图像；调整所述目标人脸图像符合预设生成条件；将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像。
39.本发明实施例可以具有如下有益效果：
40.可以生成对抗样本口罩图像作为人脸识别系统的训练样本，以提高人脸识别系统的识别精度。
41.当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例公开的一种人脸识别系统的训练样本的生成方法的流程示意图。
44.图2是本发明实施例公开的一种人脸识别系统的训练样本的生成装置的结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.在人脸识别领域，当识别了目标用户的人脸图像后，人脸识别模型可以把该人脸图像归类到正确的id，正确识别出目标用户。而人脸对抗样本是在正常人脸上添加一个扰动，使得人脸识别模型把识别的人脸图像归类到错误的id，识别出错误用户，从而对目标用户造成损失。为了避免人脸识别系统识别出错误的结果，需要提高人脸识别系统的识别精度。
47.对抗样本口罩是对抗信息的一种实现方式，为了提高人脸识别系统识别结果的准确率，应当对训练样本进行改进，从而对人脸识别系统的识别模型进行训练来提高识别的准确率。
48.为了解决现有技术中存在的缺陷，本技术实施例公开了一种人脸识别系统的训练样本的生成方法。
49.参见图1，图1是本发明实施例公开的一种人脸识别系统的训练样本的生成方法的流程示意图。
50.本发明公开的一种人脸识别系统的训练样本的生成方法，包括：
51.s100、采集目标用户的人脸数据图像，所述人脸数据图像为佩戴口罩的人脸图像；
52.本发明实施例的执行主体可以是人脸识别系统，或者可以执行本发明实施例中各个步骤的装置、处理器、服务器。本发明实施例可以应用到计算机视觉相关场景中，尤其是对深度学习技术例如人脸识别系统所使用的识别模型的训练样本的改进。
53.本发明实施例中，所述目标用户包括多个用户，所述方法还包括：
54.将不同用户的人脸图像归类到不同的文件夹，其中，每个文件夹下的图片标识相同。
55.本发明实施例中，采集人脸数据集：采集一批人脸数据，将不同id的图片归类到不同的文件夹，同一文件夹下的图片id相同。
56.为了生成训练样本，先要得到佩戴口罩的人脸图像。本发明实施例中，可以批量获取任丽娜数据图像，可以人脸识别系统的训练集和验证集中直接获取，也可以是从采集装
置处进行采集获取的。
57.s200、调用图像检测器检测所述人脸数据图像中人脸的位置信息；
58.s300、根据所述位置信息裁剪所述人脸图像中得到目标人脸图像；
59.s400、调整所述目标人脸图像符合预设生成条件；
60.本发明实施例中，对人脸数据图像进行预处理。
61.本发明实施例中，可以使用图像检测器对个人脸数据图像进行人脸位置识别，得到位置信息后，裁剪出目标人脸图像，而后调整其符合预设生成条件，例如预设生成条件为224x224像素。当然，预设生成条件可以根据实际需要进行设置，可以根据训练样本的要求进行设定。
62.s500、将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像。
63.得到符合预设生成条件的目标人脸图像后，将其制作成对抗样本口罩图像，作为训练样本。
64.本发明实施例中，将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像包括：
65.在预设画布中设置所述符合预设生成条件的目标人脸图像为第一图层；
66.设置所述生成器生成的对抗样本口罩图像作为第二图层；
67.移动所述第二图层与所述第一图层重叠；
68.设置所述第二图层为顶层；
69.设置所述第二图层的图像参数与所述第一图层的图像参数相匹配。
70.本发明实施例中，可以在预设工具例如绘图软件的预设画布中生成目标用户的对抗样本口罩。
71.其中，图像参数可以包括清晰度、亮度、色调等等。目的是使得第二图层中的图像与第一图层中的图像从视觉效果看起来不突兀，在识别图像时更容易对人脸识别系统造成干扰。
72.生成器所生成的对抗样本口罩图像大小也符合预设生成条件，例如224*224像素。
73.实际使用中，使用卷积神经网络cnn构造一个生成器generator，该生成器的输入为一个128维的随机向量，输出为一张224
×
224大小的对抗样本口罩图像，将该对抗样本口罩图像和真实人脸数据图像进行图层叠加，即可得到一个戴着对抗样本口罩的对抗样本口罩图像。
74.其中，对抗样本口罩图像中口罩可以被识别为印刷特制的图案，在口罩的外表面的图案极其自然，且口罩的可修改面积也较大，本发明实施例中，图案的面积越大，对人脸识别系统造成的干扰越大，得到的训练样本越具有价值，使得训练后人脸识别系统的识别精度越高。
75.本发明实施例中，为了使得对抗样本口罩图像作为人脸识别系统的最佳训练样本，还包括：
76.利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型；其中，所述干扰用户的人脸数据图像与对抗样本口罩图像的相似度小于预设阈值。
77.在一些实施例中，所述利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型包括：
78.根据图片标识计算损失函数；
79.利用所述损失函数更新所述生成器的参数；
80.根据更新参数后的生成器所生成更新后的目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练所述预设人脸识别模型，直到所述预设人脸模型的输出值符合指定范围。
81.在一些实施例中，所述损失函数使得所述目标用户的对抗样本口罩图像与干扰用户的人脸数据图像的余弦相似度符合第一预设值，且所述目标用户的对抗样本口罩图像与所述目标用户的人脸数据图像的余弦相似度符合符合第二预设值。
82.实际使用中，准备一个已经训练好的人脸识别模型，如arcface，模型的输入为固定大小为224
×
224的图片，输出为一个256维的向量。该人脸识别模型的损失函数的选择：让目标用户佩戴对抗样本口罩后的人脸图，和干扰用户的人脸图相似程度变高，而和目标用户未佩戴口罩的相似度变低，可选用余弦相似度作为损失函数。
83.将目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像这三种类型的人脸图输入到人脸识别模型后，依据id标签计算损失函数。使用反向传播算法反方向更新生成器的参数，直至整个网络收敛。网络收敛后生成器的参数为生成对抗样本口罩的最佳参数，所得到的对抗样本口罩图像为最佳的训练样本。
84.可以看出，本发明实施例可以生成对抗样本口罩图像作为人脸识别系统的训练样本，以提高人脸识别系统的识别精度。
85.与前述方法实施例相对应的，本发明实施例还公开了一种识别对抗样本口罩的装置。
86.参见图2，图2为本发明实施例中一种人脸识别系统的训练样本的生成装置的结构示意图。
87.本发明公开的一种人脸识别系统的训练样本的生成装置，包括：
88.采集模块1，用于采集目标用户的人脸数据图像，所述人脸数据图像为佩戴口罩的人脸图像；
89.识别模块2，用于调用图像检测器检测所述人脸数据图像中人脸的位置信息；
90.裁剪模块3，用于根据所述位置信息裁剪所述人脸图像中得到目标人脸图像；
91.调整模块4，用于调整所述目标人脸图像符合预设生成条件；
92.生成模块5，用于将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层，得到目标用户的对抗样本口罩图像。
93.在一些实施例中，还包括：
94.模型训练模块，用于利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型；其中，所述干扰用户的人脸数据图像与对抗样本口罩图像的相似度小于预设阈值。
95.在一些实施例中，所述目标用户包括多个用户，所述获取装置还用于：
96.将不同用户的人脸图像归类到不同的文件夹，其中，每个文件夹下的图片标识相同。
97.在一些实施例中，所述预设生成条件为224*224像素。
98.在一些实施例中，所述利用所述目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练预设人脸识别模型包括：
99.根据图片标识计算损失函数；
100.利用所述损失函数更新所述生成器的参数；
101.根据更新参数后的生成器所生成更新后的目标用户的对抗样本口罩图像、所述目标用户的人脸数据图像以及干扰用户的人脸数据图像训练所述预设人脸识别模型，直到所述预设人脸模型的输出值符合指定范围。
102.在一些实施例中，所述损失函数使得所述目标用户的对抗样本口罩图像与干扰用户的人脸数据图像的余弦相似度符合第一预设值，且所述目标用户的对抗样本口罩图像与所述目标用户的人脸数据图像的余弦相似度符合符合第二预设值。
103.在一些实施例中，所述生成器为采用卷积神经网络cnn构造的。
104.在一些实施例中，所述将生成器生成的对抗样本口罩图像覆盖符合预设生成条件的目标人脸图像的图层包括：
105.在预设画布中设置所述符合预设生成条件的目标人脸图像为第一图层；
106.设置所述生成器生成的对抗样本口罩图像作为第二图层；
107.移动所述第二图层与所述第一图层重叠；
108.设置所述第二图层为顶层；
109.设置所述第二图层的图像参数与所述第一图层的图像参数相匹配。
110.由于各个模块的功能与前述方法实施例中的各个步骤相对应，可以实现与方法对应的效果，在此不对装置实施例中各个模块的功能进行赘述。
111.本发明生成装置可以生成对抗样本口罩图像作为人脸识别系统的训练样本，以提高人脸识别系统的识别精度。
112.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
113.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
114.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
115.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、
数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
116.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
117.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
118.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
119.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。