基于多监督的人脸识别方法、装置、计算机设备及存储介质与流程

1.本发明涉及人脸识别技术领域，尤其是指基于多监督的人脸识别方法、装置、计算机设备及存储介质。


背景技术：

2.现有的人脸识别方法对于戴口罩的人脸的识别效果不尽人意，很多场合往往对带口罩人脸的识别效果准确率有特别的要求。另外，目前对戴口罩人脸的识别都需要提供两部分数据，分别是正常数据和对应的戴口罩数据，对大数据训练过程中的存储能力有一定的要求，并且训练速度慢，无法满足需求。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供基于多监督的人脸识别方法、装置、计算机设备及存储介质。
4.为了解决上述技术问题，本发明采用如下技术方案：
5.基于多监督的人脸识别方法，包括以下步骤：
6.初始化神经网络，获取训练数据集；
7.对训练数据集采用在线数据增广处理，得到増广后的训练数据；
8.将増广后的训练数据分批输入到神经网络，处理后得到人脸id分类层的输出和口罩分类层的输出；
9.根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1；根据増广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2；
10.对loss1和loss2加权得到最终的loss；
11.根据最终的loss训练神经网络，直到loss收敛或达到预先设置的迭代次数，然后从训练结果中提取特征模型，作为最后的人脸识别模型。
12.其进一步技术方案为：所述训练数据集包括训练图片和对应的标签；其中，所述标签包括是否戴口罩和人脸id。
13.其进一步技术方案为：所述増广后的训练数据包括：口罩标签和人脸id标签；所述根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1，根据増广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2步骤中，根据口罩标签和口罩分类层的输出计算得到第一个损失函数的值，根据人脸id标签和人脸id分类层的输出计算得到第二个损失函数的值。
14.其进一步技术方案为：所述对loss1和loss2加权得到最终的loss步骤中，loss＝loss1*a1 loss2*a2，其中，a1和a2均为权重。
15.基于多监督的人脸识别装置，包括：初始化获取单元，增广处理单元，输入处理单元，计算单元，加权单元，及训练提取单元；
16.所述初始化获取单元，用于初始化神经网络，获取训练数据集；
17.所述增广处理单元，用于对训练数据集采用在线数据增广处理，得到増广后的训练数据；
18.所述输入处理单元，用于将増广后的训练数据分批输入到神经网络，处理后得到人脸id分类层的输出和口罩分类层的输出；
19.所述计算单元，用于根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1；根据増广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2；
20.所述加权单元，用于对loss1和loss2加权得到最终的loss；
21.所述训练提取单元，用于根据最终的loss训练神经网络，直到loss收敛或达到预先设置的迭代次数，然后从训练结果中提取特征模型，作为最后的人脸识别模型。
22.其进一步技术方案为：所述训练数据集包括训练图片和对应的标签；其中，所述标签包括是否戴口罩和人脸id。
23.其进一步技术方案为：所述増广后的训练数据包括：口罩标签和人脸id标签；所述计算单元中，根据口罩标签和口罩分类层的输出计算得到第一个损失函数的值，根据人脸id标签和人脸id分类层的输出计算得到第二个损失函数的值。
24.其进一步技术方案为：所述加权单元中，loss＝loss1*a1 loss2*a2，其中，a1和a2均为权重。
25.一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述所述的基于多监督的人脸识别方法。
26.一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如上述所述的基于多监督的人脸识别方法。
27.本发明与现有技术相比的有益效果是：通过在传统的人脸识别方法上，引入了另外的监督任务，旨在迫使人脸识别模型能注意到更多的额外信息，从而得到更丰富，多样性的人脸特征，有助于提升人脸识别的准确性和鲁棒性，在不损失普通人脸识别效果的基础上，显著增加了戴口罩人脸的识别效果，同时在训练过程中获得口罩数据和对应的标签，并且在训练大数据时能不增加存储成本和训练时间成本，改善了口罩人脸的识别效果。
28.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例提供的基于多监督的人脸识别方法的流程示意图；
31.图2为本发明实施例提供的口罩増广的应用场景示意图；
32.图3为本发明实施例提供的神经网络的结构示意图；
33.图4为本发明实施例提供的基于多监督的人脸识别装置的示意性框图；
34.图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
37.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
38.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
39.请参阅图1到图5所示的具体实施例，其中，请参阅图1至图3所示，本发明公开了一种基于多监督的人脸识别方法，包括以下步骤：
40.s1，初始化神经网络，获取训练数据集；
41.其中，初始化神经网络包括：特征提取模型，人脸id分类层，口罩分类层。其中特征提取模型，可以采用但不限定于卷积神经网络。人脸id分类层和口罩分类层可以但不限于全连接层。
42.其中，所述训练数据集包括训练图片和对应的标签；其中，所述标签包括是否戴口罩和人脸id。
43.s2，对训练数据集采用在线数据增广处理，得到増广后的训练数据；
44.其中，首先对现有的数据根据已有的判别是否戴口罩的模型进行自动化打标签，得到原始数据的口罩标签。但是这时的训练数据中的戴口罩标签的数据只有很小一部分，用原始数据训练不能得到对口罩人脸有较好效果的模型。本技术采用在线数据增广的方式，对随机增广的数据同时获得其口罩标签，并更新原始标签。口罩在线的数据增广的方式为，随机cutout模拟口罩，口罩中心点选在(56,112)，口罩的宽高在[56,112]内随机采样，如图2所示，小框表示随机选取的最小的口罩范围，大框表示随机选取的最大的口罩范围，这样只需存储原始数据，口罩数据可以根据在线的数据增广获得，同时得到口罩标签，口罩标签为：戴口罩的数据标签为1，不带口罩的数据标签为0。
[0045]
s3，将増广后的训练数据分批输入到神经网络，处理后得到人脸id分类层的输出和口罩分类层的输出；
[0046]
s4，根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1；根据増广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2；
[0047]
其中，如图3所示，所述増广后的训练数据包括：口罩标签和人脸id标签；所述根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1，根据増
广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2步骤中，根据口罩标签和口罩分类层的输出计算得到第一个损失函数的值，根据人脸id标签和人脸id分类层的输出计算得到第二个损失函数的值。第一个损失函数选择交叉熵损失函数。
[0048]
其中，交叉熵损失函数在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别的预测得到的概率为p和1
‑
p，此时表达式为：
[0049][0050]
其中，y
i
表示样本i的标签，正类为1，负类为0；p
i
表示样本i预测为正类的概率。
[0051]
其中，第二个损失函数可以为分类函数，如：softmax损失函数(归一化函数)、各种有margin(间隔)类型的softmax损失函数，也可采用其他类型的目标函数，如人脸识别算法、arcface算法对应的arcface损失(additive angular margin loss，加性角度间隔损失函数)等。
[0052]
s5，对loss1和loss2加权得到最终的loss；
[0053]
其中，loss＝loss1*a1 loss2*a2，其中，a1和a2均为权重。
[0054]
其中，通过调整权重(a1，a2)可以控制各损失函数对模型训练的重要程度，以便得到更加符合实际需求的人脸识别模型；对不同的训练需求和应用需求，对各损失函数的重要程度也不同，所以权重应根据具体情况具体分析。一般在训练过程，权重设为1。
[0055]
s6，根据最终的loss训练神经网络，直到loss收敛或达到预先设置的迭代次数，然后从训练结果中提取特征模型，作为最后的人脸识别模型。
[0056]
其中，预先设置的迭代次数根据需要设置，没有范围限制。
[0057]
在s6中，通过从训练结果选择效果最好的特征模型提取，让其作为最后的人脸识别模型，能在保证正常人脸识别效果的同时，提升口罩人脸识别效果。
[0058]
其中，根据上述方法训练得到的人脸识别模型，应用于人脸面板机中，具体的流程如下：
[0059]
1、根据图像传感器得到带有人脸的抓拍图像数据；
[0060]
2、根据人脸检测模型对得到的图片进行关键点检测，然后采用人脸对齐方法对人脸区域进行仿射变换，得到人脸图像数据；
[0061]
3、将得到的人脸图像数据输入到上述方法训练得到的人脸识别模型，得到人脸图像的特征表示；
[0062]
4、根据得到的人脸特征，和已经存储好的注册人脸图像库中的人脸图像进行比对，得到相似度分数；
[0063]
5、根据得到的相似度分数和经过试验获得的阈值进行比较，从而得到抓拍图像数据的id。
[0064]
本发明采用多监督的方法训练人脸识别模型，训练后得到的人脸识别模型在保证正常人脸识别准确率的情况下，有效提高戴口罩的人脸识别准确率，并且在训练过程中采用了在线的数据增广方法，方便简单的生成口罩数据，没有额外的数据存储需求。通过在传统的人脸识别方法上，引入了另外的监督任务，旨在迫使人脸识别模型能注意到更多的额外信息，从而得到更丰富，多样性的人脸特征，有助于提升人脸识别的准确性和鲁棒性，在不损失普通人脸识别效果的基础上，显著增加了戴口罩人脸的识别效果，同时在训练过程
中获得口罩数据和对应的标签，并且在训练大数据时能不增加存储成本和训练时间成本，改善了口罩人脸的识别效果。
[0065]
请参阅图4所示，本发明还公开了一种基于多监督的人脸识别装置，包括：初始化获取单元10，增广处理单元20，输入处理单元30，计算单元40，加权单元50，及训练提取单元60；
[0066]
所述初始化获取单元10，用于初始化神经网络，获取训练数据集；
[0067]
所述增广处理单元20，用于对训练数据集采用在线数据增广处理，得到増广后的训练数据；
[0068]
所述输入处理单元30，用于将増广后的训练数据分批输入到神经网络，处理后得到人脸id分类层的输出和口罩分类层的输出；
[0069]
所述计算单元40，用于根据増广后的训练数据和口罩分类层的输出计算得到第一个损失函数的值，记为loss1；根据増广后的训练数据和人脸id分类层的输出计算得到第二个损失函数的值，记为loss2；
[0070]
所述加权单元50，用于对loss1和loss2加权得到最终的loss；
[0071]
所述训练提取单元60，用于根据最终的loss训练神经网络，直到loss收敛或达到预先设置的迭代次数，然后从训练结果中提取特征模型，作为最后的人脸识别模型。
[0072]
其中，所述训练数据集包括训练图片和对应的标签；其中，所述标签包括是否戴口罩和人脸id。
[0073]
其中，所述増广后的训练数据包括：口罩标签和人脸id标签；所述计算单元40中，根据口罩标签和口罩分类层的输出计算得到第一个损失函数的值，根据人脸id标签和人脸id分类层的输出计算得到第二个损失函数的值。
[0074]
其中，所述加权单元50中，loss＝loss1*a1 loss2*a2，其中，a1和a2均为权重。
[0075]
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于多监督的人脸识别装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
[0076]
上述基于多监督的人脸识别装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
[0077]
请参阅图5，图5是本技术实施例提供的一种计算机设备的示意性框图；该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0078]
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
[0079]
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于多监督的人脸识别方法。
[0080]
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
[0081]
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于多监督的人脸识别方
法。
[0082]
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0083]
应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0084]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
[0085]
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述的基于多监督的人脸识别方法。
[0086]
所述存储介质可以是u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
[0087]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0088]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0089]
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
[0090]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0091]
上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。