基于多神经网络的高适应性人脸识别系统及其方法与流程

1.本发明属于人脸识别技术领域，尤其是涉及一种基于多神经网络的高适应性人脸识别系统及其方法。


背景技术：

2.人脸识别是生物特征识别领域中最常用的一种方式，随着神经网络技术的快速发展，人脸识别的准确度也已提升至肉眼甚至超越肉眼的级别，近年来在公共安全，智能门禁等领域得到了广泛的应用。
3.目前，人脸识别系统主要有离线和在线两种方式。在线方式中人脸数据会传到后台服务器进行运算识别，由于后台服务器性能强大，可以使用复杂的高性能网络进行识别，能够保证识别准确度。但是在线方式需要向服务器上传人脸图像，相对于离线方式，存在安全性低的缺点，在一些高安全级别要求的场合，由于其安全性问题而无法被适用。而且在线方式需要服务器的参与，需要花费更高的成本进行复杂的部署。
4.离线方式无需上传人脸图像，具有较高的安全性，而且离线方式无需联网，具有部署更加方便，成本更低廉的优点。但是离线方式的人脸数据在本地运算识别，依赖于本地处理器，由于受本地处理器体积、功耗等限制，只能使用运算量低的网络做识别，而运算量低的网络，实际测试中，有适应性大幅度降低的问题，如对于不同的测试图像集test1，test2，test3，
……
，总是有部分测试图像集测试结果不佳，不能做到每个测试图像集结果都满意的效果，降低了人脸识别的准确性，限制了人脸识别的更广泛的应用。


技术实现要素：

5.本发明的目的是针对上述问题，提供一种基于多神经网络的高适应性人脸识别方法；
6.本发明的另一目的是针对上述问题，提供一种基于多神经网络的高适应性人脸识别系统。
7.为达到上述目的，本发明采用了下列技术方案：
8.一种基于多神经网络的高适应性人脸识别系统，包括多个轻量化网络及相似度计算模块和结果输出模块，各轻量化网络分别经过不同训练集训练而得，所述的相似度计算模块用于分别计算各轻量化网络对待识别图像识别得到的识别特征相对于相应参考特征的相似度得分，所述的结果输出模块用于根据相似度计算结果输出识别结果。
9.在上述的基于多神经网络的高适应性人脸识别系统中，相应参考特征为相应轻量化网络对参考图像识别获得；
10.且所述的相似度计算模块通过以下方式得到识别特征相对于参考特征的相似度得分：
11.si＝e-dissi
ꢀꢀꢀ
(2)
[0012][0013]
其中，si表示第i个识别特征相对于第i个参考特征的相似度得分，第i个识别特征由第i个轻量化网络对待识别图像识别得到，第i个参考特征由第i个轻量化网络对参考图像识别得到；
[0014]
e为常数；
[0015]
dissi表示第i个识别特征与第i个参考特征之间的欧式距离；
[0016]
fai表示第i个识别特征；
[0017]
fbi表示第i个参考特征；
[0018]
m表示一个识别特征/参考特征是一个m维向量，[0]
…
[m-1] 分别表示识别特征/参考特征的第0维至第m-1维的向量。
[0019]
在上述的基于多神经网络的高适应性人脸识别系统中，所述的结果输出模块通过以下方式输出识别结果：
[0020]
从多个相似度得分中选择一个最大的相似度得分作为最终得分，并将最终得分与得分阈值进行比较，根据比较结果输出识别成功或失败的识别结果。
[0021]
在上述的基于多神经网络的高适应性人脸识别系统中，所述的结果输出模块通过以下方式输出识别结果：
[0022]
s＝a1*s1 a2*s2
……
an*sn
[0023]
s为最终得分，{s1，s2，
……
，sn}为n个轻量化网络的n 个识别特征的相似度得分；
[0024]
{a1，a2，
……
，an}为经验值
[0025]
将最终得分s与得分阈值进行比较，并根据比较结果输出识别成功或失败的识别结果。
[0026]
在上述的基于多神经网络的高适应性人脸识别系统中，各轻量化网络为mobilefacenet，shufflenet，mnasnet中的任意一种或多种的组合。
[0027]
在上述的基于多神经网络的高适应性人脸识别系统中，各轻量化网络具有相同的网络结构。
[0028]
在上述的基于多神经网络的高适应性人脸识别系统中，各轻量化网络共享网络结构，同时具有各自的权重。
[0029]
一种基于多神经网络的高适应性人脸识别方法，包括以下步骤：
[0030]
s1.n个轻量化网络分别对待识别图像进行识别，得到n个识别特征；
[0031]
s2.获取n个轻量化网络对参考图像进行识别获得的n个参考特征，通过相似度计算模块计算n个识别特征相对于n个参考特征的相似度得分；
[0032]
s3.由结果输出模块根据相似度计算结果输出识别结果。
[0033]
在上述的基于多神经网络的高适应性人脸识别方法中，步骤 s2中，n个轻量化网络对待识别图像进行识别的同时对参考图像进行识别以获取n个轻量化网络对参考图像进行识别获得的n个参考特征；或者，所述的参考特征由n个轻量化网络事先对参考图像进行识别获得并存储；
[0034]
步骤s1之前还包括：
[0035]
使用不同的训练集训练各轻量化网络得到多个具有不同针对性的轻量化网络。
[0036]
在上述的基于多神经网络的高适应性人脸识别方法中，所述的相似度计算模块通过以下方式得到识别特征相对于参考特征的相似度得分：
[0037]
si＝e-dissi
ꢀꢀꢀ
(2)
[0038][0039]
其中，si表示第i个识别特征相对于第i个参考特征的相似度得分，第i个识别特征由第i个轻量化网络对待识别图像识别得到，第i个参考特征由第i个轻量化网络对参考图像识别得到；
[0040]
e为常数；
[0041]
dissi表示第i个识别特征与第i个参考特征之间的欧式距离；
[0042]
fai表示第i个识别特征；
[0043]
fbi表示第i个参考特征；
[0044]
m表示一个识别特征/参考特征是一个m维向量，[0]
…
[m-1] 分别表示识别特征/参考特征的第0维至第m-1维的向量；
[0045]
所述的结果输出模块通过以下方式之一输出识别结果：
[0046]
1)从多个相似度得分中选择一个最大的相似度得分作为最终得分，并将最终得分与得分阈值进行比较，根据比较结果输出识别成功或失败的识别结果；
[0047]
2)s＝a1*s1 a2*s2
……
an*sn
[0048]
s为最终得分，{s1，s2，
……
，sn}为n个轻量化网络的n 个识别特征的相似度得分；
[0049]
{a1，a2，
……
，an}为经验值
[0050]
将最终得分s与得分阈值进行比较，并根据比较结果输出识别成功或失败的识别结果。
[0051]
本发明的优点在于：
[0052]
1、采用离线识别方式，相对于在线方式具有结构及部署简单，成本低的优点；
[0053]
2、采用离线识别方式，相对于在线方式具有更高的安全性，能够适用于安全要求级别较高的场景，使系统能够适用于更广泛的应用场景；
[0054]
3、采用多网络并列方式，并用不同的训练集对各网络进行训练，使系统能够适应于各种类型的训练集，使系统整体上具有更好的识别效果，更强的适应性。
附图说明
[0055]
图1为本发明实施例一中各轻量化网络使用不同训练集进行训练的示意图；
[0056]
图2为本发明实施例一中轻量化网络结构的网络结构图；
[0057]
图3为实施例二中各轻量化对待识别图像进行识别的识别流程图；
[0058]
图4为实施例二中各轻量化对待参考图像进行识别的识别流程图。
具体实施方式
[0059]
下面结合附图和具体实施方式对本发明做进一步详细的说明。
[0060]
实施例一
[0061]
本实施例提供了一种基于多神经网络的高适应性人脸识别系统，包括多个轻量化网络及相似度计算模块和结果输出模块。
[0062]
各轻量化网络分别经过不同训练集训练而得，如图1中使用 n个训练集对n个轻量化网络分别进行训练得到n个具有不同针对性的轻量化网络，各轻量化网络用于对待识别图像分别进行特征识别以使系统在整体上能够适应各种类型的人脸图像，针对各种类型的人脸图像都能够保持较高的识别率。本领域技术人员可以根据实际情况准备具有不同特征的训练集，例如黄种人作为一个训练集，白种人作为一个训练集，黑种人作为一个训练集，摄像头自拍图像作为一个训练集，监控摄像头采集图像作为一个训练集，总共五个训练集，系统对应设置五个轻量化网络，五个训练集分别用于训练黄种人训练集、白种人训练集、黑种人训练集、自拍图像训练集和监控图像训练集，使五个轻量化网络更具有针对性，五个轻量化网络分别对于黄种人、白种人、黑种人、自拍图像、监控图像具有较高的识别率，从而使整个系统对这五种图像都能够保持较高的识别率。对前述具有五个经过前述五个训练集训练得到的轻量化网络的人脸识别系统进行测试时，显示出了能够达到对所有测试集测试结果良好，每个测试集结果都满意的效果。
[0063]
相似度计算模块用于分别计算各轻量化网络对待识别图像识别得到的识别特征相对于对参考图像识别获得的参考特征的相似度得分，结果输出模块用于根据相似度计算结果输出识别结果，用于综合各轻量化网络的识别结果，以适应对各种类型的人脸图像。
[0064]
具体地，各轻量化网络可以使用相同的网络结构，也可以使用不同的网络结构，本实施例优选使用相同的网络结构，且各轻量化网络之间优选共享网络结构，同时各轻量化网络均具有各自的权重。这样就只需要一个网络结构即可，各轻量化网络通过使用各自对应的训练集训练得到各自的权重，从而在投入使用时对待识别图像输出各自的识别特征。
[0065]
这里的轻量化结构可以采用mobilefacenet，shufflenet， mnasnet中的任意一种，本实施例以mobilefacenet为例，可以采用如图2所示的网络结构，输入112*112*3图像，输出128维度特征。图2中，t表示bottleneck中的放大倍数，c表示输出通道大小，n表示重复次数，s表示第一次重复时stride值， conv3*3表示3*3卷积，depthwise conv3*3表示3*3深度卷积， bottleneck表示瓶颈结构。
[0066]
网络训练过程中使用的损失函数loss优选arcface loss方式，能够得到更好的分类结果。
[0067]
具体地，相似度计算模块通过以下方式得到识别特征相对于参考特征的相似度得分：
[0068]
si＝e-dissi
ꢀꢀꢀ
(2)
[0069][0070]
其中，si表示第i个识别特征相对于第i个参考特征的相似度得分，第i个识别特征由第i个轻量化网络对待识别图像识别得到，第i个参考特征由第i个轻量化网络对参考图像识别得到；
[0071]
e为常数；
[0072]
dissi表示第i个识别特征与第i个参考特征之间的欧式距离；
[0073]
fai表示第i个识别特征，待识别图像通过n个轻量化网络得到n个识别特征：{fa1，fa2，
……
，fan}；
[0074]
fbi表示第i个参考特征，参考图像通过n个轻量化网络得到n个参考特征：{fb1，fb2，
……
，fbn}；
[0075]
m表示一个识别特征/参考特征是一个m维向量，[0]
…
[m-1] 分别表示识别特征/参考特征的第0维至第m-1维的向量。
[0076]
具体地，结果输出模块通过以下方式输出识别结果：
[0077]
从多个相似度得分中选择一个最大的相似度得分作为最终得分，并将最终得分与得分阈值进行比较，根据比较结果输出识别成功或失败的识别结果。当只有一个参考图像时，进行一次针对该参考图像的相似度比较即可，若大于或等于得分阈值，输出识别成功，并给出对应的参考图像，反之输出失败；当有多个参考图像时，分别针对各参考图像进行相似度比较，当存在大于或等于得分阈值的最终得分时，输出识别成功，并给出对应的参考图像，当所有最终得分均小于得分阈值，输出失败。
[0078]
本实施例通过不同的训练集训练出多个轻量化网络，投入使用时使用多个轻量化网络得到多个特征，多个特征分别比对得到多个相似度得分，最终选择最高的相似度得分作为最终得分，实现离线识别，使系统具有较高的安全性，较简单的网络结构，较低成本的同时，具有更好的适应性，能够适用于更广泛的场合。
[0079]
实施例二
[0080]
如图3和图4所示，本实施例提供了一种基于多神经网络的高适应性人脸识别方法，包括以下步骤：
[0081]
s1.n个轻量化网络分别对待识别图像进行识别，得到n个识别特征；
[0082]
s2.获取n个轻量化网络对参考图像进行识别获得的n个参考特征，通过相似度计算模块计算n个识别特征相对于n个参考特征的相似度得分；
[0083]
s3.由结果输出模块根据相似度计算结果输出识别结果。
[0084]
具体地，步骤s2中，n个轻量化网络对待识别图像进行识别的同时对参考图像进行识别以获取n个轻量化网络对参考图像进行识别获得的n个参考特征；或者，参考特征由n个轻量化网络事先对参考图像进行识别获得并存储，如在一个用户进行人脸图像录入后即对用户新录入的人脸图像进行识别得到并存储针对该人脸图像的n个参考特征，后续在识别过程中，直接提取即可；
[0085]
具体地，相似度计算模块通过以下方式得到识别特征相对于参考特征的相似度得分：
[0086]
si＝e-dissi
ꢀꢀꢀ
(2)
[0087][0088]
其中，si表示第i个识别特征相对于第i个参考特征的相似度得分，第i个识别特征由第i个轻量化网络对待识别图像识别得到，第i个参考特征由第i个轻量化网络对参考图像识别得到；
[0089]
e为常数；
[0090]
dissi表示第i个识别特征与第i个参考特征之间的欧式距离；
[0091]
fai表示第i个识别特征；
[0092]
fbi表示第i个参考特征；
[0093]
m表示一个识别特征/参考特征是一个m维向量，[0]
…
[m-1] 分别表示识别特征/参考特征的第0维至第m-1维的向量。
[0094]
结果输出模块通过以下方式输出识别结果：
[0095]
从多个相似度得分中选择一个最大的相似度得分作为最终得分，并将最终得分与得分阈值进行比较，根据比较结果输出识别成功或失败的识别结果。当只有一个参考图像时，进行一次针对该参考图像的相似度比较即可，若大于或等于得分阈值，输出识别成功，并给出对应的参考图像，反之输出失败；当有多个参考图像时，分别针对各参考图像进行相似度比较，当存在大于或等于得分阈值的最终得分时，输出识别成功，并给出对应的参考图像，当所有最终得分均小于得分阈值，输出失败。
[0096]
本方法中，采用多个具有针对性的轻量化网络分别对待识别图像进行识别，能够有效提高识别成功概率，降低无法成功识别的可能性。
[0097]
实施例三
[0098]
本实施例与实施例一或实施例二类似，不同之处在于，本实施例的结果输出模块通过以下方式输出识别结果：
[0099]
s＝a1*s1 a2*s2
……
an*sn
[0100]
s为最终得分，{s1，s2，
……
，sn}为n个轻量化网络对待识别图像识别得到的n个识别特征相对于对参考图像识别得到的 n个特征的相似度得分；
[0101]
{a1，a2，
……
，an}为经验值。
[0102]
将最终得分s与得分阈值进行比较，并根据比较结果输出识别成功或失败的识别结果。当只有一个参考图像时，进行一次针对该参考图像的相似度比较即可，若大于或等于得分阈值，输出识别成功，并给出对应的参考图像，反之输出失败；当有多个参考图像时，分别针对各参考图像进行相似度比较，当存在大于或等于得分阈值的最终得分时，输出识别成功，并给出对应的参考图像，当所有最终得分均小于得分阈值，输出失败。
[0103]
本实施例通过权重的方式得到最终得分，使模型具有更高的识别精度，能够同时降低无法成功识别可能性及识别错误的可能性。
[0104]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
[0105]
尽管本文较多地使用轻量化网络、相似度计算模块、结果输出模块、训练集、测试集、相似度得分、最终得分等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。