用于嵌入式平台的实时高精度人脸检测识别系统的制作方法

1.本发明涉及的是一种图像识别领域的技术，具体是一种用于嵌入式平台的实时高精度人脸检测识别系统。


背景技术：

2.现有的人脸检测、人脸识别模型为追求更高的准确率，往往会在模型中堆叠更多模块，模型的大小和所需的计算量随之增加。而在实际应用场景中，基于深度学习的人脸检测和识别模型通常会被部署在嵌入式设备(如摄像头，电子闸门)或移动端(如手机)上，这些设备能够提供的计算资源往往是受限的，如果将较大的人脸检测和识别模型直接部署在计算资源受限的设备上，更多的计算量和特征图内存占用会导致网络的推理时间增加，网络推理的实时性变差，检测模型设置过多的检测分支对人脸检测性能并不会带来太多增益，但是会带来额外的计算开销。


技术实现要素：

3.本发明针对现有的基于深度学习的人脸检测识别系统中存在的模型过大、速度慢、无法部署在嵌入式端等技术问题，提出一种用于嵌入式平台的实时高精度人脸检测识别系统，对人脸检测模型进行轻量化设计，对人脸识别模型采用了基于快速下采样模块的模型轻量化加速方法，使得人脸检测识别系统在嵌入式平台上能够实时运行，同时准确率保持在较高水平。
4.本发明是通过以下技术方案实现的：
5.本发明涉及一种用于嵌入式平台的实时高精度人脸检测识别系统，包括：快速人脸检测模块、人脸对齐模块、快速人脸识别模块和匹配模块，其中：快速人脸检测模块根据摄像头采集的视频帧图像检测出其中的人脸的区域坐标，人脸对齐模块对检测到的人脸区域进行仿射变换操作，从原图像中分离出人脸区域图像并根据人脸关键点将人脸图像旋转并对齐到预设的位置，快速人脸识别模块根据对齐后的人脸图像通过快速人脸识别模型得到待匹配的人脸特征向量，再通过匹配模块与数据库中的人脸特征向量匹配，匹配模块根据数据库中已注册身份的人脸特征向量信息，与待匹配人脸特征向量逐一计算余弦相似度，取余弦距离最近的特征对应的身份作为人脸识别结果，若该余弦距离大于阈值，则判断为未注册人脸。技术效果
6.本发明整体解决了现有人脸检测识别技术无法同时满足模型在嵌入式设备上的实时性和模型的高精度要求。
7.与现有技术相比，本发明通过轻量化快速人脸检测模型 3
‑
branch
‑
retina
‑
mobilenetv1
‑×
0.25和基于快速下采样模块的快速人脸识别模型greatfacenet，在嵌入式端的实时性更好，系统在各个阶段的时间消耗明显降低，系统的整体运行速度提高。同时，配合更好的训练策略，系统检测识别性能更高。在实现方面，整个系统完全使用c 实现，对
不同平台的扩展性更好。
附图说明
8.图1为本发明流程图；
9.图2为快速人脸检测模块中快速人脸检测模型示意图；
10.图3为基于快速下采样模块的模型设计方法示意图；
11.图4为人脸识别模块中快速人脸识别模型示意图(图中人脸经模糊化处理)；
12.图5为用于构建快速人脸识别模型的卷积模块示意图。
具体实施方式
13.本实施例涉及一种用于嵌入式平台的实时高精度人脸检测识别系统，包括：快速人脸检测模块、人脸对齐模块、快速人脸识别模块和匹配模块，其中：快速人脸检测模块通过摄像头采集的视频帧图像检测出其中的人脸的区域坐标，人脸对齐模块对检测到的人脸区域进行仿射变换操作，从原图像中分离出人脸区域图像并根据人脸关键点将人脸图像旋转并对齐到预设的位置，快速人脸识别模块根据对齐后的人脸图像通过快速人脸识别模型得到待匹配的人脸特征向量，再通过匹配模块与数据库中的人脸特征向量匹配，匹配模块根据数据库中已注册身份的人脸特征向量信息，与待匹配人脸特征向量逐一计算余弦相似度，取余弦距离最近的特征对应的身份作为人脸识别结果，若该余弦距离大于阈值，则判断为未注册人脸。
14.所述的快速人脸检测模块包括：尺寸归一化单元、快速人脸检测模型和非极大值抑制单元，其中：尺寸归一化单元将摄像头采集的视频帧图像按比例缩放至320
×
320以下像素尺寸；快速人脸检测模型对归一化后的图像进行特征提取，输出固定数量的预选框检测信息，共3080 个预选框，每个预选框检测信息包含人脸置信度、人脸位置以及人脸关键点；非极大值抑制单元根据预选框中的检测信息对预选框进行过滤和非极大值抑制操作，得到最终的人脸检测信息。
15.所述的非极大值抑制单元对人脸检测模型输出的检测框按照人脸置信度排序，并滤除置信度较低的检测框，剩下的检测框会根据相互的交并比，进行非极大值抑制操作，最终保留的检测框即为人脸检测模块的输出。
16.如图2所示，所述的快速人脸检测模型3
‑
branch
‑
retina
‑
mobilenetv1
‑×
0.25整体结构按照基于预设框的单阶段检测器方法retinaface设计，并且进行了轻量化设计以加快检测模型推理速度，模型具体包括：特征提取网络、特征融合单元、并联的三个上下文单元以及对应的检测头单元，其中：特征提取网络对归一化后的图像进行特征提取，然后从网络的三个不同阶段抽取得到三个不同尺寸的特征图，尺寸分别为10
×
10、20
×
20、40
×
40；特征融合单元根据特征提取网络最后三个阶段的特征图，进行最近邻插值操作和叠加处理后将对应的三个特征图分别输出至并联的三个上下文单元；三个上下文单元各自采用不同卷积核尺寸的卷积层对收到的特征图进行视野域增强后，得到尺寸相同的输出特征图；检测头单元通过每个预设框对上下文单元的输出特征图进行检测框回归，并输出每个检测框的人脸置信度和人脸关键点坐标。
17.快速人脸检测模型中所述的特征提取网络采用mobilenet轻量化神经网络提取图
像特征，将mobilenet网络的宽度缩小为原始宽度的0.25倍进一步减少计算量，提取三个不同阶段的特征图。
18.所述的三个不同阶段的特征图优选大小分别为40
×
40
×
64,20
×
20
×
128,10
×
10
×
256。
19.所述的三个阶段的特征图的尺寸分别为10
×
10、20
×
20、40
×
40，对其中尺寸为10
×
10 的特征图f1进行最近邻插值操作并与20
×
20的特征图相加得到特征图f2，特征图f2再次进行最近邻差值操作并与40
×
40的特征图相加得到特征图f3，特征融合单元将上述三个特征图 f1～f3分别输出至对应的三个上下文单元。
20.所述的特征提取网络和检测头单元均采用深度可分离卷积层实现，从而减少卷积层计算量。
21.所述的快速人脸检测模型的特征提取网络每层卷积层的通道数和模型所含卷积层的层数减少为8、16、32、32、64、64、128、128、128、128、128、128、256、256，从而减少计算开销和特征图存储开销。
22.本实施所使用的快速人脸检测模型通过减少检测分支来减少人脸检测模型的计算开销，设置三个并联的上下文单元和检测头单元构成的检测分支来处理图像中不同尺寸的人脸的置信度、位置和关键点。
23.快速人脸检测模型中所述的检测头单元的预设框的数量减少为单个图像3080个，从而减少网络最后输出层的计算开销，同时保证检测网络对简单场景的检测性能。(如门禁管理系统，考生身份验证系统等)。
24.所述的人脸对齐模块包括：裁剪单元、变换矩阵计算单元以及仿射变换单元，其中：裁剪单元根据人脸检测模块输出的人脸框坐标对原始图像进行裁剪，得到人脸区域图像，变换矩阵计算单元根据该人脸的五个关键点和预设的五个关键点的坐标计算出仿射变换需要的变换矩阵m，仿射变换单元根据变换矩阵m，利用相似变换函数对人脸区域图像进行变换操作，输出一张关键点对齐的112
×
112的人脸图像。预设的五个关键点坐标为[30.2951.69]、[65.53, 51.50]、[48.03,71.74]、[33.55,92.37]、[62.73,92.20]，分别对应左眼、右眼、鼻子、左嘴角和右嘴角。
[0025]
所述的快速人脸识别模块包括：图像预处理单元以及快速人脸识别模型，其中：图像预处理单元对输入的对齐人脸图像进行rgb归一化，快速人脸识别模型对归一化人脸图像进行特征提取输出人脸特征向量。其中快速人脸识别模型采用了本专利提出的基于快速下采样模块的轻量化模型设计方法，以提高人脸识别模型的推理速度。
[0026]
如图3所示，为本专利提出的基于快速下采样模块的轻量化模型设计方法。基于快速下采样模块的轻量化设计方法在模型的浅层添加了快速下采样模块。快速下采样模块中利用带有下采样功能的卷积层，以快速减少输入对齐人脸图像的尺寸同时对图像进行特征提取，减少整个识别模型的计算量、特征图内存吞吐量，从而减少模型在嵌入式设备上的推理速度。
[0027]
如图4所示，所述的快速人脸识别模型为基于快速下采样模块的人脸识别卷积神经网络 (greatfacenet)，具体包括：快速下采样模块、尺度不变的特征提取模块、全局逐通道卷积层以及全连接层，其中：快速下采样模块为步长为2的卷积模块堆叠组成，尺度不变的特征提取模块为步长为1的卷积模块堆叠组成，全局逐通道卷积层将尺度不变的特征提
取模块输出的 4
×
4特征图进行平均池化，输出1
×
1的特征图，当输入尺寸为112
×
112的对齐人脸图像经过快速下采样模块以及特征图提取模块后，最后一层卷积的输出再经过全局逐通道卷积、全连接层和归一化层，最终输出512维的人脸特征向量；该人脸识别模型采用基于快速下采样模块的模型轻量化加速方法，特别设计快速下采样模块放在模型浅层位置，从而快速减少输入人脸的图像尺寸并有效减少模型整体计算量，显著减少整个网络的推理内存占用，有利于提高模型在嵌入式平台上的推理速度。
[0028]
所述的快速下采样模块包括五个步长为2的卷积模块，其中：每一层的通道数优选为 48、128、128、256、192。
[0029]
所述的尺度不变的特征提取模块包括三个步长为1的卷积模块，其中：每一层的通道数优选为192、256、512。
[0030]
如图5所示，所述的卷积模块包括：3
×
3卷积层、bn归一化层和prelu激活函数层。
[0031]
所述的人脸识别模型greatfacenet的参数为：
[0032]
所述的快速人脸识别模型采用arcface loss进行训练以进一步提升人脸特征空间质量：使用清洗过的ms1m人脸识别数据集，使用lfw人脸验证数据集，将人脸特征向量映射至余弦空间，最大化不同id的人脸特征向量的中心角，最小化相同id人脸特征向量中心角。
[0033]
所述的匹配模块将待匹配的特征向量和数据库中的人脸特征向量逐个计算余弦相似度，选择余弦相似度最高的特征向量对应的id作为最终识别结果，该模块包括：余弦相似度计算单元以及相似度比对单元，其中：余弦相似度计算单元逐一计算
①
人脸库中已注册的id的人脸特征向量信息与
②
待匹配人脸特征向量之间的余弦相似度，相似度比对单元把余弦相似度最大值的特征对应的身份作为人脸识别结果。
[0034]
如果相似度比对单元得到的余弦相似度最大值低于阈值0.5，则判断为未注册身份。
[0035]
本实施例中的人脸检测识别系统最终可方便部署至嵌入式设备(如树莓派4b，rk3288 开发板等)，且代码均为c 实现，进一步提高系统运行效率。该人脸检测识别系统中图片加载部分依赖于opencv开源库，人脸检测和人脸识别深度学习模型的推理依赖于ncnn开源推理框架。系统的每个模块均可在嵌入式cpu上快速运行，保证整个系统能够在嵌入式设备上实时运行，且人脸检测和人脸识别模型的精度均保持在较高水平。
[0036]
如图1所示，本实施例涉及上述系统的人脸检测识别方法，具体包括：
[0037]
步骤1)人脸检测模块首先对原始图像进行尺寸归一化后送入人脸检测模型，人脸检测模型从原始图像中检测到人脸的存在，并输出人脸的位置坐标、置信度和关键点坐标。
[0038]
步骤2)人脸对齐模块根据人脸位置坐标和关键点坐标，利用仿射变换操作将人脸区域图像的关键点对齐到预设的关键点位置，产生统一尺寸的正脸图像。
[0039]
本实施例对仿射变换操作的代码进行优化，将变换矩阵计算单元的相似变换函数采用 c 实现，提升人脸对齐的速度。
[0040]
步骤3)人脸识别模块通过人脸识别模型从对齐后的人脸图像中得到512维的待匹配人脸特征向量，再由匹配模块将待匹配人脸特征向量与数据库中的注册过的人脸特征向量匹配，实现人脸识别。
[0041]
如下表所示，为不同检测模型在两种嵌入式平台上用ncnn深度学习推理框架的单张图像cpu推理速度对比。
[0042]
如下表所示，为不同识别模型在两种嵌入式平台上用ncnn深度学习推理框架的单张人脸图像cpu推理速度对比。
[0043]
如下表为整个轻量型人脸检测识别系统在两种平台(pc和树莓派4)上的检测速度，在
×
86平台上用i5四核cpu运行整个系统的每秒帧数最高可达40帧，而在arm平台上用 cortexa72四核cpu broadcom bcm2711运行整个系统每秒最高可达到15帧。
[0044]
本实施例提出的轻量化人脸检测识别系统可以在嵌入式平台上实时运行的同时，也可以保证在常用简单场景下的人脸检测识别性能。对于检测模型，虽然将特征提取网络替换为更小的mobilenet
×
0.25，检测分支减少为三个，但是在fddb数据集上的平均准确率(ap)仍可达到93.1％。对于识别模型，本发明的识别模型在lfw人脸验证数据集上的准确率可达99.35％。
[0045]
如下表所示，为现有识别模型viplfacenet、mobilefacenet和shufflefacenet在lfw 人脸验证数据集上与本发明中的识别模型相比的精度结果。
[0046]
本发明针对现有的基于深度学习的人脸检测识别系统中存在的模型过大、速度慢、无法部署在嵌入式端等技术问题，对人脸检测和人脸识别模型进行重新设计，提出的人脸检测模型以及人脸识别模型在各个平台的实际速度作为模型轻量化指标，而非使用常用的浮点运算数量或模型参数量作为指标。其与现有常规技术手段相比具有显著改进的技术具体为通过改进模型的结构，使得模型的参数量和运行时的访存量大幅减小，实现模型在嵌入式端的实时运行。
[0047]
所提出的基于快速下采样的轻量化模型设计方法与快速人脸识别模型同样适用于通道剪枝等其他模型压缩方法。
[0048]
与现有技术相比，本系统在嵌入式平台上能够实时运行，同时准确率保持在较高水平。
[0049]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。