一种人脸采集特征提取方法、系统及存储介质与流程

1.本发明涉及人脸识别技术领域，具体涉及一种人脸采集特征提取 方法、系统及存储介质。


背景技术：

2.人脸识别是一种基于人的脸部特征信息进行身份识别的一种生物 识别技术。随着其技术的发展和社会认同度的提高，人脸识别如今应 用于很多领域。目前，通常需要采集待识别用户的人脸图像，以便于 服务端设备从待识别用户的人脸图像中提取出人脸特征向量，从而可 以基于该人脸特征向量去生成识别结果。如何提取人脸特征，使人脸 识别结果更准确，成为本领域人员亟待解决的问题。


技术实现要素：

3.鉴于以上技术问题，本发明的目的在于提供一种人脸采集特征提 取方法、系统及存储介质，实现从待识别用户的人脸图像中提取出人 脸特征向量，有助于提高人脸识别结果。
4.本发明采用以下技术方案：
5.本发明的一种人脸采集特征提取方法，包括:
6.基于卷积神经网络建立人脸特征位置点形状驱动深度模型；
7.通过retinaface人脸检测模型检测人脸，生成不同尺寸的多层 检测框；所述检测框包含不同尺寸的目标框；在每层检测框对人脸特 征位置点形状驱动深度模型进行训练；
8.利用训练后人脸特征位置点形状驱动深度模型进行人脸特征提 取和融合，所述融合包括融合人脸特征位置点和人脸姿态。
9.进一步的，所述人脸特征位置点形状驱动深度模型包括主网络和 辅助子网络，所述主网络采用区域卷积网络。
10.进一步的，所述区域卷积网络为n个，区域卷积网络由dcnn中 卷积层和池化层所构成，用于对人脸的n个区域进行人脸特征位置点 提取；其中，n为根据人脸特征位置点的位置信息，将人脸图像划分 的n个区域。
11.进一步的，将人脸图像划分的n个区域的划分方法包括：将人脸 划分为整张人脸、毛区域、右眉毛区域、左眼睛区域、右眼睛区域、 鼻部区域和嘴部区域。
12.进一步的，所述人脸特征位置点包括每个眉毛的两个角点及其中 心点、每个眼睛的两个角点、上下眼皮中心点以及眼睛中心点、鼻尖 点、鼻顶点、两个鼻翼点、鼻中隔点、嘴巴的两个角点、嘴巴中心点、 上嘴唇的最上点及下嘴唇的最下点中的至少一个。
13.进一步的，所述人脸姿态包括但不限于：侧脸、正脸、抬头、低 头、表情、遮挡中的一种或多种。
14.进一步的，所述融合包括：将人脸特征位置点进行人脸对齐，将 对齐后的融合人脸特征位置点和人脸姿态。
15.一种人脸采集特征提取系统，包括：
16.构建模块，用于基于卷积神经网络建立人脸特征位置点形状驱动 深度模型；
17.人脸检测模块，用于通过retinaface人脸检测模型检测人脸， 生成不同尺寸的多层检测框；所述检测框包含不同尺寸的目标框；在 每层检测框对人脸特征位置点形状驱动深度模型进行训练；
18.提取融合模块，用于利用训练后人脸特征位置点形状驱动深度模 型进行人脸特征提取和融合，所述融合包括融合人脸特征位置点和人 脸姿态。
19.进一步的，所述人脸特征位置点形状驱动深度模型包括主网络和 辅助子网络，所述主网络采用区域卷积网络。
20.一种计算机存储介质，其上存储有计算机程序，所述计算机程序 在被处理器执行时，实现所述的人脸采集特征提取方法。
21.相比现有技术，本发明的有益效果在于：
22.本发明通过retinaface人脸检测模型检测人脸，在每层检测框 对人脸特征位置点形状驱动深度模型进行训练；利用训练后人脸特征 位置点形状驱动深度模型进行人脸特征提取和融合，所述融合包括融 合人脸特征位置点和人脸姿态，将人脸特征位置点和人脸姿态特征进 行融合，实现准确、完整检测到所有不同大小的人脸，并有利于提升 人脸识别在各种姿态变化条件下的识别效果。
附图说明
23.图1为本发明一实施例提供的一种人脸采集特征提取方法的流 程示意图；
24.图2为本发明一实施例提供的一种人脸采集特征提取方法的 retinaface人脸检测模型的示意图；
25.图3为本发明一实施例提供的一种人脸采集特征提取方法的人 脸特征位置点形状驱动深度模型的示意图；
26.图4为本发明另一实施例提供的一种电子设备的结构示意图。
具体实施方式
27.下面，结合附图以及具体实施方式，对本发明做进一步描述，需 要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技 术特征之间可以任意组合形成新的实施例：
28.实施例一：
29.请参照图1，示出了本发明实施例的一种人脸采集特征提取方法， 包括:
30.步骤s1:基于卷积神经网络建立人脸特征位置点形状驱动深度模 型；
31.步骤s2:通过retinaface人脸检测模型检测人脸，生成不同尺 寸的多层检测框；所述检测框包含不同尺寸的目标框；在每层检测框 对人脸特征位置点形状驱动深度模型进行训练；
32.由于检测时输入图片的大小可以各不相同，将图像resize的各 种不同的大小输入到检测网络得到个尺度的检测结果，是检测中常用 的提取多尺度的方式，使模型能有更有效的检测数不同尺度的人脸。
33.需要说明的是，所述retinaface人脸检测模型采用了特征金字 塔的技术，实现了多尺度信息的融合，对检测小物体有重要的作用， 保留了在目标检测之fpn(feature pyramid net)的3层特征图每一 层检测框分别proposal，生成3个不同尺度上的检测框，每个尺度 上又引入了不同尺寸的anchor大小，保证可以检测到不同大小的物 体。
34.请参照图2所示，示出了retinaface人脸检测模型的示意图， 采用特征金字塔的技术，利用残差连接的方式实现多尺度信息的融 合。具体来说，该模型对图像逐步自底向上卷积，产生了多种尺寸的 特征图，低层的特征语义信息比较少，但是目标位置准确；高层的特 征语义信息比较丰富，但是目标位置比较粗略，该模型在3层特征图 每一层检测框分别使用神经网络进行预测，在每层检测框对人脸特征 位置点形状驱动深度模型进行训练；生成3个不同尺度上的检测框， 每个尺度上又引入了不同尺寸的目标框大小，保证可以检测到不同大 小的物体，实现准确、完整检测到所有不同大小的人脸。
35.步骤s3:利用训练后人脸特征位置点形状驱动深度模型进行人脸 特征提取和融合，所述融合包括融合人脸特征位置点和人脸姿态。
36.可选的，所述人脸特征位置点形状驱动深度模型包括主网络和辅 助子网络，所述主网络采用区域卷积网络。
37.请参照图3所示，示出了人脸特征位置点形状驱动深度模型的示 意图，其中，所述主网络用于预测特征点的位置，辅助子网络，在训 练时判别人脸姿态。辅助子网络的输出的特征包含每个区域的判别性 特征，即为带有侧脸、正脸、抬头、低头、表情或遮挡等信息的人脸 姿态特征。每个区域卷积网络对应一个输出判别性特征的辅助子网络 及多个输出属性特征的辅助子网络，将人脸特征位置点和人脸姿态特 征进行融合有利于提升人脸识别在各种姿态变化条件下的识别效果。
38.在主网络中，还可用mobilenet块代替传统的卷积运算，提高运 算效率，实现多个特征点的提取。
39.可选的，所述区域卷积网络为n个，区域卷积网络由dcnn中卷 积层和池化层所构成，用于对人脸的n个区域进行人脸特征位置点提 取；其中，n为根据人脸特征位置点的位置信息，将人脸图像划分的 n个区域。
40.在上述实现过程中，通过卷积层与池化层，提取图像的层次化特 征，低层特征被逐渐合并成高层特征。相比于低层特征，高层特征具 有更好的描述能力，提高提取人脸特征的准确度和精度。
41.可选的，将人脸图像划分的n个区域的划分方法包括：将人脸划 分为整张人脸、毛区域、右眉毛区域、左眼睛区域、右眼睛区域、鼻 部区域和嘴部区域。
42.可选的，所述人脸特征位置点包括每个眉毛的两个角点及其中心 点、每个眼睛的两个角点、上下眼皮中心点以及眼睛中心点、鼻尖点、 鼻顶点、两个鼻翼点、鼻中隔点、嘴巴的两个角点、嘴巴中心点、上 嘴唇的最上点及下嘴唇的最下点中的至少一个。
43.具体的，所述人脸姿态包括但不限于：侧脸、正脸、抬头、低头、 表情、遮挡。
44.在上述实现过程中，通过融合人脸特征位置点的位置和姿态，使 得最终学习得到的人脸特征能够更好地处理各种姿态下的人脸变换。
45.进一步的，所述融合包括：将人脸特征位置点进行人脸对齐，将 对齐后的融合人脸特征位置点和人脸姿态。
46.在上述实现过程中，通过将人脸特征位置点进行人脸对齐，对齐 到平均脸，能提高人脸识别的准确率和识别速度。
47.实施例二：
48.本发明的一种人脸采集特征提取系统，包括：
49.构建模块，用于基于卷积神经网络建立人脸特征位置点形状驱动 深度模型；
50.人脸检测模块，用于通过retinaface人脸检测模型检测人脸， 生成不同尺寸的多层检测框；所述检测框包含不同尺寸的目标框；在 每层检测框对人脸特征位置点形状驱动深度模型进行训练；
51.提取融合模块，用于利用训练后人脸特征位置点形状驱动深度模 型进行人脸特征提取和融合，所述融合包括融合人脸特征位置点和人 脸姿态。
52.可选的，所述人脸特征位置点形状驱动深度模型包括主网络和全 连接网络，所述主网络采用区域卷积网络。
53.进一步的，所述区域卷积网络为n个，区域卷积网络由dcnn中 卷积层和池化层所构成，用于对人脸的n个区域进行人脸特征位置点 提取；其中，n为根据人脸特征位置点的位置信息，将人脸图像划分 的n个区域。
54.进一步的，将人脸图像划分的n个区域的划分方法包括：将人脸 划分为整张人脸、毛区域、右眉毛区域、左眼睛区域、右眼睛区域、 鼻部区域和嘴部区域。
55.进一步的，所述人脸特征位置点包括每个眉毛的两个角点及其中 心点、每个眼睛的两个角点、上下眼皮中心点以及眼睛中心点、鼻尖 点、鼻顶点、两个鼻翼点、鼻中隔点、嘴巴的两个角点、嘴巴中心点、 上嘴唇的最上点及下嘴唇的最下点中的至少一个。
56.进一步的，所述人脸姿态包括但不限于：侧脸、正脸、抬头、低 头、表情、遮挡。
57.进一步的，所述融合包括：将人脸特征位置点进行人脸对齐，将 对齐后的融合人脸特征位置点和人脸姿态。
58.实施例三：
59.图4为本技术实施例提供的一种电子设备的结构示意图，在本申 请中可以通过图4所示的示意图来描述用于实现本技术实施例的本 发明一种人脸采集特征提取方法的电子设备100。
60.如图4所示的一种电子设备的结构示意图，电子设备100包括一 个或多个处理器102、一个或多个存储装置104，这些组件通过总线 系统和/或其它形式的连接机构(未示出)互连。应当注意，图4所示 的电子设备100的组件和结构只是示例性的，而非限制性的，根据需 要，所述电子设备可以具有图4示出的部分组件，也可以具有图4未 示出的其他组件和结构。
61.所述处理器102可以是中央处理单元(cpu)或者具有数据处理能 力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电 子设备100中的其它组件以执行期望的功能。
62.所述存储装置104可以包括一个或多个计算机程序产品，所述计 算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性 存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机 存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存 储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机 可读存储
介质上可以存储一个或多个计算机程序指令，处理器102可 以运行所述程序指令，以实现下文所述的本技术实施例中(由处理器 实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质 中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/ 或产生的各种数据等。
63.本发明还提供一种计算机存储介质，其上存储有计算机程序，本 发明的方法如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发 明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序 来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储 介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施 例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机 程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间 形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代 码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计 算机存储器、只读存储器(rom，read
‑
onlymemory)、随机存取存 储器(ram，randomaccessmemory)、电载波信号、电信信号以及 软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可 以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在 某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载 波信号和电信信号。
64.对本领域的技术人员来说，可根据以上描述的技术方案以及构 思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变 都应该属于本发明权利要求的保护范围之内。