一种人脸跟踪与识别方法、系统及存储介质与流程

1.本发明涉及人脸识别的技术领域，尤其是涉及一种人脸跟踪与识别方法、系统及存储介质。


背景技术：

2.监控系统是安防系统中应用最多的系统之一，现在市面上较为适合的工地监控系统是手持式视频通信设备，视频监控现在是主流。
3.目前，现有的人脸识别跟踪系统由于受场景大、成像设备像素低、距离较远、环境等诸多因素影响，高空中普通监控相机采集的人图像会导致采集设备采集到的人脸特征数据不够准确可靠，进而导致行人识别会发生误差，识别效果不准确，识别率非常低，以致于仅使用人脸特征进行识别和跟踪的结果不佳。


技术实现要素：

4.为了解决以上存在的识别率的问题，本发明提供一种人脸跟踪与识别方法、系统及存储介质。
5.第一方面，本发明提供一种人脸跟踪与识别方法，采用如下的技术方案：一种人脸跟踪与识别方法，所述方法包括以下步骤：接收来自监控采集的包含被识别者的视频序列；根据所述视频序列检测出个体图像样本，利用人体检测算法定位出个体图像样本中的人体，生成第一人体图像；对所述第一人体图像进行图像重建，生成第二人体图像；对生成的第二人体图像进行人体特征值提取，生成人体特征图；对所述第一人体图像进行人体头部检测，得到第一人体头部图像，对所述第一人体头部图像进行3d人脸图像重建，生成第二人体头部图像；根据所述第二人体头部图像提取人脸特征值，生成人脸特征图；将所述人脸特征图和人体特征图进行特征拼接形成人脸-人体特征图，根据人脸-人体特征图对被识别者进行对比识别。
6.通过采用上述技术方案，利用卷积神经网络的优点，先获取复杂场景中的视频序列，从视频序列中检测出第一人体图像和第一人体头部图像，对第一人体图像样本进行图像重建，得到清晰度更高的个体图像，更有利于获取人体特征，对获取的第一人体头部图像进行3d人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接，将人体特征和人脸特征进行拼接，通过拼接特征对待跟踪人进行识别跟踪，识别结果更加准确，相较于现有技术，本发明通过不同架构的网络模型提取人脸和人体特征，并进行特征拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的
人体图像清晰、分辨率更高。
7.优选的，对所述第一人体图像进行图像重建骤步具体包括：利用预先生成的超分辨率重建网络模型对所述第一人体图像进行重建，得到第二人体图像。
8.优选的，所述超分辨率重建网络模型的生成方法包括：设定训练参数和内容损失函数，构建初始模型；采集训练样本集，所述训练样本集包括个体图像样本与对应的低分辨率图像；将低分辨率图像输入所述初始模型，所述低分辨率图像经过初始模型提升分辨率，得到图像sr，将所述图像sr与所述个体图像样本进行比较，得到差异值，利用所述差异值调整所述训练参数直至所述内容损失函数降低至预设最小阈值，得到超分辨率重建网络模型。
9.优选的，所述人体检测算法是深度学习目标检测算法。
10.优选的，生成所述第一人体头部图像的方法，包括以下步骤：将所述第一人体图像发送至预先生成的人体头部检测模型；基于所述预先生成的人体头部检测模型得到人体头部框信息；根据所述人体头部框信息对所述第一人体图像进行切割得到第一人体头部图像。
11.优选的，所述人体头部检测模型的生成方法包括：选取人体头部框信息，构建原始训练集；对人体头部框内区域进行随机放大，构建增广训练集；输入增广训练集到原始人体头部检测模型，得到预测的人体头部框信息；结合预测的人体头部框信息与原始训练集中的人体头部框信息计算总损失函数，训练总损失函数，得到人体头部检测模型。
12.通过采用上述技术方案，由深度卷积神经网络端训练得到人体头部检测模型，避免了人脸图像的分块预处理操作，加快获得人体头部图像标注的速度，能支持任意大小彩色图像的输入，基于人体头部图像标注完成人脸编辑操作，保留眼睛、头发、背景等人眼较为关注的细节，增强编辑后图像的真实感，拓宽了人体头部编辑的思路。
13.优选的，所述3d人脸图像重建的方法包括：从所述第一人体图像中获取第一人体头部图像；利用预先生成的3d人脸模型对所述第一人体头部图像进行重建，得到第二人体头部图像。
14.优选的，所述3d人脸模型包括：身份一致性学习部分和场景优化部分；所述身份一致性学习部分采用无监督式的深度学习方法，将输入的人脸图像样本分解成标准深度图和标准原色图，然后再通过渲染器渲染出的结果来构建重构损失；所述场景优化部分使用编码器从目标图像中抽取真实的纹理和深度信息，然后融合进入“标准脸”进行3d人脸重建。
15.第二方面，本发明提供一种人脸跟踪与识别系统，采用如下的技术方案：一种复杂场景中人脸跟踪与识别系统，包括图像采集模块，用于获取复杂场景中的被识别者的视频序列，从而获取个体图像样本；人体定位模块，用于在个体图像样本上进行人体的初步定位处理，获取候选人体
区域的第一人体图像；图像重建模块，用于对第一人体图像进行图像重建，得到清晰度更高的第二人体图像；人体特征提取模块，用于对生成的人体图像进行人体特征值的提取，生成人体特征图；人体头部定位生成模块，用于对第一人体图像检测出人体头部，选取人体头部框信息，根据所述人体头部框信息对所述人体图像进行切割得到第一人体头部图像；3d人脸图像重建模块，用于对第一人体头部图像进行3d人脸图像重建得到第二人体头部图像；人脸特征提取模块，用于对第二人体头部图像提取人脸特征值，生成人脸特征图；特征拼接模块，用于将人脸特征图和人体特征图进行特征拼接，形成人脸-人体特征图；比对识别跟踪模块，将生成到的人脸-人体特征图与待跟踪人物的特征进行对比，来判断是否是同一个人，从而实现跟踪与识别。
16.通过采用上述技术方案，通过图像采集模块得到复杂场景中视频序列，从视频序列中检测出第一人体图像和第一人体头部图像，然后利用图像重建模块进行图像重建，得到清晰度更高的第二人体图像，更有利于获取人体特征，对获取的第一人体头部图像进行3d人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接模块，对人脸和人体特征进行拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的人脸图像清晰、分辨率高，最终能够大幅提升公安机关对发现特定目标后的截获率。
17.第三方面，本发明提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面所述的计算机程序。
18.通过采用上述技术方案，利用卷积神经网络的优点，先获取复杂场景中的视频序列，从视频序列中检测出第一人体图像，然后利用图像重建模块进行图像重建，得到清晰度更高的第二人体图像，更有利于获取人体特征，对获取的人体头部图像样本进行3d人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接模块，将人脸特征和人体特征进行拼接，根据拼接的人脸-人体特征图进行对比，实现跟踪识别，对比结果更加准确，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的人脸图像清晰、分辨率高，最终能够大幅提升公安机关对发现特定目标后的截获率。
19.综上所述，本发明具有如下的有益技术效果：本发明所述的一种人脸跟踪与识别方法、系统及存储介质，相较于现有技术，本发明通过不同架构的网络模型提取人脸和人体特征，即利用卷积神经网络的优点，先获取复杂场景中的视频序列，利用人体检测算法定位出图像中的人体，再进行图像重建，得到清晰度更高的第二人体图像，提取人体特征，对获取的第一人体头部图像进行3d人脸重建，提取
人脸特征，增强人脸的识别率，将提取到的人脸特征和人体特征进行特征拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的人脸图像清晰、分辨率高，最终能够大幅提升公安机关对发现特定目标后的截获率。
附图说明
20.图1是本发明实施例中示出的一种人脸跟踪与识别方法的流程示意图。
21.图2是本发明实施例中示出的一种人脸跟踪与识别系统的流程示意图。
22.附图标记说明：1、图像采集模块；2、人体定位模块；3、图像重建模块；4、人体特征提取模块；5、人体头部定位生成模块；6、3d人脸图像重建模块；7、人脸特征提取模块；8、特征拼接模块；9、比对识别跟踪模块。
具体实施方式
23.以下结合图1-图2对本发明作进一步详细说明。
24.本发明实施例公开一种人脸跟踪与识别方法。参照图1，一种人脸跟踪与识别方法，所述方法包括以下步骤：100，接收来自监控采集的包含被识别者的视频序列，根据视频序列检测出个体图像样本，利用人体检测算法定位出个体图像样本中的人体，生成第一人体图像200，对第一人体图像进行图像重建，生成第二人体图像；300，对生成的第二人体图像进行人体特征值提取，生成人体特征图；400，对所述第一人体图像进行人体头部检测，得到第一人体头部图像，对第一人体头部图像进行3d人脸图像重建，生成第二人体头部图像；500，根据生成的第二人体头部图像提取人脸特征值，生成人脸特征图；600，将所述人脸特征图和人体特征图进行特征拼接形成人脸-人体特征图，根据人脸-人体特征图对被识别者进行对比识别。
25.需要说明的是，步骤100中采用的是深度学习目标检测算法。
26.对于人体图像的获取，可以通过将图像数据输入经过数据训练的深度学习目标检测算法(如faster rcnn、yolov3、cornernet)得到，例如，本发明实施例中，选择重建后的图像作为输入，经过faster rcnn算法，可以得到人体检测框，根据人体检测框从而得到人体图像。
27.另外，人脸图像和人体图像为两个不同的特征，但具有关联性，为了能够更好地学习区分性的特征，分别将人体头部图像和人体图像输入至不同架构的神经网络，分别进行特征提取；在本实施例中，利用googlenet神经网络对人脸图像进行特征提取以获得人脸特征图；利用残差网络对人体图像进行特征提取以获得人体特征图，将人脸特征图和人体特征图进行特征拼接，得到人脸-人体特征图像。
28.应当理解的是，不同架构的神经网络不限于上述两种网络，还可以是 squeezenet网络或者mobilent网络，均可针对人脸和/或人体特征图像进行特征提取，本发明实施例中不作特别限制。
29.具体的，步骤100中对第一人体图像进行图像重建步骤具体包括：利用预先生成的超分辨率重建网络模型对第一人体图像进行重建，得到第二人体图像。
30.具体的，所述超分辨率重建网络模型的生成方法包括：设定训练参数和内容损失函数，构建初始模型；采集训练样本集，所述训练样本集包括个体图像样本与对应的低分辨率图像，对所述个体图像样本进行下采样处理，得到低分辨率图像，下采样处理方法是对每张图像进行3倍下采样，图像长宽均变成原来的1/3。若原来图像为h，下采样后的图像为l，那么l和h构成一个有效的图像对，用于后期模型训练。
31.将低分辨率图像输入所述初始模型，所述低分辨率图像经过初始模型提升分辨率，得到图像sr，将所述图像sr与所述个体图像样本进行比较，得到差异值，利用所述差异值调整所述训练参数直至所述内容损失函数降低至预设最小阈值，得到超分辨率重建网络模型。
32.具体的，步骤400中生成第一人体头部图像的方法，包括以下步骤：将所述第一人体图像发送至预先生成的人体头部检测模型；基于所述预先生成的人体头部检测模型得到人体头部框信息；根据所述人体头部框对所述第一人体图像进行切割得到第一人体头部图像。
33.其中，所述人体头部检测模型的生成方法包括：选取人体头部框信息，构建原始训练集；对人体头部框内区域进行随机放大，构建增广训练集；输入增广训练集到原始人体头部检测模型，得到预测的人体头部框信息；结合预测的人体头部框信息与原始训练集中的人体头部框信息计算总损失函数，训练权重，得到人体头部检测模型。
34.具体的，步骤400中3d人脸图像重建的方法包括：从第一人体图像中获取第一人体头部图像；利用预先生成的3d人脸模型对第一人体头部图像进行重建，得到第二人体头部图像。
35.其中，3d人脸模型包括：身份一致性学习部分和场景优化部分；身份一致性学习部分采用无监督式的深度学习方法，将输入的第一人体头部图像分解成标准深度图和标准原色图，然后再通过渲染器渲染出的结果来构建重构损失，使得生成器输出的重构图像与输入图像相似，保证了逐像素的重构精度；身份一致性学习部分即一次性向3d人脸模型中放入多张同一人的照片，让3d人脸模型计算出一张符合这个人特征的反射率的深度图。另外，3d人脸模型还学习了权重用于捕捉更最能体现个人特征的面部区域。
36.场景优化部分目标就是还原出目标场景中的真表情，使用编码器从目标图像中抽取真实的纹理和深度信息，然后融合进入“标准脸”进行3d人脸重建。因为在场景优化的过程中并不是脸上的所有区域都需要大改的，比如额头，可能只需要按照光照微微调整颜色就行了，通过设定注意力机制可以让模型更好的保存不必要改变的特征。
37.本发明实施例中还公开了一种人脸跟踪与识别系统。参照图2，一种人脸跟踪与识
别系统包括：图像采集模块1，利用大量真实高速监控相机获取复杂场景中的视频数据流，从而获取个体图像样本；人体定位模块2，用于在个体图像样本上进行人体的初步定位处理，获取候选人体区域的第一人体图像；图像重建模块3，用于对第一人体图像进行图像重建，得到清晰度更高的第二人体图像；人体特征提取模块4，用于对生成的人体图像进行人体特征值的提取，生成人体特征图；人体头部定位生成模块5，用于对第一人体图像进行人体头部检测，选取人体头部框信息，根据所述人体头部框信息对所述人体图像进行切割得到第一人体头部图像；3d人脸图像重建模块6，用于对第一人体头部图像进行3d人脸图像重建，生成人脸特征图；人脸特征提取模块7，用于对第二人体头部图像提取人脸特征值，生成人脸特征图；特征拼接模块8，用于将人脸特征图和人体特征图进行特征拼接，形成人脸-人体特征图；比对识别跟踪模块9，将生成到的人脸-人体特征图与待跟踪人物的特征进行对比，来判断是否是同一个人，从而实现跟踪与识别。
38.通过采用上述技术方案，通过图像采集模块1得到复杂场景中视频序列，从视频序列中检测出第一人体图像和第一人体头部图像，然后利用图像重建模块3进行图像重建，得到清晰度更高的第二人体图像，更有利于获取人体特征，对获取的第一人体头部图像进行3d人脸重建，提取人脸特征，增强人脸的识别率，最后通过特征拼接模块8，对人脸和人体特征进行拼接，根据拼接特征对行人进行识别，从而提高了识别效率，节约了资源，且保证了人脸与人体的对应关系，解决了识别和跟踪的结果不佳的问题，提高了实用性，有效的解决了受场景大、成像设备像素低、距离较远、环境等诸多因素的影响，实现对复杂大场景中的人脸跟踪与识别，得到的人脸图像清晰、分辨率高，最终能够大幅提升公安机关对发现特定目标后的截获率。
39.本发明实施例中还公开了一种计算机可读存储介质，存储有能够被处理器加载并执行如上述一种人脸跟踪与识别方法的计算机程序，该计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
40.以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。