一种基于张量补全的有遮挡人脸检测方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于张量补全的有遮挡人脸检测方法。


背景技术：

2.人脸检测是对于给定图像或者视频，判定其中是否存在人脸的一种计算机视觉技术。它是人脸识别、人脸跟踪和人脸表情识别等技术中的一个必要环节。人脸检测技术在人机交互、智慧监控、图像/视频检索等领域都有着广泛的应用价值。但是，在实际应用场景中常常会出现待检测的人脸被遮挡的情况，比如，疫情期间人们需要戴口罩出入公共场所，口罩的遮挡使采集到的人脸图像或者视频有较大的人脸特征损失，这会使人脸检测的结果受到影响。因此，有遮挡人脸检测具备十分重要的研究意义。
3.人工智能领域的张量(tensor)一般是指第3阶或阶数更高的张量。张量分解是矩阵分解的高阶泛化，同矩阵分解一样，张量分解可以用于填补稀疏或缺失的数据。利用张量分解的方法来填补缺失数据又被称为张量补全。
4.卷积神经网络(convolutional neural network，cnn)是一种深度前馈人工神经网络，因为cnn避免了对图像的复杂前期处理，从而在图像识别领域得到了广泛的应用。2dcnn常用于图像以及图像类文本的识别；3dcnn由于能够捕捉时空信息，所以主要应用于视频类数据以及医学影像数据的识别。
5.基于2dcnn特征提取的人俩检测方法流程如图1所示，将人脸图像输入2dcnn特征提取模块得到人脸图像的卷积特征；将人脸图像的卷积特征输入全连接网络模块输出人脸检测结果。基于传统机器学习的人脸检测方法流程如图2所示，将使用边缘算子、几何算子、纹理算子等特征提取器提取人脸图像的相应特征；将手工提取的特征输入svm计算得到人脸检测结果。
6.现有技术无法有效地利用图像序列间的时序特征补充人脸特征，也无法处理有遮挡的人脸检测问题。


技术实现要素：

7.针对现有技术的不足，本发明旨在提供一种基于张量补全的有遮挡人脸检测方法。
8.为了实现上述目的，本发明采用如下技术方案：
9.一种基于张量补全的有遮挡人脸检测方法，具体包括以下步骤：
10.s1、使用3d cnn提取人脸图像序列数据的特征张量；
11.s2、对步骤s1得到的人脸图像序列数据的特征张量进行张量补全；
12.s3、利用步骤s2获得的张量补全信息训练人脸检测模型。
13.进一步地，步骤s2中，引入tucker分解模块对步骤s1得到的特征张量进行补全操作。
14.进一步地，步骤s3中，人脸检测模型训练的损失函数如下：
15.loss＝l(loss_ori,loss_tensor)；
16.其中，l(
·
)表示交叉熵损失函数，loss_ori表示使用原始特征进行人脸检测得到的结果与真实结果之间的误差，loss_tensor表示使用张量补全后的特征进行人脸检测得到的结果与真实结果之间的误差，具体形式如下所示：
[0017][0018][0019]
y
ori
代表使用原始特征进行人脸检测得到的结果，y
tensor
代表使用张量补全后的特征进行人脸检测得到的检测结果，代表当前待检测的人脸图像序列的真实结果。
[0020]
本发明的有益效果在于：本发明通过利用3d cnn提取人脸图像序列数据特征，在获取单帧人脸图像特征的同时，亦补充了人脸图像序列中的时序特征，提升了人脸图像特征的丰富性，对人脸检测结果准确度的提升有重要作用。利用张量补全对初步提取的人脸图像序列数据特征进行补充，能够降低面部遮挡等对人脸检测结果造成的不利影响，提升有遮挡的人脸检测结果
附图说明
[0021]
图1为现有的基于2dcnn特征提取的人脸检测方法流程示意图；
[0022]
图2为现有的基于传统机器学习的人脸检测方法流程示意图；
[0023]
图3为本发明实施例中基于张量补全的有遮挡人脸检测方法流程示意图；
[0024]
图4为本发明实施例中3d cnn特征提取模块示意图；
[0025]
图5为本发明实施例中基于tucker分解的特征张量补全示意图。
具体实施方式
[0026]
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
[0027]
本实施例提供一种基于张量补全的有遮挡人脸检测方法，利用人脸图像序列数据训练人脸检测网络，并在训练过程中加张量补全特征约束。如图3所示，具体包括以下步骤：
[0028]
s1、使用3d cnn提取人脸图像序列数据的特征。
[0029]
本实施例涉及人脸检测网络的特征提取部分是一个3d cnn模块，其网络结构如图4所示。该网络是由一个输入层、三个卷积层和三个下采样层组成。输入层接收连续的(9帧)大小为300x225的人脸图像序列数据。三个卷积层分别采用7x7x3、7x6x3和3x3x3的3d卷积核进行卷积操作。三个下采样层采用3x3的核进行下采样操作。
[0030]
人脸图像序列通常用摄像头采集获得。
[0031]
s2、利用张量补全丰富步骤s1得到的人脸图像序列数据特征。
[0032]
本实施例方法中，考虑到由于遮挡造成的人脸特征缺失将直接影响人脸检测的结果，所以在步骤s1得到人脸图像序列数据的特征之后，引入tucker分解模块对步骤s1得到
的特征张量进行补全操作，流程如图5所示。对人脸特征张量进行tucker分解，首先得到人脸特征张量在三个维度上的主成分(因子矩阵)以及一个核张量。以tucker分解的秩代替张量补全的秩，从而完成人脸特征张量的补全操作。
[0033]
s3、利用步骤s2获得的张量补全信息训练人脸检测模型。
[0034]
本实施例方法中，对于人脸检测网络的损失函数部分，考虑了张量补全特征对人脸检测结果的约束，将这一约束关系运用到了人脸检测模型的训练中。模型训练的损失函数如下：
[0035]
loss＝l(loss_ori,loss_tensor)；
[0036]
其中，l(
·
)表示交叉熵损失函数：
[0037][0038]
其中，loss_ori表示使用原始特征进行人脸检测得到的结果与真实结果之间的误差，loss_tensor表示使用张量补全后的特征进行人脸检测得到的结果与真实结果之间的误差，具体形式如下所示：
[0039][0040][0041]
y
ori
代表使用原始特征进行人脸检测得到的结果，y
tensor
代表使用张量补全后的特征进行人脸检测得到的检测结果，代表当前待检测的人脸图像序列的真实结果。
[0042]
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。