人脸关键点检测方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种人脸关键点检测方法、装置、电子设备及存储介质。


背景技术：

2.人脸关键点检测是计算机领域的一项重要任务，其目的是定位一组预定义的关键点，从而了解人脸的结构。人脸关键点检测在许多人脸分析任务中都有所使用，如人脸识别、表情识别、年龄估计等。
3.现有技术中，通常根据关键点坐标或者人脸热力图来检测人脸关键点，不仅容易遗漏人脸的细节纹理信息，而且无法对人脸的全局面部特征进行学习，使得人脸关键点检测的准确率低。


技术实现要素：

4.本发明提供一种人脸关键点检测方法、装置、电子设备及存储介质，用于解决现有技术中人脸关键点检测准确率低的技术问题。
5.本发明提供一种人脸关键点检测方法，包括：获取待检测人脸图；将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；所述人脸关键点检测模型用于基于所述待检测人脸图的脸部uv图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测。
6.根据本发明提供的人脸关键点检测方法，所述将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果，包括：将所述待检测人脸图输入至所述人脸关键点检测模型的特征提取层，得到所述特征提取层输出的人脸特征；将所述人脸特征输入至所述人脸关键点检测模型的三维信息提取层，得到所述三维信息提取层输出的脸部uv图和脸部掩模图；将所述人脸特征、所述脸部uv图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出的人脸增强特征；将所述人脸增强特征输入至所述人脸关键点检测模型的特征识别层，得到所述特征识别层输出的关键点检测结果。
7.根据本发明提供的人脸关键点检测方法，所述将所述人脸特征、所述脸部uv图和所述脸部掩模图输入至所述人脸关键点检测模型的特征增强层，得到所述特征增强层输出
的人脸增强特征，包括：将所述人脸特征、所述脸部uv图和所述脸部掩模图输入至所述特征增强层的特征变换层，由所述特征变换层基于所述脸部uv图和所述脸部掩模图将所述人脸特征变换至所述脸部uv图所表示的uv空间，得到结构归一化的人脸特征；将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征。
8.根据本发明提供的人脸关键点检测方法，所述将所述结构归一化的人脸特征输入至所述特征增强层的空间注意力层，由所述空间注意力层基于自注意力机制对所述结构归一化的人脸特征进行增强，得到所述人脸增强特征，包括：将所述结构归一化的人脸特征输入至所述空间注意力层的注意力变换层，由所述注意力变换层基于所述结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于所述键向量特征、所述查询向量特征和所述值向量特征对所述结构归一化的人脸特征进行增强，得到uv空间中的人脸特征自注意力，将所述结构归一化的人脸特征和所述uv空间中的人脸特征自注意力进行逐元素加和操作，得到uv空间中的人脸增强特征；将所述uv空间中的人脸增强特征，输入至所述空间注意力层的特征反变换层，由所述特征反变换层将所述uv空间中的人脸增强特征反变换至所述人脸特征所在的图像空间，并基于反变换结果和所述人脸特征确定所述人脸增强特征。
9.根据本发明提供的人脸关键点检测方法，所述样本脸部uv图和样本脸部掩模图是基于如下步骤确定的：确定任一样本人脸图，以及所述任一样本人脸图对应的样本关键点的真实坐标；将人脸基准三维模型投影到所述任一样本人脸图中，基于每一样本关键点的真实坐标在所述人脸基准三维模型中的对应点投影到所述任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在所述任一样本人脸图中的位置，确定所述任一样本人脸图对应的人脸三维模型；对所述任一样本人脸图对应的人脸三维模型进行二维展开，得到所述任一样本人脸图对应的样本脸部uv图，并基于所述样本脸部uv图中的人脸区域和所述任一样本人脸图，确定所述任一样本人脸图对应的样本脸部掩模图；其中，所述人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
10.根据本发明提供的人脸关键点检测方法，所述人脸关键点检测模型的损失函数包括3d人脸信息预测损失和关键点检测损失；所述3d人脸信息预测损失是基于每一样本人脸图对应的样本脸部uv图和样本脸部掩模图，以及所述人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部uv图预测结果和样本掩模预测结果确定的；所述关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及所述人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
11.根据本发明提供的人脸关键点检测方法，所述人脸关键点检测模型的特征提取层
包括hrnet-v2网络模型。
12.本发明提供一种人脸关键点检测装置，包括：获取单元，用于获取待检测人脸图；检测单元，用于将所述待检测人脸图输入至人脸关键点检测模型，得到所述人脸关键点检测模型输出的关键点检测结果；其中，所述人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；所述人脸关键点检测模型用于基于所述待检测人脸图的脸部uv图和脸部掩模图对所述待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于所述人脸增强特征进行人脸关键点检测。
13.本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述人脸关键点检测方法的步骤。
14.本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述人脸关键点检测方法的步骤。
15.本发明实施例提供的人脸关键点检测方法、装置、电子设备及存储介质，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部uv图和脸部掩模图，根据脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部uv图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的人脸关键点检测方法的流程示意图；图2是本发明提供的人脸关键点检测模型的结构示意图之一；图3是本发明提供的人脸关键点检测模型的结构示意图之二；图4是本发明提供的人脸关键点检测装置的结构示意图；图5是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.图1是本发明提供的人脸关键点检测方法的流程示意图，如图1所示，该方法包括：步骤110，获取待检测人脸图。
20.具体地，待检测人脸图可以为包含人脸区域的图像。人脸关键点为用于对人脸的关键位置进行标记的点，关键位置包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等。
21.对待检测人脸图进行关键点检测，目的在于确定人脸图中每一关键点的具体位置，从而定位出人脸面部的关键区域，进而实现对人脸进行表情识别或者年龄估计等人脸分析任务。
22.步骤120，将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
23.具体地，关键点检测结果可以包括待检测人脸图中每一关键点的具体位置。
24.脸部uv图是指脸部纹理贴图，图中的每个点与脸部三维模型是相互联系的，每个点包含了一个二维位置坐标，根据每个点的二维位置坐标，可以将每个点精确地对应到脸部三维模型的表面。该二维位置坐标可以采用纹理贴图坐标表示，与脸部三维模型所在的空间坐标区分。
25.掩模图在图像处理中，用于对被处理的图像进行全部遮挡或者局部遮挡，实现对被处理的图像的全部区域或者局部区域进行处理的图。脸部掩模图为对图像中非脸部区域进行遮挡的图。
26.在人脸关键点检测过程中，脸部uv图能够提供人脸的细节纹理信息，有助于使深度学习模型学习得到人脸面部形状的分布规律，以及关键点之间的位置关联；脸部掩模图能够使深度学习模型专注于人脸区域的特征学习，排除无关信息的干扰。
27.因此，可以通过对深度学习模型进行训练的方式得到人脸关键点检测模型，具体可以通过如下训练方式得到：首先，收集大量的样本人脸图；其次，对每一样本人脸图进行标注，确定每一样本人脸图对应的样本关键点的真实坐标；再次，采用三维面部重建的方法，根据每一样本人脸图对应的样本关键点的真实坐标，确定每一样本人脸图对应的样本脸部uv图和样本脸部掩模图；最后，根据大量的样本人脸图，以及样本人脸图对应的样本标签（包括样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标）对初始模型进行训练，通过归一化映射，使得初始模型能够学习到样本人脸图中关键点在人脸区域中的分布规律和关键点之间的位置关联等人脸特征，提高初始模型对人脸关键点的检测能力，得到人脸关键点检测模型。
28.初始模型可以选择卷积神经网络模型、循环神经网络模型或者递归神经网络模型等，本发明实施例对于初始模型的选择不作具体限定。
29.在检测人脸关键点时，人脸关键点检测模型首先对待检测人脸图像进行特征提取，得到人脸特征。在此基础上，人脸关键点检测模型根据人脸特征，预测得到待检测人脸图的脸部uv图和脸部掩模图。在得到脸部uv图和脸部掩模图后，人脸关键点检测模型根据注意力机制，利用脸部uv图和脸部掩模图中的人脸三维信息对人脸特征进行增强，使得增
强后得到的人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息等。此后，人脸关键点检测模型根据人脸增强特征进行人脸关键点检测。
30.本发明实施例提供的人脸关键点检测方法，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部uv图和脸部掩模图，根据脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行映射，并使用空间自注意力模块进行增强，得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部uv图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
31.基于上述实施例，步骤120包括：将待检测人脸图输入至人脸关键点检测模型的特征提取层，得到特征提取层输出的人脸特征；将人脸特征输入至人脸关键点检测模型的三维信息提取层，得到三维信息提取层输出的脸部uv图和脸部掩模图；将人脸特征、脸部uv图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征；将人脸增强特征输入至人脸关键点检测模型的特征识别层，得到特征识别层输出的关键点检测结果。
32.具体地，图2是本发明提供的人脸关键点检测模型的结构示意图之一，如图2所示，人脸关键点检测模型可以包括特征提取层、三维信息提取层、特征增强层和特征识别层。
33.将待检测人脸图输入至特征提取层，得到特征提取层输出的人脸特征。特征提取层可以采用并行的多分辨率卷积网络构成，不同分辨率的卷积网络之间可以采用相互融合的机制，从而获取多级分辨率下人脸的特征表达，即人脸特征。
34.例如，对于待检测人脸图，可以通过特征提取层提取到大小为的多分辨率的人脸特征，是特征图通道数，和分别代表单通道特征的高和宽。
35.将人脸特征输入至三维信息提取层，得到三维信息提取层输出的脸部uv图和脸部掩模图。
36.将人脸特征、脸部uv图和脸部掩模图输入至特征增强层，得到特征增强层输出的人脸增强特征。
37.将人脸增强特征输入至特征识别层，得到特征识别层输出的关键点检测结果。
38.基于上述任一实施例，将人脸特征、脸部uv图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征，包括：将人脸特征、脸部uv图和脸部掩模图输入至特征增强层的特征变换层，由特征变换层基于脸部uv图和脸部掩模图将人脸特征变换至脸部uv图所表示的uv空间，得到结构归一化的人脸特征；将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基
于自注意力机制对结构归一化的人脸特征进行增强，得到人脸增强特征。
39.具体地，特征增强层包括特征变换层和空间注意力层。
40.将人脸特征、脸部uv图和脸部掩模图输入至特征变换层，由特征变换层将人脸特征投影到脸部uv图所在的uv空间，并根据脸部掩模图对人脸特征进行选择处理，得到结构归一化的人脸特征，可以用公式表示为：其中，为人脸特征所在的图像空间到脸部uv图所表示的uv空间的变换。
41.通过特征变换层，将人脸特征从图像空间投影到uv空间，使人脸特征与uv空间中的确定位置一一对应，可以起到归一化的作用。
42.将结构归一化的人脸特征输入至空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征进行增强，得到人脸增强特征。
43.通过空间注意力层，在uv空间对结构归一化的人脸特征进行空间自注意力增强，能够保证结构归一化的人脸特征在关键点位置的人脸信息得到固定，从而解决了人脸姿态的干扰，提高了自注意力增强的效率，也减少了与人脸无关内容（如背景）的干扰。
44.基于上述任一实施例，将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征进行增强，得到人脸增强特征，包括：将结构归一化的人脸特征输入至空间注意力层的注意力变换层，由注意力变换层基于结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于键向量特征、查询向量特征和值向量特征对结构归一化的人脸特征进行增强，得到uv空间中的人脸特征自注意力，将结构归一化的人脸特征和uv空间中的人脸特征自注意力进行逐元素加和操作，得到uv空间中的人脸增强特征；将uv空间中的人脸增强特征，输入至空间注意力层的特征反变换层，由特征反变换层将uv空间中的人脸增强特征反变换至人脸特征所在的图像空间，并基于反变换结果和人脸特征确定人脸增强特征。
45.具体地，空间注意力层包括注意力变换层和特征反变换层。
46.将结构归一化的人脸特征输入至注意力变换层，由注意力变换层根据结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征。
47.例如，注意力变换层可以通过2个卷积核，分别对结构归一化的人脸特征进行变换，得到大小的特征和。是提取特征后的特征图通道数。另外，注意力变换层通过1个的卷积核对结构归一化的人脸特征进行变换，得到大小的特征。
48.注意力变换层根据键向量特征、查询向量特征和值向量特征
对结构归一化的人脸特征进行增强，得到uv空间中的人脸增强特征，过程包括：对键向量特征、查询向量特征进行特征张量变换，将其大小从转换为，然后采用乘法得到大小为的空间自注意力矩阵，用公式表示为：其中，为转置运算符。
49.然后使用空间自注意力矩阵对结构归一化的人脸特征进行增强后，转换为大小，得到uv空间中的人脸增强特征，增强方式可以用公式表示为：其中，为可学习的权重，可以在人脸关键点检测模型的训练过程中进行调整。
50.将人脸特征和uv空间中的人脸增强特征输入至特征反变换层，由特征反变换层将uv空间中的人脸增强特征反变换至人脸特征所在的图像空间，并根据反变换结果和人脸特征确定人脸增强特征，用公式可以表示为：其中，为可学习的参数，可以在人脸关键点检测模型的训练过程中进行调整；是脸部uv图所表示的uv空间到人脸特征所在的图像空间的变换，与互为反变换。
51.此处，反变换结果为。
52.最后，将人脸增强特征输入特征识别层，得到特征识别层输出的关键点检测结果，用公式表示为：其中，为关键点检测结果，为特征识别层对应的函数表达式。
53.基于上述任一实施例，样本脸部uv图和样本脸部掩模图是基于如下步骤确定的：确定任一样本人脸图，以及该样本人脸图对应的样本关键点的真实坐标；将人脸基准三维模型投影到任一样本人脸图中，基于每一样本关键点的真实坐标在人脸基准三维模型中的对应点投影到任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在任一样本人脸图中的位置，确定任一样本人脸图对应的人脸三维模型；对该样本人脸图对应的人脸三维模型进行二维展开，得到该样本人脸图对应的样本脸部uv图，并基于样本脸部uv图中的人脸区域和该样本人脸图，确定该样本人脸图对应的样本脸部掩模图；其中，人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差
基矩阵确定的。
54.具体地，可以采用在中性人脸加入面部表情表达的3dmm（3d morphable models）方法对样本人脸图进行处理，得到每一样本人脸图对应的样本脸部uv图和样本脸部掩模图。
55.首先，可以根据人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定人脸基准三维模型，可以用公式表示为：其中，为人脸基准三维模型，为人脸基准形状，为中性表情变换基矩阵，为中性表情的权重，为表情偏差基矩阵，为表情偏差的权重。
56.中性表情变换基矩阵可以为bfm（basel face model）人脸数据库中的基矩阵，表情偏差基矩阵可以为face warehouse人脸表情数据库中的基矩阵。
57.采用弱透视投影操作，将人脸基准三维模型投影到任一样本人脸图中，可以用公式表示为：式中，为人脸基准三维模型s上的点在该样本人脸图中的投影位置，为尺度因子，为正交投影矩阵，为的旋转矩阵，为俯仰角，为偏航角，为翻滚角，为变换向量。
58.根据人脸基准三维模型和任一样本人脸图，确定该样本人脸图对应的人脸三维模型的过程，即是找到一组模型参数（，，，，），确定该样本人脸图的每个关键点在人脸基准三维模型s中的对应点投影到该样本人脸图中的投影位置，以及每个关键点在该样本人脸图中的位置，使得这两个位置之间的距离最小，用公式表示为：得到最优的模型参数后，也就确定了该样本人脸图对应的人脸三维模型。
59.对于该样本人脸图对应的人脸三维模型的每个表面点，使用三角网络对人脸三维模型进行二维展开后，对应的二维坐标为，将二维坐标点的数值标记在样本人脸图的对应点上，仅选取可见的人脸部分，就得到了一个二通道张量，即样本脸部uv图。
60.根据样本脸部uv图中的人脸区域，在样本人脸图上选取对应的人脸区域，得到一个单通道张量，即样本脸部掩模图。在样本脸部掩模图中，可以用1值标记人脸可见部分，可以用0值标记背景及其他部分。
61.基于上述任一实施例，人脸关键点检测模型的损失函数包括3d人脸信息预测损失和关键点检测损失；3d人脸信息预测损失是基于每一样本人脸图对应的样本脸部uv图和样本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部uv图预测结果和脸部掩模图预测结果确定的；
关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
62.具体地，3d人脸信息预测损失可以根据每一样本人脸图对应的样本脸部uv图和样本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部uv图预测结果和脸部掩模图预测结果确定的，具体可以根据样本脸部uv图和样本脸部掩模图的拼接张量，以及三维信息提取层输出的样本人脸图的脸部uv图预测结果和脸部掩膜图的拼接张量之间的均方误差（mse）确定，用公式表示为：其中，为3d人脸信息预测损失，为样本脸部uv图的高度，为样本脸部uv图的宽度，为样本脸部uv图中的像素点的标号，像素点在拼接张量中的位置与像素点在拼接张量中的位置相对应。
63.关键点检测损失可以根据每一样本人脸图对应的样本关键点的真实坐标，以及人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定，具体可以根据样本关键点的真实坐标（样本标签），以及特征识别层输出的每一样本人脸图的关键点检测结果（预测结果）之间的均方误差（mse）确定用公式表示为：其中，为关键点检测损失，为样本人脸图中关键点的数量，为关键点的标号，为第个关键点在样本人脸图中的标注位置，为第个关键点在样本人脸图中的检测位置（模型预测位置）。
64.人脸关键点检测模型的损失函数可以包括uv图预测损失和关键点检测损失，用公式表示为：其中，为uv图预测损失的权重。
65.基于上述任一实施例，人脸关键点检测模型的特征提取层包括hrnet-v2网络模型。
66.具体地，特征提取层可以是hrnet-v2网络模型。具体可以包括一个枝干模块和多分辨率特征提取模块。枝干模块可以为两个卷积层，用于对待检测人脸图提取初始特征。多分辨率特征提取模块包括并行的多分辨率卷积网络，各分辨率卷积网络与枝干模块输出的初始特征的分辨率比值可以为1/4、1/8、1/16、1/32等。不同分辨率的卷积网络层级之间有
相互融合的机制，从而能够获取多级分辨率下人脸的特征表达。
67.基于上述任一实施例，本发明实施例提供一种人脸关键点检测方法，选取人脸关键点公开数据集wflw中的图像为训练数据集。图3是本发明提供的人脸关键点检测模型的结构示意图之二，如图3所示，该人脸关键点检测模型包括特征提取层、三维信息提取层、特征增强层和特征识别层。其中，特征提取层以hrnet-v2为基础模型。
68.该方法包括：步骤一、使用3dmm方法处理训练数据集，得到数据的uv图和面部掩模；步骤二、三维信息生成。使用hrnet-v2作为基础模型，hrnet-v2的多分辨率特征提取模块中各分辨率卷积网络与枝干模块输出的初始特征的分辨率比值可以为1/4、1/8、1/16、1/32等，输出三通道热图，分别拟合输入图像的uv图（二通道）和面部掩模（单通道）。
69.步骤三、人脸关键点检测。输入图像提取的特征分别进入两个路径，一个用于产生输入图片对应的uv图和面部掩模（见步骤二），一个使用uv图和面部掩模预测将提取出的多分辨率特征转换到归一化的uv空间，将空间自注意力模块接入hrnet-v2网络的多分辨率特征输出端，对uv空间中的特征进行自注意力增强。然后使用uv图与面部掩模将该特征重新转换回图片空间，与原特征加权逐元素相加，进行预测。
70.步骤四、网络测试。对输入图片生成uv图和面部掩模，然后将多分辨率特征映射到uv空间，进行自注意力机制增强，随后将特征映射回图像空间，与原特征以0.01:1的比例相加，据此进行关键点位置估计，得到最终结果。
71.基于上述任一实施例，图4是本发明提供的人脸关键点检测装置的结构示意图，如图4所示，该装置包括：获取单元410，用于获取待检测人脸图；检测单元420，用于将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行结构归一化的空间自注意力增强，得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
72.本发明实施例提供的人脸关键点检测装置，通过人脸关键点检测模型对待检测人脸图进行检测得到关键点检测结果，人脸关键点检测模型根据待检测人脸图的人脸特征预测得到脸部uv图和脸部掩模图，根据脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并根据人脸增强特征进行人脸关键点检测，由于脸部uv图能够提供人脸的细节纹理信息，脸部掩模图能够排除无关信息的干扰，采用空间自注意力增强使得人脸增强特征能够包含人脸关键点分布规律和关键点之间的位置关联信息，具有丰富的表达能力，提高了人脸关键点检测的准确率。
73.基于上述任一实施例，检测单元包括：特征提取子单元，用于将待检测人脸图输入至人脸关键点检测模型的特征提取层，得到特征提取层输出的人脸特征；三维信息提取子单元，用于将人脸特征输入至人脸关键点检测模型的三维信息提
取层，得到三维信息提取层输出的脸部uv图和脸部掩模图；特征增强子单元，用于将人脸特征、脸部uv图和脸部掩模图输入至人脸关键点检测模型的特征增强层，得到特征增强层输出的人脸增强特征；特征识别子单元，用于将人脸增强特征输入至人脸关键点检测模型的特征识别层，得到特征识别层输出的关键点检测结果。
74.基于上述任一实施例，特征增强子单元包括：特征变换模块，用于将人脸特征、脸部uv图和脸部掩模图输入至特征增强层的特征变换层，由特征变换层基于脸部uv图和脸部掩模图将人脸特征变换至脸部uv图所表示的uv空间，得到结构归一化的人脸特征；注意力增强模块，用于将结构归一化的人脸特征输入至特征增强层的空间注意力层，由空间注意力层基于自注意力机制对结构归一化的人脸特征特征进行增强，得到人脸增强特征。
75.基于上述任一实施例，特征变换模块包括：注意力变换子模块，用于将结构归一化的人脸特征输入至空间注意力层的注意力变换层，由注意力变换层基于结构归一化的人脸特征确定自注意力机制中的键向量特征、查询向量特征和值向量特征，并基于键向量特征、查询向量特征和值向量特征对结构归一化的人脸特征进行增强，得到uv空间中的人脸特征自注意力，将人脸特征和所述uv空间中的人脸特征自注意力进行逐元素加和操作，得到uv空间中的人脸增强特征；特征反变换子模块，用于将uv空间中的人脸增强特征输入至空间注意力层的特征反变换层，由特征反变换层将uv空间中的人脸增强特征反变换至人脸特征所在的图像空间，并基于反变换结果和人脸特征确定人脸增强特征。
76.基于上述任一实施例，还包括：三维信息生成单元，用于确定任一样本人脸图，以及任一样本人脸图对应的样本关键点的真实坐标；将人脸基准三维模型投影到任一样本人脸图中，基于每一样本关键点的真实坐标在人脸基准三维模型中的对应点投影到任一样本人脸图中的投影位置，以及每一样本关键点的真实坐标在任一样本人脸图中的位置，确定任一样本人脸图对应的人脸三维模型；对任一样本人脸图对应的人脸三维模型进行二维展开，得到任一样本人脸图对应的样本脸部uv图，并基于样本脸部uv图中的人脸区域和任一样本人脸图，确定任一样本人脸图对应的样本脸部掩模图；其中，人脸基准三维模型是基于人脸基准形状、中性表情变换基矩阵和表情偏差基矩阵确定的。
77.基于上述任一实施例，人脸关键点检测模型的损失函数包括3d人脸信息预测损失和关键点检测损失；3d（三维）人脸信息预测损失是基于每一样本人脸图对应的样本脸部uv图和样本脸部掩模图，以及人脸关键点检测模型的三维信息提取层输出的每一样本人脸图的脸部uv图预测结果和脸部掩模图预测结果确定的；关键点检测损失是基于每一样本人脸图对应的样本关键点的真实坐标，以及人脸关键点检测模型的特征识别层输出的每一样本人脸图的关键点检测结果确定的。
78.基于上述任一实施例，人脸关键点检测模型的特征提取层包括hrnet-v2网络模型。
79.基于上述任一实施例，图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（communications interface）520、存储器（memory）530和通信总线（communications bus）540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑命令，以执行如下方法：获取待检测人脸图；将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
80.此外，上述的存储器530中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
81.本发明实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
82.本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取待检测人脸图；将待检测人脸图输入至人脸关键点检测模型，得到人脸关键点检测模型输出的关键点检测结果；其中，人脸关键点检测模型是基于样本人脸图，以及样本人脸图对应的样本脸部uv图、样本脸部掩模图和样本关键点的真实坐标训练得到的；人脸关键点检测模型用于基于待检测人脸图的脸部uv图和脸部掩模图对待检测人脸图的人脸特征进行空间自注意力增强得到人脸增强特征，并基于人脸增强特征进行人脸关键点检测。
83.本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
84.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。
85.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
86.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。