人脸遮挡的识别、三维人脸处理方法、装置、设备及介质与流程

1.本发明实施例涉及人脸识别和三维人脸重建技术领域，尤其涉及一种人脸遮挡的识别、三维人脸处理方法、装置、计算机设备及介质。


背景技术：

2.随着直播技术的不断发展，人脸识别及三维人脸的重建技术的应用也日趋广泛。在直播间场景中，出现了需要使用三维人脸重建结果的各类小工具，例如，三维头套或者表情面具等，以丰富直播间用户的互动方式。
3.各类小工具为了能够更好的使用三维人脸重建结果，首先需要对原始的二维人脸图像进行人脸遮挡的识别，并对未出现人脸遮挡的各二维人脸图像进行三维人脸重建，以满足实际的直播互动需求。目前，主要的人脸遮挡的识别技术主要包括：预先训练得到一个人脸识别模型的方式，或者，比对三维重建人脸和二维人脸图像中各人脸关键点之间的相似度距离的方式等。
4.发明人在实现本发明的过程中，发现：使用人脸识别模型的方式需要使用大量的样本、花费大量的时间和算力成本进行预训练，而计算相似度距离的方式则会带来很大的误判率，目前并未存在一种便捷、准确的进行人脸遮挡识别的实现方式。


技术实现要素：

5.本发明实施例提供一种人脸遮挡的识别、三维人脸处理方法、装置、设备及介质，以提供一种识别人脸遮挡的新方式，以简单、便捷且准确的确定出人脸遮挡。
6.第一方面，本发明实施例提供了一种人脸遮挡的识别方法，包括：
7.获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；
8.根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；
9.根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
10.第二方面，本发明实施例提供了一种三维人脸处理方法，包括：
11.在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；
12.采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；
13.在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。
14.第三方面，本发明实施例还提供了一种人脸遮挡的识别装置，该人脸遮挡的识别装置包括：
15.目标人脸重建参数得到模块，用于获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；
16.人脸畸变检测模块，用于根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；
17.人脸遮挡识别模块，用于根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
18.第四方面，本发明实施例还提供了一种三维人脸处理装置，该三维人脸处理装置包括：
19.人脸图像帧采集模块，用于在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；
20.人脸遮图像帧识别模块，用于采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；
21.三维人脸处理模块，用于在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。
22.第五方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如本发明任意实施例所述的人脸遮挡的识别方法，或者实现如本发明任意实施例所述的三维人脸处理方法。
23.第六方面，本发明实施例还提供了一种包含计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如本发明任意实施例所述的人脸遮挡的识别方法，或者实现如本发明任意实施例所述的三维人脸处理方法。
24.本发明实施例所提供的技术方案，通过获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。本发明实施例的技术方案提供了一种通过二维人脸图像识别人脸遮挡的新方式，可以简单、便捷且准确的确定出人脸遮挡，进而可以基于人脸遮挡识别结果，准确的向用户提供匹配的用户服务。
附图说明
25.图1是本发明实施例一提供的一种人脸遮挡的识别方法的流程图；
26.图2是本发明实施例二提供的另一种人脸遮挡的识别方法的流程图；
27.图3是本发明实施例三提供的一种三维人脸处理方法的流程图；
28.图4是本发明实施例四提供的一种人脸遮挡的识别装置的结构示意图；
29.图5是本发明实施例五提供的一种三维人脸处理装置的结构示意图；
30.图6是本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
31.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
32.另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非
全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
33.本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
34.实施例一
35.图1是本发明实施例一提供的一种人脸遮挡的识别方法的流程图。本实施例可适用于识别二维人脸图像中是否存在人脸遮挡的情况。本实施例的方法可以由人脸遮挡的识别装置执行，该装置可以通过软件和/或硬件的方式实现，该装置可配置于计算机设备中，该计算机设备可以是服务器或者终端设备，本发明实施例并不对计算机设备的类型进行限定。
36.相应的，该方法具体包括如下步骤：
37.s110、获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数。
38.其中，目标人脸图像可以是包含人脸的二维图像，例如，可以是在用户进行直播过程中，通过前置摄像头实时采集的图像。在该目标人脸图像中，每个像素点仅包括二维位置信息(x、y)，不包括深度信息。
39.三维人脸建模可以是指从目标人脸图像中重建出人脸的三维模型，也即，使得重建后的人脸包括了深度信息(z分量)。目标人脸重建参数可以是对二维人脸进行三维人脸建模时，得到相应的人脸重建的多组参数。
40.可选的，对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数，可以包括：
41.根据三维形变统计模型，采用主成分分析算法，构建三维人脸重建公式；所述三维人脸重建公式中包括多个待优化的人脸重建参数；以所述三维人脸重建公式重建得到的三维人脸与所述二维人脸之间的最小距离为优化目标，对各所述人脸重建参数进行迭代优化，得到所述目标人脸重建参数。
42.其中，三维形变统计模型(3dmm，3d morph model)，可以是针对输入二维人脸图像的三维人脸建模过程统计的模型。对于输入的二维人脸图像，通过调节模型的人脸重建参数得到与输入二维人脸图像最为相似的三维人脸样本。3dmm是一种较为基础的三维人脸统计模型，最早被提出是用于解决从二维人脸图像恢复三维形状的问题，在3dmm方法发展的二十年来，各位学者对其进行了数据扩展和深入研究，又由于神经网络广泛使用，使得3dmm参数优化得到简化。
43.主成分分析(pca，principal component analysis)算法是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息。一般来说，当研究的问题涉及到多变量且变量之间
存在很强的相关性时，我们可考虑使用pca算法来对数据进行简化。
44.具体的，根据三维形变统计模型，采用pca算法，来对三维人脸重建公式进行构建时，三维人脸重建公式如下所示：
[0045][0046]
其中，x
projection
为重建后的三维人脸(也即，三维人脸重建结果)投影至二维空间中的投影点；s表示缩放参数，用于将三维人脸缩放到与二维图像对齐，是一个参数的未知量，例如0.00125；p表示3*3单位矩阵，即正交投影矩阵；r表示3*3单位正交矩阵，是指旋转矩阵。可以是指pca算法中三维人脸的平均脸；m表示形状维度，pca算法三维建模会构建出人脸特征以及表情的pca的基，由于是高维空间，所以就不像笛卡尔坐标系只有xyz三维，这里m值是199，即为199维；αi表示指人脸特征199维的pca基，它的维度是199*65536*3，65536是指三维人脸中包括的各人脸特征点，*3是指每个人脸特征点的位置参数(xyz)；n表示表情维度，与m含义相似，一般取值为29，是固定参数。si表示形状系数，是199个未知数。βi表示表情的pca基，与αi对应，维度是29*65536*3。ei表示表情系数，与si含义相似，是29个未知数。t
2d
表示偏移矩阵，用于将重建后的三维人脸与二维图像对齐的参数。
[0047]
可以理解的是，该三维人脸重建公式中包括多个待优化的人脸重建参数：s、r、si、ei和t
2d
；进而，通过计算三维人脸重建公式重建得到的三维人脸与二维人脸之间的距离，以两者之间的最小距离为优化目标，对各人脸重建参数进行迭代优化，得到目标人脸重建参数，也即最优的人脸重建参数s、r、si、ei和t
2d
。
[0048]
这样设置的好处在于：通过对目标人脸图像中包括的二维人脸进行三维人脸建模，得到与二维人脸匹配的目标人脸重建参数。通过以三维人脸重建公式重建得到的三维人脸与二维人脸之间的最小距离为优化目标，对各人脸重建参数进行迭代优化，得到目标人脸重建参数。这样可以使得计算出更加准确地目标人脸重建参数，从而能更加准确的判别出二维人脸图像中存在人脸遮挡。
[0049]
s120、根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变。
[0050]
其中，人脸模型库可以是由多张标准人脸样本组成的模型库。标准人脸参数可以是由人脸模型库中包括的各标准人脸样本人脸特征点，确定出的人脸参数。
[0051]
可选的，该人脸模型库可以为萨里人脸模型(sfm)库，4d人脸模型(4dfm)库，或者巴塞尔人脸模型(bfm)库等。如前所述，在通过三维人脸重建公式进行三维人脸重建时，需要使用人脸形状以及人脸表情的pca基，也即，αi和ei。上述pca基是结合了人脸模型库中的各标准人脸样本的人脸特征点确定得到的。进而，可以将上述各pca基，确定为一项标准人脸参数。
[0052]
可以理解的是，由于标准人脸参数是使用人脸模型库中各标准人脸样本确定得到的，因此，其可以作为正常人脸的衡量指标。换句话说，如果重建得到三维人脸(三维人脸重建结果)的目标人脸重建参数与该标准人脸参数的差异性越小，则该三维人脸发生畸变的可能性越低，则匹配的二维人脸图像出现人脸遮挡的可能性也就越低；反之，如果重建得到的三维人脸的目标人脸重建参数与该标准人脸参数的差异性越大，则该三维人脸发生畸变的可能性越高，则匹配的二维人脸图像出现人脸遮挡的可能性也就越高。
[0053]
相应的，可以根据目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，得到目标人脸重建参数和标准人脸参数之间的参数差异值，从而可以根据该参数差异值，确定该三维人脸重建结果是否存在人脸畸变。
[0054]
s130、根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
[0055]
在本实施例的一个可选的实施方式中，当确定该三维人脸重建结果存在人脸畸变时，可以直接确定所述目标人脸图像中存在人脸遮挡；
[0056]
在本实施例的另一个可选的实施方式中，当确定该三维人脸重建结果存在人脸畸变时，为了进一步降低误判率，可以进一步结合其他检测算法，辅助确定所述目标人脸图像中是否存在人脸遮挡。
[0057]
例如，可以进一步计算重建后的三维人脸中的各人脸关键点，与二维人脸中各人脸关键点之间的相似度距离，如果确定三维人脸与二维人脸中各人脸关键点的相似度距离也比较远，则可以确定该目标人脸图像中存在人脸遮挡。
[0058]
可选的，当确定该三维人脸重建结果不存在人脸畸变时，可以确定通过三维人脸重建后得到的三维人脸从视觉上看是一个正常人脸的样子，进而，可以直接确定该目标人脸图像中不存在人脸遮挡。
[0059]
本发明实施例所提供的技术方案，通过获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。本发明实施例的技术方案提供了一种通过二维人脸图像识别人脸遮挡的新方式，可以简单、便捷且准确的确定出人脸遮挡，进而可以基于人脸遮挡识别结果，准确的向用户提供匹配的用户服务。
[0060]
实施例二
[0061]
图2是本发明实施例二提供的另一种人脸遮挡的识别方法的流程图。本实施例以上述各实施例为基础进行细化，在本实施例中，对根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变的操作进行进一步细化，以及，对根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡的操作进行进一步细化。
[0062]
相应的，该方法具体包括如下步骤：
[0063]
s210、获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数。
[0064]
s220、在所述目标人脸重建参数中提取目标形变系数，所述目标形变系数中包括所述二维人脸在多个目标维度下的特征拟合值。
[0065]
其中，目标形变系数可以是根据目标人脸重建参数确定相关形变系数，具体的，目标形变系数包括二维人脸在多个目标维度下的特征拟合值。
[0066]
续前例，目标形变系数具体是指通过前述三维人脸重建公式迭代求解得到的各人脸重建参数中的si，也即，该三维人脸重建结果在上述199个维度中的每个维度下的特征拟合值。其中，每个维度对应一种抽象化的人脸特征。
[0067]
s230、获取由人脸模型库中各人脸模型确定的标准形变系数，所述标准形变系数
中包括构建各所述目标维度时，与各所述目标维度分别对应维度特征值。
[0068]
如前所述，由人脸模型库确定的标准人脸参数中可以包括人脸形状的pca基，进而，可以进一步获取人脸形状的pca基在199个维度下，每个维度的特征值，作为该标准形变系数。
[0069]
s240、根据所述目标形变系数与所述标准形变系数之间的差异度，检测三维人脸重建结果是否存在人脸畸变是否存在人脸畸变。
[0070]
可选的，根据所述目标形变系数与所述标准形变系数之间的差异度，检测三维人脸重建结果是否存在人脸畸变是否存在人脸畸变，可以包括：
[0071]
分别计算所述目标形变系数与所述标准形变系数在每个目标维度下，所述特征拟合值与所述维度特征值之间的绝对差异值；对各所述目标维度的绝对差异值进行累加求和，得到累加差异值；如果确定所述累加差异值超过特征差异门限，则确定所述二维人脸存在人脸畸变。
[0072]
其中，绝对差异值可以是用来衡量两者之间差异大小的值，具体的，当绝对差异值越大，说明两者之间差异越大；当绝对差异值越小，说明两者之间差异越小。累计差异值可以是将不同维度的绝对差异值进行叠加，得到相应的差异值。特征差异门限可以是判断三维人脸重建结果存在人脸畸变的门限，当累加差异值超过特征差异门限，则确定三维人脸重建结果存在人脸畸变；当累加差异值不超过特征差异门限，则确定三维人脸重建结果不存在人脸畸变。
[0073]
示例性的，假设目标维度分别为上述199个维度，特征差异门限为d
阈值
。分别计算目标形变系数与所述标准形变系数在上述199个维度中的每个目标维度下，特征拟合值与维度特征值之间的199个绝对差异值(两者之差的绝对值)，对上述各199个绝对差异值进行累加求和，得到累加差异值d
总
。如果确定累加差异值d
总
超过特征差异门限d
阈值
，也即d
总
》d
阈值
，则确定三维人脸重建结果存在人脸畸变；如果确定累加差异值d
总
不超过特征差异门限d
阈值
，也即d
总
≤d
阈值
则确定三维人脸重建结果不存在人脸畸变。
[0074]
这样设置的好处在于：通过分别计算目标形变系数与所述标准形变系数在每个目标维度下，特征拟合值与维度特征值之间的绝对差异值，并且得到累加差异值，接着进行累加差异值和特征差异门限的比较，来确定三维人脸重建结果是否存在人脸畸变。这样可以便捷且准确地确定出三维人脸重建结果是否存在畸变，从而能够准确地对二维人脸中是否存在人脸遮挡进行判断，仅使用三维人脸建模过程中生成的参数即可进行判别，无需耗费大量的算力和时间成本专门训练人脸遮挡识别模型，同时提高了人脸遮挡识别的有效性和可靠性。
[0075]
s250、如果确定所述人脸畸变检测结果为存在人脸畸变，则获取由所述目标人脸重建参数重建得到的目标三维人脸。
[0076]
如前所述，在求解得到三维人脸重建公式中各项人脸重建参数的最优值之后，可以基于上述各项人脸重建参数，重建得到匹配的目标三维人脸。
[0077]
s260、根据所述目标三维人脸与所述二维人脸中至少一个人脸关键点之间的空间距离，识别所述目标人脸图像中是否存在人脸遮挡。
[0078]
可选的，根据所述目标三维人脸与所述二维人脸中至少一个人脸关键点之间的空间距离，识别所述目标人脸图像中是否存在人脸遮挡，可以包括：
[0079]
在所述目标三维人脸中提取多个三维五官稀疏点，并在所述二维人脸中提取多个二维五官稀疏点；分别计算各所述三维五官稀疏点与各所述二维五官稀疏点之间的空间距离值，并将各所述空间距离值进行累加求和，得到汇总空间距离值；如果确定所述汇总空间距离值超过空间距离值门限，则确定所述目标人脸图像中存在人脸遮挡。
[0080]
其中，三维五官稀疏点可以是用于描述目标三维人脸中五官形状的各人脸特征点，一般来说，在重建得到目标三维人脸后，该目标三维人脸中的每个人脸特征点均带有语义特征，进而，可以根据上述语义特征，在目标三维人脸中提取各三维五官稀疏点。
[0081]
相类似的，二维五官稀疏点可以是用于描述二维人脸中五官形状的各人脸特征点。相类似的，在目标人脸图像中识别出二维人脸时，该二维人脸中的每个人脸特征点同样带有语义特征，进而，可以根据上述语义特征，在二维人脸中提取各二维五官稀疏点。
[0082]
空间距离值可以是用来描述各三维五官稀疏点与各二维五官稀疏点距离的值，具体的，用欧氏距离来计算各三维五官稀疏点与各二维五官稀疏点的空间距离值。汇总空间距离值可以是用不同的五官稀疏点分别计算出的多个空间距离值进行累加，得到的汇总值。空间距离值门限可以是判断目标人脸图像中是否存在人脸遮挡的门限，当汇总空间距离值超过空间距离值门限，则确定目标人脸图像中存在人脸遮挡；当汇总空间距离值不超过空间距离值门限，则确定目标人脸图像中不存在人脸遮挡。
[0083]
示例性的，假设在目标三维人脸中提取5个三维五官稀疏点，分别为{(x1,y1,z1)；(x2,y2,z2)；(x3,y3,z3)；(x4,y4,z4)；(x5,y5,z5)}，并在二维人脸中提取5个二维五官稀疏点，分别为{(x1',y1')；(x2',y2')；(x3',y3')；(x4',y4')；(x5',y5')}。假设空间距离值门限为d
空间
。分别计算各三维五官稀疏点与各二维五官稀疏点之间的空间距离值，只需要考虑三维五官稀疏点的x轴和y轴的值，与各二维五官稀疏点进行计算，得到相应的空间距离值，分别为d1、d2、d3、d4和d5。进一步的，并将各空间距离值进行累加求和，得到汇总空间距离值d
汇总
＝d1 d2 d3 d4 d5。如果确定汇总空间距离值d
汇总
超过空间距离值门限d
空间
，也即d
汇总
》d
空间
，则确定目标人脸图像中存在人脸遮挡；如果确定汇总空间距离值d
汇总
不超过空间距离值门限d
空间
，也即d
汇总
≤d
空间
，则确定目标人脸图像中不存在人脸遮挡。
[0084]
一般来说，三维五官稀疏点与二维五官稀疏点的语义一般不同，因此，两者先天会具有一定的偏差，因此，在选择空间距离值门限时，可以选择一个较大的值，以最大程度的避免误判。
[0085]
具体的，可以通过实验，计算二维人脸与匹配的三维人脸(不存在遮挡)之间的中至少一个人脸关键点之间的空间距离经验值，之后，可以选择使用该空间距离经验值的设定倍数，例如1.5倍或者2倍等，作为空间距离值门限。
[0086]
这样设置的好处在于：通过提取到的多个三维五官稀疏点和多个二维五官稀疏点，分别计算两者之间的空间距离值，并进行累加求和得到汇总空间距离值，通过比较汇总空间距离值和空间距离值门限值的大小，确定目标人脸图像中是否存在人脸遮挡。这样通过计算的手段得到的结果更加准确，从而能够准确地对是否存在人脸遮挡进行判断，同时提高了人脸遮挡识别的有效性和可靠性。
[0087]
本发明实施例所提供的技术方案，通过获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；在所述目标人脸重建参数中提取目标形变系数；获取由人脸模型库中各人脸模型确定的标
准形变系数；根据所述目标形变系数与所述标准形变系数之间的差异度，检测三维人脸重建结果是否存在人脸畸变是否存在人脸畸变；如果确定所述人脸畸变检测结果为存在人脸畸变，则获取由所述目标人脸重建参数重建得到的目标三维人脸；根据所述目标三维人脸与所述二维人脸中至少一个人脸关键点之间的空间距离，识别所述目标人脸图像中是否存在人脸遮挡。本发明实施例的技术方案提供了一种通过二维人脸图像识别人脸遮挡的新方式，可以简单、便捷且准确的确定出人脸遮挡，进而可以基于人脸遮挡识别结果，准确的向用户提供匹配的用户服务。这样可以准确地对二维人脸中是否存在人脸遮挡进行判断，仅使用三维人脸建模过程中生成的参数即可进行判别，无需耗费大量的算力和时间成本专门训练人脸遮挡识别模型，同时提高了人脸遮挡识别的有效性和可靠性。
[0088]
实施例三
[0089]
图3是本发明实施例三提供的一种三维人脸处理方法的流程图。本实施例可适用于用户进行三维特效添加处理的情况。本实施例的方法可以由三维人脸处理装置执行，该装置可以通过软件和/或硬件的方式实现，该装置可配置于计算机设备中，该计算机设备可以是服务器，本发明实施例并不对计算机设备的类型进行限定。
[0090]
相应的，该方法具体包括如下步骤：
[0091]
s310、在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧。
[0092]
其中，三维人脸处理请求可以是用户进行三维特效的添加请求(例如，在当前显示图像中添加三维头套或者其他头部装饰，例如眼镜等)，而向服务器发起的请求命令。人脸图像帧可以是在客户端摄像头进行人脸图像采集得到的单帧人脸图像。
[0093]
s320、对各所述人脸图像帧进行人脸遮挡的识别。
[0094]
在本实施例中，对各所述人脸图像帧进行人脸遮挡的识别的方式可以为：获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
[0095]
s330、在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。
[0096]
在本实施例的一个可选的实施方式中，假设主播在直播过程中，想要加三维特效，比如说兔子面罩等可爱装饰的三维特效。相应的，该主播可以通过主播客户端向直播服务器发送三维人脸处理请求，服务器接收到三维人脸处理请求并响应，于是服务器实时采集与客户端匹配的人脸图像帧，也即该主播的目标人脸图像。进一步的，当采集到该主播的目标人脸图像，需要判断采集到的目标人脸图像中是否存在人脸遮挡的问题。如果确定不存在人脸遮挡，则对各人脸图像帧进行匹配的三维人脸处理。也就是在直播画面中进行兔子面罩等可爱装饰的三维特效的添加处理。
[0097]
在本实施例的另一个可选的实施方式中，假设主播在直播过程中，想要加动物表情面罩的三维特效，具体的是该主播做多组表情，对应的动物表情面罩也会做相关表情。相应的，该主播可以通过主播客户端向直播服务器发送三维人脸处理请求，服务器接收到三维人脸处理请求并响应，于是服务器实时采集与客户端匹配的人脸图像帧，也即该主播的人脸图像。进一步的，当采集到该主播的目标人脸图像，需要判断采集到的目标人脸图像中
是否存在人脸遮挡的问题。如果确定不存在人脸遮挡，则对各人脸图像帧进行匹配的三维人脸处理。也就是在直播画面中给进行相关的三维特效的添加处理，也即该主播做多组表情，对应的动物表情面罩也会做相关表情。如果确定存在人脸遮挡，则对各人脸图像帧不进行匹配的三维人脸处理。也就是对该人脸图像帧不进行处理，跳过该帧人脸图像，等待下一帧人脸图像帧的识别。
[0098]
本发明实施例所提供的技术方案，通过在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。解决了对用户三维人脸加特效时，能准确地对三维人脸遮挡以及人脸边界进行判断的问题，实现了准确地对三维人脸进行特效的添加，提升了用户的体验。
[0099]
实施例四
[0100]
图4是本发明实施例四提供的一种人脸遮挡的识别装置的结构示意图，本实施例所提供的一种人脸遮挡的识别装置可以通过软件和/或硬件来实现，可配置于服务器或终端设备中来实现本发明实施例中的一种人脸遮挡的识别方法。如图4所示，该装置具体可包括：目标人脸重建参数得到模块410、人脸畸变检测模块420和人脸遮挡识别模块430。
[0101]
其中，目标人脸重建参数得到模块410，用于获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；
[0102]
人脸畸变检测模块420，用于根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；
[0103]
人脸遮挡识别模块430，用于根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
[0104]
本发明实施例所提供的技术方案，通过获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。本发明实施例的技术方案提供了一种通过二维人脸图像识别人脸遮挡的新方式，可以简单、便捷且准确的确定出人脸遮挡，进而可以基于人脸遮挡识别结果，准确的向用户提供匹配的用户服务。
[0105]
在上述各实施例的基础上，目标人脸重建参数得到模块410，可以具体用于：根据三维形变统计模型，采用主成分分析算法，构建三维人脸重建公式；所述三维人脸重建公式中包括多个待优化的人脸重建参数；以所述三维人脸重建公式重建得到的三维人脸与所述二维人脸之间的最小距离为优化目标，对各所述人脸重建参数进行迭代优化，得到所述目标人脸重建参数。
[0106]
在上述各实施例的基础上，人脸畸变检测模块420，可以具体包括：目标形变系数提取单元，用于在所述目标人脸重建参数中提取目标形变系数，所述目标形变系数中包括所述二维人脸在多个目标维度下的特征拟合值；标准形变系数确定单元，用于获取由人脸模型库中各人脸模型确定的标准形变系数，所述标准形变系数中包括构建各所述目标维度
时，与各所述目标维度分别对应维度特征值；人脸畸变单元，用于根据所述目标形变系数与所述标准形变系数之间的差异度，检测三维人脸重建结果是否存在人脸畸变。
[0107]
在上述各实施例的基础上，人脸畸变单元，可以具体用于：分别计算所述目标形变系数与所述标准形变系数在每个目标维度下，所述特征拟合值与所述维度特征值之间的绝对差异值；对各所述目标维度的绝对差异值进行累加求和，得到累加差异值；如果确定所述累加差异值超过特征差异门限，则确定三维人脸重建结果存在人脸畸变。
[0108]
在上述各实施例的基础上，人脸遮挡识别模块430，可以具体包括：目标三维人脸重建单元，用于如果确定所述人脸畸变检测结果为存在人脸畸变，则获取由所述目标人脸重建参数重建得到的目标三维人脸；人脸遮挡识别单元，用于根据所述目标三维人脸与所述二维人脸中至少一个人脸关键点之间的空间距离，识别所述目标人脸图像中是否存在人脸遮挡。
[0109]
在上述各实施例的基础上，人脸遮挡识别单元，可以具体用于：在所述目标三维人脸中提取多个三维五官稀疏点，并在所述二维人脸中提取多个二维五官稀疏点；分别计算各所述三维五官稀疏点与各所述二维五官稀疏点之间的空间距离值，并将各所述空间距离值进行累加求和，得到汇总空间距离值；如果确定所述汇总空间距离值超过空间距离值门限，则确定所述目标人脸图像中存在人脸遮挡。
[0110]
上述人脸遮挡的识别装置可执行本发明任意实施例所提供的人脸遮挡的识别方法，具备执行方法相应的功能模块和有益效果。
[0111]
实施例五
[0112]
图5是本发明实施例五提供的一种三维人脸处理装置的结构示意图，本实施例所提供的一种三维人脸处理装置可以通过软件和/或硬件来实现，可配置于服务器中来实现本发明实施例中的一种三维人脸处理方法。如图5所示，该装置具体可包括：人脸图像帧采集模块510、人脸图像帧识别模块520和三维人脸处理模块530。
[0113]
其中，人脸图像帧采集模块510，用于在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；
[0114]
人脸图像帧识别模块520，用于采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；
[0115]
三维人脸处理模块530，用于在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。
[0116]
本发明实施例所提供的技术方案，通过在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。解决了对用户三维人脸加特效时，能准确地对三维人脸遮挡以及人脸边界进行判断的问题，实现了准确地对三维人脸进行特效的添加，提升了用户的体验。
[0117]
上述三维人脸处理装置可执行本发明任意实施例所提供的三维人脸处理方法，具备执行方法相应的功能模块和有益效果。
[0118]
实施例六
[0119]
图6是本发明实施例六提供的一种计算机设备的结构示意图。如图6所示，该设备
包括处理器610、存储器620、输入装置630和输出装置640；设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
[0120]
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人脸遮挡的识别方法对应的程序指令/模块(例如，目标人脸重建参数得到模块410、人脸畸变检测模块420和人脸遮挡识别模块430)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸遮挡的识别方法，该方法包括：获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
[0121]
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，或者如本发明实施例中的三维人脸处理方法对应的程序指令/模块(例如，人脸图像帧采集模块510、人脸图像帧识别模块520和三维人脸处理模块530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的三维人脸处理方法，或者该方法包括：在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸处理。
[0122]
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0123]
输入装置630可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
[0124]
实施例七
[0125]
本发明实施例七还提供一种包含计算机可读存储介质，所述计算机可读指令在由计算机处理器执行时用于执行一种人脸遮挡的识别方法，该方法包括：获取目标人脸图像，并对所述目标人脸图像中包括的二维人脸进行三维人脸建模，得到与所述二维人脸匹配的目标人脸重建参数；根据所述目标人脸重建参数，以及由人脸模型库确定的标准人脸参数，检测三维人脸重建结果是否存在人脸畸变；根据所述人脸畸变检测结果，识别所述目标人脸图像中是否存在人脸遮挡。
[0126]
或者所述计算机可读指令在由计算机处理器执行时用于执行一种三维人脸处理方法，该方法包括：在视频直播过程中，响应于客户端的三维人脸处理请求，实时采集与所述客户端匹配的人脸图像帧；采用如本发明任意实施例所述的方法，对各所述人脸图像帧进行人脸遮挡的识别；在识别为不存在人脸遮挡的各人脸图像帧中，进行匹配的三维人脸
处理。
[0127]
当然，本发明实施例所提供的一种包含计算机可读存储介质，其计算机可读指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人脸遮挡的识别方法或者三维人脸处理方法中的相关操作。
[0128]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0129]
值得注意的是，上述人脸遮挡的识别装置或者三维人脸处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0130]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。