一种基于伪标签的人脸图像高光去除方法

技术特征：
1.一种基于伪标签的人脸图像高光去除方法，其特征在于，具体包括以下步骤：s1、通过渲染引擎获取合成人脸数据集，与真实带高光人脸图像组成带标签数据集和无标签数据集；s2、使用带标签数据集对卷积神经网络进行训练；s3、获取未标注数据集中数据的伪标签，并使用带伪标签的数据集对卷积神经网络进行训练；s4、将带高光的人脸图像输入完成训练的卷积神经网络，得到去除高光的图片。2.根据权利要求1所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，带标签数据集和无标签数据集的获取方法包括：选取若干张人脸3d模型图像加载入基于物理的渲染姻亲，并选择若干中hdr环境光照，对人脸模型进行渲染；根据phong光照模型，分别渲染得到人脸的漫反射部分d和镜面反射部分s，则渲染得到的带高光的人脸图像表示为i＝d s，将得到的带高光的人脸图像和其原图组成的带高光/去高光的合成人脸图像对，由带高光/去高光的合成人脸图像对构成带标签数据集；从人脸数据集中选择若干张带高光的人脸图片作为无标签数据集。3.根据权利要求1所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，卷积神经网络包括编码器和解码器，将输入卷积神经网络的图像作为编码器的输入，编码器包括级联的5个卷积模块，每个卷积模块的输出进行最大池化后再输入下一级卷积模块；将编码器的输出作为解码器的输入，解码器包括4个注意力模块、4个卷积模块、4个反卷积模块以及一个卷积层第一个反卷积模块以解码器的输入作为输入进行反卷积操作得到的输出为d1，第一个注意力模块将编码器中倒数第二个卷积模块的输出和d1作为输入进行融合得到的输出记为x1；将d1和x1拼接在一起输入第一个卷积模块进行卷积并将第一个卷积模块的输出作为第二个反卷积模块的输入进行反卷积操作得到输出结果d2，第二个注意力模块根据d2以及编码器倒数第三个卷积模块的输出作为输入进行融合得到的输出记为x2；将d2和x2拼接在一起输入拼接在一起输入第二个卷积模块进行卷积并将第二个卷积模块的输出作为第三个反卷积模块的输入进行反卷积操作得到输出结果d3，第三个注意力模块根据d3以及编码器倒数第四个卷积模块的输出作为输入进行融合得到的输出记为x3；将d3和x3拼接在一起输入拼接在一起输入第三个卷积模块进行卷积并将第三个卷积模块的输出作为第四个反卷积模块的输入进行反卷积操作得到输出结果d4，第四个注意力模块根据d4以及编码器倒数第五个卷积模块的输出作为输入进行融合得到的输出记为x4；将d4和x4拼接在一起输入拼接在一起输入第四个卷积模块进行卷积并将第四个卷积模块的输出作为编码器的卷积层的输入进行卷积，得到解码器的输出结果。4.根据权利要求3所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，卷积模块有两个级联的卷积层构成，每个卷积层依次进行卷积核个数为图像通道数、卷积窗口大小为3
×
3、步长为1
×
1的卷积操作，归一化操作以及使用relu函数进行激活；注意力模块将来自解码器的输入作为主要部分、将来自编码器的输入作为次要部分，注意力模块对主要部分以及次要部分进行融合，主要部分以及次要部分分别依次使用卷积窗口大小为3
×
3、步长为1
×
1的卷积操以及归一化操作得到主要部分x以及次要部分s，并
将主要部分x以及次要部分s相加后依次进行卷积窗口大小为3
×
3、步长为1
×
1的卷积操作、归一化操作以及使用sigmoid函数进行激活得到融合结果xs，将融合结果xs与主要部分x相乘作为注意力模块的输出；反卷积模块包括上采样层和卷积层，上采样层对输入的图像进行上采样，将图片上采样为输入该模块图像的两倍大后，卷积层依次进行卷积核个数为输出通道数、卷积窗口大小为3
×
3、步长为1
×
1的卷积操、归一化操作以及使用relu函数进行激活。5.根据权利要求3所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，编码器中进行最大池化的卷积核大小为2、步长为2，编码器五个卷积模块的卷积核依次为64、128、256、512、1024；解码器中注意力模块的卷积核数目和反卷积模块相同，4个反卷积模块的卷积核数目分别为512、256、128、64，解码器中卷积层的卷积核数目为3、卷积窗口大小为1
×
1、步长为1
×
1。6.根据权利要求2所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，使用伪标签的方法，提升卷积神经网络的泛化能力包括以下步骤：s31、对于无标签数据集，通过高斯过程产生伪标签；s32、根据产生的伪标签，计算无标签数据集的误差；s33、根据无标签数据集的误差以及带标签数据集的误差计算卷积神经网络的损失函数，并通过反向传播对卷积神经网络进行训练，卷积神经网络的损失函数表示为：l
total
＝l
sup
λ
unsup
l
unsup
；其中，l
total
为卷积神经网络的总损失；l
sup
为带标签数据集部分的损失；l
unsup
为未标注数据集部分的损失；λ
unsup
为未标注数据集部分损失的权重。7.根据权利要求6所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，对于无标签数据集，通过高斯过程产生伪标签的过程包括以下步骤：在第一次使用带标签数据集时，将编码器中最后一个卷积模块的得到的特征向量保存入矩阵对进行稀疏编码，学习得到带标签数据集特征向量的字典f；将无标签数据集送入神经网络时，最后一个卷积块得到对应的特征向量并将特征向量投影到学习得到的特征向量空间f；在已知带标签数据集和带标签数据集特征向量的情况下，将未标记数据集特征向量的分布等价于高斯分布，并将等价的高斯分布中的均值作为未标记数据集特征向量的伪标签。8.根据权利要求7所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，将未标记数据集特征向量的分布等价于高斯分布，等价的高斯分布的均值表示为：等价的高斯分布的方差表示为：
其中，k(x,y)为核函数，表示为x、<x,y>表示向量x与向量y的内积，|x|表示向量x的模长；的值为1；i为单位矩阵。9.据权利要求8所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，未标注数据集的损失函数表示为：其中，为编码器最后一个卷积模块输出的特征向量；为通过高斯过程得到的伪标签，其值为高斯分布的均值||||2为l2范数；λ1为稀疏系数；α为稀疏向量。10.据权利要求6所述的一种基于伪标签的人脸图像高光去除方法，其特征在于，带标签数据集部分的损失l
sup
表示为：l
sup
＝l
pixel
l
perception
；l
pixel
＝||y
pred-y||1；其中，y
pred
为神经网络的预测结果；y为真实标签，||
·
||1为图像之间的l1距离；λ2为权重；φ
vgg
表示vgg16网络；φ
vgg
(y
pred
)为神经网络的预测结果通过vgg16生成的特征值，φ
vgg
(y)为真实标签通过vgg16生成的特征值；为l2范数的平方。

技术总结
本发明涉及图像处理、计算机视觉及深度学习领域，特别涉及一种基于伪标签的人脸图像高光去除方法，包括通过渲染引擎获取合成人脸数据集，与真实带高光人脸图像组成带标签数据集和无标签数据集；使用带标签数据集对卷积神经网络进行训练；使用伪标签的方法，提升神经网络的泛化能力；将带高光的人脸图像输入卷积神经网络，得到去除高光的图片；本发明得到的人脸去高光图像符合人脸观测效果，且不会损伤人脸纹理细节。脸纹理细节。脸纹理细节。


技术研发人员：黄颖 王泽荃
受保护的技术使用者：重庆邮电大学
技术研发日：2022.03.03
技术公布日：2022/5/30