模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质与流程

技术特征：
1.一种模型训练方法，其特征在于，包括：获取人脸图像的合成数据、真实数据及目标光照条件；将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中，得到目标光照条件下的人脸图像。2.根据权利要求1所述的方法，其特征在于，所述获取人脸图像的合成数据、真实数据及目标光照条件，包括：获取可公开获取的3d人脸模型，对每个3d人脸模型，使用不同的高动态范围成像hdri环境贴图进行渲染，并将渲染后的3d人脸模型转换为2d人脸图像，并将转换后的2d人脸图像保存为合成数据；将每个合成数据所对应的hdri环境贴图保存为目标光照条件，每个合成数据与每个合成数据所对应的目标光照条件成对存储在数据库中；获取可公开获取的2d高清人脸图像，将每个2d高清人脸图像中的人脸区域保存为真实数据。3.根据权利要求1所述的方法，其特征在于，所述将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，包括：将合成数据输入到所述第一网络模型中，得到合成数据自带的光照条件下的第一人脸图像；将目标光照条件输入到所述第一网络模型中，得到目标光照条件下的第二人脸图像；根据第一预设损失函数，计算第一损失函数值，并使用链式法则计算第一网络模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第一模网络型的网络参数；判断更新后的第一网络模型是否满足预设第一网络模型收敛条件，若是，判定当前模型收敛，将此时的第一网络模型确定为第一模型；若否，重复执行上述训练步骤，直至满足预设第一模型收敛条件。4.根据权利要求3所述的方法，其特征在于，所述第一网络模型包括去光模型、光影特征模型、图像合成模型；所述将合成数据输入到所述第一网络模型中，得到预测光照条件下的第一人脸图像，包括：将合成数据输入到所述去光模型，得到反照率贴图、法向贴图和第一预测光照条件；所述第一预测光照条件为合成数据自带的光照条件的预估值；将所述第一预测光照条件及法向贴图输入到所述光影特征模型，得到第一预测光照条件下的高光贴图和第一预测光照条件下的阴影贴图；将所述反照率贴图、法向贴图、第一预测光照条件下的高光贴图、第一预测光照条件下的阴影贴图，及第一预测光照条件输入到所述图像合成模型，得到第一预测光照条件下的第一人脸图像；所述将目标光照条件输入到所述第一网络模型中，得到目标光照条件下的第二人脸图
像，包括：将目标光照条件及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图；将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图，及目标光照条件输入到所述图像合成模型，得到目标光照条件下的第二人脸图像。5.根据权利要求3所述的方法，其特征在于，所述第一预设损失函数包括以下项中的一项或多项的组合，包括：所述反照率贴图，与，反照率贴图的真值，两者的内容损失函数；所述法向贴图，与，法向贴图的真值，两者的内容损失函数；所述目标光照条件下的高光贴图，与，目标光照条件下的高光贴图的真值，两者的内容损失函数；所述目标光照条件下的阴影贴图，与，目标光照条件下的阴影贴图的真值，两者的内容损失函数；所述第一人脸图像，与，输入到所述去光模型中的合成数据的真值，两者的内容损失函数；所述第二人脸图像，与，目标光照条件下合成数据的真值，两者的内容损失函数；所述预测光照条件，与，预测光照条件的真值，两者的光照损失函数；所述真值为对应在人脸图像上的像素值。6.根据权利要求3所述的方法，其特征在于，所述预设第一网络模型收敛条件，包括：第一网络模型的更新迭代次数达到预设次数，且第一损失函数值不再减小，且测试集上测得的结构相似度不再提升；所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述结构相似度是指测试集中的人脸图像输入到第一网络模型后，生成重光照的人脸图像，该重光照的人脸图像的预测值与对应真值的相似度；所述预测值是指用目标光照条件重光照后的人脸图像的像素值，所述真值是指目标光照条件下原始人脸图像的像素值。7.根据权利要求1所述的方法，其特征在于，所述将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，包括：将真实数据输入到所述第一模型中，得到真实数据自带的光照条件下的第三人脸图像；将目标光照条件输入到所述第一模型中，得到目标光照条件下的第四人脸图像；将合成数据输入到所述第一模型中，得到合成数据自带的光照条件下的第五人脸图像；将目标光照条件输入到所述第一模块中，得到目标光照条件下的第六人脸图像；根据第二预设损失函数，计算第二损失函数值，并使用链式法则计算第一模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第一模型的网络参数；判断更新后的第一模型是否满足预设第一模型收敛条件，若是，判定当前模型收敛，将此时的第一模型确定为人脸图像重光照模型；若否，重复执行上述训练步骤，直至满足预设第一模型收敛条件。
8.根据权利要求7所述的方法，其特征在于，所述第一模型包括去光模型、光影特征模型、图像合成模型；所述将真实数据输入到所述第一模型中，得到真实数据自带的光照条件下的第三人脸图像，包括：将真实数据输入到所述去光模型，得到反照率贴图、法向贴图和第二预测光照条件；所述第二预测光照条件为真实数据自带的光照条件的预估值；将所述第二预测光照条件及法向贴图输入到所述光影特征模型，得到第二预测光照条件下的高光贴图和第二预测光照条件下的阴影贴图；将所述反照率贴图、法向贴图、第二预测光照条件下的高光贴图、第二预测光照条件下的阴影贴图，及第二预测光照条件输入到所述图像合成模型，得到第二预测光照条件下的第三人脸图像。9.根据权利要求8所述的方法，其特征在于，所述将目标光照条件输入到所述第一模型中，得到目标光照条件下的第四人脸图像，包括：将目标光照条件及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图；将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图，及目标光照条件输入到所述图像合成模型，得到目标光照条件下的第四人脸图像。10.根据权利要求9所述的方法，其特征在于，所述将合成数据输入到所述第一模型中，得到合成数据自带的光照条件下的第五人脸图像，包括：将合成数据输入到所述去光模型，得到反照率贴图、法向贴图和第三预测光照条件；所述第三预测光照条件为合成数据自带的光照条件的预估值；将所述第三预测光照条件及法向贴图输入到所述光影特征模型，得到第三预测光照条件下的高光贴图和第三预测光照条件下的阴影贴图；将所述反照率贴图、法向贴图、第三预测光照条件下的高光贴图、第三预测光照条件下的阴影贴图，及第三预测光照条件输入到所述图像合成模型，得到第三预测光照条件下的第五人脸图像。11.根据权利要求10所述的方法，其特征在于，所述将目标光照条件输入到所述第一模块中，得到目标光照条件下的第六人脸图像，包括：将目标光照条件及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图；将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图，及目标光照条件输入到所述图像合成模型，得到目标光照条件下的第六人脸图像。12.根据权利要求7所述的方法，其特征在于，所述第二预设损失函数包括以下项中的一项或多项的组合，包括：所述第三人脸图像，与，输入到所述去光模型中的真实数据，两者的内容损失函数；所述反照率贴图，与，验证反照率贴图，两者的内容损失函数；所述法向贴图，与，验证法向贴图，两者的内容损失函数；所述验证反照率贴图通过将所述第四人脸图像输入到所述去光模型后获取；所述验证法向贴图通过将所述第四人脸图像输入到所述去光模型后获取。13.根据权利要求7所述的方法，其特征在于，所述预设第一模型收敛条件，包括：
第一模型的更新迭代次数达到预设次数，且第二损失函数值不再减小，且测试集上测得的结构相似度不再提升；所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述结构相似度是指测试集中的人脸图像输入到第一模型后，生成重光照的人脸图像，该重光照的人脸图像的预测值与对应真值的相似度；所述预测值是指用目标光照条件重光照后的人脸图像的像素值；所述真值是指目标光照条件下原始人脸图像的像素值。14.一种人脸图像处理方法，其特征在于，包括：获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过权利要求1～13任一项所述的模型训练方法训练得到。15.一种模型训练方法，其特征在于，包括：获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像利用权利要求14所述的人脸图像处理方法获取，其分辨率为第一分辨率；将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；每轮训练完成后，更新第二网络模型的模型参数；判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。16.根据权利要求15所述的方法，其特征在于，所述每轮训练完成后，更新第二网络模型的模型参数，包括：根据预设损失函数，计算损失函数值，并使用链式法则计算第二网络模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第二网络模型的网络参数。17.根据权利要求15所述的方法，其特征在于，所述预设第二网络模型收敛条件，包括：第二网络模型的更新迭代次数达到预设次数，且损失函数值不再减小，且测试集上测得输出的第二分辨率的人脸图像和输入的真值之间的峰值信噪比不再上升。18.一种人脸图像处理方法，其特征在于，包括：获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；所述人脸图像超分辨率重建模型通过权利要求15～17任一项所述的模型训练方法训练得到。19.一种人脸模型处理方法，其特征在于，包括：
将待处理的3d人脸模型，转换为2d人脸图像；将所述2d人脸图像及指定的目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述2d人脸图像中，生成目标光照条件下第一分辨率的人脸图像；将所述目标光照条件下第一分辨率的人脸图像输入到人脸图像超分辨率重建模型中，得到目标光照条件下第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；所述人脸图像重光照模型通过权利要求1～13任一项所述的模型训练方法训练得到；所述人脸图像超分辨率重建模型通过权利要求15～17任一项所述的模型训练方法训练得到。20.一种模型训练装置，其特征在于，包括：获取模块，用于获取人脸图像的合成数据、真实数据及目标光照条件；第一训练模块，用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；第二训练模块，用于将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像中，得到目标光照条件下的人脸图像。21.一种人脸图像处理装置，其特征在于，包括：获取模块，用于获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；重光照模块，用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过权利要求1～13任一项所述的模型训练方法训练得到。22.一种模型训练装置，其特征在于，包括：获取模块，用于获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像的分辨率为第一分辨率，利用权利要求14所述的人脸图像处理方法获取；训练模块，用于将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；更新模块，用于每轮训练完成后，更新第二网络模型的模型参数；判断模块，用于判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。23.一种人脸图像处理装置，其特征在于，包括：获取模块，用于获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；重建模块，用于将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
所述人脸图像超分辨率重建模型通过权利要求15～17任一项所述的人脸图像超分辨率重建模型训练方法训练得到。24.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1～16任一项所述的方法。25.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～16任一项所述的方法。

技术总结
本发明涉及一种模型训练方法及装置、人脸图像处理方法及装置、人脸模型处理方法、电子设备及可读存储介质，其中一种模型训练方法通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。条件的光照特征。条件的光照特征。


技术研发人员：李士超
受保护的技术使用者：北京奇艺世纪科技有限公司
技术研发日：2022.06.28
技术公布日：2022/9/13