模型训练、人脸图像处理、人脸模型处理方法及装置、电子设备及可读存储介质与流程

1.本发明涉及深度学习模型技术领域，具体涉及一种模型训练方法及装置、人脸图像处理方法及装置、人脸模型处理方法、电子设备及可读存储介质。


背景技术：

2.随着数字图像处理技术的发展，对各种不同图像的处理中，得出图像光照条件的变化在图像成像过程中起着越来越重要的作用。尤其是在人脸图像领域，光照条件是影响人脸图像成像效果的最重要因素，为实现在复杂背景下光照条件的变化，需要在各种场景中对人脸图像进行重光照操作。
3.人脸图像重光照操作，就是根据光照或外部环境的变化情况，对目标人脸图像进行调整，并生成与指定的目标光照条件相一致的人脸图像。人脸图像重光照操作在人脸识别，基于图像的渲染以及电影后期制作的领域都有着非常广泛的应用。例如，将绿幕场景中的光照改为红幕背景下的光照，实现在摄影棚中制作出其他场景下的自然拍摄片段等。
4.现有技术中，人脸图像重光照方法依赖于人脸图像重光照模型的训练，由于很难以完全相同的角度去拍摄同一个人在不同场景下的人脸图像，因此，模型训练需要的监督数据获取非常困难，现有技术大多是基于合成数据进行模型训练。合成数据和真实数据的分布往往存在较大差异，因此基于合成数据训练的模型往往在真实数据上测试的效果比较差。
5.另外，当前元宇宙正在受到前所未有的关注，而3d数字人正是元宇宙的基石，是真实人类在元宇宙中的化身。然而现在3d数字人的创建是一个费时费力的过程，尤其是光线的渲染部分。
6.3d人脸模型的灯光渲染是非常复杂的工程，仅光源就包含点光源、聚光灯、太阳光等等多种类型，同时还要考虑到材质与光源的耦合等等。针对一个3d人脸模型，要渲染出一个效果较好的灯光往往需要设计人员花费数天乃至数周的时间，而一个模型的灯光泛化性往往也比较差，复制到其他模型上效果会变差，因此现阶段的3d人脸模型重光照是一个费时费力的过程。


技术实现要素：

7.为至少在一定程度上克服相关技术中存在的问题，本发明提供一种模型训练方法及装置、人脸图像处理方法及装置、人脸模型处理方法、电子设备及可读存储介质，以解决现有技术中基于合成数据训练的人脸图像重光照模型在真实数据上测试效果比较差的问题及3d人脸模型重光照费时费力、效率低的问题。
8.根据本发明实施例的第一方面，提供一种模型训练方法，包括：
9.获取人脸图像的合成数据、真实数据及目标光照条件；
10.将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所
述第一网络模型收敛，得到第一模型；
11.将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；
12.所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中，得到目标光照条件下的人脸图像。
13.根据本发明实施例的第二方面，提供一种人脸图像处理方法，包括：
14.获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；
15.将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过上述的模型训练方法训练得到。
16.根据本发明实施例的第三方面，提供一种模型训练方法，包括：
17.获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像利用上述的人脸图像处理方法获取，其分辨率为第一分辨率；
18.将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
19.每轮训练完成后，更新第二网络模型的模型参数；
20.判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。
21.根据本发明实施例的第四方面，提供一种人脸图像处理方法，包括：
22.获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；
23.将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
24.所述人脸图像超分辨率重建模型通过上述的模型训练方法训练得到。
25.根据本发明实施例的第五方面，提供一种人脸模型处理方法，包括：
26.将待处理的3d人脸模型，转换为2d人脸图像；
27.将所述2d人脸图像及指定的目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述2d人脸图像中，生成目标光照条件下第一分辨率的人脸图像；
28.将所述目标光照条件下第一分辨率的人脸图像输入到人脸图像超分辨率重建模型中，得到目标光照条件下第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
29.所述人脸图像重光照模型通过上述的模型训练方法训练得到；所述人脸图像超分辨率重建模型通过上述的模型训练方法训练得到。
30.根据本发明实施例的第六方面，提供一种模型训练装置，包括：
31.获取模块，用于获取人脸图像的合成数据、真实数据及目标光照条件；
32.第一训练模块，用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；
33.第二训练模块，用于将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；
34.所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像中，得到目标光照条件下的人脸图像。
35.根据本发明实施例的第七方面，提供一种人脸图像处理装置，包括：
36.获取模块，用于获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；
37.重光照模块，用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过上述的模型训练方法训练得到。
38.根据本发明实施例的第八方面，提供一种模型训练装置，包括：
39.获取模块，用于获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像的分辨率为第一分辨率，利用上述的人脸图像处理方法获取；
40.训练模块，用于将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
41.更新模块，用于每轮训练完成后，更新第二网络模型的模型参数；
42.判断模块，用于判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。
43.根据本发明实施例的第九方面，提供一种人脸图像处理装置，包括：
44.获取模块，用于获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；
45.重建模块，用于将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
46.所述人脸图像超分辨率重建模型通过上述的人脸图像超分辨率重建模型训练方法训练得到。
47.根据本发明实施例的第十方面，提供一种电子设备，包括：处理器和存储器，其中，
48.所述存储器中存储有可供处理器调用的计算机程序；
49.所述处理器通过调用所述存储器中存储的计算机程序，执行上述的方法。
50.根据本发明实施例的第十一方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
51.当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的方法。
52.本发明的实施例提供的技术方案可以包括以下有益效果：
53.模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练
好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
54.通过将待处理的3d人脸模型转换为2d人脸图像，将3d模型的重光照操作转移到2d人脸图像上，相比现有技术直接使用目标光照条件对3d人脸模型重光照，然后再将重光照后的3d人脸模型转换为人眼能接收的2d人脸图像的技术方案，本发明提供的技术方案由于是在2d人脸图像上进行人脸图像的重光照操作，技术难度大大降低，重光照完成后的人脸图像由于是2d的，可以直接被人眼接收，处理速度更加快捷，效率更高。
55.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
56.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
57.图1是根据一示例性实施例示出的一种模型训练方法的流程图；
58.图2是根据一示例性实施例示出的第一网络模型的结构示意图；
59.图3是根据一示例性实施例示出的lfm模块的内部信号流向图；
60.图4是根据一示例性实施例示出的一种人脸图像处理方法的流程图；
61.图5是根据一示例性实施例示出的一种模型训练装置的示意框图；
62.图6是根据一示例性实施例示出的一种人脸图像处理装置的示意框图；
63.图7是根据另一示例性实施例示出的一种模型训练方法的流程图；
64.图8是根据另一示例性实施例示出的一种人脸图像处理方法的流程图；
65.图9是根据另一示例性实施例示出的一种模型训练装置的示意框图；
66.图10是根据另一示例性实施例示出的一种人脸图像处理装置的示意框图；
67.图11是根据另一示例性实施例示出的一种人脸模型处理方法的流程图。
具体实施方式
68.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
69.如前面背景技术，现有技术是基于合成数据进行人脸图像重光照模型训练。合成数据和真实数据的分布往往存在较大差异，因此基于合成数据训练的模型往往在真实数据上测试的效果比较差。为了解决这一技术问题，本发明提供了以下几个示例性实施例。
70.可以理解的是，人脸图像在计算机中以数字矩阵的形式存储，以黑白人脸图像为例，这个数字矩阵的大小＝人脸图像高度上的像素值数量
×
宽度上的像素值数量；若是彩色人脸图像，这种数字矩阵有三个，即三通道数字矩阵，分别用来描述rgb(红绿蓝)三色的像素值。因此，本发明各实施例所提及的“真值”就是指未经过模型加工处理的人脸图像的数字矩阵，数字矩阵中存储的是对应人脸图像的像素值。当“真值”输入到本发明提及的任
一模型后，得到的任一人脸图像，相对于“真值”来说，都属于“预估值”，例如，下面实施例提及的“及”。
71.图1是根据一示例性实施例示出的一种模型训练方法的流程图，如图1所示，该方法包括：
72.步骤s11、获取人脸图像的合成数据、真实数据及目标光照条件；
73.步骤s12、将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；
74.步骤s13、将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中，得到目标光照条件下的人脸图像。
75.需要说明的是，本实施例提供的技术方案，适用于电脑端，和/或，移动终端，适用的场景包括但不限于：
76.1、执行人脸图像的光照交换任务，例如，将待处理人脸图像a中的光照条件m，替换为参考人脸图像b中的光照条件n；
77.2、将用户选定的目标光照条件，添加到待处理的人脸图像中，例如，将用户选定的hdri(high dynamic range imaging，高动态范围成像)环境贴图添加到待处理的人脸图像中。
78.步骤s11中“获取人脸图像的合成数据、真实数据及目标光照条件”，包括：
79.获取可公开获取的3d人脸模型(例如，facescape就是一个大规模高质量的可公开获取的免费的3d人脸数据集，包括18760张高质量3d人脸模型。在具体实践中，可以从facescape上获取3d人脸模型)，对每个3d人脸模型，使用不同的高动态范围成像hdri环境贴图(hdri环境贴图就是模拟环境的一种贴图方式，其实质就是光照条件图像。网络上存在很多可公开获取的免费的hdri环境贴图)进行渲染(例如，可以在建模软件blender中进行渲染)，并将渲染后的3d人脸模型转换为2d人脸图像(渲染后可得到每个2d人脸图像的真值i
relit
及每个2d人脸图像的反照率贴图的真值ia、法向贴图的真值in)，并将转换后的2d人脸图像保存为合成数据；
80.将每个合成数据所对应的hdri环境贴图保存为目标光照条件(目标光照条件的真值i
t
及目标光照条件下阴影的真值i
sh
和高光的真值i
sp
也是已知的)，每个合成数据与每个合成数据所对应的目标光照条件成对存储在数据库中；
81.获取可公开获取的2d高清人脸图像(从互联网上获取公开的ffhq和celeba-hq人脸图像数据集)，将每个2d高清人脸图像中的人脸区域保存为真实数据(为了排除背景的干扰，使用人脸分割算法对人脸和背景进行分割，只保留人脸区域)。
82.其中，ffhq全称flickr-faces-hight-quality(flickr-faces-hq)，中文含义为高清人脸图像数据集，是作为生成对抗网络(gan)的基准创建的，也用于style gan的训练数据集中，于2019年开源。ffhq是一个高质量的人脸数据集，包含1024x1024分辨率的70000张png格式高清人脸图像。
83.celeba是celebfaces attribute的缩写，中文含义为名人人脸属性数据集，其包含10177个名人身份的202599张人脸图片，每张图片都做好了特征标记，包含人脸bbox标注
框、5个人脸特征点坐标以及40个属性标记，celeba由香港中文大学开放提供。
84.可以理解的是，由于合成数据是预先知道其真值i
relit
的，而真实数据缺乏同一人脸在不同目标光照条件下的真值，所以本实施例提供的技术方案，使用半监督的训练方法进行模型训练，得到人脸图像重光照模型。
85.步骤s12中“将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练”，包括：
86.1、基于深度学习框架(包括但不限于：pytorch深度学习框架、tensorflow深度学习框架、keras深度学习框架)构建第一网络模型；在具体实践中，参见图2，第一网络模型包括：去光模型、光影特征模型、图像合成模型。
87.在具体实践中，去光模型、光影特征模型、图像合成模型皆采用u-net类型的编码-解码结构，它由压缩通道和扩展通道组成。压缩通道是一个编码器，用于逐层提取人脸图像的特征，扩展通道是一个解码器，用于还原人脸图像的位置信息，且每一个隐藏层都有较多的特征维数，这有利于模型学习更加多样、全面的特征。
88.压缩通道是典型的卷积神经网络结构，它重复采用2个卷积层，其中，第二个卷积层的步长设置为2，使特征图的分辨率减小一倍。在扩展通道，先进行1次反卷积操作，使特征图的分辨率增加一倍，然后拼接对应压缩通道裁剪得到的特征图，再采用1个卷积层进行特征提取，并重复这一结构。在最后的输出层，用1个卷积层将64通道的特征图映射成3通道的输出图。
89.进一步地，所述光影特征模型及图像合成模型中皆添加了lfm(lfm，lighting guided feature modulation，光照导向特征调制)模块。参见图3，当lfm模块添加到光影特征模型中时，lfm模块的输入为光影特征模型上一层的输出(如图3中大小为h
×w×
c的矩阵)和输入到光影特征模型的光照条件(如图3中大小为16
×
32
×
3的矩阵)，它的输出为下一层卷积层的输入。
90.lfm模块用于从输入的光照条件中提取出用于重光照的光照特征(所述光照特征至少包括：光照方向及光照强度)。在具体实践中，lfm模块的内部信号流向图如图3所示。参见图3，16
×
32
×
3大小的光照条件输入到lfm模块后，先被调整为1536*1大小的向量，然后经过全连接层fc1，输出128*1大小的一维光照矩阵；128*1大小的一维光照矩阵分别经过全连接层fc2和全连接层fc3，分别输出c*1大小的特征向量，这两个向量复制扩展成大小为h*w*c的光照特征矩阵：第一光照矩阵γ和第二光照矩阵β；第一光照矩阵γ与输入矩阵进行点乘计算，点乘结果与第二光照矩阵β进行求和计算，最后输出结果送到光影特征模型中进行后续计算。
91.2、将合成数据i
input
(i
input
为i
relit
中的任一个人脸图像数据)输入到所述第一网络模型中，得到合成数据自带的光照条件下的第一人脸图像i
restore
，包括：
92.将合成数据i
input
输入到所述去光模型，得到反照率贴图法向贴图和第一预测光照条件所述第一预测光照条件为合成数据自带的光照条件is的预估值；
93.将所述第一预测光照条件及法向贴图输入到所述光影特征模型，得到第一预测光照条件下的高光贴图和第一预测光照条件下的阴影贴图；
94.将所述反照率贴图法向贴图第一预测光照条件下的高光贴图、第一预测光
照条件下的阴影贴图，及第一预测光照条件输入到所述图像合成模型，得到第一预测光照条件下的第一人脸图像i
restore
。
95.3、将目标光照条件i
t
输入到所述第一网络模型中，得到目标光照条件下的第二人脸图像包括：
96.将目标光照条件i
t
(i
t
为is中用户指定的光照条件)及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图
97.将所述反照率贴图法向贴图目标光照条件下的高光贴图目标光照条件下的阴影贴图及目标光照条件i
t
输入到所述图像合成模型，得到目标光照条件下的第二人脸图像
98.4、根据第一预设损失函数，计算第一损失函数值，并使用链式法则计算第一网络模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第一模网络型的网络参数。
99.在具体实践中，第一预设损失函数包括以下项中的一项或多项的组合，包括：
100.反照率贴图与，反照率贴图的真值ia，两者的内容损失函数
101.法向贴图与，法向贴图的真值in，两者的内容损失函数
102.目标光照条件下的高光贴图与，目标光照条件下的高光贴图的真值i
sp
，两者的内容损失函数
103.目标光照条件下的阴影贴图与，目标光照条件下的阴影贴图的真值i
sh
，两者的内容损失函数
104.第一人脸图像i
restore
，与，输入到所述去光模型中的合成数据的真值i
input
，两者的内容损失函数lc(i
input
，i
restore
)；
105.第二人脸图像与，目标光照条件下合成数据的真值i
relit
，两者的内容损失函数
106.预测光照条件与，预测光照条件的真值is，两者的光照损失函数l
l
；所述真值为对应在人脸图像上的像素值；
107.其中，ω是指立体角，为根据预设公式计算出来的已知值。
108.上述内容损失函数的定义为：lc(x,y)＝1-ssim(x,y)；
109.其中，ssim是指结构相似度，定义如下：
110.其中，c1＝0.012，c2＝0.032。
111.具体地，为了保证第一模型的训练效果，第一预设损失函数可以设置为：
[0112][0113]
5、判断更新后的第一网络模型是否满足预设第一网络模型收敛条件，若是，判定当前模型收敛，将此时的第一网络模型确定为第一模型；若否，重复执行上述训练步骤，直至满足预设第一模型收敛条件。
[0114]
在具体实践中，所述预设第一网络模型收敛条件，包括：
[0115]
第一网络模型的更新迭代次数达到预设次数，且第一损失函数值不再减小，且测试集上测得的结构相似度不再提升；
[0116]
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述结构相似度是指测试集中的人脸图像输入到第一网络模型后，生成重光照的人脸图像，该重光照的人脸图像的预测值与对应真值的相似度；
[0117]
所述预测值是指用目标光照条件重光照后的人脸图像的像素值，所述真值是指目标光照条件下原始人脸图像的像素值。
[0118]
步骤s13中“将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练”，包括：
[0119]
1、将真实数据i
′
input
输入到所述第一模型中，得到真实数据自带的光照条件下的第三人脸图像i
′
restore
，包括：
[0120]
将真实数据i
′
input
输入到所述去光模型，得到反照率贴图法向贴图和第二预测光照条件所述第二预测光照条件为真实数据自带的光照条件的预估值；
[0121]
将所述第二预测光照条件及法向贴图输入到所述光影特征模型，得到第二预测光照条件下的高光贴图和第二预测光照条件下的阴影贴图；
[0122]
将所述反照率贴图法向贴图第二预测光照条件下的高光贴图、第二预测光照条件下的阴影贴图，及第二预测光照条件输入到所述图像合成模型，得到第二预测光照条件下的第三人脸图像i
′
restore
。
[0123]
2、将目标光照条件i
′
t
输入到所述第一模型中，得到目标光照条件下的第四人脸图像包括：
[0124]
将目标光照条件i
′
t
及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图
[0125]
将所述反照率贴图法向贴图目标光照条件下的高光贴图目标光照条件下的阴影贴图及目标光照条件i
′
t
输入到所述图像合成模型，得到目标光照条件下的第四人脸图像
[0126]
3、将合成数据输入到所述第一模型中，得到合成数据自带的光照条件下的第五人脸图像，包括；
[0127]
将合成数据输入到所述去光模型，得到反照率贴图、法向贴图和第三预测光照条
件；所述第三预测光照条件为合成数据自带的光照条件的预估值；
[0128]
将所述第三预测光照条件及法向贴图输入到所述光影特征模型，得到第三预测光照条件下的高光贴图和第三预测光照条件下的阴影贴图；
[0129]
将所述反照率贴图、法向贴图、第三预测光照条件下的高光贴图、第三预测光照条件下的阴影贴图，及第三预测光照条件输入到所述图像合成模型，得到第三预测光照条件下的第五人脸图像。
[0130]
4、将目标光照条件输入到所述第一模块中，得到目标光照条件下的第六人脸图像，包括：
[0131]
将目标光照条件及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图；
[0132]
将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图，及目标光照条件输入到所述图像合成模型，得到目标光照条件下的第六人脸图像。
[0133]
根据第二预设损失函数，计算第二损失函数值，并使用链式法则计算第一模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第一模型的网络参数(在具体实践中，可以使用adam优化器对构建好的网络模型的网络参数进行优化，基础学习率(learning rate，lr)设定为0.002，其余参数所选用的深度学习框架的默认参数)。
[0134]
在具体实践中，第二预设损失函数包括以下项中的一项或多项的组合，包括：
[0135]
所述第三人脸图像i
′
restore
，与，输入到所述去光模型中的真实数据i
′
input
，两者的内容损失函数lc(i
′
input
,i
′
restore
)；
[0136]
所述反照率贴图与，验证反照率贴图两者的内容损失函数
[0137]
所述法向贴图与，验证法向贴图两者的内容损失函数
[0138]
所述验证反照率贴图通过将所述第四人脸图像输入到所述去光模型后获取；所述验证法向贴图通过将所述第四人脸图像输入到所述去光模型后获取。
[0139]
具体地，为了保证人脸图像重光照模型的训练效果，第二预设损失函数可以设置为：
[0140][0141]
6、判断更新后的第一模型是否满足预设第一模型收敛条件，若是，判定当前模型收敛，将此时的第一模型确定为人脸图像重光照模型；若否，重复执行上述训练步骤，直至满足预设第一模型收敛条件。
[0142]
在具体实践中，所述预设第一模型收敛条件，包括：
[0143]
第一模型的更新迭代次数达到预设次数(在具体实践中，预设次数根据用户需要进行设置，或者，根据实验数据进行设置，或者，根据历史经验值进行设置，例如，设置为200000次)，且第二损失函数值不再减小，且测试集上测得的结构相似度不再提升；
[0144]
所述测试集中存储有多张人脸图像及每张人脸图像对应的真值；所述结构相似度是指测试集中的人脸图像输入到第一模型后，生成重光照的人脸图像，该重光照的人脸图
像的预测值与对应真值的相似度；
[0145]
所述预测值是指用目标光照条件重光照后的人脸图像的像素值；所述真值是指目标光照条件下原始人脸图像的像素值。
[0146]
可以理解的是，本实施例提供的技术方案，模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0147]
图4是根据一示例性实施例示出的一种人脸图像处理方法的流程图，如图4所示，该方法包括：
[0148]
步骤s21、获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；
[0149]
步骤s22、将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过上述述的模型训练方法训练得到。
[0150]
需要说明的是，本实施例提供的技术方案，适用于电脑端，和/或，移动终端，适用的场景包括但不限于：
[0151]
1、执行人脸图像的光照交换任务，例如，将待处理人脸图像a中的光照条件m，替换为参考人脸图像b中的光照条件n；
[0152]
2、将用户选定的目标光照条件，添加到待处理的人脸图像中，例如，将用户选定的hdri环境贴图添加到待处理的人脸图像中。
[0153]
可以理解的是，本实施例提供的技术方案，基于人脸图像重光照模型实现，而人脸图像重光照模型通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0154]
图5是根据一示例性实施例示出的一种模型训练装置100的示意框图，如图5所示，该装置100包括：
[0155]
获取模块101，用于获取人脸图像的合成数据、真实数据及目标光照条件；
[0156]
第一训练模块102，用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；
[0157]
第二训练模块103，用于将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；
[0158]
所述人脸图像重光照模型用于将指定的目标光照条件重光照到输入的人脸图像
中，得到目标光照条件下的人脸图像。
[0159]
需要说明的是，上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述，本实施例不再赘述。
[0160]
可以理解的是，本实施例提供的技术方案，模型训练时通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0161]
图6是根据一示例性实施例示出的一种人脸图像处理装置200的示意框图，如图6所示，该装置200包括：
[0162]
获取模块201，用于获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：hdri环境贴图或从指定的人脸图像中提取出的光照条件；
[0163]
重光照模块202，用于将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过上述的模型训练方法训练得到。
[0164]
需要说明的是，上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述，本实施例不再赘述。
[0165]
可以理解的是，本实施例提供的技术方案，基于人脸图像重光照模型实现，而人脸图像重光照模型通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0166]
图7是根据一示例性实施例示出的一种模型训练方法的流程图，如图7所示，该方法包括：
[0167]
步骤s31、获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像利用上述的人脸图像处理方法获取，其分辨率为第一分辨率；
[0168]
步骤s32、将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
[0169]
步骤s33、每轮训练完成后，更新第二网络模型的模型参数；
[0170]
步骤s34、判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，
重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。
[0171]
需要说明的是，本实施例提供的技术方案，适用于电脑端，和/或，移动终端，适用于需要提升输入的人脸图像的分辨率的应用场景。
[0172]
步骤s33中“每轮训练完成后，更新第二网络模型的模型参数”，包括：
[0173]
根据预设损失函数，计算损失函数值，并使用链式法则计算第二网络模型各个层的梯度；
[0174]
根据所述梯度，使用梯度下降算法和反向传播算法更新第二网络模型的网络参数。
[0175]
步骤s34中“预设第二网络模型收敛条件”，包括：
[0176]
第二网络模型的更新迭代次数达到预设次数，且损失函数值不再减小，且测试集上测得输出的第二分辨率的人脸图像和输入的真值之间的峰值信噪比不再上升。
[0177]
可以理解的是，人脸图像重光照模型主要关注重光照的结果自然不自然，对清晰度没有要求，所以为了节省计算资源，一般是在较低分辨率下进行，例如，256
×
256。由于人脸图像重光照模型输出的重光照图像为低分辨率图像，所以需要对人脸图像重光照模型输出的低分辨率的重光照图像进行分辨率提升，而本实施例提供的这种人脸图像超分辨率重建模型正好解决了这个问题。
[0178]
需要说明的是，除了本实施例提供的这种人脸图像超分辨率重建模型可以将输入的低分辨率的人脸图像重建为高分辨率的人脸图像，现有技术公开的sr(super-resolution，超分辨率)模型，也可以配合上述的人脸图像重光照模型进行图像质量的提升，以提升重光照人脸的清晰度和视觉效果。但是由于本实施例提及的这种人脸图像超分辨率重建模型是基于人脸图像重光照模型的输出图像和输入图像训练得到，可以保证训练出的模型学习到的数据分布特点与上述人脸图像重光照模型学习到的数据分布特点是一致的，能够提高训练出的模型的鲁棒性和准确性。
[0179]
可以理解的是，本实施例提供的技术方案，人脸图像超分辨率重建模型基于人脸图像重光照模型输入和输出的人脸图像进行训练得到，训练得到的模型能够稳定提升人脸图像重光照模型重光照后的人脸图像的分辨率，提升用户的视觉效果。
[0180]
图8是根据一示例性实施例示出的一种人脸图像处理方法的流程图，如图8所示，该方法包括：
[0181]
步骤s41、获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；
[0182]
步骤s42、将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
[0183]
所述人脸图像超分辨率重建模型通过上述的模型训练方法训练得到。
[0184]
需要说明的是，本实施例提供的技术方案，适用于电脑端，和/或，移动终端，适用于需要提升输入的人脸图像的分辨率的应用场景。
[0185]
可以理解的是，本实施例提供的技术方案，基于人脸图像超分辨率重建模型实现，而人脸图像超分辨率重建模型基于人脸图像重光照模型输出的人脸图像进行训练得到，训练得到的模型能够稳定提升人脸图像重光照模型重光照后的人脸图像的分辨率，提升用户的视觉效果。
[0186]
图9是根据一示例性实施例示出的一种模型训练装置300的示意框图，如图9所示，
该装置300包括：
[0187]
获取模块301，用于获取目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值，所述目标光照条件下的人脸图像的分辨率为第一分辨率，利用上述的人脸图像处理方法获取；
[0188]
训练模块302，用于将目标光照条件下的人脸图像及目标光照条件下的人脸图像的真值输入到预先构建的第二网络模型中进行训练，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
[0189]
更新模块303，用于每轮训练完成后，更新第二网络模型的模型参数；
[0190]
判断模块304，用于判断更新后的第二网络模型是否满足预设第二网络模型收敛条件，若是，判定当前模型收敛，将此时的第二网络模型确定为人脸图像超分辨率重建模型；若否，重复执行上述训练步骤，直至满足预设第二网络模型收敛条件。
[0191]
需要说明的是，上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述，本实施例不再赘述。
[0192]
可以理解的是，本实施例提供的技术方案，人脸图像超分辨率重建模型基于人脸图像重光照模型输出的人脸图像进行训练得到，训练得到的模型能够稳定提升人脸图像重光照模型重光照后的人脸图像的分辨率，提升用户的视觉效果。
[0193]
图10是根据一示例性实施例示出的一种人脸图像处理装置400的示意框图，如图10所示，该装置400包括：
[0194]
获取模块401，用于获取待处理的人脸图像，所述人脸图像的分辨率为第一分辨率；
[0195]
重建模块402，用于将所述人脸图像输入到人脸图像超分辨率重建模型中，得到第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
[0196]
所述人脸图像超分辨率重建模型通过上述的人脸图像超分辨率重建模型训练方法训练得到。
[0197]
需要说明的是，上述各模块的实现方式及有益效果可参考前述实施例中对应步骤的详细阐述，本实施例不再赘述。
[0198]
可以理解的是，本实施例提供的技术方案，基于人脸图像超分辨率重建模型实现，而人脸图像超分辨率重建模型基于人脸图像重光照模型输出的人脸图像进行训练得到，训练得到的模型能够稳定提升人脸图像重光照模型重光照后的人脸图像的分辨率，提升用户的视觉效果。
[0199]
进一步地，由前述背景技术的描述可知，由于人眼仅能接收2d人脸图像，所以在使用3d人脸模型时，一般会将其转为2d人脸图像输出到显示设备上，现有技术是直接使用目标光照条件对3d人脸模型重光照，然后再将重光照后的3d人脸模型转换为人眼能接收的2d人脸图像，费时费力。为解决这一技术问题，本发明提出了以下几个示例性实施例。
[0200]
图11是根据一示例性实施例示出的一种人脸模型处理方法的流程图，如图11所示，该方法包括：
[0201]
步骤s51、将待处理的3d人脸模型，转换为2d人脸图像(在具体实践中，可以先在3d软件中，将待处理的3d人脸模型姿势、动作、相机等参数调整到预期效果后，再转换为2d人脸图像)；
[0202]
步骤s52、将所述2d人脸图像及指定的目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述2d人脸图像中，生成目标光照条件下第一分辨率的人脸图像；
[0203]
步骤s53、将所述目标光照条件下第一分辨率的人脸图像输入到人脸图像超分辨率重建模型中，得到目标光照条件下第二分辨率的人脸图像，所述第二分辨率大于第一分辨率；
[0204]
所述人脸图像重光照模型通过上述的模型训练方法训练得到；所述人脸图像超分辨率重建模型通过上述的模型训练方法训练得到。
[0205]
需要说明的是，3d人脸模型包括动态3d人脸模型和静态3d人脸模型，静态3d人脸模型可以转换为2d人脸图像，动态3d人脸模型可以转换为视频。若3d人脸模型为动态3d人脸模型，转换为视频后，视频可以分解为包含多个2d人脸图像的图像序列。如果是图像序列，通过本实施例提供的方法，可以得到多个重光照后的人脸图像，将多个重光照后的人脸图像再合成为视频，融合到背景视频中，可以得到目标光照条件下的视频。
[0206]
因此，本实施例提供的技术方案，适用于电脑端(包括服务器)，和/或，移动终端(包括但不限于：智能手机、平板电脑、vr头盔、vr眼镜等)，适用的场景包括但不限于：
[0207]
1、3d游戏、3d电影、3d视频中灯光环境的重新渲染；
[0208]
2、vr游戏中灯光环境的渲染；
[0209]
3、电子海报中灯光环境的替换(将单张重光照的人脸图像再融合回背景海报中，可以得到目标光照条件下的电子海报)。
[0210]
可以理解的是，本实施例提供的技术方案，通过将待处理的3d人脸模型转换为2d人脸图像，将3d模型的重光照操作转移到2d人脸图像上，相比现有技术直接使用目标光照条件对3d人脸模型重光照，然后再将重光照后的3d人脸模型转换为人眼能接收的2d人脸图像的技术方案，本发明提供的技术方案由于是在2d人脸图像上进行人脸图像的重光照操作，技术难度大大降低，重光照完成后的人脸图像由于是2d的，可以直接被人眼接收，处理速度更加快捷，效率更高。
[0211]
根据一示例性实施例示出的一种电子设备，包括：处理器和存储器，
[0212]
其中，所述存储器中存储有可供处理器调用的计算机程序；
[0213]
所述处理器通过调用所述存储器中存储的计算机程序，执行上述的方法。
[0214]
需要说明的是，电子设备包括但不限于：智能终端(例如，手机、平板电脑、智能手表等)和计算机设备。
[0215]
所述处理器包括但不限于：cpu、单片机、plc控制器、fpga控制器等。
[0216]
所述存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器；还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0217]
可以理解的是，本实施例提供的技术方案，通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真
实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0218]
进一步地，通过将待处理的3d人脸模型转换为2d人脸图像，将3d模型的重光照操作转移到2d人脸图像上，相比现有技术直接使用目标光照条件对3d人脸模型重光照，然后再将重光照后的3d人脸模型转换为人眼能接收的2d人脸图像的技术方案，本发明提供的技术方案由于是在2d人脸图像上进行人脸图像的重光照操作，技术难度大大降低，重光照完成后的人脸图像由于是2d的，可以直接被人眼接收，处理速度更加快捷，效率更高。
[0219]
根据一示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
[0220]
当计算机程序在计算机设备上运行时，使得计算机设备执行上述的方法。
[0221]
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0222]
可以理解的是，本实施例提供的技术方案，通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。
[0223]
进一步地，通过将待处理的3d人脸模型转换为2d人脸图像，将3d模型的重光照操作转移到2d人脸图像上，相比现有技术直接使用目标光照条件对3d人脸模型重光照，然后再将重光照后的3d人脸模型转换为人眼能接收的2d人脸图像的技术方案，本发明提供的技术方案由于是在2d人脸图像上进行人脸图像的重光照操作，技术难度大大降低，重光照完成后的人脸图像由于是2d的，可以直接被人眼接收，处理速度更加快捷，效率更高。
[0224]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0225]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0226]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明
的实施例所属技术领域的技术人员所理解。
[0227]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0228]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0229]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0230]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0231]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0232]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。