构建图像处理模型的方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别是涉及一种构建图像处理模型的方法、装置、设备及存储介质。


背景技术：

2.低质量的图像在现实世界中仍然是不可避免的，当前，针对图像开发了很多应用，例如换脸(将一张图片的人脸换成另一个人的人脸)，人脸属性编辑(变老、变年轻、更改表情和性别)等等，但是这些应用中用到的图像无法避免低质量的图像，导致输出的结果看上去比较模糊，影响视觉效果。
3.相关技术中，涉及到对图像质量提升的算法，但其输出的图像质量不够高，具体体现在图像的局部不够清晰，细节部位不够合理等。


技术实现要素：

4.本发明实施例的目的在于提供一种构建图像处理模型的方法、装置、设备及存储介质，该方法通过在构建图像处理模型时，同时考虑图像的整体质量以及局部质量，以便能够使用构建的图像处理模型对低质量的图像进行处理，得到高质量的图像。具体技术方案如下：
5.在本发明实施例的第一方面，首先提供了一种构建图像处理模型的方法，所述方法包括：
6.获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像；
7.将所述合成低质量图像输入生成器，得到质量提升图像，将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新；
8.对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练；
9.将训练结束时的生成器确定为图像处理模型。
10.可选地，所述生成式对抗网络中的判别器包括全局判别器和局部判别器，所述图像判别结果包括第一图像判别结果和第二图像判别结果；
11.将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新，包括：
12.将所述质量提升图像与对应的真实高质量图像输入所述全局判别器，得到第一图像判别结果；
13.将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入所述局部判别器，得到第二图像判别结果；
14.根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值；
15.根据所述第一图像判别结果，得到全局判别器损失值；
16.根据所述第二图像判别结果，得到局部判别器损失值；
17.根据所述生成器损失值对所述生成器进行参数调整，根据所述全局判别器损失值对所述全局判别器进行参数调整，根据所述局部判别器损失值对所述局部判别器进行参数调整。
18.可选地，所述生成器损失值至少包括局部损失值；
19.根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值，包括：
20.对所述质量提升图像中包含目标部位的局部图像进行感知特征提取，得到第一局部感知特征；
21.对所述真实高质量图像中包含目标部位的局部图像进行感知特征提取，得到第二局部感知特征；
22.根据所述第一局部感知特征和所述第二局部感知特征，得到局部感知损失值；
23.根据所述第二图像判别结果，得到局部对抗损失值；
24.根据所述局部感知损失值和所述局部对抗损失值，得到所述局部损失值。
25.可选地，所述生成器损失值还包括重建损失值和生成对抗损失值；
26.根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值，还包括：
27.对所述质量提升图像进行感知特征提取，得到第一全局感知特征；
28.对所述真实高质量图像进行感知特征提取，得到第二全局感知特征；
29.根据所述质量提升图像、所述真实高质量图像、所述第一全局感知特征和所述第二全局感知特征，得到所述重建损失值；
30.根据第一图像判别结果，得到生成对抗损失值。
31.可选地，所述真实高质量图像为人脸图像，所述生成器损失值还包括身份保持损失值；
32.根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值，还包括：
33.对所述质量提升图像进行脸部特征提取，得到第一脸部特征；
34.对所述真实高质量图像进行脸部特征提取，得到第二脸部特征；
35.根据所述第一脸部特征和所述第二脸部特征，得到身份保持损失值。
36.可选地，所述高质量图像为人脸图像；
37.所述局部图像至少包括以下一者：眼睛局部图像和嘴部局部图像；
38.所述眼睛局部图像包含一对眼睛且包含预设眼睛范围。
39.可选地，获取低质量图像；
40.将所述低质量图像输入所述图像处理模型，得到目标高质量图像。
41.在本发明实施例的第二方面，还提供了一种构建图像处理模型的装置，所述装置包括：
42.第一获取模块，用于获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像；
43.第一训练模块，用于将所述合成低质量图像输入生成器，得到质量提升图像，将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新；
44.第二训练模块，用于对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练；
45.确定模块，用于将训练结束时的生成器确定为图像处理模型。
46.可选地，所述生成式对抗网络中的判别器包括全局判别器和局部判别器，所述图像判别结果包括第一图像判别结果和第二图像判别结果；
47.所述第一训练模块，包括：
48.第一获得子模块，用于将所述质量提升图像与对应的真实高质量图像输入所述全局判别器，得到第一图像判别结果；
49.第二获得子模块，用于将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入所述局部判别器，得到第二图像判别结果；
50.第三获得子模块，用于根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值；
51.第四获得子模块，用于根据所述第一图像判别结果，得到全局判别器损失值；
52.第五获得子模块，用于根据所述第二图像判别结果，得到局部判别器损失值；
53.调整子模块，用于根据所述生成器损失值对所述生成器进行参数调整，根据所述全局判别器损失值对所述全局判别器进行参数调整，根据所述局部判别器损失值对所述局部判别器进行参数调整。
54.可选地，所述生成器损失值至少包括局部损失值；
55.所述第三获得子模块，包括：
56.第一获得子单元，用于对所述质量提升图像中包含目标部位的局部图像进行感知特征提取，得到第一局部感知特征；
57.第二获得子单元，用于对所述真实高质量图像中包含目标部位的局部图像进行感知特征提取，得到第二局部感知特征；
58.第三获得子单元，用于根据所述第一局部感知特征和所述第二局部感知特征，得到局部感知损失值；
59.第四获得子单元，用于根据所述第二图像判别结果，得到局部对抗损失值；
60.第五获得子单元，用于根据所述局部感知损失值和所述局部对抗损失值，得到所述局部损失值。
61.可选地，所述生成器损失值还包括重建损失值和生成对抗损失值；
62.所述第三获得子单元，还包括：
63.第一得到子单元，用于对所述质量提升图像进行感知特征提取，得到第一全局感知特征；
64.第二得到子单元，用于对所述真实高质量图像进行感知特征提取，得到第二全局感知特征；
65.第三得到子单元，用于根据所述质量提升图像、所述真实高质量图像、所述第一全局感知特征和所述第二全局感知特征，得到所述重建损失值；
66.第四得到子单元，用于根据第一图像判别结果，得到生成对抗损失值。
67.可选地，所述真实高质量图像为人脸图像，所述生成器损失值还包括身份保持损失值；
68.所述第三获得子单元，还包括：
69.第五得到子单元，用于对所述质量提升图像进行脸部特征提取，得到第一脸部特征；
70.第六得到子单元，用于对所述真实高质量图像进行脸部特征提取，得到第二脸部特征；
71.第七得到子单元，用于根据所述第一脸部特征和所述第二脸部特征，得到身份保持损失值。
72.可选地，所述装置还包括：
73.第二获取模块，用于获取低质量图像；
74.得到模块，用于将所述低质量图像输入所述图像处理模型，得到目标高质量图像。
75.在本发明实施例的第三方面，还提供了一种终端设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
76.存储器，用于存放计算机程序；
77.处理器，用于执行存储器上所存放的程序时，实现上述任一所述的构建图像处理模型的方法。
78.在本发明实施例的又一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述的构建图像处理模型的方法。
79.本发明实施例提供的构建图像处理模型的方法，首先获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像，然后将合成低质量图像输入生成器，得到质量提升图像，将质量提升图像与对应的真实高质量图像输入判别器，且将质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据图像判别结果，对生成器和判别器进行更新；对生成式对抗网络中的生成器和判别器进行多轮训练，直至图像判别结果满足预设条件时，结束训练，最后将训练结束时的生成器确定为图像处理模型。该方法具有如下技术效果：
80.在使用样本图像对对生成式对抗网络进行训练时，将合成低质量图像输入生成器，得到质量提升图像，将质量提升图像与对应的真实高质量图像输入判别器，且将质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据图像判别结果，对生成器和判别器进行更新；对生成式对抗网络中的生成器和判别器进行多轮训练，直至图像判别结果满足预设条件时，结束训练，即，在使用样本图像对对生成式对抗网络进行训练的过程中，不仅仅是考虑到生成器生成的质量提升图像的整体质量，还考虑到了质量提升图像中包含目标部位的局部图像的质量，从而提高最终训练得到的图像处理模型的效果，使图像处理模型生成的质量提升图像不仅整体质量高，而且质量提升图像的局部也更加清晰，细节部位更加合理。
附图说明
81.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
82.图1是本技术一实施例示出的一种构建图像处理模型的方法的步骤流程图；
83.图2是本技术一实施例示出的一种对生成式对抗网络进行训练的方法的步骤流程图；
84.图3是本技术一实施例示出的一种构建图像处理模型的装置的结构框图；
85.图4是本技术一实施例示出的一种终端设备的结构示意图。
具体实施方式
86.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
87.相关技术中，图像质量提升的算法输出的图像质量不够高，具体体现在图像的局部不够清晰，细节部位不够合理等。
88.为解决相关技术中图像质量提升的算法输出的图像质量不够高，具体体现在图像的局部不够清晰，细节部位不够合理的问题，本技术提供了一种技术构思：在构建图像处理模型时，同时考虑图像的整体质量以及局部质量，从而提高最终训练得到的图像处理模型的效果，使图像处理模型生成的质量提升图像不仅整体质量高，而且质量提升图像的局部也更加清晰，细节部位更加合理。
89.下面将对本技术的构建图像处理模型的方法进行详细说明。
90.图1是本技术一实施例示出的一种构建图像处理模型的方法的步骤流程图，如图1所示，所述构建图像处理模型的方法包括：
91.步骤s101：获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像。
92.在本实施例中，获取多个样本图像对，其中，样本图像对用于对生成式对抗网络进行训练，每个样本图像对包括真实的高质量图像以及其对应的合成低质量图像，合成低质量图像由真实高质量图像退化处理得到，具体地，真实的高质量图像可使用公开的ffhq数据集和celeba
‑
hq数据集，这两个数据集提供了1024*1024的高清人脸图像。合成低质量图像可通过以下方程获得：
[0093][0094]
其中，i
d
是退化后的合成低质量图像，i是输入的真实高质量图像，k是对输入的真实高质量图像进行模糊操作中用到的核，
↓
s
是指对真实高质量图像进行s倍的下采样，n
σ
是指对真实高质量图像添加标准差为σ的高斯噪声，jpeg
q
是指对真实高质量图像进行jpeg有损压缩。
[0095]
通过上述方法，能够得到真实高质量图像所对应的合成低质量图像，以便得到样本图像对来对生成式对抗网络进行训练。使用高质量的图像进行训练和测试，能够得到质量更好的质量提升图形。
[0096]
步骤s102：将所述合成低质量图像输入生成器，得到质量提升图像，将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新。
[0097]
在本实施例中，获取多个样本图像对之后，通过多个样本图像对，对生成式对抗网络进行训练，其中，生成式对抗网络包括生成器和判别器，生成器接收输入的合成低质量图像，输出质量提升图像，判别器接收生成器生成的质量提升图像和真实高质量图像，输出图像是真实高质量图像的概率，输出值为正，则认为输入的图像是真实高质量图像，值越大，输入的图像是真实高质量图像的概率越大，输出的值为负，则认为输入的图像不是真实高质量图像，绝对值越大，则认为输入的图像不是真实高质量图像的概率越大，即判别器的责任是分辨出哪些图像是生成器生成的图像，生成器和判别器存在对抗的关系，两者对抗训练，模型能力同步提升，即生成器生成的图像越来越接近真实高质量图像，判别器越来越能分辨出生成器生成的图像，最终两者达到均衡状态，即生成器生成的图像质量接近于真实高质量图像，判别器无法分辨，即有50％的概率分辨错误。
[0098]
本发明中，基于上述生成式对抗网络中的生成器和判别器，在使用样本图像对对生成式对抗网络进行训练的过程中，不仅仅是考虑到生成器生成的质量提升图像的整体质量，还考虑到了质量提升图像中包含目标部位的局部图像的质量，具体地，将合成低质量图像输入生成器，得到质量提升图像，将质量提升图像与对应的真实高质量图像输入判别器，且将质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据图像判别结果，对生成器和判别器进行更新。
[0099]
其中，生成器包括两部分，一部分是编码器，一部分是解码器，编码器的作用是提取输入的合成低质量图像的特征，降低特征图的分辨率，以便降低计算量，输出特征向量。解码器接受该特征向量作为输入，一步步进行上采样，尽量恢复出高质量图像(即输出质量提升图像)。编码器包含一系列的卷积层来提取特征，以及最后的全连接层来生成需要的特征向量，同时每个中间卷积层的输出会保存下来，通过跳层连接给到解码器，这部分是为了能够让解码器获得低级的特征信息，能够更容易恢复图像。解码器包含一系列的卷积核上采样模块。
[0100]
判别器由一系列的残差块组成，输入的真实高质量或质量提升图像首先通过一个卷积层初步提取特征，然后通过残差块进行特征提取和下采样，最后通过一个全连接层输
出图片是真实图片和生成图片的概率。
[0101]
在一种可行的实施方式中，所述生成式对抗网络中的判别器包括全局判别器和局部判别器，其中，全局判别器采用上述判别器的网络结构，全局判别器用于判别生成器基于合成低质量图像而生成的质量提升图像与对应的真实高质量图像，局部判别器用于判别生成器生成的质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像。
[0102]
图2是本技术一实施例示出的一种对生成式对抗网络进行训练的方法的步骤流程图，具体地，生成式对抗网络中的判别器包括全局判别器和局部判别器，图像判别结果包括第一图像判别结果和第二图像判别结果；将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新，包括以下步骤s201
‑
步骤s206：
[0103]
步骤s201：将所述质量提升图像与对应的真实高质量图像输入所述全局判别器，得到第一图像判别结果。
[0104]
在本实施方式中，需要对生成式对抗网络进行多轮训练，具体地，在每一轮对生成式对抗网络进行训练的过程中，将获取到的合成低质量图像输入生成式对抗网络中的生成器，从而能够经过生成器的编码器和解码器的处理，从生成器输出质量提升图像。
[0105]
在本实施方式中，在获得生成器输出的质量提升图像后，需要将真实高质量图像和质量提升图像输入生成式对抗网络中的全局判别器，得到第一图像判别结果，具体地，真实高质量图像和质量提升图像输入全局判别器后，全局判别器经过多层卷积层进行特征提取和下采样操作得到高级特征，最终经过全连接层输出全局判别器的判别结果，即，输出输入的真实高质量图像是真实高质量图像的概率，以及，输出输入的质量提升图像是真实高质量图像的概率，其中，第一图像判别结果包括第一子判别结果和第二子判别结果，其中，将真实高质量图像输入生成式对抗网络中的全局判别器，得到第一子判别结果，将质量提升图像输入生成式对抗网络中的全局判别器，得到第二子判别结果，其中，第一子判别结果用于表征输入的图像是真实高质量图像的概率，第二子判别结果用于表征输入的质量提升图像是真实高质量图像的概率。其中，根据第一判别结果中的第二子判别结果计算生成对抗损失值，根据第一判别结果中的第一子判别结果和第一判别结果中的第二子判别结果计算全局判别器损失值，根据第二判别结果中的第四子判别结果和第二判别结果中的第三子判别结果计算局部判别器损失值。
[0106]
步骤s202：将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入所述局部判别器，得到第二图像判别结果。
[0107]
在本实施方式中，还需要使用包含目标部位的局部图像对局部判别器进行训练，具体地，先从质量提升图像和真实高质量图像中复制出包含目标部位的局部图像，具体地，可使用开源的facexlib工具进行关键点的检测和保存，以便复制出包含目标部位的局部图像，当真实高质量图像为人脸图像时，人脸图像的关键点位置可为眼睛和嘴部，即，包含目标部位的局部图像可为眼睛局部图像和嘴部局部图像，其中，眼睛局部图像包含一对眼睛且包含预设眼睛范围，即，一张人脸图像只包含一张眼睛局部图像，在一个整体的眼睛局部图像中包含一对眼睛，而不是将两个眼睛单独复制出来形成两张眼睛局部图像，且扩大了
眼睛局部图像的范围，设置了一个预设眼睛范围，预设眼睛范围能够尽量使眼睛局部图像将可能存在的眼镜包含在内部，具体的预设眼睛范围可根据实际情况进行设定，以考虑多种不同的眼镜样式，尽量能够使不同的眼镜样式均能包含在眼睛局部图像中。以便使最终通过图像处理模型输出的质量提升图像两只眼睛细节更加丰富，两只眼睛更加对称，不至于像其他的工作那样分开看两只眼睛都很真实，但明显不是一对眼睛。且存在眼镜时，眼镜更加真实完整，不会出现眼镜断断续续的情况。
[0108]
眼睛和嘴部的局部判别器由6个卷积层组成，其中第2、4、6个卷积层步长为2，执行下采样操作，局部判别器最后输出的是输入该网络的人脸或嘴部是真实的概率。
[0109]
在获取到包含目标部位的局部图像后，将质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入局部判别器，得到第二图像判别结果，其中，第二图像判别结果包括第三子判别结果和第四子判别结果，其中，将真实高质量图像包含目标部位的局部图像输入生成式对抗网络中的局部判别器，得到第三子判别结果，将质量提升图像包含目标部位的局部图像输入生成式对抗网络中的局部判别器，得到第四子判别结果，其中，第三子判别结果用于表征输入的图像是真实高质量图像中包含目标部位的局部图像的概率，第四子判别结果用于表征输入的质量提升图像中包含目标部位的局部图像是对应的真实高质量图像中包含目标部位的局部图像的概率。
[0110]
当一个质量提升图像有多个种类的局部图像时，局部判别器也对应有多个，即，每个种类的局部图像对应一个局部判别器，例如，眼睛局部图像对应一个眼睛的局部判别器，嘴部局部图像对应一个嘴部的局部判别器。此时，第三子判别结果包含眼睛第三子判别结果和嘴部第三子判别结果，第四子判别结果包含眼睛第四子判别结果和嘴部第四子判别结果。
[0111]
步骤s203：根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值。
[0112]
上述得到第一图像判别结果和第二图像判别结果后，根据质量提升图像、真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像以及第一图像判别结果和第二图像判别结果，进行损失值的计算，得到生成器损失值。
[0113]
具体地，生成器损失值至少包括局部损失值，此时，局部损失值的计算方式为：
[0114]
对所述质量提升图像中的局部图像进行感知特征提取，得到第一局部感知特征；
[0115]
对所述真实高质量图像中的局部图像进行感知特征提取，得到第二局部感知特征；
[0116]
根据所述第一局部感知特征和所述第二局部感知特征，得到局部感知损失值；
[0117]
根据所述第二图像判别结果，得到局部对抗损失值；
[0118]
根据所述局部感知损失值和所述局部对抗损失值，得到所述局部损失值。
[0119]
在本实施方式中，可采用vgg
‑
19网络中的conv1
‑
conv5层对质量提升图像中的局部图像进行感知特征提取，得到第一局部感知特征，其中，质量提升图像为rgb图像，其中，rgb是代表红、绿、蓝三个通道的颜色，直接对rgb图像的像素值进行约束计算损失值，会使质量提升图像在像素值上接近真实高质量图像，但是人眼看上去会比较模糊或平滑。但是
如果使用如vgg
‑
19模型的前几层提取的低级语义特征，对这些低级语义特征做约束计算损失值，会使人眼在感知上觉得质量提升图像接近真实高质量图像，因此把这样的低级语义特征称为感知特征。即，感知特征为使人眼在感知上觉得质量提升图像接近真实高质量图像的低级语义特征，然后，采用vgg
‑
19网络中的conv1
‑
conv5层对真实高质量图像中的局部图像进行感知特征提取，得到第二局部感知特征。
[0120]
然后，再根据第一局部感知特征和所述第二局部感知特征，得到局部感知损失值，具体的局部感知损失值的计算公式为：
[0121][0122]
其中，y1为真实高质量图像中包含目标部位的局部图像，为质量提升图像中包含目标部位的局部图像，φ为提取感知特征。
[0123]
再根据第二图像判别结果，得到局部对抗损失值，具体的局部对抗损失值的计算公式为：
[0124][0125]
其中，为第二图像判别结果中的第四子判别结果。
[0126]
最后将局部感知损失值和局部对抗损失值相加，即可得到局部损失值，当包含目标部位的局部图像为多张时，通过上述方法，计算每一张局部图像对应的局部损失值，然后将多张局部图像所对应的局部损失值相加，得到质量提升图像对应的总的局部损失值，即为生成器的局部损失值，通过上述方法，在计算生成器损失值时，考虑到了局部损失值，以便能够提高生成器的局部图像提升能力。
[0127]
在一种可行的实施方式中，生成器损失值还包括重建损失值和第一生成对抗损失值。
[0128]
具体地，重建损失值和第一生成对抗损失值的计算方法如下：
[0129]
对所述质量提升图像进行感知特征提取，得到第一全局感知特征；
[0130]
对所述真实高质量图像进行感知特征提取，得到第二全局感知特征；
[0131]
根据所述质量提升图像、所述真实高质量图像、所述第一全局感知特征和所述第二全局感知特征，得到所述重建损失值；
[0132]
根据第一图像判别结果，得到生成对抗损失值。
[0133]
在本实施方式中，可使用vgg
‑
19网络的conv1到conv5层对质量提升图像进行感知特征提取，得到第一全局感知特征。
[0134]
然后，可使用vgg
‑
19网络的conv1到conv5层对真实高质量图像进行感知特征提取，得到第二全局感知特征。
[0135]
然后根据质量提升图像、真实高质量图像、第一全局感知特征和第二全局感知特征，得到重建损失值，具体的重建损失值的计算公式为：
[0136][0137]
其中，λ
l1
和λ
per
是预设的超参数，是指质量提升图像，y是指真实高质量图像，φ为提取感知特征。
[0138]
然后，根据第一图像判别结果，得到生成对抗损失值，具体的计算公式为：
[0139][0140]
其中，为第一判别结果中的第二子判别结果。
[0141]
在一种可行的实施方式中，真实高质量图像为人脸图像，所述生成器损失值还包括身份保持损失值，具体的身份保持损失值的计算方法为：
[0142]
对所述质量提升图像进行脸部特征提取，得到第一脸部特征；
[0143]
对所述真实高质量图像进行脸部特征提取，得到第二脸部特征；
[0144]
根据所述第一脸部特征和所述第二脸部特征，得到身份保持损失值。
[0145]
在本实施方式中，可通过脸部特征提取器对质量提升图像进行脸部特征提取，得到第一脸部特征，然后通过脸部特征提取器对真实高质量图像进行脸部特征提取，得到第二脸部特征。
[0146]
然后，根据第一脸部特征和第二脸部特征，得到身份保持损失值，具体的计算公式为：
[0147][0148]
其中，η是指脸部特征提取器，λ
id
为损失函数权重，是指质量提升图像，y是指真实高质量图像。
[0149]
步骤s204：根据所述第一图像判别结果，得到全局判别器损失值。
[0150]
在本实施方式中，可根据第一图像判别结果，得到全局判别器损失值，具体的计算公式为：
[0151][0152]
其中，d(y)为第一判别结果中的第一子判别结果，为第一判别结果中的第二子判别结果。
[0153]
步骤s205：根据第二图像判别结果，得到局部判别器损失值，具体的计算公式为：
[0154][0155]
其中，为第二判别结果中的第四子判别结果，d(y1)为第二判别结果中的第三子判别结果。
[0156]
通过上述方式，即可得到生成器损失值、全局判别器损失值和局部判别器损失值。
[0157]
步骤s206：根据所述生成器损失值对所述生成器进行参数调整，根据所述全局判别器损失值对所述全局判别器进行参数调整，根据所述局部判别器损失值对所述局部判别器进行参数调整。
[0158]
在本实施方式中，得到生成器损失值、全局判别器损失值和局部判别器损失值后，即可使用反向传播算法计算各个层的梯度，然后使用梯度下降算法得到参数调整值，即，根据生成器损失值得到生成器的参数调整值，当生成器的生成器损失值包括多个部分时，将多个部分的值相加得到生成器的生成器损失值，例如，当生成器损失值包括局部损失值、重建损失值、生成对抗损失值和身份保持损失值时，将局部损失值、重建损失值、生成对抗损失值和身份保持损失值相加，得到生成器的生成器损失值，然后，根据各部分相加得到的生
成器损失值计算得到生成器的参数调整值，根据全局判别器损失值得到全局判别器的参数调整值，根据局部判别器损失值得到局部判别器的参数调整值，最后，可使用优化器根据生成器的参数调整值对生成器进行参数调整，使用优化器根据全局判别器的参数调整值对全局判别器进行参数调整，使用优化器根据局部判别器的参数调整值对局部判别器进行参数调整。
[0159]
优化器可使用adam优化器，基础学习率(learning rate，lr)设定为0.002，其中生成器的解码器使用预训练好的初始解码器提供人脸的先验信息，该部分的学习率设为基础学习率的1/10，判别器使用预训练好的初始判别器，学习率设为基础学习率的1/100。其余网络包括生成器的编码器、包含目标部位的局部图像用到的局部判别器的学习率采用基础学习率。其余参数使用pytorch框架的默认参数即可。
[0160]
步骤s103：对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练。
[0161]
在本实施例中，通过上述训练方法，根据多个样本图像对，对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练，其中，每进行一轮迭代训练，即可对生成器、全局判别器和局部判别器的参数进行一次调整，下一轮训练时，采用上一轮进行参数调整后的生成器、全局判别器和局部判别器，以便使生成器生成的图像越来越接近真实高质量图像，判别器越来越能分辨出生成器生成的图像，最终两者达到均衡状态，其中，预设条件可为根据全局判别器输出的第一图像判别结果计算得到的判别错误概率稳定在49.8
‑
50.2％范围内时，且根据局部判别器输出的第二图像判别结果计算得到的判别错误概率稳定在49.8
‑
50.2％范围内时，即可停止训练，即生成器生成的图像质量接近于真实高质量图像，判别器无法分辨，即有50％左右的概率分辨错误，即可停止训练，也可设定迭代次数，迭代次数可根据前期训练结果进行调整，例如，可将迭代次数设置为400000次，在训练400000次后，停止训练。
[0162]
网络训练使用梯度下降算法来最小化损失函数，损失函数计算的是网络输出的图像和真实的高质量图像之间的差距，差距越小，证明网络输出的图像质量越高，损失函数值为0时，网络性能达到理论最优值。本发明中使用的损失函数包括：重建损失函数，即估计网络输出图像和真实高质图像的l1距离。生成对抗损失函数，即生成器和判别器对抗训练的损失函数。身份保持损失函数，即判断网络输出的人脸图像的人脸特征是否和真实人脸图像的人脸特征保持一致，人脸特征可为人的眼睛、鼻子以及嘴巴的特征。感知损失函数，用于判断网络输出的图像和真实高质量图像提取的特征是否接近。局部损失函数，即单独判断眼睛、嘴巴等部位是否合理。
[0163]
针对牙齿细节不够合理的问题，本发明添加了针对嘴巴的感知损失函数，使用预训练好的vgg网络提取嘴巴的低层次特征，并与真实的嘴巴特征进行对比计算，能够注意到牙齿的纹理细节，从而能够优化牙齿部分。
[0164]
针对眼睛细节不够合理的问题，以往的工作中将左眼和右眼分开计算损失函数，这样做的结果往往是单独拿出来看每个眼睛都是合理的，但是放到同一张脸上就会出现不协调的情况。因此本发明将裁切出来的两只眼睛图片拼接在一起，同时计算局部损失值，能够保证两只眼睛的对称性。与嘴巴部分相同，眼睛部分添加了感知损失函数，能够优化眼睛部分的纹理细节。针对眼镜恢复不够完整的情况，本发明在裁切眼睛部分时扩大了眼睛部
分的范围，将可能的眼镜所在区域包含进去，能够优化眼镜部分恢复的合理性。
[0165]
步骤s104：将训练结束时的生成器确定为图像处理模型。
[0166]
最后，在训练结束时，将训练结束时的生成器确定为图像处理模型。
[0167]
通过上述方法，能够提高最终训练得到的图像处理模型的效果，使图像处理模型生成的质量提升图像不仅整体质量高，而且质量提升图像的局部也更加清晰，细节部位更加合理。
[0168]
得到图像处理模型之后，即可使用图像处理模型，对低质量图像进行质量提升，具体地，获取低质量图像，然后将低质量图像输入图像处理模型，即可得到提升后的目标高质量图像。
[0169]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0170]
基于同一发明构思，本发明一实施例提供一种构建图像处理模型的装置。参考图3，图3是本技术一实施例示出的一种构建图像处理模型的装置的结构框图。如图3所示，该装置包括：
[0171]
第一获取模块301，用于获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像；
[0172]
第一训练模块302，用于将所述合成低质量图像输入生成器，得到质量提升图像，将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新；
[0173]
第二训练模块303，用于对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练；
[0174]
确定模块304，用于将训练结束时的生成器确定为图像处理模型。
[0175]
可选地，所述生成式对抗网络中的判别器包括全局判别器和局部判别器，所述图像判别结果包括第一图像判别结果和第二图像判别结果；
[0176]
所述第一训练模块，包括：
[0177]
第一获得子模块，用于将所述质量提升图像与对应的真实高质量图像输入所述全局判别器，得到第一图像判别结果；
[0178]
第二获得子模块，用于将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入所述局部判别器，得到第二图像判别结果；
[0179]
第三获得子模块，用于根据所述第一图像判别结果、所述第二图像判别结果、所述质量提升图像、所述真实高质量图像、所述质量提升图像中包含目标部位的局部图像和所述真实高质量图像中包含目标部位的局部图像，得到生成器损失值；
[0180]
第四获得子模块，用于根据所述第一图像判别结果，得到全局判别器损失值；
[0181]
第五获得子模块，用于根据所述第二图像判别结果，得到局部判别器损失值；
[0182]
调整子模块，用于根据所述生成器损失值对所述生成器进行参数调整，根据所述全局判别器损失值对所述全局判别器进行参数调整，根据所述局部判别器损失值对所述局部判别器进行参数调整。
[0183]
可选地，所述生成器损失值至少包括局部损失值；
[0184]
所述第三获得子模块，包括：
[0185]
第一获得子单元，用于对所述质量提升图像中包含目标部位的局部图像进行感知特征提取，得到第一局部感知特征；
[0186]
第二获得子单元，用于对所述真实高质量图像中包含目标部位的局部图像进行感知特征提取，得到第二局部感知特征；
[0187]
第三获得子单元，用于根据所述第一局部感知特征和所述第二局部感知特征，得到局部感知损失值；
[0188]
第四获得子单元，用于根据所述第二图像判别结果，得到局部对抗损失值；
[0189]
第五获得子单元，用于根据所述局部感知损失值和所述局部对抗损失值，得到所述局部损失值。
[0190]
可选地，所述生成器损失值还包括重建损失值和生成对抗损失值；
[0191]
所述第三获得子单元，还包括：
[0192]
第一得到子单元，用于对所述质量提升图像进行感知特征提取，得到第一全局感知特征；
[0193]
第二得到子单元，用于对所述真实高质量图像进行感知特征提取，得到第二全局感知特征；
[0194]
第三得到子单元，用于根据所述质量提升图像、所述真实高质量图像、所述第一全局感知特征和所述第二全局感知特征，得到所述重建损失值；
[0195]
第四得到子单元，用于根据第一图像判别结果，得到生成对抗损失值。
[0196]
可选地，所述真实高质量图像为人脸图像，所述生成器损失值还包括身份保持损失值；
[0197]
所述第三获得子单元，还包括：
[0198]
第五得到子单元，用于对所述质量提升图像进行脸部特征提取，得到第一脸部特征；
[0199]
第六得到子单元，用于对所述真实高质量图像进行脸部特征提取，得到第二脸部特征；
[0200]
第七得到子单元，用于根据所述第一脸部特征和所述第二脸部特征，得到身份保持损失值。
[0201]
可选地，所述装置还包括：
[0202]
第二获取模块，用于获取低质量图像；
[0203]
得到模块，用于将所述低质量图像输入所述图像处理模型，得到目标高质量图像。
[0204]
本发明实施例还提供了一种终端设备，如图4所示。图4是本技术一实施例示出的一种终端设备的结构示意图。参照图4，终端设备包括处理器41、通信接口42、存储器43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信；
[0205]
存储器43，用于存放计算机程序；
[0206]
处理器41，用于执行存储器43上所存放的程序时，实现如下步骤：
[0207]
获取多个样本图像对，每个样本图像对包括真实高质量图像及其对应的合成低质量图像；
[0208]
将所述合成低质量图像输入生成器，得到质量提升图像，将所述质量提升图像与对应的真实高质量图像输入判别器，且将所述质量提升图像中包含目标部位的局部图像与对应的真实高质量图像中包含目标部位的局部图像输入判别器，得到图像判别结果，并根据所述图像判别结果，对所述生成器和所述判别器进行更新；
[0209]
对生成式对抗网络中的所述生成器和所述判别器进行多轮训练，直至所述图像判别结果满足预设条件时，结束训练；
[0210]
将训练结束时的生成器确定为图像处理模型。
[0211]
或者处理器41在执行存储器43上所存放的程序时，实现上述其他方法实施例中的步骤。
[0212]
上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0213]
通信接口用于上述终端与其他设备之间的通信。
[0214]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0215]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0216]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的构建图像处理模型的方法。
[0217]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的构建图像处理模型的方法。
[0218]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者
是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0219]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0220]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0221]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。