图像超分模型的生成方法、装置、超分方法及终端设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像超分模型的生成方法、装置、超分方法及终端设备。


背景技术：

2.随着计算机视觉技术的发展，人们对高清图像的需求越来越多(例如，高清电视、高清体育直播以及浏览商场高清引导指示屏等等)。高清图像普遍是利用图像超分技术生成的，其中，图像超分技术普遍是利用图像超分模型来提取原始图像的图像特征，然后上采样到目标分辨率以得到高清图像。然而，现有的图像超分模型生成的高清图像普遍存在图像质量差的问题。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种图像超分模型的生成方法、装置、超分方法及终端设备。
4.为了解决上述技术问题，本技术实施例第一方面提供了一种图像超分模型的生成方法，所述方法包括：
5.基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型；
6.将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度，其中，所述生成对抗网络模型的生成模型为所述目标模型；
7.基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
8.所述图像超分模型的生成方法，其中，所述预设网络模型包括若干级联的残差模块以及融合模块，所述基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型具体包括：
9.基于若干级联的残差模块，确定预设训练图像集中的训练图像对应的第一特征图；
10.将所述第一特征图以及所述训练图像输入所述融合模块，通过所述融合模块确定所述训练图像对应的预测图像；
11.基于所述预测图像对预设网络模型进行训练，以得到目标模型。
12.所述图像超分模型的生成方法，其中，所述残差模块包括若干级联的残差单元以及融合单元，所述基于若干级联的残差模块，确定预设训练图像集中的训练图像对应的第一特征图包括：
13.将若干残差模块中按照级联顺序位于最前的残差模块作为目标残差模块，将所述训练图像作为目标图像；
14.基于所述目标残差模块中的若干残差单元，确定所述目标图像对应的第二特征
图；
15.将所述第二特征图以及所述目标图像输入所述融合单元，通过所述融合单元确定所述训练图像对应的第三特征图；
16.将所述第三特征图作为目标图像，将与所述目标残差模块相邻且位于所述目标残差模块之后的一残差模块作为目标残差模块，并继续执行基于所述目标残差模块中的若干残差单元，确定所述目标图像对应的第二特征图的步骤，直至目标残差模块为最后一残差模块，以得到所述训练图像对应的第一特征图。
17.所述图像超分模型的生成方法，其中，所述残差单元包括卷积块以及注意力块，其中，所述注意力块配置有通道注意力机制。
18.所述图像超分模型的生成方法，其中，所述注意力块包括池化层、第一卷积层、第二卷积层、激活层以及融合层，所述池化层、第一卷积层、第二卷积层以及激活层依次级联，所述融合层的输入项包括池化层的输入项和激活层的输出项。
19.所述图像超分模型的生成方法，其中，所述第一卷积层的输出项的通道数小于输入项的通道数，第二卷积层的输出项的通道数等于第一卷积层的输入项的通道数。
20.所述图像超分模型的生成方法，其中，对于若干残差模块中的每个残差模块，该残差模块的输入项的图像尺寸与该残差模块的输出项的图像尺寸相等。
21.所述图像超分模型的生成方法，其中，所述图像超分模型包括12个残差模块，所述若干残差模块中每个残差模块均包括4个残差单元。
22.所述图像超分模型的生成方法，其中，所述生成对抗网络模型还包括判别模型，所述将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度具体包括：
23.将目标模型作为预设的生成对抗网络模型的生成模型，并将预设训练图像集中的训练图像输入所述生成模型，通过所述生成模型确定所述训练图像对应的生成图像；
24.将所述生成图像以及所述训练图像对应的参考图像输入所述判别模型，通过所述判别图像确定所述生成图像对应的置信度。
25.所述图像超分模型的生成方法，其中，所述参考图像的图像内容与所述训练图像的图像内容的相似度满足预设条件，所述参考图像的分辨率高于所述训练图像的分辨率。
26.所述图像超分模型的生成方法，其中，所述基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型具体包括：
27.将所述生成图像输入经过训练的图像分类模型，通过所述图像分类模型输出所述生成图像对应的第四特征图；
28.将所述训练图像对应的参考图像输入所述图像分类模型，通过所述图像分类模型输出所述参考图像对应的第五特征图；
29.基于所述生成图像、所述生成图像对应的置信度、所述生成图像对应的第四特征图以及所述参考图像对应的第五特征图对所述对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
30.本技术实施例第二方面提供了一种图像超分方法，所述图像超分方法应用如上任一所述的图像超分模型的生成方法所生成的图像超分模型，所述方法具体包括：
31.获取待超分图像；
32.将所述待超声图像输入所述图像超分模型，通过所述图像超分模型输出所述待超分图像对应的超分图像。
33.本技术实施例第三方面提供了一种图像超分模型的生成装置，所述图像超分模型的生成装置具体包括:
34.第一训练模块，用于基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型；
35.确定模块，用于将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度，其中，所述生成对抗网络模型的生成模型为所述目标模型；
36.第二训练模块，用于基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
37.本技术实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像超分模型的生成方法中的步骤。
38.本技术实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
39.所述通信总线实现处理器和存储器之间的连接通信；
40.所述处理器执行所述计算机可读程序时实现如上任一所述的图像超分模型的生成方法中的步骤。
41.有益效果：与现有技术相比，本技术提供了一种图像超分模型的生成方法、装置、超分方法及终端设备，图像超分模型的生成方法包括基于训练图像对预设网络模型进行训练以得到目标模型；将训练图像输入生成对抗网络模型，通过对抗网络模型确定训练图像对应的生成图像及生成图像对应的置信度；基于生成图像及置信度对生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。本技术在对生成对抗网络模型进行训练之前预先训练目标模型，并将目标模型作为生成对抗网络模型中的生成模型，这样可以提高生成对抗网络模型确定的生成图像的特征纹理与训练图像对应的参考图像的特征纹理的相似度，从而可以提高图像超分模型的输出图像的图像质量。
附图说明
42.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术提供的图像超分模型的生成方法的流程图。
44.图2为本技术提供的图像超分模型的生成方法的流程示例图。
45.图3为本技术提供的图像超分模型的生成方法的预设网络模型的结构原理图。
46.图4为本技术提供的图像超分模型的生成方法的残差单元的一个实施例的结构原理图。
47.图5为本技术提供的图像超分模型的生成方法的残差单元的另一个实施例的结构原理图。
48.图6为本技术提供的图像超分方法的流程图。
49.图7为本技术提供的图像超分模型的生成装置的结构原理图。
50.图8为本技术提供的终端设备的结构原理图。
具体实施方式
51.本技术提供一种图像超分模型的生成方法、装置、超分方法及终端设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
52.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
53.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
54.发明人经过研究发现，随着计算机视觉技术的发展，人们对高清图像的需求越来越多(例如，高清电视、高清体育直播以及浏览商场高清引导指示屏等等)。高清图像普遍是利用图像超分技术生成的，其中，图像超分技术普遍是利用图像超分模型来提取原始图像的图像特征，然后上采样到目标分辨率以得到高清图像。然而，现有的图像超分模型生成的高清图像普遍存在图像质量差的问题。此外，现有的图像超分模型包括的网络层数以及特征参数均较多，使得图像超分模型对移动设备的算力要求很高。例如，拥有400个卷积层的图像超分模型处理64*64分辨率图像时所需的算力要求可以达到50g flops，这使得图像超分模型很难部署到移动设备上。
55.为了解决上述问题，在本技术实施例中，基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型；将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度；基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。本技术在对生成对抗网络模型进行训练之前预先训练目标模型，并将目标模型作为生成对抗网络模型中的生成模型，这样可以提高生成对抗网络模型确定的生成图像的特征纹理与训练图像对应的参考图像的特征纹理的相似度，从而可以提高图像超分模型的输出图像的图像质量。
56.本实施例提供的图像超分模型的生成方法可以由图像处理装置来执行，所述装置
可以由软件实现，应用于诸如智能手机、平板电脑或个人数字助理等之类的智能终端上。
57.下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
58.本实施提供了一种图像超分模型的生成方法，如图1和图2所示，所述方法包括：
59.s10、基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型。
60.具体地，所述预设训练图像集包括若干训练图像组，若干训练图像组中的每个训练图像组均包括训练图像以及训练图像对应的参考图像，其中，所述参考图像的图像内容与训练图像的图像内容的相似度满足预设条件，所述参考图像的分辨率高于所述训练图像的分辨率。所述预设条件可以为训练图像与参考图像的相似度达到预设阈值，以使得当训练图像和参考图像重合时，训练图像携带的物体对参考图像中与其对应的物体的覆盖率达到预设要求。其中，所述预设阈值可以为99％，所述预设要求可以为99.5％等。例如，所述训练图像为携带小猫的图像，分辨率为640*480，参考图像为携带小猫的图像，分辨率为1024*1024等，所述训练图像的图像内容与参考图像的图像内容的相似度达到预设阈值。
61.训练图像组中的训练图像和参考图像均可以成像系统(如，屏上摄像头)拍摄得到，或者是，通过网络(如，百度)获取到，或者是，通过其他外部设备(如，智能手机)发送的，并且训练图像组中的训练图像的获取方式和训练图像组中的参考图像的获取方式可以不同。例如，训练图像组中的训练图像是通过成像系统拍摄得到，参考图像是通过其他外部设备发送的等。
62.在本实施例的一个实现方式中，若干训练图像组包括的若干训练图像可以对应若干拍摄场景，若干拍摄场景中任意两个拍摄场景不同，并且每个拍摄场景可以对应多组训练图像组，其中，所述若干拍摄场景可以包括室内场景、室外场景、明亮场景、暗光场景、逆光场景、顺光场景以及半阴影场景等等。这样采用包括若干拍摄场景拍摄得到的训练图像组作为训练样本，可使得基于训练图像集训练得到图像超分模型可以适用不同的拍摄场景拍摄得到图像，从而可以提高图像超分模型对不同拍摄场景拍摄得到的图像进行超分得到超分图像的图像质量。例如，所述训练图像集可以包括用于物件检测的coco数据集，以及通过成像系统拍照对若干拍摄场景进行拍摄得到的若干图像，其中，若干拍摄场景包括室内拍摄场景，墙壁拍摄场景，逆光拍摄场景以及顺光。
63.在本实施例的一个实现方式中，所述预设网络模型用于根据训练图像生成训练图像对应的预测图像，所述预设网络模型的输入项为训练图像，输出图像为训练图像对应的预测图像。如图3所示，所述预设网络模型包括若干级联的残差模块以及融合模块，相应的，所述基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型具体包括：
64.s11、基于若干级联的残差模块，确定预设训练图像集中的训练图像对应的第一特征图；
65.s12、将所述第一特征图以及所述训练图像输入所述融合模块，通过所述融合模块确定所述训练图像对应的预测图像；
66.s13、基于所述预测图像对预设网络模型进行训练，以得到目标模型。
67.具体地，所述若干残差模块中按照级联顺序位于最前的残差模块的输入项为训练图像，相邻两个残差模块中前一个残差模块的输出项为后一个残差模块的输入项，最后一
个残差模块的输出项为第一特征图。所述融合模块的输入项为训练图像和第一特征图，所述融合模块的输出项为预测图像，其中，所述预测图像的分辨率高于所述训练图像的分辨率，并且所述预测图像的分辨率与训练图像对应的参考图像的分辨率相同。例如，所述训练图像的分辨率为640*480，参考图像的分辨率为1024*1024，那么预测图像的分辨率为1024*1024。在本实施例的一个实现方式中，对于若干残差模块中的每个残差模块，该残差模块的输入项的图像尺寸与该残差模块的输出项的图像尺寸相等。例如，若干残差模块包括残差模块a，残差模块a的输入项的图像尺寸为224*244，那么残差模块a的输出项的图像尺寸为224*244。此外，对于若干残差模块中的每个残差模块，该残差模块的输入项的通道数与该残差模块的输出项的通道数相等。例如，若干残差模块包括残差模块a残差模块a的输入项的通道数为64，那么残差模块a的输出项的通道数为64。
68.在本实施例的一个实现方式中，所述残差模块包括若干级联的残差单元以及融合单元，所述基于若干级联的残差模块，确定预设训练图像集中的训练图像对应的第一特征图包括：
69.将若干残差模块中按照级联顺序位于最前的残差模块作为目标残差模块，将所述训练图像作为目标图像；
70.基于所述目标残差模块中的若干残差单元，确定所述目标图像对应的第二特征图；
71.将所述第二特征图以及所述目标图像输入所述融合单元，通过所述融合单元确定所述训练图像对应的第三特征图；
72.将所述第三特征图作为目标图像，将与所述目标残差模块相邻且位于所述目标残差模块之后的一残差模块作为目标残差模块，并继续执行基于所述目标残差模块中的若干残差单元，确定所述目标图像对应的第二特征图的步骤，直至目标残差模块为最后一残差模块，以得到所述训练图像对应的第一特征图。
73.具体地，对于每个残差模块中的若干级联的残差单元，按照级联顺序位于最前的残差单元的输入项为该残差模块的前一残差模块的输出项；相邻两个残差单元中前一残差单元的输出项为后一残差单元的输出项，最后的残差单元的输出项为融合单元的输入项。所述融合单元的输入项为最前的残差单元的输入项和最后的残差单元的输出项，通过融合单元对该残差模块的输入项和最后的残差单元的输出项进行残差融合，这样可以使得该残差模块的输入项携带的浅层纹理特征可以传递给融合单元，融合单元可以获取到最后的残差单元获取的深层图像细节信息，从而可以使得该残差模块输出的第二特征图携带的图像细节信息。此外，本实施例中的预设网络模型采用残差模块内嵌若干残差单元的模型结构，可以这样每个残差模块中的若干残差单元中的残差连接可以保证深层网络结构不会出现梯度消失或者爆炸，使得基于预设网络模型可以训练得到生成模块。而若干残差模块中的残差连接可以提升网络的表达能力，充分利用残差结构的学习能力，可以提高训练得到目标模型生成的生成图像的图像质量。在本实施的一个具体实现方式中，所述图像超分模型包括12个残差模块，每个残差模块均包括4个残差单元。
74.在本实施例的一个实现方式中，若干残差单元中每个残差单元的输入项的图像尺度与输出项的图像尺度相同，例如，残差单元输入项的图像尺寸为hxwxc，那么输出项的图像尺寸为hxwxc。所述残差单元包括卷积块以及注意力块，其中，所述注意力块配置有通道
注意力机制。所述注意力块包括池化层、第一卷积层、第二卷积层、激活层以及融合层，所述池化层、第一卷积层、第二卷积层以及激活层依次级联，所述融合层的输入项包括池化层的输入项和激活层的输出项。所述第一卷积层的输出项的通道数小于输入项的通道数，第二卷积层的输出项的通道数等于第一卷积层的输入项的通道数。所述卷积块输出的特征图feature map首先通过池化层进行池化，以得到1x1的特征图，然后通过第一卷积层(其中，第一卷积层的卷积核为1x1)将1x1的特征图的通道数降低，再通过第二卷积层(其中，第二卷积层的卷积核为1x1)将第一卷积层输出的特征图的通道数增加至第一卷积层的输入项多通道数，并且将通过激活层(例如，sigmoid函数等)将第二卷积层的输出项中的各通道转换为0到1之间的权重值，最后将激活层输入的权重值与第一卷积层的输入项相乘以得到注意力块的输出项，这样可以使得不同通道的权重不同，从而实现了对通道关系，进而可以捕获不同通道之间的关联特征。
75.举例说明：如图4所示，注意力块包括自适应平均池化层
hgp
,第一卷积层wd、第二卷积层wu、激活层f以及融合层；图像尺度为hxwxc的特征图通过自适应平均池化层
hgp
转换为1x1xc的特征图a，1x1xc的特征图通过第一卷层wd转换为1x1xc/r的特征图，1x1xc/r的特征图通过第二卷卷层wu转换为1x1xc的特征图b，1x1xc的特征图b通过激活层后与hxwxc的特征图相乘得到注意力块的输出项，其中，注意力块的输出项的图像尺度为hxwxc，c和r为均正整数，r为缩放因子，如，c＝64，r＝16等。
76.当然，在实际应用中，所述注意力块中的第二卷积层和激活层的位置可以交换，并且所述激活层与融合层之间可以设置有归一化层，例如，如图5所示，所述注意力块包括池化层、第一卷积层、激活层、第二卷积层、归一化层以及融合层，其中，池化层、第一卷积层、激活层、第二卷积层以及归一化层依次级联，所述融合层的输入项包括池化层的输入项和归一化层的输出项，所述第一卷积层的输出项的通道数小于输入项的通道数，第二卷积层的输出项的通道数等于第一卷积层的输入项的通道数。
77.在本实施例的一个实现方式中，所述融合模块包括第一卷积单元、第一融合单元、上采样单元以及第二卷积单元，所述第一卷积单元与按照位于最后的残差模块，所述第一融合单元与所述第一卷积单元相连接，并与若干残差模块位于最前的残差模块跳跃连接，所述第一融合单元与上采样单元相连接，上采样单元与第二卷积单元相连接。由此，所述第一卷积单元的输入项为第一特征图，所述第一融合单元的输入项为第一卷积单元的输出项和训练图像；所述上采样单元的输入项为第一融合单元的输出项，所述第二卷积单元的输入项为上采样单元的输出项，这样通过上采样单元将输入项的分辨率上采样到参考图像对应的分辨率，以使得预测图像的分辨率与参考图像的分辨率相同。此外，在本实施例的一个可能实现方式中，所述预设网络模型还可以包括第三卷积单元，所述第三卷积单元与若干残差模块位于最前的残差模块相连接，所述第三卷积单元的输入项为训练图像，并将第三卷积单元的输出项作为训练图像，其中，第三卷积单元的输入项的图像尺寸大于第三卷积单元的输出项的图像尺寸，这样可以减少各残差模块的输入项的图像尺寸，从而可以减少残差模块的计算量，从而可以提高预设网络模型的计算速度。
78.s20、将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度，其中，所述生成对抗网络模型的生成模型为所述目标模型。
79.具体地，所述置信度用于反映所述生成图像为训练图像对应的参考图像的概率，所述置信度越高，说明生成图像为训练图像对应的参考图像的概率越高，反之，所述置信度越低，说明生成图像为训练图像对应的参考图像的概率越低。在本实施例的一个实现方式中，所述置信度可以包括0-1之间，其中，0-1之间包括0和1。例如，对于训练图像a和训练图像b，训练图像a对应的生成图像的置信度为0.8，训练图像b对应的生成图像的置信度为0.2，那么训练图像a对应的生成图像为训练图像对应的参考图像的概率高于训练图像b对应的生成为训练图像对应的参考图像的概率。
80.所述生成对抗网络模型包括生成模型和判别模型，所述生成模块为如上所述的经过训练的目标模型，用于生成训练图像对应的生成图像，所述判别模块用于判别所述生成图像为训练图像对应的参考图像的置信度。相应的，所述将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度具体包括：
81.将目标模型作为预设的生成对抗网络模型的生成模型，并将预设训练图像集中的训练图像输入所述生成模型，通过所述生成模型确定所述训练图像对应的生成图像；
82.将所述生成图像以及所述训练图像对应的参考图像输入所述判别模型，通过所述判别图像确定所述生成图像对应的置信度。
83.具体地，所述生成图像为通过所述生成模型生成的，所述生成图像的分辨率大于所述训练图像的分辨率，所述置信度为所述生成图像为所述参考图像的概率，所述生成图像分辨率等于所述参考图像的分辨率。例如，所述训练图像的分辨率为640*480，参考图像的分辨率为1024*1024，那么生成图像的分辨率为1024*1024。
84.在本实施例的一个实现方式中，所述生成模型为上述的目标模型，目标模型包括若干残差模块，每个残差模块包括若干残差单元，并且所述目标模型的模型参数为经过训练的模型参数，这样可以提高通过生成对抗网络模型的生成模型生成的生成图像不会出现部分区域异常的现象。此外，生成对抗网络模型的生成模型可以包括判别模型，判别模型可以采用vgg128网络，所述训练图像经过生成模型输入生成图像，然后将生成图像和训练图像对应的参考图像输入判别模型，判别模型判别输入图像是生成模型生成的还是训练图像对应的参考图像。所述生成模型用于提高生成图像与参考图像的相似性，从而使得判别图像无法判别生成图像和参考图像。判别模型的目的是区分输入图像是生成图像还是参考图像，通过生成模型与判别模型的对抗来提高生成图像与参考图像的相似性，从而可以提高生成模型生成的生成图像的图像质量。在本实施例的一个实现方式，所述生成对抗网络模型中的生成模型的输入项的图像尺寸为64x64,生成模型的输出项的图像尺寸为256x256，参考图像的图像尺寸为256x256，判别模型的输出项的图像尺寸为256x256。
85.s30、基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
86.具体地，所述生成对抗网络模型进行训练指的是对生成对抗网络模型中的生成模型和判别模型进行训练，使得生成模型生成的生成图像与参考图像的相似度更高，判别模型判别生成图像和参考图像的判别能力更好，通过生成模型和判别模型的对抗过程，来提高最后得到的图像超分模型的模型精度。在本实施例的一个实现方式中，在对生成模型和判别模型进行训练时需要确定生成模型对应的损失函数值以及判别模型对应的损失函数
值，分别采用各自对应的损失函数值进行反向学习以对各自的模型参数进行优化。相应的，所述基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型具体包括：
87.将所述生成图像输入经过训练的图像分类模型，通过所述图像分类模型输出所述生成图像对应的第四特征图；
88.将所述训练图像对应的参考图像输入所述图像分类模型，通过所述图像分类模型输出所述参考图像对应的第五特征图；
89.基于所述生成图像、所述生成图像对应的置信度、所述生成图像对应的第四特征图以及所述参考图像对应的第五特征图对所述对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
90.具体地，所述图像分类模型为经过训练的网络模型，所述图像分类模型用于识别输入项中携带的对象类别。所述图像分类模型包括特征提取模块以及分类模型，所述第四特征图和第五特征图均为所述特征提取模型的输出项。可以理解的是，所述第四特征图为将所述生成图像输入图像分类模型后，通过图像分类模型中的特征提取模型确定得到的特征图，第五特征图为将目标图像输入图像分类模型，通过图像分类模型中的特征提取模型确定的特征图。本实施例采用图像分类模型中的特征提取模型提取到的特征图对生成模型和判别模型进行训练，这样可以保留图像颜色信息及亮度信息，从而可以提高训练得到的生成模型的处理效果。
91.在本实施例的一个实现方式中，所述图像分类模型可以为vgg网络，所述特征提取模型的输出项可以为vgg128中的relu2_2层的输出项，使得获取得到特征图中保留图像颜色信息及亮度信息，或者是，所述特征提取模型的输出项可以为vgg128中的relu5_3层的输出项，这样可以使得特征图中保留图像语义信息，使得生成模型生成的生成图像中与对参考图像的语义信息的相似度高。
92.在本实施例的一个实现方式中，所述置信度包括参考图像对应的第一置信度以及所述生成图像对应的第二置信度；所述基于所述生成图像、所述置信度、所述第四特征图以及所述第五特征图对所述对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型具体包括：
93.基于所述第一置信度和所述第二置信度，确定第一损失值以及第二损失值；
94.基于所述生成图像和所述参考图像，确定第三损失值；
95.基于所述第四特征图和所述第五特征图，确定第四损失值；
96.基于所述第一损失值，所述第二损失值、所述第三损失值以及所述第四损失值对所述生成模型以及所述判别模型进行训练，并将训练得到生成模型作为图像超分模型。
97.具体地，基于所述第一损失值，所述第二损失值、所述第三损失值以及所述第四损失值对所述生成模型以及所述判别模型进行训练指的是基于所述第二损失值、所述第三损失值以及所述第四损失值确定总损失值，再基于总损失值对生成模型进行训练，其中，第二损失值、第四损失以及第三损失值的权重可以分别为5e-5，0.1和1。基于第一损失值对判别模型进行训练，并将训练得到生成模型作为生成模型。此外，所述生成模型和判别模型可以采用交替训练的方式，可以理解的是，在对生成模型和判别模型进行训练时，可以首先固定判别模型的模型参数，对生成模型的模型参数进行训练；然而在固定生成模型的模型参数
对判别模型的模型参数进行训练。其中，生成模型和判别模型的交替训练可以在一次训练中完成，也可以在两次训练中完成。
98.在本实施例的一个实现方式中，所述生成模型和判别模型的交替训练可以在一次训练中完成，所述交替训练的过程可以为：首先，确定总损失值和第一损失值，其次，固定所述生成模型，根据第一损失值对判别模型进行训练，然后，固定所述判别模型，根据总损失值对所述生成模型进行训练，以实现对生成模型与判别的交替训练。在本实施例的另一个实现方式中，所述生成模型和判别模型的交替训练可以在两次训练中完成，第一次训练的过程：基于第一组训练图像组确定第一损失值，固定所述生成模型，根据第一损失值对判别模型进行训练；第二训练的过程为：基于第二组训练图像组确定总损失值，其中，第一组训练图像组与第二训练图像组不相同；固定所述判别模型，根据总损失值对所述生成模型进行训练，以实现对生成模型与判别的交替训练。
99.综上所述，本实施例提供了一种图像超分模型的生成方法，图像超分模型的生成方法包括基于训练图像对预设网络模型进行训练以得到目标模型；将训练图像输入生成对抗网络模型，通过对抗网络模型确定训练图像对应的生成图像及生成图像对应的置信度；基于生成图像及置信度对生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。本技术在对生成对抗网络模型进行训练之前预先训练目标模型，并将目标模型作为生成对抗网络模型中的生成模型，这样可以提高生成对抗网络模型确定的生成图像的特征纹理与训练图像对应的参考图像的特征纹理的相似度，从而可以提高图像超分模型的输出图像的图像质量。
100.基于上述图像超分模型的生成方法，本实施例提供了一种图像超分方法，所述图像超分方法应用如上任一所述的图像超分模型的生成方法所生成的图像超分模型，如图6所示，所述方法具体包括：
101.n10、获取待超分图像；
102.n20、将所述待超声图像输入所述图像超分模型，通过所述图像超分模型输出所述待超分图像对应的超分图像。
103.基于上述图像超分模型的生成方法，本实施例提供了一种图像超分模型的生成装置，如图7所示，所述图像超分模型的生成装置具体包括:
104.第一训练模块100，用于基于预设训练图像集中的训练图像对预设网络模型进行训练，以得到目标模型；
105.确定模块200，用于将预设训练图像集中的训练图像输入预设的生成对抗网络模型，通过所述对抗网络模型确定所述训练图像对应的生成图像以及所述生成图像对应的置信度，其中，所述生成对抗网络模型的生成模型为所述目标模型；
106.第二训练模块300，用于基于所述生成图像以及所述置信度对所述生成对抗网络模型进行训练，并将训练得到的生成对抗网络模型中的生成模型作为图像超分模型。
107.此外值得说明的是，图像超分模型的生成装置中的各模块的工作过程与上述图像超分模型的生成方法中的各步骤的工作过程相同，例如，第一训练模型的工作过程与步骤s10的工作过程相同，确定模型的工作过程与步骤s20的工作过程相同，第二训练模型的工作过程与步骤s30的工作过程相同，具体可以参照上述步骤s10、步骤s20以及步骤s30的具体说明，这里就不再一一赘述。
108.基于上述图像超分模型的生成方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像超分模型的生成方法中的步骤。
109.基于上述图像超分模型的生成方法，本技术还提供了一种终端设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
110.此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
111.存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
112.存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
113.此外，上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
114.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。