多目标场景图像分辨率提升方法、装置、设备和介质

1.本技术涉及图像处理技术领域，特别是涉及一种多目标场景图像分辨率提升方法、装置、设备和介质。


背景技术：

2.在多目标场景图像的生成问题中，基于singan（单图生成对抗网络）改进的conditinalsingan（条件式单图生成对抗网络）已经成功解决多目标场景图像的可控生成问题，其可以根据给定的多目标场景图像进行训练并在控制条件的引导下沿着用户想要的方向生成伪多目标场景图像，这些伪图像更符合中目标的数量、分布等均是可控的。此类伪多目标场景图像更符合人类视觉认知，应用场景丰富，尤其是在新闻舆论与情报领域中具有重要应用价值。
3.然而，在实现本发明过程中，发明人发现前述传统的多目标场景图像生成方法中，conditinalsingan是用单图分块训练的方式训练生成对抗网络模型，所以生成的图像尺寸较小、分辨率较低、细节粗糙且影响视觉体验，从而降低了伪造图像的逼真度，因此存在着生成图像的分辨率不足的技术问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种多目标场景图像分辨率提升方法、一种多目标场景图像分辨率提升装置以及一种计算机设备，能够大幅提高生成的多目标场景图像的分辨率。
5.为了实现上述目的，本发明实施例采用以下技术方案：一方面，本发明实施例提供一种多目标场景图像分辨率提升方法，包括步骤：获取低分辨率的多目标场景图像；调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络；将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图像；将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图；将特征图代入超分辨率网络模型的损失函数计算均方误差；输出均方误差后的高分辨率的多目标场景图像。
6.另一方面，还提供一种多目标场景图像分辨率提升装置，包括：图像获取模块，用于获取低分辨率的多目标场景图像；模型调用模块，用于调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络；
超生成模块，用于将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图像；特征提取模块，用于将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图；损失计算模块，用于将特征图代入超分辨率网络模型的损失函数计算均方误差；图像输出模块，用于输出均方误差后的高分辨率的多目标场景图像。
7.又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现任一项的上述多目标场景图像分辨率提升方法的步骤。
8.再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现任一项的上述多目标场景图像分辨率提升方法的步骤。
9.上述技术方案中的一个技术方案具有如下优点和有益效果：上述多目标场景图像分辨率提升方法、装置、设备和介质，获得待重建的低分辨率的多目标场景图像后，通过调用训练好的基于drn架构的超分辨率网络模型，将该低分辨率的多目标场景图像输入超分辨率网络模型处理，该超分辨率网络模型通过对顺映射的更新生成高分辨率的多目标场景图像（也即重建图像）。然后采用截断的vgg19网络对低分辨率的多目标场景图像和高分辨率的多目标场景图像进行特征提取，得到相应的特征图后再代入模型的损失函数计算均方误差。如此，无论是在模型的顺映射还是逆映射中，特征提取都在起作用，使得模型在训练处理过程中更注重图像固有信息的获取，即损失函数对重建图像（高分辨率的多目标场景图像）与真实图像（低分辨率的多目标场景图像）的固有特征均进行计算处理，减少重建图像对真实图像的语义修改，以提高重建图像的质量，真正达到多目标场景图像的超分辨率重建目的，实现了大幅提高生成的多目标场景图像分辨率的效果，使生成的图像逼真度显著提高。
附图说明
10.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为一个实施例中多目标场景图像分辨率提升方法的流程示意图；图2为一个实施例中基于drn的网络结构示意图；图3为一个实施例中闭环训练的步骤示意图；图4为一个实施例中基于特征图差值损失的处理流程示意图；图5为一个实施例中不同vgg截断方案得到的重建图像样例示意图；其中，（a）为原始伪造图像，（b）为方案1得到的图像，（c）为方案2得到的图像；图6为一个实施例中各超分辨率重建方法的输出结果细节展示示意图；其中，（a）为原始图像，（b）为bicubic的图像，（c）为srresnet的图像，（d）为srgan的图像，（e）为基于特征图差值的网络的图像；图7为一个实施例中多目标场景图像分辨率提升装置的模块结构示意图。
具体实施方式
12.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
13.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
14.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
15.在本技术中，将实现对分辨率不足的多目标场景图像进行高质量的超分辨率重建，待重建的多目标场景图像例如但不限于是conditional singan生成的伪多目标场景图像或者军事领域中的其他低分辨率的多目标场景图像。通过进行超分辨率重建，可以提高生成的伪多目标场景图像的分辨率，使其具有更好的迷惑性，以提高其投入到情报和舆论领域中的实际应用效果。
16.现有的超分辨率网络srgan和srresnet虽然均可以用于提升图像分辨率，然而这两种网络模型在进行训练时都需要大量数据对，而本技术中的图像情报通常都是难以获取的，且用多目标场景图像生成技术生成的伪多目标场景图像只具有单一分辨率。若采用预定义的图像退化方法对高分辨率图像进行下采样，以此获取图像对，由于实际图像退化方式未知，这种图像对会降低模型的鲁棒性。
17.深度残差网络（drn）可以通过学习的方式解决图像退化未知的问题，其既可以在图像对完整的情况下进行训练，也可以在图像对缺失的条件下进行训练。而drn的缺点是重建的超分辨率图像质量低，发明人究其原因发现是损失函数的计算中直接使用了原始图像和重建图像本身像素的差值的均方误差作为损失函数，导致重建图像高频细节的丢失，目标轮廓不分明，影响人的视觉体验。而srgan中采用截断的vgg19对真实图像和重建图像进行特征提取，然后将提取到的特征图代入损失函数进行计算，这很大程度上解决了图像高频信息丢失的问题，提高了图像的生成质量。因此两个模型可以相互融合借鉴，既降低模型对数据对的要求，又使重建图像的质量得到提升。本技术提出的基于差值特征图网络的超分辨率重建技术是基于前述理论基础的。
18.在准备训练素材时，可以寻找现实环境中存在的成对图像，即同一张图片的低分辨率版本和高分辨率版本，但该方式实施起来较为困难，因为在某些领域，如军事领域，找到这样的图像对是很困难的。而通过降采样的方式获得真实图像的低分辨率图像，这种方式实施起来较为简单，但是在图像的降质方法未知的前提下，用预定义的图像降采样方式获得低分辨率图像，会影响模型的训练效果，使训练出的模型只在一小部分图像上的测试效果好，不具有普适性。
19.请参阅图1，一方面，本发明提供一种多目标场景图像分辨率提升方法，包括如下步骤s12至s22。
20.s12，获取低分辨率的多目标场景图像；s14，调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率
到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络；s16，将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图像；s18，将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图；s20，将特征图代入超分辨率网络模型的损失函数计算均方误差；s22，输出均方误差后的高分辨率的多目标场景图像。
21.可以理解，为了更易于理解本技术的方法，在本实施例中先对本技术的网络模型进行介绍，本技术所提供的新模型的构建是基于drn架构的，其的结构如图2所示。
22.由图2可见，该网络模型基于u-net结构，主要分为两部分：从低分辨率到高分辨率的顺映射和从高分辨率到低分辨率的逆映射。该网络模型中的上采样模块和下采样模块对图像的具体操作如下：模型顺映射中，输入网络的低分辨率图像lr首先通过bicubic（双三次插值）插值放大到高分辨率图像hr的大小，再经过卷积提取特征图，再将特征图经过两个步长为2的卷积之后，缩小4倍，得到1/4hr大小的特征图，再经过像素清洗和rca（深度残差通道注意力）模块依次将缩小的特征图上采样到4倍大小，将最终得到的高分辨率图像与真实高分辨率图像进行对比，从而更新顺映射f，这样就完成了顺映射网络的工作。其中，rcab为残差通道注意力模块。
23.在逆映射过程中，通过卷积模块将高分辨率图像缩小4倍得到缩小的图像，再通过对偶网络对该图像进行处理，之后与原始低分辨率图像进行对比，从而更新逆映射r。卷积模块的构成为两组conv(stride=2)-leakyrelu-conv模块，实现将图像缩小两倍，设该模块为cb。而rca模块较为复杂，其来来自传统的rcan网络，该网络基于注意力机制，自适应调整信道特征，增强对图像固有信息的表征能力。
24.rca模块中进行的一系列操作是：先通过两个rca模块进行进一步的特征提取，并通过两次像素清洗扩大图像尺寸，然后将得到的特征图进行全局平均值池化得到一个包含了粗略信息的通道描述符，再在信道上除以一定比例，即降采样，之后再上采样得到每一个通道的权重系数。最后与通过残差得到的原来特征相乘，得到重新分配过通道权重的新特征。新的特征与最初的1/4的特征图相加，就是rca网络的输出。这样做的目的是通过信道注意力机制自适应地调整信道特征，提高网络对低频信息和高频信息的表征能力。
25.本技术的网络模型采用闭环的训练模式，其训练流程可如图3所示，每一步的训练中，从左到右的训练是顺映射f，是针对成对数据的定制化训练。从右到左的训练则是逆映射r，与顺映射f构成一个闭环训练模式。
26.在一些实施方式中，超分辨率网络模型的训练过程，包括：获取成对的图像对并输入超分辨率网络模型；图像对包括低分辨图像和高分辨率图像；通过超分辨率网络模型的顺映射网络提高低分辨图像的分辨率，得到与高分辨率图像同尺寸的第一伪高分辨率图像；将第一伪高分辨率图像与高分辨率图像进行对比处理，提升第一伪高分辨率图像对高分辨率图像的相似程度；
根据高分辨率图像和相似程度提升后的第一伪高分辨率图像，通过梯度下降法更新顺映射网络的模型参数，完成超分辨率网络模型的预训练。
27.具体的，可以设代表原始的低分辨率图像lr，代表伪lr，代表真实的高分辨率图像hr，代表伪hr。代表原始损失，代表对偶损失，代表第步骤损失，代表顺映射函数，代表其中可更新参数；代表逆映射函数，代表其中可更新参数，参数在更新后加上撇号。在针对不同数据时，训练方式不同，图中的每个步骤中的
①
、
②
和
③
代表映射执行的先后顺序。具体的训练步骤如下（1）和（2）：（1）在对成对图像进行训练时，遵循超分辨率重建的基本流程，即先通过顺映射提高低分辨率图像的分辨率，即将该图像上采样到与原始高分辨率图像相同的尺寸，得到高分辨图像，将图像与图像进行对比，使与更为相似，进而通过梯度下降法对顺映射中的模型参数进行调整，从而使该顺映射学到上采样的方式。该步骤的数学表达如下：（1）（2）（用最小更新顺映射函数），该步骤的原理如图3中的第一步所示。
28.在一些实施方式中，超分辨率网络模型的训练过程，还包括：利用预训练后的超分辨率网络模型的顺映射网络提高低分辨图像的分辨率，得到第二伪高分辨率图像；采用超分辨率网络模型的逆映射网络将第二伪高分辨率图像的分辨率降低，得到与低分辨图像同尺寸的伪低分辨率图像；将伪低分辨率图像与低分辨图像进行对比处理，更新超分辨率网络模型的逆映射网络和顺映射网络的模型参数，得到训练好的超分辨率网络模型。
29.具体的：（2）在对不成对数据进行训练时，先用前述步骤（1）中训练好的顺映射对原始低分辨率图像的分辨率进行提高，得到高分辨率图像。然而，由于此处图像不成对，无法进行高分辨率图像之间的比对，从而无法对模型参数进行修正，所以得到的高分辨率图像的语义与原始图像有差异，原因是该映射的域没有被限定在的域内。接下来，采用逆映射将高分辨率图像的分辨率降低，即降采样到与低分辨率图像相同的尺寸，得到低分辨率图像，然后将图像和原始低分辨率图像进行比对，进而对逆映射和顺映射中的模型参数进行调整，使与更为相似。从而使该逆映射学到降采样的方式，顺映射的参数也随之得到更新，更新后的顺映射通过输入原始低分辨率图像就可
以得到质量更好，与原始低分辨率图像语义更接近的“天然”高分辨率图像（被限定在了的域里）；此时的低分辨率图像就可以和构成图像对。该步骤的数学表达如下：（3）（4）（5）（用最小更新顺映射函数和逆映射函数）（6）该步骤的原理如图3中第二步所示。用步骤（2）中得到的与组成图像对，此时的即为高分辨率图像，其具有与语义相同、分辨率较高等特质。此时的顺映射也具备了将低分辨率图像转化为高分辨率图像的能力。
30.步骤（1）相当于对模型进行了预训练，这种训练的素材可以是易获取的，成对的公开数据集。因为在步骤（1）中预训练好的模型，只需要学习到从低分辨率到高分辨率的映射关系即可，不必对专门领域的数据进行学习。
31.步骤（2）相当于在制造低分辨率数据，只是制造方法并不同于传统方法，传统方法通过预定义的降采样来获得成对数据，而步骤（2）中则是通过学习相应的逆映射来获得“天然”的低分辨率数据。在实际的应用场景中，最常用的是步骤（2）该步骤中通过对顺映射的更新生成高分辨率图像，与“天然”低分辨率图像组成图像对。因此，上述步骤s16中的高分辨率的多目标场景图像的生成处理可同理参照前述步骤（2）理解。
32.采用上述基于闭环映射的训练方式可以克服现实中成对数据较少的困境，尤其是在针对军事多目标场景图像稀缺且分辨率普遍较低时，该训练方式的现实意义更大。只需要提供低分辨率图像并输入训练好的模型，就可以获得相应的高分辨率图像。
33.采用闭环的训练模式，可以解决图像数据稀缺且天然分辨率低的问题，例如军事领域与某些舆论领域。然而，由于drn的损失函数中没有对重建图像和真实图像进行进一步特征提取，无法很好地表达出重建图像和原始图像（如真实图像或初始提供的低分辨率的伪图像）的固有特征，导致重建图像存在质量不高，视觉效果较差等特点，尚不能达到符合要求的超分辨率重建标准。
34.基于特征图差值的损失函数：可以理解，关于超分辨率网络模型的损失函数，其是结合了传统srgan网络的损失函数的处理构思，而进行了改进，目的是使损失函数对重建图像与真实图像的固有特征进行计算，以提高重建图像的质量，实现真正的多目标场景图像的超分辨率重建。
35.具体的，包括drn在内的传统基于学习的超分辨率重建模型在进行超分辨率模型训练时，常用真实图像与重建图像之间的像素差的均方误差作为损失函数，进而对模型参
数更新。然而，这种传统损失偏重于对像素信息进行比较，忽略重建图像与真实图像之间的语义差异，图像中的目标边缘、边界等高频信息，也往往会在这样的损失函数中被丢失。如果超分辨率图像的边缘信息在重建过程中丢失，那么重建出的超分辨率图像中目标的边界就会出现模糊，导致重建图像质量大大降低。为了使模型在训练时更注重重建图像与真实图像之间的差异，本技术在drn整体框架的基础上，结合srgan的损失函数的思想，对模型的损失函数进行改进，使其对重建图像与真实图像的固有特征进行计算，以提高重建图像的质量。
36.为了提取到训练过程中重建图像和真实图像的固有特征，本技术将采用专门用于提取图像特征的网络——vgg19对重建图像和真实图像进行特征提取，进而将提取结果代入损失函数进行计算。需要注意的是，本技术的网络模型中采用的vgg19并不是采用vgg19的全部网络层，而是采用截断的vgg19。在截取vgg19时，均是截取某个池化层和某个卷积层之前的vgg网络。网络截取的越深，则计算开销越大，提取特征能力就越强，因此，在实际应用中可以根据计算资源与计算开销等限制进行具体的vgg19网络截取。
37.如图4所示，是本技术中新提出的基于特征图差值损失的处理流程的示意图。从图3可以看出，经过drn网络处理后的重建图像（即上述步骤s16中生成的高分辨率的多目标场景图像）和真实图像（即上述步骤s12中的低分辨率的多目标场景图像）并不直接代入损失函数计算均方误差，而是把重建图像和真实图像输入截断的vgg19后得到特征图，再将重建图像和真实图像的特征图代入损失函数进行计算，此处的损失函数均为均方误差，这也是本技术的网络最大的创新之处。在该过程中，无论是闭环训练的顺映射和逆映射的输出结果，还是真实的低分辨率图像和高分辨率图像，都要被截断的vgg19进行特征提取。
38.在一些实施方式中，使用与前文相同的变量定义，超分辨率网络模型的损失函数可以包括和两部分。设用截断的vgg19网络进行特征提取的过程抽象为函数，则处理流程的公式表达如下：（7）（8）（用最小更新顺映射函数）；（9）（10）（11）（用最小更新顺映射函数和逆映射函数）。
39.其中， 表示原始损失，表示对偶损失，表示用截断的vgg19网络进行特征提取的过程抽象的函数，代表真实的高分辨率图像，表示伪高分辨率图像，表示真实的低分辨图像，表示伪低分辨图像。
40.从上述公式（8）和公式（11）可以看出，该新的损失函数与传统的损失函数相比，最大的改进在于损失函数的自变量的变化，由两图像之间像素点间的均方误差，变为两图像间特征图间的均方误差。无论是在顺映射还是逆映射中，特征提取都在起作用。这样的改进可以使模型在训练过程中更注重图像固有信息的获取，减少重模型对图像原始语义的修改，使重建图像的视觉效果得到提升。
41.综上，新提出的网络模型可以通过闭环映射在数据不配对的情况下对网络进行训练，而且通过特征图差值损失函数提升超分辨率重建质量，使生成的图像逼真度提高。
42.上述多目标场景图像分辨率提升方法，获得待重建的低分辨率的多目标场景图像后，通过调用训练好的基于drn架构的超分辨率网络模型，将该低分辨率的多目标场景图像输入超分辨率网络模型处理，该超分辨率网络模型通过对顺映射的更新生成高分辨率的多目标场景图像（也即重建图像）。然后采用截断的vgg19网络对低分辨率的多目标场景图像和高分辨率的多目标场景图像进行特征提取，得到相应的特征图后再代入模型的损失函数计算均方误差。如此，无论是在模型的顺映射还是逆映射中，特征提取都在起作用，使得模型在训练处理过程中更注重图像固有信息的获取，即损失函数对重建图像（高分辨率的多目标场景图像）与真实图像（低分辨率的多目标场景图像）的固有特征均进行计算处理，减少重建图像对真实图像的语义修改，以提高重建图像的质量，真正达到多目标场景图像的超分辨率重建目的，实现了大幅提高生成的多目标场景图像分辨率的效果，使生成的图像逼真度显著提高。
43.在一个实施例中，为了更直观且全面地说明上述多目标场景图像分辨率提升方法，下面是对上述方法的其中一种实验示例：本实验是在公共数据集和自建数据上完成的训练的。
44.公开数据集可包括set5、set14、bsd100和coco2014等数据集，公开数据集共包含共82902张成对图像，其中的低分辨率图像是通过对真实高分辨率图像的预定义降采样获得的。自建数据集中的军事场景图像数据收集自互联网，包含飞机、舰船、坦克和导弹四大类共5653张图像，该数据集中无成对图像。
45.由于互联网上缺少军事领域成对的“低分辨率—高分辨率”数据集，因此本实验采用了闭环训练模式。依次执行前文中的步骤(1)~(2)，即可完成实验。在训练时，先用成对的公开数据集对模型进行训练，再对自建军事场景图像数据进行训练。
46.在训练时，截断的vgg19的层数是可以进行调整的。为了分析不同深度vgg网络对模型重建效果的影响，实验中提供了两种截断的vgg19方案：方案1是用前8个卷积层和前3个池化层作为截断的vgg19进行特征提取，方案2是用前16个卷积层和前5个池化层作为截断的vgg19进行特征提取。两种截断方案的网络将被分别嵌入drn模型中，并对两者的生成结果进行比较。两个方案所采用的特征提取网络的网络结构如表1所示。
47.表1
训练时，网络的参数batch size设为400，epoch设为130，图像统一提升为伪造图像的4倍分辨率。
48.为了突出基于差值特征图网络的优越性。本实验采用了4种具有代表性的图像超分辨率重建方法进行了对比实验。在实验中，用set5、set14、bsd100、coco2014和自建军事场景图像数据集，对传统的srgan和srresnet，以及本技术的新模型进行训练。
49.在测试阶段，为了比较模型性能，用由conditional singan生成的低分辨率伪造图像作为测试素材，对训练好的srgan、srresnet、基于特征图差值损失的网络新模型和传统的基于bicubic方法（不用训练）进行测试。得到四种方法的测试结果后，对4种方法的超分辨率重建效果进行比较。除通过人的视觉感受定性评估比较4种方法的重建效果外，还对这些图像进行了基于最高峰值信噪比pnsr和结构相似性ssim（都是常用的图像质量评价指标）的定量评估比较。
50.pnsr的定义如下：给定两张的图像，一张是原始高分辨率图像hr，一张是经过超分辨率处理后得到的高分辨率图像sr，两者之间的均方误差定义为：（12）则pnsr定义为：
（13）其中，为原始高分辨率图像可能的最大像素值。假如每个像素都是用位二进制来表示，则。表示均方误差。
51.psnr的单位是db，且其数值越大表示失真越小。psnr是使用最为普遍和广泛的一种图像分辨率评价指标，psnr的计算是基于对应像素点间的误差，即基于误差敏感的图像质量评价方法。由于psnr并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。经验研究表明，psnr的值与重建图像质量之间的对应关系如表2所示：表2因此，将pnsr作为评价超分辨率重建图像的质量，可以一定程度上反映重建图像与原始图像的接近程度和失真程度。
52.ssim的定义如下：给定两张的图像，一张是原始图像，一张是经过超分辨率处理的得到的高分辨率图像。设图像亮度对比函数为，对比度对比函数为，结构对比函数为，则：（14）（15）（16）（17）（18）
其中，，和都是用来稳定的常数，避免除0，和分别代表和的平均值，和分别代表和的标准差，代表 和的协方差。因此，ssim的表达式为三者的结合：（19）当、和均为1时，ssim的表达为：（20）其取值范围是0~1，当ssim=1时，则两幅图像相同。
53.结构相似性的基本观点认为图像是高度结构化的，相邻像素之间有很强的关联性。这样的关联性体现了图像中物体的结构信息。人类的视觉系统在浏览图像时习惯于抽取这样的结构信息。而结构相似性损失结合两图像的亮度、对比度、结构这三个反映图像中物体结构属性的指标，对图像质量进行分析计算，重点突出结构信息而非像素信息。该评价可以用于评估超分辨率重建所得多目标场景图像的质量。
54.综上，pnsr侧重于衡量两图像像素间相似度，ssim侧重于衡量两图像结构间的相似度，在分析超分辨率重建得到的图像时，结合两个指标，可以从微观和宏观上对图像进行分析。
55.为了便于进行重建效果的比较，重建图像的水平和垂直像素都被统一放大为低分辨率图像的4倍。在进行pnsr和ssim计算时时，由于不存在原始高分辨率图像，所以与重建图像进行比较计算的是对应真实图像（conditional singan的最高层输入）通过二倍插值放大后的图像。
56.实验结果分析：实验依照上述实验设置实施。图5展示了在新模型中采用不同方案的截断的vgg19进行测试的结果示例。
57.从测试样例中可以看出，对于同一幅图像，采用截断方案2的超分辨率重建效果要优于方案1。采用方案1得到的某些重建图像中的目标边缘不清晰，该情况在对像素点进行放大时更加明显。而采用方案2得到的图像边缘清晰，给人良好的视觉体验。在细节重建方面，图5中在对坦克履带的细节进行重建时，可以明显看出方案2优于方案1。方案1中履带轮廓模糊，无法看出履带纹路，方案2中履带轮廓清晰，可以看出履带纹路。这是因为方案2采用了更深的网络进行特征提取，提取到了更加丰富的图像信息。
58.从实验结果可以看出，基于bicubic的方法重建出的图像的视觉效果较差，存在图像模糊、目标轮廓和边界不清晰等现象，在整幅图像中呈现一种朦胧的视觉感受。该方法只是机械地运用插值法增加低分辨率图像的像素点，所增加的像素点也只是周围像素点的一个平均值。
59.基于srresnet和基于srgan的方法的图像重建效果优于基于bicubic方法的重建效果，图像模糊程度降低，目标轮廓清晰度增加。因为srresnet是基于学习的方法，其运用深度残差网络从大量成对数据中学到了从低分辨率到高分辨率的映射。srgan则运用了生
成对抗的思想，在训练中通过不断提高生成器和判别器性能，使重建结果越来越好。这样的模型比基于平均值思想的插值法重建性能更强。srresnet和srgan的超分辨率重建结果在视觉感受上差别不大。
60.采用基于特征图差值损失网络的重建方法得到的图像重建效果最佳，可以明显看出图像整体清晰度的比较优势，图像中目标的轮廓清晰，边界分明，图像精细程度明显优于其他三种方法，虽然也无法还原出目标的具体细节，但是也去除了目标周围杂乱的噪声。此方法在4种方法中呈现的视觉感受最佳，逼真度也是最高的。
61.为了展示更加清晰的细节，在本实验中选出了一张图像，按照重建后的原图尺寸展示，该图像的原始图像和重建结果如图6所示。通过对重建图像细节的展示，更容易看出基于特征图差值网络的图像分辨率提高方法的优越性，无论是在目标轮廓清晰度，场景清晰度，还是在给人的视觉感受、人的主观审美上，该方法都明显优于其他方法。其他方法得到的结果中均有不同程度噪声干扰。
62.以上的分析均是依据人为感受进行的定性评估和比较。为了使实验结果评估更具有说服力，采用pnsr和ssim对4种方法的实验结果进行定量评估，在实行评估时，随机挑选每种方法的50张图片作为评估样例。评估结果如表3所示，pnsr和ssim都是随机取各方法得到的50张图像的平均值。设第张图像的pnsr为，ssim为,则计算方法如公式21和22所示：（21）（22）表3从表3可以看出，在4种方法中，基于bicubic方法的重建结果的pnsr和ssim都是最低的。pnsr值只有26.58，属于图像质量较好区间。而本技术的上述方法的pnsr是最高的，达到了30以上，属于图像质量好的区间。ssim值也达到了0.84，说明重建图像与原图像的结构相似度高，图像结构接近，图像语义接近。在定量评估中，新方法（也即本技术的上述方法）的评分也是综合最优。这与人为定性评估的结果基本一致。因此，通过新方法的得到的高分辨率图像无论是细节精细程度还是与原始图像的结构相似度方面，都优于其他方法。
63.综上，新模型的优点具体如下：（1）具备制造“天然”数据对能力。新模型采用了基于drn的闭环映射的训练机制，
可以用深度网络学习到下采样映射，得到“天然”的低分辨率图像，从而得到更新上采样映射，得到固定域的高分辨率图像。因而使低分辨率图像和高分辨率图像组成图像对。该训练机制只需要低分辨率图像的参与，相比于传统超分辨率模型在训练时需要大量人工制造的数据对的参与，新模型更适应现实应用场景。
64.（2）具备较强的超分辨率重建性能。新方法在进行损失函数计算之前，改进了传统超分辨率损失函数直接对重建图像和原始图像的像素点求均方误差的方法，用特征提取网络对重建图像和原始图像进行了特征提取，再对提取出的特征图求均方误差。这样做可以使模型在学习过程中更注重图像固有信息，而不再仅仅关注像素点差异。使模型的重建能力得到进一步提升。
65.此外，实验结果还表明，用新方法对conditional singan生成的多目标场景图像进行重建的效果要优于传统方法和主流的基于学习的方法。
66.应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图1-图4的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
67.请参阅图7，在一个实施例中，还提供了一种多目标场景图像分辨率提升装置100，包括图像获取模块11、模型调用模块13、超生成模块15、特征提取模块17、损失计算模块19和图像输出模块21。其中，图像获取模块11用于获取低分辨率的多目标场景图像。模型调用模块13用于调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络。超生成模块15用于将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图像。
68.特征提取模块17用于将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图。损失计算模块19用于将特征图代入超分辨率网络模型的损失函数计算均方误差。图像输出模块21用于输出均方误差后的高分辨率的多目标场景图像。
69.上述多目标场景图像分辨率提升装置100，通过各模块的协作，获得待重建的低分辨率的多目标场景图像后，调用训练好的基于drn架构的超分辨率网络模型，将该低分辨率的多目标场景图像输入超分辨率网络模型处理，该超分辨率网络模型通过对顺映射的更新生成高分辨率的多目标场景图像（也即重建图像）。然后采用截断的vgg19网络对低分辨率的多目标场景图像和高分辨率的多目标场景图像进行特征提取，得到相应的特征图后再代入模型的损失函数计算均方误差。如此，无论是在模型的顺映射还是逆映射中，特征提取都在起作用，使得模型在训练处理过程中更注重图像固有信息的获取，即损失函数对重建图像（高分辨率的多目标场景图像）与真实图像（低分辨率的多目标场景图像）的固有特征均进行计算处理，减少重建图像对真实图像的语义修改，以提高重建图像的质量，真正达到多目标场景图像的超分辨率重建目的，实现了大幅提高生成的多目标场景图像分辨率的效
果，使生成的图像逼真度显著提高。
70.在一个实施例中，超分辨率网络模型的训练过程，包括：获取成对的图像对并输入超分辨率网络模型；图像对包括低分辨图像和高分辨率图像；通过超分辨率网络模型的顺映射网络提高低分辨图像的分辨率，得到与高分辨率图像同尺寸的第一伪高分辨率图像；将第一伪高分辨率图像与高分辨率图像进行对比处理，提升第一伪高分辨率图像对高分辨率图像的相似程度；根据高分辨率图像和相似程度提升后的第一伪高分辨率图像，通过梯度下降法更新顺映射网络的模型参数，完成超分辨率网络模型的预训练。
71.在一个实施例中，超分辨率网络模型的训练过程，还包括：利用预训练后的超分辨率网络模型的顺映射网络提高低分辨图像的分辨率，得到第二伪高分辨率图像；采用超分辨率网络模型的逆映射网络将第二伪高分辨率图像的分辨率降低，得到与低分辨图像同尺寸的伪低分辨率图像；将伪低分辨率图像与低分辨图像进行对比处理，更新超分辨率网络模型的逆映射网络和顺映射网络的模型参数，得到训练好的超分辨率网络模型。
72.在一个实施例中，超分辨率网络模型的损失函数包括和：：其中，表示原始损失，表示对偶损失，表示用截断的vgg19网络进行特征提取的过程抽象的函数，代表真实的高分辨率图像，表示伪高分辨率图像，表示真实的低分辨图像，表示伪低分辨图像。
73.关于多目标场景图像分辨率提升装置100的具体限定，可以参见上文中多目标场景图像分辨率提升方法的相应限定，在此不再赘述。上述多目标场景图像分辨率提升装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是但不限于本领域的各型计算机设备。
74.又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时可以实现以下步骤：获取低分辨率的多目标场景图像；调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络；将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图
像；将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图；将特征图代入超分辨率网络模型的损失函数计算均方误差；输出均方误差后的高分辨率的多目标场景图像。
75.在一个实施例中，处理器执行计算机程序时还可以实现上述多目标场景图像分辨率提升方法各实施例中增加的步骤或者子步骤。
76.再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取低分辨率的多目标场景图像；调用基于drn架构的超分辨率网络模型；超分辨率网络模型包括从低分辨率到高分辨的顺映射网络和从高分辨到低分辨率的逆映射网络；将低分辨率的多目标场景图像输入训练好的超分辨率网络模型，通过更新超分辨率网络模型中的顺映射网络生成高分辨率的多目标场景图像；将低分辨率的多目标场景图像和高分辨率的多目标场景图像输入截断的vgg19网络进行特征提取，得到低分辨率的多目标场景图像和高分辨率的多目标场景图像的特征图；将特征图代入超分辨率网络模型的损失函数计算均方误差；输出均方误差后的高分辨率的多目标场景图像。
77.在一个实施例中，计算机程序被处理器执行时，还可以实现上述多目标场景图像分辨率提升方法各实施例中增加的步骤或者子步骤。
78.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线式动态随机存储器（rambus dram，简称rdram）以及接口动态随机存储器（drdram）等。
79.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
80.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可做出若干变形和改进，都属于本技术保护范围。因此本技术专利的保护范围应以所附权利要求为准。