将超分辨与退化联合学习的真实世界图片超分系统及方法与流程

1.本发明涉及计算机视觉领域，更具体地，涉及一种将超分辨与退化联合学习的真实世界图片超分系统及方法。


背景技术：

2.卷积神经网络(convolutional neural network)是一种采用卷积结构的深度神经网络，其中卷积结构可以通过局部感受野、权值共享、池化操作三个关键模块，减少网络的参数，进而减轻模型的过拟合问题。卷积神经网络结构包括：输入层，卷积层，池化层，全链接层，输出层。在每一层中存在多个特征图，每个特征图通过卷积核的卷积操作提取输入图片的特征，其中提取特征的核心模块是卷积层和池化层。卷积层由一系列的神经元和激活函数构成，神经元可以视作图像处理中的滤波器，并且连接每个神经元的权值是固定的。池化层则是在连续的卷积层中间，用于压缩数据和参数，有保证特征的尺度不变性、特征降维、减小过拟合等作用。梯度下降法是卷积神经网络中用来使损失函数减低至最小的方法，它可以对网络中的权值参数逐层反向传播，不断迭代训练，进而使网络的精度提高。卷积神经网络的低层由卷积层和最大池化层交替组成，高层则都是由全连接层组成，对应全连接层的输入是由低层进行特征提取得到的特征图，输出则是一个分类器，可以采用逻辑回归、交叉熵回归或者支持向量机等方法对输入图像进行分类。卷积神经网络的全连接层就是对应的传统多层感知器的隐含层和逻辑回归分类器。由于卷积神经网络具有参数共享、稀疏连接等特点，使得其拥有良好的自学习能力、并行处理能力以及容错能力，相较于其它方法泛化能力较为突出，在模式识别、物体检测、图像超分辨等方面已被广泛应用。
3.图像超分辨(image super resolution)是指由一幅低分辨率图像或图像序列恢复出高分辨率图像，在大量的电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。传统的图像超分辨可以分为三个方面：基于插值、基于重建和基于学习。基于插值的方法主要是通过像线性插值、双三次插值等插值函数来完成；基于重建的方法主要通过概率论和集合论的知识来解决超分辨问题；基于学习的方法则是通过一些传统机器学习算法，比如支持向量机等方法。随着卷积神经网络的广泛使用，现在大部分的超分方法都是使用基于机器学习的方法，通过配对的高分辨率图片和低分辨率图片作为监督信息，来学习重建过程。这些方法已经取得了比较大的成功。
4.生成对抗网络(generative adversarial networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型和判别模型的互相博弈学习产生更理想的输出。现在生成模型和判别模型大部分都是使用神经网络来设计。判别模型的输入是一副图像，输出是一个概率值，表示判断真假；生成模型的输入是一组随机数，输出是一个图像，目的是生成样本。两个模型相互博弈，目的就是使生成模型生成更逼真的样本，使得判别器也分辨不出来。训练这个模型时使用单独交替迭代训练的方法，也就是训练一次生成器，在训练一次判别器，再训练生成器，以此类
推。生成对抗网络的强大之处就在于可以自动的学习原始真实样本集的数据分布。
5.现有技术中公开了一种高效的图片超分辨率重建方法的专利，该专利基于卷积神经网络提出一种新的图片超分辨率网络结构，该网络结构命名为sesrnet，其中采用多尺度卷积融合模块可以高效的获取不同尺度的图像特征并且计算量大大降低。sesrnet主要由5个mixblock组成，其所需要的计算量只有2.8gflops，比主流的fsrcnn的6gflops减少了一半的计算量。该专利中的图片超分辨率网络在保持图片还原的效果下，大大降低了计算量，使得边缘智能物联网终端设备上可以更加顺畅的将图片还原至合适的效果，提升aiot设备的交互效果。然而，该专利没有涉及任何有关解决现有超有超分辨方法不能适用于真实世界图片超分的问题。


技术实现要素：

6.本发明提供一种将超分辨与退化联合学习的真实世界图片超分系统，该系统解决现有超有超分辨方法不能适用于真实世界图片超分的问题，同时提出一个联合训练框架，既可以实现真实世界图片超分，也可以构建真实世界的高低分辨率图片对，方便应用于其他超分网络中。
7.本发明的又一目的在于提供上述的将超分辨与退化联合学习的真实世界图片超分系统的超分方法。
8.为了达到上述技术效果，本发明的技术方案如下：
9.一种将超分辨与退化联合学习的真实世界图片超分系统，包括：
10.超分网络模块，将输入的低分辨率图像通过网络生成得到高分辨率图像；
11.退化网络模块，将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；
12.判别模块，对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；
13.损失函数模块，使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息，损失函数模块包括对抗损失模块、循环一致损失模块、信息损失模块和感知损失模块，将它们加权求和得到总的损失函数模块。
14.进一步地，所述超分网络模块该模块使用一个生成器，将输入的低分辨率图像通过网络生成得到高分辨率图像：使用具有迭代的错误反馈机制的结构作为生成器，通过交替迭代的上采样和下采样单元对投影误差进行反向传播，对网络中的重建结果进行多次校正；上采样单元生成更多高分辨率空间特征，而下采样单元将这些特征投影到低分辨率空间，保留更多的高分辨率组件，并且可以有效地使用更多的深度特征。
15.进一步地，所述退化网络模块是一个生成器网络，将输入的高分辨率图片退化为具有真实世界特征的模糊图片：使用一个没有激活函数的深度线性网络来模拟退化过程，该网络为步长为2的6层线性全卷积网络：前三个卷积核大小为7x7，5x5，3x3，其余层的大小为1x1，整体相当于感受野为17x17的卷积核。
16.进一步地，所述判别模块学习图像像素的分布，以判别是来自真实图像分布还是来自生成的图像的分布：使用五个3x3大小的卷积层，除了第一层和最后一层卷积层外都是带有batchnornalization的leakyrelu激活函数；通过判别器模块后得到一个特征图，特征
图中每个值表示相应图像区域判断为真的置信度，将特征图中所有的值取平均即可得到整张图的置信度；判别模块包括高分辨图像判别模块d
hr
和低分辨率判别模块d
lr
。
17.进一步地，所述对抗损失模块用于区分超分网络模块输出的图像的分布和原始图像的分布，对抗损失模块描述为：
[0018][0019]
其中y～py是超分网络模块输出图像数据的分布，x～p
x
是输入的低分辨率图像训练数据的分布。
[0020]
进一步地，由于图像中的内容信息在生成过程中会丢失，采用循环一致损失模块通过自监督超分辨和退化子网络来保存内容信息，循环一致性损失模块的描述为：
[0021][0022]
进一步地，对于退化网络模块生成的低分辨率图像，引入信息损失模块用于保持色彩成分并且避免颜色变化，信息损失模块的描述为：
[0023][0024]
其中bic是双三次下采样操作。
[0025]
进一步地，由于生成的高分辨率样本中存在许多伪影，在高分辨率图像和相应的原始图像之间添加感知损失模块，其描述为：
[0026][0027]
其中φ
laver
是预训练的cnn第layer层的特征，使用在imagesnet上预训练的vgg-19网络。
[0028]
进一步地，最终损失函数模块确定为：
[0029]
loss＝λ
adv
l
adv
λ
cyc
l
cyc
λ
info
l
info
λ
per
l
per
[0030]
其中λ
adv
为对抗损失的权重，λ
cyc
为循环一致性损失的权重，λ
info
为信息损失的权重，λ
per
为感知损失的权重，分别为0.1，10，10，0.5。
[0031]
一种将超分辨与退化联合学习的真实世界图片超分方法，包括以下步骤：
[0032]
s1：超分网络模块将输入的低分辨率图像通过网络生成得到高分辨率图像；
[0033]
s2：退化网络模块将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；
[0034]
s3：判别模块对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；
[0035]
s4：损失函数模块使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息。
[0036]
与现有技术相比，本发明技术方案的有益效果是：
[0037]
本发明通过训练退化子网络，可以生成真实的训练对，从而避免双三次下采样造成的伪影，还引入了信息损失以避免颜色变化，并引入了感知损失以去除非真实的伪影；本
发明相比于其他方法具有良好的性能，得到的高分辨率图片有更少的噪声和更好的视觉质量；解决现有超有超分辨方法不能适用于真实世界图片超分的问题，同时提出一个联合训练框架，既可以实现真实世界图片超分，也可以构建真实世界的高低分辨率图片对，方便应用于其他超分网络中。
附图说明
[0038]
图1为本发明系统结构示意图；
[0039]
图2为本发明方法流程图；
[0040]
图3为超分网络模块处理过程示意图；
[0041]
图4为退化网络模块处理过程示意图。
具体实施方式
[0042]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0043]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0044]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0045]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0046]
实施例1
[0047]
如图1所示，一种将超分辨与退化联合学习的真实世界图片超分系统，包括：
[0048]
超分网络模块，将输入的低分辨率图像通过网络生成得到高分辨率图像；
[0049]
退化网络模块，将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；
[0050]
判别模块，对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；
[0051]
损失函数模块，使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息，损失函数模块包括对抗损失模块、循环一致损失模块、信息损失模块和感知损失模块，将它们加权求和得到总的损失函数模块。
[0052]
超分网络模块该模块使用一个生成器，将输入的低分辨率图像通过网络生成得到高分辨率图像：使用具有迭代的错误反馈机制的结构作为生成器，通过交替迭代的上采样和下采样单元对投影误差进行反向传播，对网络中的重建结果进行多次校正；上采样单元生成更多高分辨率空间特征，而下采样单元将这些特征投影到低分辨率空间，保留更多的高分辨率组件，并且可以有效地使用更多的深度特征。
[0053]
退化网络模块是一个生成器网络，将输入的高分辨率图片退化为具有真实世界特征的模糊图片：使用一个没有激活函数的深度线性网络来模拟退化过程，该网络为步长为2的6层线性全卷积网络：前三个卷积核大小为7x7，5x5，3x3，其余层的大小为1x1，整体相当于感受野为17x17的卷积核。
[0054]
判别模块学习图像像素的分布，以判别是来自真实图像分布还是来自生成的图像的分布：使用五个3x3大小的卷积层，除了第一层和最后一层卷积层外都是带有
batchnornalization的leakyrelu激活函数；通过判别器模块后得到一个特征图，特征图中每个值表示相应图像区域判断为真的置信度，将特征图中所有的值取平均即可得到整张图的置信度；判别模块包括高分辨图像判别模块d
hr
和低分辨率判别模块d
lr
。
[0055]
对抗损失模块用于区分超分网络模块g
up
输出的图像的分布和原始图像的分布，对抗损失模块描述为：
[0056][0057]
其中y～py是超分网络模块输出图像数据的分布，x～p
x
是输入的低分辨率图像训练数据的分布。
[0058]
由于图像中的内容信息在生成过程中会丢失，采用循环一致损失模块通过自监督超分辨和退化子网络来保存内容信息，循环一致性损失模块的描述为：
[0059][0060]
对于退化网络模块生成的低分辨率图像，引入信息损失模块用于保持色彩成分并且避免颜色变化，信息损失模块的描述为：
[0061][0062]
其中bic是双三次下采样操作。
[0063]
由于生成的高分辨率样本中存在许多伪影，在高分辨率图像和相应的原始图像之间添加感知损失模块，其描述为：
[0064][0065]
其中φ
laver
是预训练的cnn第layer层的特征，使用在imagesnet上预训练的vgg-19网络。
[0066]
最终损失函数模块确定为：
[0067]
loss＝λ
adv
l
adv
λ
cyc
l
cyc
λ
info
l
info
λ
per
l
per
[0068]
其中，λ
adv
为对抗损失的权重，λ
cyc
为循环一致性损失的权重，λ
info
为信息损失的权重，λ
per
为感知损失的权重，分别为0.1，10，10，0.5。
[0069]
实施例2
[0070]
如图2所示，一种将超分辨与退化联合学习的真实世界图片超分方法，包括以下步骤：
[0071]
s1：超分网络模块将输入的低分辨率图像通过网络生成得到高分辨率图像；
[0072]
s2：退化网络模块将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；
[0073]
s3：判别模块对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；
[0074]
s4：损失函数模块使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息。
[0075]
当前以4倍大小超分为例，在4卡的titan xp gpu上进行训练，具体实施步骤如下：
[0076]
步骤1：收集一组高分辨率图片数据集x以及一组低分辨率图片数据集y的观测数据；
[0077]
步骤2：将低分辨率图片x输入超分网络中，得到对应高分辨率图片x
hr
，再将得到的低分辨率图片输入退化网络中，得到对应的低分辨率图片x
lr
；
[0078]
步骤3：将高分辨率图片y输入退化网络中，得到对应低分辨率图片y
lr
，再将得到的高分辨率图片输入超分网络中，得到对应的低分辨率图片y
hr
；
[0079]
步骤4：构建对抗损失、循环一致损失、信息损失和感知损失，根据步骤2和步骤3同时训练超分网络和退化网络，迭代大约300k次；
[0080]
步骤5：使用步骤4中训练好的参数模型，将需要的低分辨率图片输入超分模块中，即可得到超分后的高分辨率图片。
[0081]
通过对超分和退化联合学习，可以实现对真实世界的自然图片的超分处理，对于现实生活具有实际意义。同时可以学习真实世界的退化过程，构建真实世界的高低分辨率图像对，应用于其他sisr超分网络中。
[0082]
实施例3
[0083]
超分网络模块主要使用一个生成器，将输入的低分辨率图像通过网络生成得到高分辨率图像。使用一种具有迭代的错误反馈机制的结构作为生成器，通过交替迭代的上采样和下采样单元对投影误差进行反向传播，可以对网络中的重建结果进行多次校正。上采样单元生成更多高分辨率空间特征，而下采样单元将这些特征投影到低分辨率空间。这样，可以保留更多的高分辨率组件，并且可以有效地使用更多的深度特征。使用7层结构，每层结构都各自包括上采样和下采样的子层。
[0084]
退化网络模块需要帮助模型学习真实世界的退化分布，这也是与其他sisr超分方法最显著的不同。该模块也是一个生成器网络，将输入的高分辨率图片退化为具有真实世界特征的模糊图片。由于非线性网络和实际理论不符，同时深度线性网络在优化上比单层网络更适合，所以使用一个没有激活函数的深度线性网络来模拟退化过程。该网络为步长为2的6层线性全卷积网络：前三个卷积核大小为7x7,5x5,3x3，其余层的大小为1x1，整体相当于感受野为17x17的卷积核。
[0085]
判别模块是为了学习区域像素的分布，以判别是来自真实图像分布还是来自生成的图像的分布。对于高分辨率图像的鉴别器，使用了五个3x3大小的卷积层。卷积层(第一层和最后一层除外)后面是带有batchnornalization的leakyrelu激活函数。此外，使用的是一个具有固定的感受野的面片判别器。例如，三层网络对应于70
×
70的面片。也就是说，判别器的每个输出值仅与局部固定区域的面片相关。面片损失将反馈给生成器，以优化局部细节的梯度。总的来说，输入一张图片，通过判别器后得到一个特征图，特征图中每个值表示相应区域判断为真的置信度，将特征图中所有的值取平均即可得到整张图的置信度。低分辨率图像的判别器具有相似的结构，但在初始层中具有不同的步长。
[0086]
损失函数模块。
[0087]
损失函数用于指导模型训练的方向，合适的损失函数能让模型训练事半功倍。在本专利发明中使用了如下几个损失函数，并将它们加权求和得到总体的损失函数：
[0088]
1)、对抗损失：对抗损失用于区分生成图像的分布和原始图像的分布。以超分网络gup
和高清图片的判别器d
hr
为例，对抗损失可以描述为：
[0089][0090]
其中y～py是训练集中高分辨率数据的分布，x～p
x
是训练集中低分辨率训练数据的分布，与sisr超分方法不同，这两部分数据是不成对的。由于本专利发明有多个判别器，所以总体的对抗损失l
adv
为所有对抗损失之和。
[0091]
2)、循环一致损失：尽管对抗损失可以确保生成的图像和目标图像在同一域中，但图像中的内容信息在生成过程中可能会丢失。得益于框架中的闭环，采用了两个循环一致性损失，它可以通过自监督超分辨和退化子网络来保存内容信息。因此，将循环一致性损失定义为：
[0092][0093]
3)、信息损失：除了对抗性损失和循环一致性损失外，对于退化网络生成的低分辨率图像，还引入了信息损失用于保持色彩成分并且避免颜色变化：
[0094][0095]
其中bic是双三次下采样操作。
[0096]
4)、感知损失：在的初步实验中，生成的高分辨率样本中存在许多伪影。事实上，从预训练的深度网络中提取的特征包含丰富的语义信息，其距离可以作为感知相似性的判断。因此，在高分辨率图像和相应的原始图像之间添加感知损失：
[0097][0098]
其中φ
layer
是预训练的cnn第layer层的特征，这里使用的是在imagesnet上预训练的vgg-19网络。
[0099]
最终的损失函数可以确定为：
[0100]
loss＝λ
adv
l
adv
λ
cyc
l
cyc
λ
info
l
info
λ
per
l
per
[0101]
其中，λ
adv
为对抗损失的权重，λ
cyc
为循环一致性损失的权重，λ
info
为信息损失的权重，λ
per
为感知损失的权重，经过实验得出分别使用0.1，10，10，0.5的权重组合效果较好。
[0102]
相同或相似的标号对应相同或相似的部件；
[0103]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0104]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。