将超分辨与退化联合学习的真实世界图片超分系统及方法与流程

技术特征：
1.一种将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，包括：超分网络模块，将输入的低分辨率图像通过网络生成得到高分辨率图像；退化网络模块，将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；判别模块，对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；损失函数模块，使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息，损失函数模块包括对抗损失模块、循环一致损失模块、信息损失模块和感知损失模块，将它们加权求和得到总的损失函数模块。2.根据权利要求1所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，所述超分网络模块该模块使用一个生成器，将输入的低分辨率图像通过网络生成得到高分辨率图像：使用具有迭代的错误反馈机制的结构作为生成器，通过交替迭代的上采样和下采样单元对投影误差进行反向传播，对网络中的重建结果进行多次校正；上采样单元生成更多高分辨率空间特征，而下采样单元将这些特征投影到低分辨率空间，保留更多的高分辨率组件，并且可以有效地使用更多的深度特征。3.根据权利要求2所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，所述退化网络模块是一个生成器网络，将输入的高分辨率图片退化为具有真实世界特征的模糊图片：使用一个没有激活函数的深度线性网络来模拟退化过程，该网络为步长为2的6层线性全卷积网络：前三个卷积核大小为7x7，5x5，3x3，其余层的大小为1x1，整体相当于感受野为17x17的卷积核。4.根据权利要求3所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，所述判别模块学习图像像素的分布，以判别是来自真实图像分布还是来自生成的图像的分布：使用五个3x3大小的卷积层，除了第一层和最后一层卷积层外都是带有batchnornalization的leakyrelu激活函数；通过判别器模块后得到一个特征图，特征图中每个值表示相应图像区域判断为真的置信度，将特征图中所有的值取平均即可得到整张图的置信度；判别模块包括高分辨图像判别模块d
hr
和低分辨率判别模块d
lr
。5.根据权利要求4所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，所述对抗损失模块用于区分超分网络模块g
up
输出的图像的分布和原始图像的分布，对抗损失模块描述为：其中y～p
y
是超分网络模块输出图像数据的分布，x～p
x
是输入的低分辨率图像训练数据的分布。6.根据权利要求5所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，由于图像中的内容信息在生成过程中会丢失，采用循环一致损失模块通过自监督超分辨和退化子网络来保存内容信息，循环一致性损失模块的描述为：7.根据权利要求6所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征
在于，对于退化网络模块生成的低分辨率图像，引入信息损失模块用于保持色彩成分并且避免颜色变化，信息损失模块的描述为：其中bic是双三次下采样操作。8.根据权利要求7所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，由于生成的高分辨率样本中存在许多伪影，在高分辨率图像和相应的原始图像之间添加感知损失模块，其描述为：其中φ
layer
是预训练的cnn第layer层的特征，使用在imagesnet上预训练的vgg-19网络。9.根据权利要求8所述的将超分辨与退化联合学习的真实世界图片超分系统，其特征在于，最终损失函数模块确定为：loss＝λ
adv
l
adv
λ
cyc
l
cyc
λ
info
l
info
λ
per
l
per
其中λ
adv
为对抗损失的权重，λ
cyc
为循环一致性损失的权重，λ
info
为信息损失的权重，λ
per
为感知损失的权重，分别为0.1，10，10，0.5。10.一种权利要求9所述的将超分辨与退化联合学习的真实世界图片超分系统的超分方法，其特征在于，包括以下步骤：s1：超分网络模块将输入的低分辨率图像通过网络生成得到高分辨率图像；s2：退化网络模块将超分网络模块得到的高分辨率图像退化为具有真实世界特征的模糊图像；s3：判别模块对退化网络模块输入的图像进行判别是来自真实图像分布还是来自生成的图像的分布；s4：损失函数模块使超分网络模块和退化网络模块都受到损失函数模块的约束，以确保输出图像的分布并保留内容信息。

技术总结
本发明提供一种将超分辨与退化联合学习的真实世界图片超分系统及方法，系统通过训练退化子网络，可以生成真实的训练对，从而避免双三次下采样造成的伪影，还引入了信息损失以避免颜色变化，并引入了感知损失以去除非真实的伪影；本发明相比于其他方法具有良好的性能，得到的高分辨率图片有更少的噪声和更好的视觉质量；解决现有超有超分辨方法不能适用于真实世界图片超分的问题，同时提出一个联合训练框架，既可以实现真实世界图片超分，也可以构建真实世界的高低分辨率图片对，方便应用于其他超分网络中。其他超分网络中。其他超分网络中。


技术研发人员：张冬雨 陈炫坤 陈俊宏
受保护的技术使用者：中山大学
技术研发日：2021.12.16
技术公布日：2022/3/22