一种图像盲超分辨网络模型、方法、设备及存储介质

1.本发明属于图像盲超分辨技术领域，具体涉及一种图像盲超分辨网络模型、方法、设备及存储介质。


背景技术：

2.图像超分辨(super-resolution,sr)是指从低分辨(lowresolution,lr)图像重建出对应的高分辨(high resolution,hr)图像的技术。该技术因其在航空航天、医疗成像、图像通信等领域具有重要的应用价值，受到了广泛的关注。图像超分辨重建技术经历了基于插值的方法、基于重构的方法、基于浅层神经网络的方法、基于深度卷积神经网络(convolutional neural network,cnn)的方法的发展过程，其中基于深度卷积神经网络的方法具有更好的图像表征和重建能力，是目前最活跃的研究方向。基于深度cnn的图像超分辨方法通常假设图像的退化模型是已知的，当图像的实际退化模型与深度cnn假定的退化模型不一致时，会导致图像超分辨重建的性能显著下降。为了解决这个问题，学者们提出了图像盲超分辨重建技术。
3.图像盲超分辨重建是指在图像的退化模型未知的条件下完成低分辨图像的超分辨重建。针对图像盲超分辨重建，kai zhang等在训练深度cnn模型时，将若干个退化模型(包括多个高斯核、多种噪声)联合训练数据作为整个训练数据来训练深度cnn模型，这种模型相对于单一假定的退化模型来说具有更强的适应性，但是当实际的退化模型未包含在训练数据的退化模型中时，图像的超分辨重建性能仍然不佳。为了提高图像盲超分辨的性能，学者们提出了估计退化模型的思路。jinjin gu等提出了一种迭代估计退化模型的方法，该方法能够较准确的估计出图像的退化模型，具有较高的盲超分辨性能。但是，该方法采用多次迭代的方式估计图像的退化模型，使得算法运行时间较长，不能满足实际应用的需要。为了提高图像盲超分辨重建的效率，longguang wang等提出了一种基于退化表达学习的图像盲超分辨方法，具有较高的图像盲超分辨重建性能和效率。但是该方法在图像盲超分辨重建时，未利用图像的空间局部信息，限制了超分辨重建性能的进一步提高。


技术实现要素：

4.为了解决上述问题，本发明实施例提供一种图像盲超分辨网络模型，在利用退化表达信息的同时，引入空间局部信息，增强了图像盲超分辨过程中的高价值信息，从而提高模型的超分辨重建性能。
5.本发明的技术方案是：一种图像盲超分辨网络模型，包括：
6.退化表达与初始特征提取子网络，用于通过卷积网络获得低分辨率lr图像的退化表达量r和初始特征f0，并输出至特征融合变换子网络；
7.特征融合变换子网络，用于根据所述退化表达量r和初始特征f0对所述lr图像退化信息和空间局部信息学习，提取融合了空间局部信息和退化表达信息的高价值特征，将提取的高价值特征输出至图像重建子网络；
8.图像重建子网络，用于通过卷积网络对提取到的高价值特征进行重建，得到重建后的高分辨率hr图像。
9.进一步的，所述退化表达与初始特征提取子网络包括，退化表达分支，将lr图像输入一个6层卷积网络得到所述lr图像的退化表达量r；初始特征分支，将lr图像输入一个单层卷积网络得到所述lr图像的初始特征f0。
10.进一步的，所述特征融合变换子网络包括，n个级联的特征变换模块，每个所述特征变换模块由一个sldc级联块和一个特征融合块组成，n为正整数；第i个所述sldc级联块，其中i为1至n之间的正整数，用于接收所述退化表达量r和本级的输入特征经退化信息和空间局部信息学习得到输出特征并输出至本级特征融合块，其中第1个所述sldc级联块的输入特征所述表示为式中h(
·
)表示sldc级联块的模型；
11.第i个所述特征融合块，其中i为1至n之间的正整数，包括特征融合层和卷积层，用于将初始特征f0、本级sldc级联块的输出特征以及本级之前的i-1个特征融合块的输出[f1，f2，
…
，f
i-1
]进行融合，然后经卷积层得到第i个特征融合块的输出fi，所述fi作为第i 1个sldc级联块的输入特征所述fi表示为式中表示第i个特征融合块卷积层的参数，*表示卷积运算；
[0012]
第n个所述特征融合块的输出fn经过一个卷积层后，通过加法器与初始特征f0的恒等映射构成残差学习模型,得到特征融合变换子网络输出f
fftnet
；所述f
fftnet
表示为f
fftnet
＝f
fftnet
(f0) f0，式中f
fftnet
(
·
)表示特征融合变换子网络模型。
[0013]
进一步的，所述图像重建子网络包括：一层亚像素卷积层和一层卷积网络层，特征融合变换子网络输出f
fftnet
依次经过所述一层亚像素卷积层和一层卷积网络层，得到高分辨重建后的hr图像y
sr
，所述y
sr
表示为y
sr
＝f
irnet
(f
fftnet
)，式中f
irnet
(
·
)表示图像重建子网络模型。
[0014]
进一步的，每个所述sldc级联块包括：n个级联的sldc块，每个所述sldc块包括空间局部信息学习分支、第一退化特征信息学习分支、第二退化特征信息学习分支；
[0015]
所述空间局部信息学习分支，将输入特征u依次通过第一卷积层、relu激活函数、第二卷积层、sigmoid激活函数，得到空间局部特征图s，再利用该空间局部特征图s对输入特征u相乘后得到调制后的特征u1；
[0016]
所述第一退化特征信息学习分支，将初始退化表达量r依次通过两个全连接层和结构变换后，得到第三卷积层和第四卷积层的参数，然后将特征u依次经过所述第三卷积层和所述第四卷积层，得到退化表达调制后的特征u2；
[0017]
所述第二退化特征信息学习分支，将退化表达量r通过两个全连接层和sigmoid激活函数后，得到通道调节分量v，然后所述通道调节分量v与输入特征u按通道相乘后得到退化表达调制后的特征u3；
[0018]
所述特征u1、特征u2、特征u3经过特征聚合后，再经过第五卷积层变换并与残差分支聚合后得到所述sldc块的输出特征u
out
。
[0019]
进一步的，所述空间局部特征图s表示为式中ρ(
·
)表示sigmoid激活函数，δ(
·
)表示relu激活函数，*表示卷积运算，w
s1
和表示所述第一卷积层的参数，w
s2
和表示所述第二卷积层的参数；
[0020]
所述特征u1表示为u1＝f(u,s)，式中f(
·
)表示局部特征图s与输入特征u逐元素相乘；
[0021]
所述特征u2表示为式中和表示所述第三卷积层的参数，和表示所述第四卷积层的参数，*表示卷积运算；
[0022]
所述特征u3表示为u3＝g(u,v)，式中g(
·
)表示通道调节分量v与输入特征u逐元素相乘；
[0023]
所述特征u
out
表示为u
out
＝w
sldc
*[u1 u2 u3] b
sldc
u，式中w
sldc
、b
sldc
表示所述第五卷积层的参数，*表示卷积运算。
[0024]
本发明实施例还提供一种图像盲超分辨方法，将低分辨率lr图像输入上述实施例中任一项图像盲超分辨网络模型，并按照如下步骤得到高分辨率hr图像：s1、通过卷积网络获得低分辨率lr图像的退化表达量r和初始特征f0；
[0025]
s2、根据所述退化表达量r和初始特征f0对所述lr图像退化信息和空间局部信息学习，提取融合了空间局部信息和退化表达信息的高价值特征；
[0026]
s3、通过卷积网络对提取到的所述高价值特征进行重建，得到重建后的高分辨率hr图像。
[0027]
本发明实施例还提供一种电子设备，采用上述实施例所述的方法实现图像盲超分辨。
[0028]
本发明实施例还提供一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述实施例所述的图像盲超分辨方法。
[0029]
本发明的上述各个实施例中具有如下有益效果：本发明在利用退化表达信息的同时，引入空间局部信息，增强了图像盲超分辨过程中的高价值信息，并在重建单元模块中引入特征融合机制，提高不同层级特征信息的融合能力，通过sldc级联块及特征融合块的级联以及前端至后端的融合链接，不仅使得学习到的高价值特征和图像退化信息得到加强，而且使得前端学习到的信息得到保持，使得具有高价值信息学习能力和多层级信息融合能力。实验结果表明，本发明在不同的退化模型条件下的psnr值都有所提高，并且重建的效率较高，在重建图像的视觉效果对比中能够恢复出更多的图像细节。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1(a)是本发明实施例网络模型的整体结构示意图。
[0032]
图1(b)是本发明实施例网络模型中特征融合变换子网络中特征变换模块的结构示意图。
[0033]
图2是本发明实施例网络模型中sldc块结构示意图。
[0034]
图3是本发明实施例的网络模型与其他算法模型对set14中的“zebra”进行的重建效果对比图。
具体实施方式
[0035]
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
实施例1：本发明提出一种图像盲超分辨网络模型，具体来说是一种基于图像空间局部信息和退化构建的深度卷积神经网络模型，用于图形盲超分辨重建，该模型简称为sldcn(spacial local and degradation construction network)。sldcn使用退化表达信息的同时，进一步引入空间局部构建信息，同时在单元模块中采用特征融合机制，以增强高价值特征在网络中的传播。基于图像空间局部信息和退化构建的深度卷积神经网络模型(sldcn)的结构图如图1(a)所示，该模型由退化表达与初始特征提取子网络(degradation representation and initial feature extraction sub-network，drifenet)、特征融合变换子网络(feature fusion transformation sub-network，fftnet)、图像重建子网络(image reconstruction sub-network，irnet)三部分依次连接组成。其中，drifenet完成从输入的lr图像中进行退化表达编码和初始特征图提取，fftnet通过级联的特征变换模块获取融合了空间局部信息和退化表达信息的高价值特征，irnet利用变换后的高价值特征完成图像的超分辨重建。下面分退化表达与初始特征提取子网络(drifenet)、特征融合变换子网络(fftnet)、图像重建子网络(irnet)三个部分对sldcn模型进行具体介绍。
[0037]
退化表达与初始特征提取子网络(drifenet)：drifenet子网络包括退化表达和初始特征提取两个部分，为了提高模型的训练效率，我们借鉴wang的方法(longguang wang,yingqian wang,et al.unsupervised degradation representation learning for blind super-resolution[c]//proceedings of the ieee conference on computer vision and pattern recognition.2021:10576-10585)，不在像素层面估计lr图像的准确退化信息，而是利用6层的卷积网络得到lr图像的退化表达量r，该表达量与lr图像经卷积网络产生的初始特征f0一起送入fftnet子网络进行特征变换。
[0038]
特征融合变换子网络(fftnet)：fftnet子网络包括n个级联的特征变换模块，特征变换模块经过空间局部和退化构建(spacial local and degradation construction，sldc)级联块和特征融合块级联组成的，获得对lr图像初始特征的高价值提取和退化信息的学习。fftnet子网络中，sldc级联块和特征融合块的结构图，即特征变换模块的结构图如图1(b)所示，每个特征变换模块由一个sldc级联块和一个特征融合块组成。
[0039]
其中sldc级联块由n个级联的sldc块组成，sldc块实现对图像特征中空间信息的自主学习，提高模型对高价值特征的关注度，另外，模型还完成对lr图像退化信息的快速高效学习，以实现图像的盲超分辨。sldc块的结构图如图2所示，图2中“conv”代表卷积层，“relu”和“sigmoid”代表激活运算，设由前一级sldc块送到本级sldc块的特征为u＝[u1,u2,
…
,uc]，该特征包含c张尺寸为h
×
w的特征图。为了使模型学习到高价值的空间分布信息，提高模型对高频细节的重建能力，借鉴hu中局部计算模型的思想(channel-wise and spatial feature modulation network for single image super-resolution[j].ieee transactions on circuits and systems for video technology,vol.30,no.11,pp.3911-3927,nov.2020)，构建了高价值空间局部信息学习分支，该分支包含依次连接的第一卷积层、relu激活函数、第二卷积层、sigmoid激活函数。通过卷积网络和激活函数，得到空间局部特征图s＝r1×h×w，该过程可以用以下公示表示：
[0040][0041]
上式中，ρ(
·
)表示sigmoid激活函数，δ(
·
)表示relu激活函数，*表示卷积运算，w
s1
和表示所述第一卷积层的参数，w
s2
和表示所述第二卷积层的参数。利用该空间局部特征图s对输入特征u进行调制后得到调制后的特征u1，用以下公式表示：
[0042]
u1＝f(u,s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0043]
上式中，f(
·
)表示局部特征图s与输入特征u逐元素相乘。
[0044]
为了使模型快速学习到图像的退化信息，还构建了两个退化特征信息学习分支。其中第一退化特征信息学习分支，将初始退化表达量r依次通过两个全连接层和结构变换后，得到第三卷积层和第四卷积层的参数，然后将特征u依次经过所述第三卷积层和所述第四卷积层，得到退化表达调制后的特征u2，用公式表示如下：
[0045][0046]
上式中，和表示所述第三卷积层的参数，和表示所述第四卷积层的参数，*表示卷积运算。
[0047]
第二退化特征信息学习分支，将退化表达量r通过两个全连接层和sigmoid激活函数后，得到通道调节分量v，然后所述通道调节分量v与输入特征u按通道相乘后得到退化表达调制后的特征u3，用公式表示如下：
[0048]
u3＝g(u,v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0049]
上式中g(
·
)表示通道调节分量v与输入特征u逐元素相乘。
[0050]
特征u1、u2、u3经过特征聚合后，再经过第五卷积层变换并与残差分支聚合后得到所述sldc块的输出特征u
out
，可以表示为：
[0051]uout
＝w
sldc
*[u1 u2 u3] b
sldc
u
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0052]
上式中w
sldc
、b
sldc
表示所述第五卷积层的参数，*表示卷积运算。
[0053]
因为每个特征变换模块由一个sldc级联块和一个特征融合块组成，而fftnet子网络中包括有n个级联的特征变换模块，因此fftnet子网络中又包括有n个sldc级联块和n个特征融合块。
[0054]
设fftnet子网络中，第i个所述sldc级联块(i为正整数且1≤i≤n)的输入为r和如图1(b)所示，经过n个级联的sldc块后得到第n个sldc块的输出可以用公式表示为：
[0055][0056]
上式中h(
·
)表示sldc级联块的模型，且其中第1个所述sldc级联块的输入特征
[0057]
第n个sldc块的输出与前面i-1个特征融合块的输出[f1，f2，
…
，f
i-1
]，以及初始特征f0，在特征融合块特征融合层中沿通道域进行拼接，然后经一层卷积层得到第i个特征融合块的输出fi，可以表示为：
[0058][0059]
上式中表示第i个特征融合块卷积层的参数，*表示卷积运算。第i个特征融合块的输出fi作为第i 1个sldc级联块的输入特征第n个所述特征融合块的输出fn经过一个卷积层后，通过加法器与初始特征f0的恒等映射构成残差学习模型,得到特征融合变换子网络输出f
fftnet
，可以表示为：
[0060]ffftnet
＝f
fftnet
(f0) f0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0061]
上式中f
fftnet
(
·
)表示特征融合变换子网络模型。通过sldc块的级联、特征变换模块的级联，使得模型学习到的高价值空间局部信息和图像退化信息得到加强。通过特征融合块的融合、前端至后端的融合链接，使得模型不仅学习到本级模块的特征信息，而且使得前端模块学习到的信息得到保持。
[0062]
图像重建子网络(irnet)：irnet包括一层亚像素卷积层和一层卷积网络层，得到高分辨重建后的hr图像，可以表示为：
[0063]ysr
＝f
irnet
(f
fftnet
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0064]
上式中，y
sr
表示输出的高分辨重建图像，f
irnet
(
·
)表示图像重建子网络模型。
[0065]
实施例2：本发明还提供一种图像盲超分辨方法，具体而言，是将低分辨率lr图像输入上述实施例的图像盲超分辨网络模型，并按照如下步骤得到高分辨率hr图像：
[0066]
s1、通过卷积网络获得低分辨率lr图像的退化表达量r和初始特征f0；
[0067]
s2、根据所述退化表达量r和初始特征f0对所述lr图像退化信息和空间局部信息学习，提取融合了空间局部信息和退化表达信息的高价值特征；
[0068]
s3、通过卷积网络对提取到的高价值特征进行重建，得到重建后的高分辨率hr图像。
[0069]
实验及分析：
[0070]
为了验证本发明实施例的图像盲超分辨网络模型的有效性，选择不同场景的图像作为测试集，将rcan、srmd、mzsr、ikc、dasr几种算法和本发明的实验结果进行对比分析验证：
[0071]
我们使用div2k数据集的800张图像作为本发明提出模型的训练数据集，使用set5、set14、b100三个基准测试集作为模型有效性的测试数据集。采用峰值信噪比(peak signal-to-noise ratio,psnr)作为图像重建质量的评价指标，评价指标的值越大表示重建效果越好。
[0072]
实验所用的lr图像由hr图像与高斯核进行卷积操作后再经过双三次插值下采样
以及添加噪声后得到，高斯核尺寸设置为21
×
21，当采样因子为
×
2时，高斯核参数σ的选择范围为[0.2,2.0]，当采样因子为
×
4时，高斯核参数σ的选择范围为[0.2,3.6]，高斯噪声方差的选择范围为[0,15]。从div2k数据集中随机选择32幅hr图像，利用随机翻转和旋转变换对选出的hr图像进行扩充。随机旋转32个高斯核参数核高斯噪声参数，生成hr图像对应的lr图像，在每个lr图像中随机剪切2个大小为48
×
48的lr图像块，总共64对lr图像和hr图像块对组成模型的训练集。
[0073]
模型训练时，采用adam算法对模型进行优化，其中超参数β1、β2、ε分别设为,0.9、0.999、10-8
，退化表达量r按照wang中的方法(longguang wang,yingqian wang,et al.unsupervised degradation representation learning for blind super-resolution[c]//proceedings of the ieee conference on computer vision and pattern recognition.2021:10576-10585)得到。模型迭代更新1000次，学习率初始化为10-4
，每经过250次迭代更新学习率衰减一半。模型训练采用l1损失函数。lr图像在训练和测试前首先利用dncnn算法进行去噪。
[0074]
客观量化结果及分析：我们在set5、set14、b100三个测试数据集上对比了本发明的sldcn模型与rcan、srmd、mzsr、ikc、dasr算法模型在采样因子为
×
2和
×
4时的psnr值，其中mzsr模型只用于采样因子为
×
2的超分辨，ikc模型只用于采样因子为
×
4的超分辨，srmd、mzsr模型采用ikc模型中的退化预测模块。对比结果如表1、表2所示。
[0075]
表1采样因子为
×
2时，不同算法模型的psnr值对比结果
[0076][0077][0078]
表2采样因子为
×
4时，不同算法模型的psnr值对比结果
[0079][0080]
从表1和表2中可以看出，当高斯核宽度设置为0时，此时的退化为双三次退化，这种情况下rcan模型的超分辨性能最好，当高斯核宽度不为0，rcan模型的性能显著降低，说明该模型对不同的退化适应能力较低。srmd 退化预测、mzsr 退化预测、ikc、dasr几种模型都具有退化预测能力，对不同的图像退化具有一定的适应能力。本发明的sldcn模型中结合了空间局部信息和退化预测构建，在高斯核宽度为0.8、1.6的
×
2的超分辨重建，以及高斯核宽度为1.6、3.2的
×
4的超分辨重建中，都具有更高的psnr值，说明本发明的模型具有更优的图像盲超分辨性能。
[0081]
模型运行时间对比：本发明的sldcn算法模型与rcan、srmd、mzsr、ikc、dasr几种算法的平均运行时间如表3所示。从表中可以看出，srmd算法运行效率最高，但是该算法不具有盲超分辨重建能力，当图形退化模型与算法实际退化模型不一致时，算法超分辨重建能力显著降低。由于ikc算法通过迭代估计图像的退化模型，该算法的运行效率最低。本发明的sldcn算法的运行效率低于dasr算法，但是显著高于rcan算法。
[0082]
表3不同算法模型的平均运行时间
[0083] rcansrmdmzsrikcdasrsldcn(ours)时间168ms8ms92ms521ms75ms87ms
[0084]
视觉效果对比：本发明比较了几种算法模型在噪声水平为5，高斯核宽度为1.6，采样因子为
×
4时在set14测试数据集中“zebra”图像中的盲超分辨效果，视觉效果如图3所示。从图中可以看出，由于图形的退化模型不为双三次退化模型，rcan的超分辨效果较差。srmd与ikc算法估计的退化模型与实际退化模型偏差较大，这两个算法的超分辨效果也不理想。本发明算法在利用退化表达信息的同时，引入空间局部信息，并且在重建单元模块中引入特征融合机制，在几种算法中重建效果最佳，且在图像重建效果和运行时间之间达到了较好的平衡。
[0085]
本发明实施例所述图像盲超分辨方法如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软
件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像的重建方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。