一种图像超分辨率放大模型及其方法与流程

1.本发明涉及图像处理技术领域，更具体的说是涉及一种图像超分辨率放大模型及其方法。


背景技术：

2.在当今的单幅图像超分辨率放大的方法中，包括三类方法。第一类方法是基于插值的方法，第二类方法是基于样例的方法，第三类方法是基于神经网络的方法。目前，基于神经网络的方法所取得的性能要超过基于插值的方法和基于样例的方法。
3.现有的网络模型结构设计中，未曾有一种网络模型结构设计考虑充分利用网络中多个层级输出的高分辨率特征图和低分辨率特征图的特征进行图像超分辨率重建。
4.因此，如何提供一种准确率高图像重建效果好的图像超分辨率放大模型及其方法是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种图像超分辨率放大模型及其方法，能够完整准确地对图像进行放大重建。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种图像超分辨率放大模型，包括：浅层特征提取模块f
sf
、多级低高分辨率特征提取模块f
df
、全局多级低分辨率特征融合模块f
glrffb
、全局多级高分辨率特征融合模块f
ghrffb
和图像重构模块f
rec
；
8.所述浅层特征提取模块f
sf
，用于对所输入的低分辨率图像i
lr
进行浅层特征提取，得到浅层特征图h0；
9.所述多级低高分辨率特征提取模块f
df
包括m个稠密连接的迭代上下采样蒸馏块iuddb，用于通过m个稠密连接的所述iuddb依次进行m个层级的低分辨率和高分辨率特征提取，获得低分辨率特征图h
df
‑
l
和高分辨率特征图h
df
‑
h
，其中第1个所述iuddb后的每个所述iuddb的输入均为前面所有所述iuddb输出的级联；
10.所述全局多级低分辨率特征融合模块f
glrffb
，用于接收m个所述h
df
‑
l
并进行特征融合，得到融合后的低分辨率特征图h
glrffb
；
11.所述全局多级高分辨率特征融合模块f
ghrffb
，用于接收m个所述h
df
‑
h
并进行特征融合，得到融合后的高分辨率特征图h
ghrffb
；
12.所述图像重构模块f
rec
，用于接收所述h
glrffb
和所述h
ghrffb
，生成超分辨率放大的图像i
sr
。
13.优选的，所述浅层特征提取模块f
sf
采用卷积层从输入低分辨率图像i
lr
中提取浅层特征图h0。
14.优选的，所述迭代上下采样蒸馏块iuddb包括：上采样处理块usb、下采样处理块dsb、局部多级低分辨率特征融合块llrffb、局部多级高分辨率特征融合块lhrffb和残差学
习模块rl；
15.所述usb包括反卷积层和信息蒸馏层，其中，第i个上采样处理块中反卷积层的输入为通过所述反卷积层进行反卷积操作后的输出为所述信息蒸馏层接收所述并进行通道分割操作，获得粗糙图像特征图和精致图像特征图其中所述输入至后续所有的iuddb中的dsb中，所述输入至当前iuddb中的lhrffb中；
16.其中，当i为1时，所述usb的输入为h0，当i不为1时，当前usb的输入为当前usb之前所有dsb输出的级联；
17.所述dsb包括平均池化层，所述平均池化层用于对输入特征图进行平均池化，其中所述dsb的输入为当前dsb之前所有usb输出的的级联，所述dsb输出低分辨率特征图，并分别输入至当前iuddb中的llrffb中以及当前iuddb之后的所有usb中；
18.所述llrffb用于将接收到的所有低分辨率特征图进行融合，并对融合后的特征进行特征降维，并输出h
llrffb
‑
out
至所述f
glrffb
中；
19.所述lhrffb用于将接收到的所有进行特征融合，完成局部多级高分辨率特征融合，并输出h
lhrffb
‑
out
至所述f
ghrffb
中；
20.所述残差学习模块rl，用于学习所述f
df
中第一个dsp的输出和当前dsp的输出之间的残差，获得残差输出为并且将输入到后续所有的iuddb中去，使得各个iuddb之间构成稠密连接的结构。
21.优选的，所述f
glrffb
包括特征融合单元和反卷积上采样单元；
22.所述特征融合单元，用于将接收到的所有低分辨率特征图进行特征融合，获取融合后的低分辨率特征图作为中间特征图h
glrffb
‑1；
23.所述反卷积上采样单元，用于对所述h
glrffb
‑1进行反卷积放大，获得所述f
glrffb
的输出h
glrffb
。
24.优选的，所述f
rec
包括一个特征融合单元和两个串联的卷积单元；
25.所述特征融合单元，用于将输入到f
rec
的所述h
glrffb
和所述h
ghrffb
进行特征融合；
26.两个串联的所述卷积单元用于将融合后的特征图依次进行两次卷积获得i
sr
。
27.一种图像超分辨率放大方法，包括以下步骤：
28.s1.对所输入的低分辨率图像i
lr
进行浅层特征提取，得到浅层特征图h0；
29.s2.依次进行稠密连接的m个层级的低分辨率和高分辨率特征提取依次进行m个层级的低分辨率和高分辨率特征提取，获得低分辨率特征图h
df
‑
l
和高分辨率特征图h
df
‑
h
；
30.s3.接收m个所述h
df
‑
l
并进行特征融合，得到融合后的低分辨率特征图h
glrffb
；
31.s4.接收m个所述h
df
‑
h
并进行特征融合，得到融合后的高分辨率特征图h
ghrffb
；
32.s5.接收所述h
glrffb
和所述h
ghrffb
，生成超分辨率放大的图像i
sr
。
33.优选的，s1中通过卷积层从输入低分辨率图像i
lr
中提取浅层特征图h0。
34.优选的，s2具体包括以下内容：
35.对输入特征图进行上采样，具体包括：对第i个输入进行反卷积操作，输出
对输入特征图进行反卷积操作后的特征图进行通道分割操作，获得粗糙图像特征图和精致图像特征图将所述进行下采样，对所有所述进行特征融合；
36.其中，第1个输入为h0，当i不为1时，输入为前i个层级下采样的输出级联；
37.对经过上采样后的低分辨率特征图进行平均池化，将平均池化后的低分辨率特征图分别进行特征融合以及上采样；
38.将接收到的所有低分辨率特征图进行融合，并对融合后的特征进行特征降维，并输出h
llrffb
‑
out
；
39.将接收到的所有进行特征融合，完成局部多级高分辨率特征融合，并输出h
lhrffb
‑
out
；
40.学习第一个层级的上采样输出和当前层级的上采样输出之间的残差，获得残差输出为并且进行下一个层级的上采样。
41.优选的，s3的具体内容包括：
42.将s2输出的降维后的所有低分辨率特征图进行特征融合，获取融合后的低分辨率特征图作为中间特征图h
glrffb
‑1；
43.对所述h
glrffb
‑1进行反卷积放大，输出h
glrffb
；
44.s4的具体内容包括：
45.对s2输出的所有高分辨率特征图进行特征融合，获取融合后的高分辨率特征图h
ghrffb
。
46.优选的，s5具体包括：将所述h
glrffb
和所述h
ghrffb
进行特征融合，将融合后的特征图依次进行两次卷积获得i
sr
。
47.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种图像超分辨率放大模型及其方法，提出了新的神经网络用于训练和超分辨率放大，该网络通过稠密连接的迭代上下采样蒸馏块iuddb对图像在低分辨率和高分辨率上的特征进行迭代式提取，并且通过蒸馏的方式一部分特征输入给下一个迭代高分辨率和低分辨率特征提取模块，一部分特征输入给全局低分辨率融合块和全局高分辨率融合快进行处理，最后通过图像重构模块进行图像的重建，该模型及方法经过多级特征提取，相对与现有技术中的图像放大模型及方法具有重建性能更高成像效果更好的特点，能够稳定有效地实现图像的放大。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
49.图1附图为本发明提供的一种图像超分辨率放大模型的结构示意图；
50.图2附图为本发明提供的一种图像超分辨率放大模型中iuddb的结构示意图；
51.图3附图为本发明提供的一种图像超分辨率放大模型中usb的结构示意图；
52.图4附图为本发明提供的一种图像超分辨率放大模型中llrffb的结构示意图；
53.图5附图为本发明提供的一种图像超分辨率放大模型中glrffb和ghrffb的结构示意图；
54.图6附图为本发明提供的一种图像超分辨率放大模型中rec的结构示意图；
55.图7附图为本发明实施例中实验部分训练过程中的性能曲线示意图；
56.图8附图为本发明实施例中将iudffn与其他方法的重建效果对比示意图；
57.图9附图为本发明实施例中将iudffn与其他方法的重建效果对比示意图；
58.图10附图本发明实施例中将iudffn与其他方法的重建效果对比示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.本发明实施例公开了一种图像超分辨率放大模型及其方法。
61.以下将结合附图对所提出的网络做进一步地说明。
62.整个所提出的用于超分辨放大的网络结构如图1所示。所提出的网络iudffn包含浅层特征提取模块f
sf
，多级低、高分辨率特征提取模块f
df
，全局多级低分辨率特征融合模块(global multi
‑
level low
‑
resolution feature fusion block，glrffb)f
glrffb
，全局多级高分辨率特征融合模块(global multi
‑
level high
‑
resolution feature fusion block，ghrffb)f
ghrffb
，图像重构模块f
rec
。
63.1.iudffn使用一个卷积层从输入低分辨率图像i
lr
中提取浅层特征h0：
64.h0＝f
sf
(i
lr
)＝conv
sf
(i
lr
)
ꢀꢀꢀ
(1)
65.然后h0输入到f
df
模块。在f
df
模块中本发明使用m个稠密连接的迭代上下采样蒸馏块(iterative up
‑
down sampling distillation block，iuddb)进行多个层级的低分辨率、高分辨率特征提取。f
df
模块中执行的操作可以简单用下式描述。
66.h
df
‑
l
,h
df
‑
h
＝f
df
(h0)
ꢀꢀꢀ
(2)
67.其中，h
df
‑
l
和h
df
‑
h
分别是h0通过f
df
模块后得到的图像低分辨率特征图和高分辨率特征图。它们之后分别被输入到glrffb和ghrffb模块中。在glrffb和ghrffb中进行的操作可以简化为：
68.h
glrffb
＝f
glrffb
(h
df
‑
l
)
ꢀꢀꢀ
(3)
69.h
ghrffb
＝f
ghrffb
(h
df
‑
h
)
ꢀꢀꢀ
(4)
70.最终，图像重构模块f
rec
将h
glrffb
和h
ghrffb
作为输入，生成一张高质量的重建图像i
sr
，该过程可以用公式(5)描述。
71.i
sr
＝f
rec
(h
glrffb
,h
ghrffb
)
ꢀꢀꢀ
(5)
72.以下将对所涉及的网络中的多级低、高分辨率特征提取模块f
df
中的迭代上下采样蒸馏块(iuddb)，全局多级低分辨率特征融合模块(global multi
‑
level low
‑
resolution feature fusion block，glrffb)f
glrffb
，全局多级高分辨率特征融合模块(global multi
‑
level high
‑
resolution feature fusion block，ghrffb)f
ghrffb
，图像重构模块f
rec
进行更
深入的描述。
73.多级低、高分辨率特征提取模块f
df
中的迭代上下采样蒸馏块(iuddb)
74.其中的迭代上下采样蒸馏块(iuddb)的结构如图2所示。它是整个网络中的重要组成部分。它主要包含五个部分：上采样处理块(up sampling block，usb)、下采样处理块(down sampling block，dsb)、局部多级低分辨率特征融合块(local multi
‑
level low
‑
resolution feature fusion block，llrffb)、局部多级高分辨率特征融合块(local multi
‑
level high
‑
resolution feature fusion block，lhrffb)、残差学习(residual learning，rl)结构。以下将详细介绍这些结构。
75.(1)usb(上采样处理模块)
76.usb将图像特征图由低分辨率空间放大到了高分辨率空间，得到了图像高分辨率特征图。usb的结构如图3所示。usb主要包含一个反卷积层和一个信息蒸馏层(信息蒸馏操作即为通道分割(channel split)操作)。特征图通过反卷积层可以描述为：
[0077][0078]
其中，和分别表示iuddb中第i个usb中反卷积层的输入和输出。m是iudffn中每个iuddb所包含的usb和dsb的数量。
[0079]
信息蒸馏后信息流被分成了两部分，3/4是本发明将这一部分信息标定为粗糙图像特征图，它们需要进一步通过iuddb中之后的层级；其余1/4是本发明将这一部分信息标定为精致图像特征图，它们直接输入到lhrffb中去。信息流通过信息蒸馏层可以表示为：
[0080][0081]
其中，distil(
·
)表示信息蒸馏操作。iuddb中第i个usb输出的粗糙特征图和精致特征图分别为和
[0082]
值得注意的是，如图2所示，iuddb中创新了稠密连接方式：如果某个usb不是iuddb中的第一个usb，那么这个usb的输入来自于它之前所有dsb输出的级联。iuddb中第i个usb的输入可以用公式(8)表示。
[0083][0084]
其中，表示第(i
‑
1)个dsb的输出，concat(
·
)表示特征级联操作。
[0085]
usb的输出有两个去向，如图2和3所示，其中一个方向是：粗糙特征图进入该usb之后所有的dsb中，另一个方向是：精致特征图输入到lhrffb中。
[0086]
(2)低分辨率处理块(dsb)
[0087]
dsb和usb是相对应的，它实现将高分辨率特征图下采样为低分辨率特征图。高分辨率特征图通过dsb后，变成了低分辨率特征图，提取到了图像中某些新的低分辨率特征。dsb仅由一个平均池化层组成，其内操作为：
[0088][0089]
其中，和分别表示iuddb中第j个dsb的输入和输出。和usb相似，dsb
的输入来自于它之前所有usb输出的粗糙特征图的级联，表示为：
[0090][0091]
dsb中特征图输出有两个方向，如图2中所示，一个方向是输入到它之后所有的usb中，另一个方向是输入到llrffb中。
[0092]
(3)局部多级低分辨率特征融合块(llrffb)
[0093]
llrffb接收来自所有dsb中输出的多个级别的低分辨率特征图。图4中左侧红色虚线框内表示llrffb的结构。在llrffb中首先将这些多个级别的包含不同特征的低分辨率特征图进行融合，然后再对融合后的特征进行特征降维。该过程可以表示为：
[0094][0095]
其中表示iuddb中第m个dsb的输出，h
llrffb
‑
out
表示模块llrffb的输出。concat(
·
)表示特征融合操作，conv1×1(
·
)表示特征降维操作。图2中标签
①
标定了模块llrffb的输出，它将被输入到glrffb中。
[0096]
(4)局部多级高分辨率特征融合块(lhrffb)
[0097]
图4中右侧蓝色虚线框内表示lhrffb的结构。它的结构非常简单，它只包含一个特征融合操作，它将输入进来的所有m个usb中输出的精致高分辨率特征图进行特征融合，完成局部多级高分辨率特征融合后输出。lhrffb中的操作可以描述为：
[0098][0099]
其中，表示iuddb中第m个usb输出的精致特征图。h
lhrffb
‑
out
表示lhrffb模块的输出，图2中用标签
②
标定它，它将被输入到ghrffb中。
[0100]
(5)rl
[0101]
在网络模型设计中借鉴残差学习结构有两大好处：第一，残差学习可以有效地抑制网络模型训练过程中出现的梯度消失问题；第二，残差学习可以使得网络只学习连接起始点和连接终点之间的残差，有效地降低网络的计算复杂度，加速网络的拟合。iuddb中还设置了一个不同于其它任何网络模型的残差学习结构，如图2中最上方黄色的线所示，iuddb中新式的残差学习结构连接了iuddb中第一个dsb的输出和最后一个dsb的输出，使得iuddb模块只需要学习它们之间的残差。这个新式残差学习结构可以用公式(13)描述。
[0102][0103]
其中，h
iuddb
‑
b
表示iuddb的一个输出，这个输出将输入到之后所有的iuddb中去，使得各个iuddb之间构成稠密连接的结构，n表示网络中第n个iuddb，图2中的标签
③
能够标定输出h
iuddb
‑
b
。
[0104]
(6)模块输出
[0105]
从图2中可以看出，除了最后一个iuddb外，iudffn中所有的iuddb都有三个输出。这三个输出分别由标签
①
、
②
、
③
标定。标签
①
标定的是iuddb中输出的局部多级低分辨率特征图融合并降维后的低分辨率特征图，这些特征图将被输入到glrffb中；标签
②
标定的是iuddb中输出的局部多级高分辨率特征图融合后的高分辨率特征图，这些特征图将被输入到ghrffb中；标签
③
标定的是iuddb输出给其后所有iuddb中的低分辨率特征图。所以，整个iuddb的输出可以描述为：
[0106][0107]
其中，表示第k个iuddb中所进行的操作，1≤k≤m，m表示网络中iuddb的数量。标签
①
指示标签
②
指示指示标签
③
指示
[0108]
2.全局多级低分辨率特征融合块(glrffb)
[0109]
glrffb主要包含两个操作，如图5中左侧红色虚线框中所示，一个是特征融合操作，另一个是反卷积上采样操作。
[0110]
iudffn首先在浅层特征提取模块f
sf
中提取到了图像浅层特征h0，之后，每个iuddb都会输出到glrffb中低分辨率特征图glrffb中的第一个操作是将所有的这些来自不同层级的低分辨率特征图进行特征融合：
[0111][0112]
其中，表示的是iudffn中第1个iuddb中输出给glrffb模块的低分辨率特征图，h
glrffb
‑1表示的是经过第一步操作后glrffb模块输出的中间特征图。
[0113]
glrffb中输入进来的是多个层级iuddb输出的低分辨率特征图，ghrffb中输入进来的是多个层级iuddb输出的高分辨率特征图。有两种方式可以将iudffn网络模型中生成的低分辨率特征图和高分辨率特征图进行融合。一种是先将高分辨率特征图下采样为低分辨率特征图，然后将所有的低分辨率特征图进行融合，最后，在网络中的图像重构模块将图像从低分辨率空间放大到高分辨率空间；另一种方法是将网络中获得的低分辨率特征图先行上采样到高分辨率空间，然后在高分辨率空间将所有的高分辨率特征图进行融合，然后再用融合后的高分辨率特征图去重建最终的高分辨率图像。第二种方法不在网络中的图像重构层放大图像，并可以充分利用iudffn网络中间层级提取到的图像高分辨率、低分辨率特征，本发明选择第二种方法进行低分辨率特征图和高分辨率特征图的融合。
[0114]
所以，glrffb中经过特征融合操作后，再对融合后的低分辨率特征图进行反卷积放大：
[0115]
h
glrffb
＝deconv(h
glrffb
‑1)
ꢀꢀꢀ
(16)
[0116]
其中，deconv(
·
)表示反卷积操作。h
glrffb
表示glrffb模块的输出。
[0117]
3.全局多级高分辨率特征融合块(ghrffb)
[0118]
每个iuddb都会输出高分辨率特征图这些高分辨率特征图是经过蒸馏得到的精致特征，规模小。所以，在ghrffb中，本发明将这些多个层级的高分辨率特征图直接融合后输出，ghrffb的结构如图5中右侧蓝色虚线框中所示。在ghrffb中执行的操作可以描述为：
[0119][0120]
其中，表示iudffn中第2个iuddb中输出给ghrffb模块的高分辨率特征图，h
ghrffb
表示ghrffb模块的输出。
[0121]
4.图像重构模块
[0122]
iudffn中的rec模块结构如图6所示，它借鉴了偏后置上采样模型设计思想，包含一个特征融合操作和两个串联的卷积操作。特征融合操作将输入到该模块的来自glrffb和ghrffb模块输出的高分辨率特征图进行特征融合。在网络最后使用两个卷积串联的方式能够有效地稳定网络模型生成的高分辨率图像的质量。该模块中的操作可以描述为：
[0123]
i
sr
＝conv2(conv1(concat(h
glrffb
,h
ghrffb
)))
ꢀꢀꢀ
(18)
[0124]
其中，conv1(
·
)和conv2(
·
)表示用两个串联的卷积分别进行的操作。i
sr
表示iudffn网络进行图像高分辨率放大重建过程后输出的高分辨率的图像，它与输入网络的低分辨率图像i
lr
相对应。
[0125]
从以上对iudffn网络模型的描述中，可以看出其主要有以下三个创新点：(1)网络模型设计思想先进，充分利用了网络中间层级生成的多个级别的图像高分辨率、低分辨率特征图，并创新性的选择在高分辨率空间将这些特征图进行融合，实现了模型的设计理念。(2)iudffn中的iuddb创新性的设计了新式的稠密连接和残差学习结构：新式稠密连接使得usb(dsb)模块输出的信息能够传递给它之后所有的dsb(usb)模块，不仅加强了特征复用，还提取到了新的图像特征；新式残差学习结构将iuddb中第一个dsb的输出连接到了最后一个dsb的输出，使得iuddb只需学习它们二者输出之间的残差即可，减少了计算量，加速了训练过程，提高了性能表现。(3)在iuddb中的usb中恰当地引入了先进的特征蒸馏结构设计，不仅可以减小网络规模，还可以提高网络重建性能。
[0126]
下面将通过实验数据来进一步对本发明进行说明：
[0127]
1.实验设置
[0128]
在iudffn模型中，卷积层中卷积操作后面都跟了一个leaky relu激活函数操作。iudffn只针对
×
3放大因子进行训练，usb和dsb中的卷积核大小设置为7
×
7，这样做的目的是为了增大上采样操作和下采样操作的感受野大小，以深度挖掘低分辨率特征图和高分辨率特征图之间隐含的联系。其它的卷积核大小设置为3
×
3。在本文网络规模研究部分，最终确定参数m＝3，m＝5，则iudffn中sf、df、glrffb、ghrffb、rec模块的输出通道数分别为：64、(320、80、64)、240、240、3。
[0129]
在训练网络时，本实施例选择使用l1损失函数。评估网络性能，本实施例使用在图像sr领域广泛使用的psnr(峰值信噪比)和ssim(结构相似度)指标进行量化评估，此外，还使用人眼视觉观察进行主观评估。网络模型利用pytorch框架实现，实验硬件的中央处理器cpu为i7 8700k，图像处理器gpu为nvidia的2070super，gpu显存为8gb，电脑内存为16gb。网络学习的回合数(epoch)设置为700，小批量数据(batch size)设置为16。使用adam
[54]
优化器对网络模型学习率进行优化，其中超参数β1＝0.9，β2＝0.999，学习率的初值设置为1
×
10
‑4，随着训练次数的增加，网络中的学习率自适应降低。
[0130]
2.训练集和测试集
[0131]
本网络模型使用div2k数据集作为训练集，该数据集包含了800张高清训练图像。在输入网络训练之前，本实施例先对这些高分辨率图像进行双三次(bi
‑
cubic)下采样，得到与之对应的低分辨率图像，低分辨率图像和高分辨率图像构成了网络训练集。低分辨率图像首先经过随机裁剪，裁剪为32
×
32大小的图像块，然后再经过随机旋转90
°
、180
°
、270
°
后输入到网络中进行训练。对于网络性能测试，本章使用了5个在图像图像超分辨率领域广泛使用的基准测试集，它们分别是set5、set14、bsd100、urban100、manga109。
[0132]
3.网络可靠性研究和规模选择
[0133]
(1)消融实验
[0134]
为了验证iudffn模型设计思想和结构安排的可靠性和稳定性，对于网络中的主要结构，本实施例采用控制变量法，进行了详细的消融实验。包括设计的原始网络在内，本实施例总共设计了7个对比网络。为了加速网络训练过程，本实施例调整了网络训练的超参数，将batch size设置为8，epoch数量设置为100。在放大因子为3，测试集为set5的条件下，记录了这7个网络在100个epoch内所取得的最好量化指标psnr结果，并将这些结果被记录在了表格1中。从表格中可以看出，包含所有网络结构设计的structure 7取得了最高的性能表现，这证明了iudffn网络设计思想先进，结构安排合理。其网络中的每个模块都是不可或缺的，每个模块的减少，都会带来网络性能的下降。
[0135]
表1不同结构网络模型量化评估结果比较(√表示模型中包含此结构，
×
表示模型中不包含此结构)
[0136][0137][0138]
(2)网络规模研究
[0139]
iudffn网络规模参数主要包括m(iuddb的数量)和m(每个iuddb中usb和dsb的数量)。在基于cnn(卷积神经网络)的各种应用中，随着网络深度和宽度的增加，即网络规模的增大，网络的性能往往会发生变化。在一定范围内，随着网络规模增大，网络的性能会不断提升，但是当网络规模超过了一定范围时，训练时会出现梯度消失，对训练集过拟合等问题，造成网络的性能下降。为了获得控制网络规模的两个参数m和m的较优解，进行多次实验。同样，为了加速实验进程，将网络中的超参数适当调小：将batch size设置为8，epoch设置为120，放大因子还是为3，测试集选定为set5。训练过程中的性能曲线被记录在了图7中。
图中图例m3m6的含义是：m的值为3，m的值为6，其它图例的含义依次类推。
[0140]
观察图中曲线，可以发现m3m5模型有着比较好的表现，它的性能在模型m2m4、m2m5、m3m4、m4m6、m4m5之上，虽然它的性能略微地低于m3m6，但是它的参数要比模型m3m6的少很多，且它的性能表现已经足够优异。为了平衡网络的参数量和性能，最终，本实施例将iudffn模型中的规模参数m设置为3，m设置为5。
[0141]
4.实验结果与分析
[0142]
(1)重建图像在客观指标上的比较
[0143]
本实施例选择了一些经典且前沿的超分辨率算法和网络模型进行客观指标比较，经典的超分辨率方法有bi
‑
cubic方法，已提出的先进的网络模型有srcnn、drcn、lapsrn、drrn、memnet、edsr、rdn和rcan等。对比的实验结果记录在如下表2中。
[0144]
表2所提出的网络iudffn与其它先进方法或网络结构的量化结果比较(最好的结果和次好的结果分别进行了加粗和加下划线展示)
[0145]
[0146][0147]
观察以上表格可以得出，除了manga109测试集外，在所有的测试集上，当放大因子为3，评价指标为psnr和ssim时，iudffn取得了较其它先进方法更好的客观性能表现，具体描述为：在评价指标为psnr时，iudffn在基准测试集set5、set14、bsd100、urban100上分别比先进模型rdn高出0.44db、0.54db、0.43db和0.56db,比先进模型rcan分别高出0.41db、0.46db、0.37db、0.27db。
[0148]
(2)重建图像视觉对比
[0149]
将iudffn模型与其它先进方法或者网络模型的重建效果进行视觉对比。图8、9、10分别展示了iudffn和各种先进方法在不同测试集图像上的重建效果对比图。其中，每张图像重建所用的方法和psnr量化指标评估值标注在图像下方。
[0150]
观察图8可以发现，真实高分辨率图像左侧向日葵内部是有颗粒感的，但是除了本发明中的iudffn模型重建出的图像有颗粒感外，其它方法重建出的图像颗粒感较弱。观察图9，虽然建筑物的局部结构及其复杂，但是iudffn模型重建出的图像与真实高分辨率图像结构一致，纹理接近。不仅如此，与其它方法相比，iudffn模型重建出的图像细节处内容更加丰富。图10展示了iudffn对漫画图像的重建效果，观察此图可以发现：在图像左上角人物头发处，其它所有先进方法重建出的图像与原图像相比，都受到了伪影影响，且较为严重，而本发明的iudffn模型重建出的图像只受到了较小的伪影影响，与真实高分辨率图像最为接近，视觉观感舒适，取得了最高的图像重建性能。
[0151]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0152]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。