图像重建方法、装置、电子设备和计算机可读介质与流程

1.本发明涉及图像处理技术领域，具体涉及一种图像重建方法、装置、电子设备和计算机可读介质。


背景技术：

2.图像的超分辨率重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。近年来，超分辨率图像重建已作为研究热点广泛应用于公共安全、医疗影像、图像压缩等领域。
3.当前基于学习的超分辨率技术是利用大量的训练数据，并从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程，需要提高超分辨率图像的重建质量。


技术实现要素：

4.为此，本发明提供一种图像重建方法、装置、电子设备和计算机可读介质，以解决现有技术中由于图像重建而引发的训练网络需要占据大量的内存空间和增加参数数量和计算量的问题。
5.为了实现上述目的，本发明第一方面提供一种图像重建方法，包括：
6.接收对预定图像进行下采样处理得到的低分辨率图像，所述预定图像的分辨率大于所述低分辨率图像的分辨率；
7.通过卷积操作对所述预定图像进行特征提取，得到浅层特征；
8.利用特征级联组模块对所述浅层特征进行多尺度特征提取，得到深层特征，对所述浅层特征与所述深层特征通过级联操作进行特征融合，得到融合后的特征；
9.对所述融合后的特征进行上采样，并对上采样得到的图像与所述低分辨率图像进行融合，得到重建的超分辨率图像，且所述超分辨率图像的分辨率大于所述预定图像的分辨率。
10.可选地，所述特征级联组模块包括n个嵌套块，n为大于或等于1的整数；所述利用特征级联组模块对所述浅层特征进行多尺度特征提取，得到深层特征，对所述浅层特征与所述深层特征通过级联操作进行特征融合，得到融合后的特征，包括：
11.使用第i个嵌套块对输入特征进行多尺度的特征提取，得到所述第i个嵌套块的输出特征；其中，i为大于或等于1且小于或等于n的整数，第1个嵌套块的输入特征为所述浅层特征；
12.将对所述浅层特征进行逐点卷积操作得到的特征与所述第i个嵌套块的输出特征进行特征融合，得到第i个嵌套块对应的全局融合特征；
13.将所述第i个嵌套块对应的全局融合特征的特征通道数转换为第i 1个嵌套块的输入特征通道数；
14.将所述第i个嵌套块对应的转换过通道数的全局融合特征作为第i 1个嵌套块的输入特征，直到得到第n个嵌套块对应的转换过通道数的特征，作为所述融合后的特征。
15.可选地，每个所述嵌套块中包括m个层次特征融合块，每个层次特征融合块中包括s个基本嵌套单元；其中，m、s分别为大于或等于1的整数；所述使用第i个嵌套块对输入特征进行多尺度的特征提取，得到所述第i个嵌套块的输出特征，包括：
16.对于所述第i个嵌套块的第j个层次特征融合块，使用第1个基本嵌套单元对输入特征进行多尺度的特征提取，将第1个基本嵌套单元的特征提取结果与第1个基本嵌套单元的输入特征进行特征合并，得到第1个基本嵌套单元对应的特征合并结果；其中，j为大于或等于1且小于或等于m的整数，第1个层次特征融合块的第1个基本嵌套单元的输入特征为所述浅层特征；
17.将第k-1个基本嵌套单元对应的特征合并结果的特征通道数转换为第k个基本嵌套单元的输入特征通道数，使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果；
18.对第k个基本嵌套单元的特征提取结果与第k-1个基本嵌套单元对应的特征合并结果进行特征合并，得到第k个基本嵌套单元对应的特征合并结果，将第k个基本嵌套单元对应的特征合并结果的特征通道数据转换为第k 1个基本嵌套单元的输入特征通道数，直到得到第s个基本嵌套单元对应的特征合并结果；
19.将第s个基本嵌套单元的特征合并结果的特征通道数转换为第j 1个层次特征融合块中的第一个基本嵌套单元的输入特征通道数，并将所述第s个基本嵌套单元的转换过通道数的合并结果输入第j 1个层次特征融合块中的第1个基本嵌套单元的输入特征，直到得到第m个层次特征融合块中的第s个基本嵌套单元的转换过通道数的特征合并结果，以作为所述第i个嵌套块的输出特征。
20.可选地，每个所述基本嵌套单元包括1个局部融合子单元和至少一个多尺度特征融合块；且同一基本嵌套单元中的多尺度特征融合块之间参数共享；
21.所述使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果，包括：
22.对第k-1个基本嵌套单元的转换过通道数的特征合并结果进行通道信息交互，得到第k-1个基本嵌套单元对应的交互过通道信息的特征信息；
23.将首个所述多尺度特征融合块作为当前多尺度特征融合块，通过当前多尺度特征融合块对第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取；
24.将当前多尺度特征融合块的特征提取结果输入下一个多尺度特征融合块，并将该下一个多尺度特征融合块作为当前多尺度特征融合块，直到得到最后一个多尺度特征融合块的特征提取结果；
25.将所述最后一个多尺度特征融合块的特征提取结果与第k个基本嵌套单元的转换过通道数的特征提取结果进行特征融合，得到所述第k个基本嵌套单元的特征提取结果。
26.可选地，每个所述多尺度特征融合块中包括尺寸不同的卷积核；所述通过当前多尺度特征融合块对第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取，包括：
27.在所述尺寸不同的卷积核中，使用至少两个尺寸不同的卷积核第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取，得到至少两个不同的特征提取结果；
28.对所述至少两个不同的特征提取结果进行特征融合，得到融合至少两种不同尺度的输出特征，进而得到所述当前多尺度特征融合块当前多尺度特征融合块的特征提取结果。
29.可选地，所述对所述融合后的特征进行上采样，并对上采样得到的图像与所述低分辨率图像进行融合，得到重建的超分辨率图像，包括：
30.通过预定尺寸的卷积层对所述融合后的特征进行特征提取；
31.将对所述融合后的特征的特征提取结果进行上采样；
32.将上采样结果与所述低分辨率图像进行融合，得到重建的所述超分辨率图像。
33.本发明第二方面提供一种图像重建装置，包括：
34.图像接收模块，用于接收对预定图像进行下采样处理得到的低分辨率图像，所述预定图像的分辨率大于所述低分辨率图像的分辨率；
35.浅层特征提取模块，用于通过卷积操作对所述预定图像进行特征提取，得到浅层特征；
36.深层特征提取和融合模块，用于利用特征级联组模块对所述浅层特征进行多尺度特征提取，得到深层特征，对所述浅层特征与所述深层特征通过级联操作进行特征融合，得到融合后的特征；
37.图像融合模块，用于对所述融合后的特征进行上采样，并对上采样得到的图像与所述低分辨率图像进行融合，得到重建的超分辨率图像，且所述超分辨率图像的分辨率大于所述预定图像的分辨率。
38.可选地，特征级联组模块包括n个嵌套块，n为大于或等于1的整数；所述深层特征提取和融合模块，包括：
39.多尺度特征提取单元，用于使用第i个嵌套块对输入特征进行多尺度的特征提取，得到所述第i个嵌套块的输出特征；其中，i为大于或等于1且小于或等于n的整数，第1个嵌套块的输入特征为所述浅层特征；
40.全局特征融合单元，用于将对所述浅层特征进行逐点卷积操作得到的特征与所述第i个嵌套块的输出特征进行特征融合，得到第i个嵌套块对应的全局融合特征；
41.特征通道转换单元，用于将所述第i个嵌套块对应的全局融合特征的特征通道数转换为第i 1个嵌套块的输入特征通道数；
42.所述多尺度特征提取单元，还用于将所述第i个嵌套块对应的转换过通道数的全局融合特征作为第i 1个嵌套块的输入特征，直到得到第n个嵌套块对应的转换过通道数的特征，作为所述融合后的特征。
43.本发明第三方面提供一种电子设备，包括：一个或多个处理器；
44.存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的图像重建方法；
45.一个或多个i/o接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。
46.本发明第四方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的图像重建方法。
47.本发明具有如下优点：可以使用多尺度特征融合块提取多样化特征信息，确保提取的特征信息更加多样化，为重建高质量图像提供丰富的细节信息，然后使用全局特征融合连接，提高浅层特征的利用率，减少图像信息的丢失，从而恢复出纹理清晰的较高质量的超分辨率图像。
附图说明
48.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
49.图1为本发明实施例提供的图像重建方法的流程图；
50.图2为本发明实施例提供的卷积神经网络的结构示意图；
51.图3为本发明实施例提供的层次特征融合块的结构示意图；
52.图4为本发明实施例提供的基本嵌套单元的结构示意图；
53.图5为本发明实施例提供的图像重建装置的组成框图；
54.图6为本发明实施例提供的电子设备的组成框图。
具体实施方式
55.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
56.如本发明所使用的，术语“和/或”包括一个或多个相关列举条目的任何和全部组合。
57.本发明所使用的术语仅用于描述特定实施例，且不意欲限制本发明。如本发明所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。
58.当本发明中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
59.本发明所述实施例可借助本发明的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
60.除非另外限定，否则本发明所用的全部术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本发明的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本发明明确如此限定。
61.在一些场景中，可以通过简单堆叠残差块提升对超分辨率图像重建的神经网络性能，但训练网络时需要占据大量的内存空间，参数数量和计算量也大幅增加，且忽略了在移动或嵌入式等资源受限设备中的潜在使用。
62.第一方面，本发明实施例提供一种图像重建方法。
63.图1为本发明实施例提供的一种图像重建方法的流程图。参照图1，本公开实施例提供一种图像重建方法，该图像重建方法包括如下步骤。
64.s110，接收对预定图像进行下采样处理得到的低分辨率图像，预定图像的分辨率大于低分辨率图像的分辨率。
65.s120，通过卷积操作对预定图像进行特征提取，得到浅层特征。
66.s130，利用特征级联组模块对浅层特征进行多尺度特征提取，得到深层特征，对浅层特征与深层特征通过级联操作进行特征融合，得到融合后的特征。
67.s140，对融合后的特征进行上采样，并对上采样得到的图像与低分辨率图像进行融合，得到重建的超分辨率图像，且超分辨率图像的分辨率大于预定图像的分辨率。
68.根据本技术实施例的图像重建方法，可以使用多尺度特征融合块提取多样化特征信息，确保提取的特征信息更加多样化，为重建高质量图像提供丰富的细节信息，然后使用全局特征融合连接，提高浅层特征的利用率，减少图像信息的丢失，从而恢复出纹理清晰细节丰富的超分辨率图像。
69.在一些实施例中，特征级联组模块包括n个嵌套块，n为大于或等于1的整数；上述步骤s130具体可以包括如下步骤。
70.s11，使用第i个嵌套块对输入特征进行多尺度的特征提取，得到第i个嵌套块的输出特征；其中，i为大于或等于1且小于或等于n的整数，第1个嵌套块的输入特征为浅层特征。
71.s12，将对浅层特征进行逐点卷积操作得到的特征与第i个嵌套块的输出特征进行特征融合，得到第i个嵌套块对应的全局融合特征。
72.s13，将第i个嵌套块对应的全局融合特征的特征通道数转换为第i 1个嵌套块的输入特征通道数。
73.s14，将第i个嵌套块对应的转换过通道数的全局融合特征作为第i 1个嵌套块的输入特征，直到得到第n个嵌套块对应的转换过通道数的特征，作为融合后的特征。
74.通过上述步骤s11-s14，在特征级联组模块中，使用嵌套块对输入特征进行多尺度的特征提取，并将浅层特征进行逐点卷积后融合到每个嵌套块的输出特征中。也就是说，在特征融合阶段使用逐点卷积先局部融合浅层特征，再与每个嵌套块的输出级联在一起，在使用多尺度特征融合提取特征，从而加深网络深度的同时，简化了级联操作，减少冗余信息，并通过逐点卷积将浅层特征融合到网络的每一个阶段，便于浅层特征和深层特征之间的融合，进而可以提高浅层特征的利用率，减少图像信息的丢失。
75.图2为本发明实施例提供的卷积神经网络的结构示意图。在图2中，该卷积神经网络包括空间信息特征提取块(spatial feature extractor block，sfeb)、特征级联组模块(fcg)和重建块(reconstruction block，rb)。
76.通过图2可知，在上述步骤s110中，可以通过下采样方法处理原图像得到低分辨率图像，并将原图像(分辨率高于低分辨率的图像)和低分辨率图像对作为输入数据，输入到本发明的卷积神经网络中。
77.在本发明实施例中，下采样可以使得得到的图像符合显示区域的大小，并可以生成对应图像的缩略图。下采样方法包括插值算法，例如双线性插值法或高阶插值法，例如三次样条插值或双三次插值(bicubic)。在另一些实施例中，下采样方法还可以是基于边缘的图像插值算法、基于区域的图像插值算法等，在具体应用场景中，可以根据实际需要选择下采样的具体算法，本发明实施例不做具体限定。
78.继续参考图2，在上述步骤s120中，可以通过预定尺寸卷积核对预定图像进行特征提取，得到预定图像的浅层特征。
79.在本发明实施例中，提取的浅层特征和输入的预定图像的距离较近，即可以包含更多预定图像中像素点的信息，也就是细节信息。有利于后续的深层特征提取。
80.示例性地，如图2中所示，可以将原图像通过学习得到的3*3卷积核提取浅层特征，以此来进一步提取深层特征。假定i
lr
和i
sr
分别是输入的低分辨率图像(low resolution，lr)图像。i
lr
首先输入到sfeb模块，取浅层特征f0；sfeb是一个简单的3
×
3尺寸的卷积层。在实际应用中，sfeb还可以是其他尺寸的卷积层，例如5
×
5、7
×
7、
……
、r
×
r等，r为大于1的整数。本发明对该卷积层的尺寸不做具体限定。
81.继续参考图2，在上述步骤s130中，将浅层特征f0输入到非线性模块fcg中以提取深层次特征。fcg中包括n个嵌套块(nested unit，nu)和n个全局特征融合连接(global feature fusion connection，gffc)，n为大于或等于1的整数。在本发明实施例中，m个层次特征融合块(hierarchical feature fusion block，hffb)以递归的方式组成一个嵌套块(nu)，图2中的n个nu和m个hffb采用模块嵌套模块的链接方式，这样既能增加网络深度，也有利于提取更加丰富的深层特征。
82.在一些实施例中，一个hffb主要可以包含s个基本嵌套单元(basic nested cell，bnc)，每个bnc主要包含t个多尺度特征融合块(multi-scale feature fusion block，msffb)，同一bnc内的三个msffb之间参数共享。
83.在本发明实施例中，上述n、m、s和t均为大于或等于1的整数。本领域技术人员都理解到，可以使用各种实现方式来完成fcg的构建。例如，根据实际需要确定卷积神经网络中nu、hffb、bnc和msffb的数量，即n、m、s和t可以具有多种取值实现方式。为了简化描述起见，本文下述的多个实施例以n、m、s和t均以取值为3为例来阐述本发明中fcg的构建和工作原理。但该描述并不能被解读为限制本方案的范围或实施可能性，n、m、s和t取值为3以外的其他数值的处理方法与取值为3的处理方法保持一致。
84.继续参考图2，在图2中，三个层次特征融合块(hffb)以递归的方式组成一个嵌套块(nu)，嵌套块的处理过程可以表示为下述表达式(1)：
[0085][0086]
在上述表达式(1)中，其中，和(i＝1；2；3)分别表示第i个嵌套块的输入和输出，g
nu
(
·
)和(
·
)分别表示嵌套块和层次特征融合块。(j＝1；2；3)表示第i嵌套块中的第j个层次特征融合块，和表示相应的输入和输出。
[0087]
在本发明实施例中，可以将第一个嵌套块nu的输入初始化为提取得到的浅层特征f0。然后，通过级联操作将嵌套块nu和全局特征融合连接gffc的输出融合在一起形成一个新的输入传递给下一个嵌套块。
[0088]
在一些实施例中，将新的输入传递给下一个嵌套块的处理可以表示为下面的表达
式(2)。
[0089][0090]
在上述表达式(2)中，[f
gc
]表示将嵌套块和全局特征融合连接的输出级联在一起。f1×1(
·
)和w2分别表示1
×
1的卷积和相应的权重，将新的输入传递给下一个嵌套块的处理，所起到的作用是：将级联操作后的特征通道数目压缩到和嵌套块的输入通道数一样，以便于后续计算的准确执行。
[0091]
参考图2所示，在一些实施例中，最终的深层特征可以表示为：
[0092]
其中，f
df
表示嵌套块的数量为3的情况下，特征级联组模块最终输出：对浅层特征与深层特征通过级联操作进行特征融合得到的融合后的特征。在一些实施例中，可以将该融合后的特征作为最终输出的深层特征。
[0093]
在本发明实施例中，每个嵌套块中包括m个层次特征融合块(hffb)。图3为本发明实施例提供的层次特征融合块的结构示意图；每个层次特征融合块(hffb)中包括s个基本嵌套单元(bnc)；其中，m、s分别为大于或等于1的整数。
[0094]
在一些实施例中，上述步骤s11具体可以包括如下子步骤。
[0095]
s21，对于第i个嵌套块的第j个层次特征融合块，使用第1个基本嵌套单元对输入特征进行多尺度的特征提取，将第1个基本嵌套单元的特征提取结果与第1个基本嵌套单元的输入特征进行特征合并，得到第1个基本嵌套单元对应的特征合并结果；其中，j为大于或等于1且小于或等于m的整数，第1个层次特征融合块的第1个基本嵌套单元的输入特征为浅层特征。
[0096]
s22，将第k-1个基本嵌套单元对应的特征合并结果的特征通道数转换为第k个基本嵌套单元的输入特征通道数，使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果。
[0097]
s23，对第k个基本嵌套单元的特征提取结果与第k-1个基本嵌套单元对应的特征合并结果进行特征合并，得到第k个基本嵌套单元对应的特征合并结果，将第k个基本嵌套单元对应的特征合并结果的特征通道数据转换为第k 1个基本嵌套单元的输入特征通道数，直到得到第s个基本嵌套单元对应的特征合并结果。
[0098]
s24，将第s个基本嵌套单元的特征合并结果的特征通道数转换为第j 1个层次特征融合块中的第一个基本嵌套单元的输入特征通道数，并将第s个基本嵌套单元的转换过通道数的合并结果输入第j 1个层次特征融合块中的第1个基本嵌套单元的输入特征，直到得到第m个层次特征融合块中的第s个基本嵌套单元的转换过通道数的特征合并结果，以作为第i个嵌套块的输出特征。
[0099]
通过上述步骤s21-s24，层次特征融合块可以将局部与全局特征相融合，从而有效提高特征使用率，减少图像信息的丢失。
[0100]
图3为本发明实施例提供的层次特征融合块的结构示意图。参照图3，每个hffb可以包括三个不同层次的基本嵌套单元(bnc)和压缩单元(尺寸为1
×
1的卷积核)。每个hffb的处理过程可以包括如下流程。
[0101]
首先，将第一个基本嵌套单元的输出与输入进行合并；其次，通过一个压缩单元将特征通道数压缩到与基本嵌套单元的输入一样；接着，将压缩的结果输入第二个基本嵌套单元中，它的输出与之前合并后的结果再次合并在一起，经过压缩单元后的输出作为第三个基本嵌套单元的输入；最后，将第三个基本嵌套单元的输出与之前第二个合并后的结果再次合并在一起。
[0102]
上述处理流程可以表示为下面的表达式(3)：
[0103][0104]
在上述表达式(3)中，(
·
)(k＝1；2；3)表示第i个嵌套块中的第j个层次特征融合块中的第k个基本嵌套单元(bnc)。具体来说，和表示第一个基本嵌套单元的输入，表示第k个基本嵌套单元的输出。表示多层特征融合的结果，表示局部与全局特征的合并。压缩单元f1×1(
·
)和w3分别表示一个1
×
1卷积和相应的权重。此外，层次特征融合块的最终输出就可表示为
[0105]
在一些实施例中，每个基本嵌套单元包括1个局部融合子单元和至少一个多尺度特征融合块；且同一基本嵌套单元中的多尺度特征融合块之间参数共享。
[0106]
上述步骤s22中的使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果的步骤，具体可以包括如下步骤。
[0107]
s31，对第k-1个基本嵌套单元的转换过通道数的特征合并结果进行通道信息交互，得到第k-1个基本嵌套单元对应的交互过通道信息的特征信息。
[0108]
s32，将首个多尺度特征融合块作为当前多尺度特征融合块，通过当前多尺度特征融合块对第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取。
[0109]
s33，将当前多尺度特征融合块的特征提取结果输入下一个多尺度特征融合块，并将该下一个多尺度特征融合块作为当前多尺度特征融合块，直到得到最后一个多尺度特征融合块的特征提取结果。
[0110]
s34，将最后一个多尺度特征融合块的特征提取结果与第k个基本嵌套单元的转换过通道数的特征提取结果进行特征融合，得到第k个基本嵌套单元的特征提取结果。
[0111]
通过上述步骤s31-s34，对通过msffb提取的多尺度特征和前一局部残差连接的输出特征(前一个基本嵌套单元(bnc)对应的交互过通道信息的特征信息)，通过逐点相加操作(符号
⊕
表示逐点相加)实现多样化特征融合，有助于增强特征表达能力，提供丰富的细节信息。
[0112]
在本发明实施例中，递归是指运行的过程中调用自己的一种处理方式。本发明实施例中使用递归方式组织多尺度特征融合块，且同一基本嵌套单元中的多尺度特征融合块之间参数共享，可以减少参数量，在增加网络深度的同时不增加网络参数量，从而简化级联操作减少了特征信息的冗余。
(
·
)分别表示三个不同感受野大小的卷积核，w5、w6和w7表示相应的权重，s3和s5表示提取到的不同尺度的特征。此外，m
n-1
和mn(n＝1；2；3)表示第n个共享多尺度特征融合块的输入和输出。
[0128]
示例性地，三个共享多尺度特征融合块的最终输出m3可表示为下面的表达式(6)：
[0129]
m0＝h
lfu
[0130]
m3＝g
msffb
(g
msffb
(g
msffb
(m0)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0131]
在上述表达式(6)中，m0表示第一个多尺度特征融合块的输入，其可以初始化为上一个基本嵌套单元对应的交互过通道信息的特征信息，即上述表达式(4)中的h
lfu
。
[0132]
在一些实施例中，在上述步骤s130，对浅层特征与深层特征通过级联操作进行特征融合，得到融合后的特征的步骤，可以表述为下面的表达式(7)：
[0133]fgc
＝f1×1(f0,w1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0134]
在上述表达式其中，f0表示浅层特征，f1×1(
·
)和w1分别表示逐点卷积和相应权重，f
gc
最后融合到网络的每一阶段。
[0135]
在本发明实施例中，全局特征融合连接(gffc)连接将浅层特征融合到网络的每一个阶段，不同于普通的全局特征融合，本公开实施例中对浅层特征执行逐点卷积(尺寸为1
×
1的卷积)，输出特征级联到fcg模块内3个嵌套单元模块的输出特征之中，便于进行浅层特征和深层特征之间的融合。
[0136]
在一些实施例中，步骤s110中，对融合后的特征进行上采样，并对上采样得到的图像与低分辨率图像进行融合，得到重建的超分辨率图像的步骤，具体可以包括：s51，通过预定尺寸的卷积层对融合后的特征进行特征提取；s52，将对融合后的特征的特征提取结果进行上采样；s53，将上采样结果与低分辨率图像进行融合，得到重建的超分辨率图像。
[0137]
继续参照图2，通过3
×
3的卷积层对融合后的特征进行特征提取，然后对该特征提取结果进行上采样，并将上采样结果与预定图像通过逐点相加操作实现特征融合，得到重建的超分辨率图像。
[0138]
应理解，用于对融合后的特征进行特征提取的卷积层所包含卷积核的数量和尺寸可以根据需要进行设置，本发明实施例不做具体限定。
[0139]
通过本发明实施例的图像重建方法，多尺度特征融合块通过并联的不同感受野的卷积核提取多样化特征，并且使用递归方式组织多尺度特征融合块，即多尺度特征融合块共享参数并实现递归处理，在增加网络深度的同时不增加网络参数量；并且，全局特征融合连接模块使用逐点卷积将浅层特征融合到网络的每一个阶段，便于浅层特征和深层特征之间的融合。
[0140]
本发明实施例的整个图像重建过程可以加深网络深度的同时，简化级联操作，通过级联操作减少特征信息的冗余，在减少参数方面使用了多次递归的方法，考虑到浅层特征包含大量低频信息，使用逐点卷积融合局部的浅层特征，然后与嵌套块的输出级联在一起来充分利用这些低频信息，恢复出纹理清晰的超分辨率图像。
[0141]
本发明实施例的图像重建方法可以应用与卷积神经网络模型，卷积神经网络模型的结构如上述结合图1至图4中的描述，本发明实施例不在赘述。根据本发明实施例的卷积神经网络模块，可以使用多尺度特征融合和全局特征融连接，重建出细节丰富的高质量图像。并且，由于本发明实施例的图像重建方法对级联操作的简化和同一bnc内的msffb之间
的参数共享，可以实现参数量的减少，从而减少对内存空间的占用，因此，执行该方法的卷积神经网络可以在移动或嵌入式等资源受限设备中使用。该卷积神经网络是一种在参数量和性能之间取得较好平衡的、细节丰富的轻量级嵌套残差超分辨率网络，能够更好的适合于资源受限的移动等设备上。
[0142]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0143]
第二方面，本发明实施例提供一种图像重建装置。
[0144]
图5为本发明实施例提供的一种图像重建装置的组成框图。参照图5，本公开实施例提供了一种图像重建装置500，该图像重建装置500包括如下模块。
[0145]
图像接收模块510，用于接收对预定图像进行下采样处理得到的低分辨率图像，预定图像的分辨率大于低分辨率图像的分辨率。
[0146]
浅层特征提取模块520，用于通过卷积操作对预定图像进行特征提取，得到浅层特征。
[0147]
深层特征提取和融合模块530，用于利用特征级联组模块对浅层特征进行多尺度特征提取，得到深层特征，对浅层特征与深层特征通过级联操作进行特征融合，得到融合后的特征。
[0148]
图像融合模块540，用于对融合后的特征进行上采样，并对上采样得到的图像与低分辨率图像进行融合，得到重建的超分辨率图像，且超分辨率图像的分辨率大于预定图像的分辨率。
[0149]
在一些实施例中，特征级联组模块包括n个嵌套块，n为大于或等于1的整数；深层特征提取和融合模块530，包括：
[0150]
多尺度特征提取单元，用于使用第i个嵌套块对输入特征进行多尺度的特征提取，得到第i个嵌套块的输出特征；其中，i为大于或等于1且小于或等于n的整数，第1个嵌套块的输入特征为浅层特征；
[0151]
第一特征融合单元，用于将对浅层特征进行逐点卷积操作得到的特征与第i个嵌套块的输出特征进行特征融合，得到第i个嵌套块对应的全局融合特征；
[0152]
第一通道数转换单元，用于将第i个嵌套块对应的全局融合特征的特征通道数转换为第i 1个嵌套块的输入特征通道数；
[0153]
多尺度特征提取单元单元，还用于将第i个嵌套块对应的转换过通道数的全局融合特征作为第i 1个嵌套块的输入特征，直到得到第n个嵌套块对应的转换过通道数的特征，作为融合后的特征。
[0154]
在一些实施例中，每个嵌套块中包括m个层次特征融合块，每个层次特征融合块中包括s个基本嵌套单元；其中，m、s分别为大于或等于1的整数；多尺度特征提取单元，包括：
[0155]
层次特征融合块处理单元，用于对于第i个嵌套块的第j个层次特征融合块，使用第1个基本嵌套单元对输入特征进行多尺度的特征提取，将第1个基本嵌套单元的特征提取结果与第1个基本嵌套单元的输入特征进行特征合并，得到第1个基本嵌套单元对应的特征合并结果；其中，j为大于或等于1且小于或等于m的整数，第1个层次特征融合块的第1个基
本嵌套单元的输入特征为浅层特征；
[0156]
第二通道数转换单元，用于将第k-1个基本嵌套单元对应的特征合并结果的特征通道数转换为第k个基本嵌套单元的输入特征通道数；
[0157]
层次特征融合块处理单元，还用于使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果；
[0158]
特征合并单元，用于对第k个基本嵌套单元的特征提取结果与第k-1个基本嵌套单元对应的特征合并结果进行特征合并，得到第k个基本嵌套单元对应的特征合并结果，将第k个基本嵌套单元对应的特征合并结果的特征通道数据转换为第k 1个基本嵌套单元的输入特征通道数，直到得到第s个基本嵌套单元对应的特征合并结果；
[0159]
第三通道数转换单元，用于将第s个基本嵌套单元的特征合并结果的特征通道数转换为第j 1个层次特征融合块中的第一个基本嵌套单元的输入特征通道数；
[0160]
层次特征融合块处理单元，还用于将第s个基本嵌套单元的转换过通道数的合并结果输入第j 1个层次特征融合块中的第1个基本嵌套单元的输入特征，直到得到第m个层次特征融合块中的第s个基本嵌套单元的转换过通道数的特征合并结果，以作为第i个嵌套块的输出特征。
[0161]
在一些实施例中，每个基本嵌套单元包括1个局部融合子单元和至少一个多尺度特征融合块；且同一基本嵌套单元中的多尺度特征融合块之间参数共享；层次特征融合块处理单元，在用于使用第k个基本嵌套单元，对第k-1个基本嵌套单元对应的转换过通道数的特征合并结果进行多尺度的特征提取，得到第k个基本嵌套单元的特征提取结果时，包括：
[0162]
交互单元，用于对第k-1个基本嵌套单元的转换过通道数的特征合并结果进行通道信息交互，得到第k-1个基本嵌套单元对应的交互过通道信息的特征信息；
[0163]
多尺度特征融合块处理单元，用于将首个多尺度特征融合块作为当前多尺度特征融合块，通过当前多尺度特征融合块对第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取；
[0164]
多尺度特征融合块处理单元，还用于将当前多尺度特征融合块的特征提取结果输入下一个多尺度特征融合块，并将该下一个多尺度特征融合块作为当前多尺度特征融合块，直到得到最后一个多尺度特征融合块的特征提取结果；
[0165]
第二特征融合单元，用于将最后一个多尺度特征融合块的特征提取结果与第k个基本嵌套单元的转换过通道数的特征提取结果进行特征融合，得到第k个基本嵌套单元的特征提取结果。
[0166]
在一些实施例中，每个多尺度特征融合块中包括尺寸不同的卷积核；多尺度特征融合块处理单元，在用于通过当前多尺度特征融合块对第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取时，包括：
[0167]
卷积层处理单元，用于在尺寸不同的卷积核中，使用至少两个尺寸不同的卷积核第k-1个基本嵌套单元对应的交互过通道信息的特征信息进行特征提取，得到至少两个不同的特征提取结果；
[0168]
第三特征融合单元，用于对至少两个不同的特征提取结果进行特征融合，得到融
合至少两种不同尺度的输出特征，进而得到当前多尺度特征融合块当前多尺度特征融合块的特征提取结果。
[0169]
在一些实施例中，图像融合模块140，包括：融合特征提取单元，用于通过预定尺寸的卷积层对融合后的特征进行特征提取；上采样处理单元，用于将对融合后的特征的特征提取结果进行上采样；重建模块，用于将上采样结果与低分辨率图像进行融合，得到重建的超分辨率图像。
[0170]
需要明确的是，本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0171]
图6为本发明实施例提供的电子设备的组成框图；参照图6，本发明实施例提供一种电子设备，其包括：
[0172]
一个或多个处理器601；
[0173]
存储器602，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的图像重建方法；
[0174]
一个或多个i/o接口603，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。
[0175]
其中，处理器601为具有数据处理能力的器件，其包括但不限于中央处理器(cpu)等；存储器602为具有数据存储能力的器件，其包括但不限于随机存取存储器(ram，更具体如sdram、ddr等)、只读存储器(rom)、带电可擦可编程只读存储器(eeprom)、闪存(flash)；i/o接口(读写接口)603连接在处理器601与存储器602间，能实现处理器601与存储器602的信息交互，其包括但不限于数据总线(bus)等。
[0176]
在一些实施例中，处理器601、存储器602和i/o接口603通过总线相互连接，进而与计算设备的其它组件连接。
[0177]
本实施例还提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本实施例提供的图像重建方法，为避免重复描述，在此不再赘述图像重建方法的具体步骤。
[0178]
本领域普通技术人员可以理解，上文中所发明方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其它存储器技术、cd-rom、数字多功能盘(dvd)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读
指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
[0179]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0180]
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本实施例的范围之内并且形成不同的实施例。
[0181]
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。