一种基于图表示学习的图像超分辨率重建装置及方法

1.本发明涉及人工智能技术领域，具体而言，涉及一种基于图表示学习的图像超分辨率重建装置及方法。


背景技术：

2.图像超分辨率重建技术旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下等问题。目前常见的超分辨率重建方法有三类：基于插值、基于重建和基于学习的方法。基于学习的方法在效率与重建质量上明显优于其他两类方法，获得了学术界和工业界的广泛关注。
3.现有的基于深度学习的图像超分辨率重建方法主要集中于更广泛或更深层次的架构设计上，忽略了图像本身的细节信息以及特征之间的潜在关系。近年来，一些研究人员开始用图表示学习探索图像超分辨率重建问题。但是，近年来运用图表示学习处理超分辨率重建问题局限于对整个图像进行信息处理或者是同一层不同特征图像之间的关系处理，忽略了不同层提取特征之间的相互依赖关系，并且传统的卷积神经网络模型中，没有同时兼顾通道维度信息和空间尺度信息，不利于提取更深层次的图像特征。
4.基于此，提出了层特征图注意力模块用来捕捉不同层特征之间的相互依赖关系，同时在模型中嵌入了空间聚合模块与通道注意力残差模块，使模型在考虑到不同层提取特征之间相互依赖关系的基础上还兼顾到了通道维度信息与空间尺度信息，从而提高了模型的表达能力，使得重建出的高分辨率图像具有更好的图像细节。


技术实现要素：

5.本发明的目的在于提供一种基于图表示学习的图像超分辨率重建装置及方法，用以实现提高图像超分辨率重建质量的技术效果。
6.一种基于图表示学习的图像超分辨率重建装置，包括：
7.s1.输入模块，准备数据集，根据图像退化模型建立训练集，得到m个低分辨率图像和m个高分辨率图像，其中m个高分辨率图像对应真实高分辨率图像；m为大于1的整数；
8.s2.浅层特征提取模块(100)，将所述低分辨率图像输入到浅层特征提取模块提取图像的浅层特征；
9.s3.深层特征提取模块(200)，将浅层特征输入到深层特征提取模块提取深层特征；
10.s4.重建模块(300)，将所述深层特征输入重建模块，进行亚像素卷积完成上采样处理并重建出高分辨率图像；
11.s5.装置优化模块，通过损失函数对所述图像超分辨率重建装置进行优化，使用所述s1中的数据集，计算m个重建出的高分辨率图像与对应的真实高分辨率图像间的平均l1误差，表达式为：
[0012][0013]
式中，l(θ)表示损失函数，h
fsgcn
表示所述图像超分辨率重建装置的功能函数；
[0014]
s6.输出模块，根据s5训练得到的最优模型，输入低分辨率图像后，系统输出最终的高分辨率图像。
[0015]
进一步，所述深层特征提取模块包括若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块以及一个特征融合模块，所述s3包括：
[0016]
s31.通过若干个串联的通道注意力残差块(211)组成的残差组(210)对所述浅层特征进行提取，得到不同深度的特征；
[0017]
s32.通过所述层特征图注意力模块(220)学习不同层特征之间的相互关系；
[0018]
s33.通过所述空间注意力模块(230)使得感兴趣的区域更显著；
[0019]
s34.通过特征融合模块将所述浅层特征和所述融合特征进行相加，得到对应的深层特征。
[0020]
所述层特征图注意力模块包括特征组合模块、计算特征关系构图以及特征更新模块，
[0021]
所述s32包括：
[0022]
通过所述s31得到的不同深度的特征进行组合；
[0023]
通过特征关系计算不同特征之间的关系，通过设定阈值来构建残差特征之间的图结构，再经过图注意力更新特征。
[0024]
所述空间注意力模块包括特征降维模块、特征处理模块、特征更新模块，所述33包括：
[0025]
通过所述s31得到的不同深度的特征进行降维处理；
[0026]
通过特征处理提取特征信息，然后进行特征升维处理；
[0027]
通过特征更新模块，计算不同特征的注意力系数，赋予特征新的表示。
[0028]
所述特征更新模块包括计算注意力系数与加权求和(240)；所述特征更新模块的步骤包括：
[0029]
通过所述计算特征关系构图得出图结构以及各个节点之间边的系数；
[0030]
通过softmax对各个节点之间边的系数做注意力系数归一化；
[0031]
通过计算好的注意力系数，把特征加权求和，完成对特征的更新，用concat层拼接后，与s31得到的特征、s33得到的特征和浅层特征相加，最后经过一个1
×
1的卷积层进行降维。
[0032]
一种基于图表示学习的图像超分辨率重建方法，包括：浅层特征提取模块、深层特征提取模块和重建模块；
[0033]
所述浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；
[0034]
所述深层特征提取模块包括由若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块和一个特征融合模块；所述残差组从所述浅层特征中提取不同深度的特征，然后对所述特征进行融合，得到对应的融合特征；所述层特征图注意力模块通过获取每一块残差组的特征用来构图，计算得到不同块特征之间的相关性；所述空间注意力模块是对前面若干个残差组提取特征的空间聚合，使图像感兴趣的区域更受
关注；通过特征融合模块将所述浅层特征与残差组特征、层特征图注意力模块特征、空间注意力模块特征融合相加得到对应的深层特征；
[0035]
所述重建模块用于将所述深层特征进行上采样和特征重构输出最终的高分辨率图像；
[0036]
所述基于图表示学习的图像超分辨率重建方法包括若干个所述残差组，每个所述残差组包括若干个通道注意力残差块，所述通道注意力残差块输出通道为64个特征图；且各个所述通道注意力残差块串联设置；所述残差组中各个通道注意力残差块的输出为下一个通道注意力残差块的输入；所述通道注意力残差块包括两个3
×
3的卷积层、一个计算层、一个全局池化层和一个sigmoid层，旨在为对应的特征图获取注意力权重；所述卷积层是为了提取特征；所述计算层将各个通道的输出进行累加；然后通过所述全局池化层，与所述sigmoid层进行相乘，得到对应的特征；最终输入到下一个通道注意力残差块进行特征提取。
[0037]
所述基于图表示学习的图像超分辨率重建方法包括层特征图注意力模块；所述层特征图注意力模块的输入为若干个不同残差组提取的特征；不同组提取的特征作为输入经过图注意力为不同组提取的特征分配一个权重并与之相乘，最终输出一个多维向量与模型尾部的输出进行特征融合。
[0038]
所述基于图表示学习的图像超分辨率重建方法包括空间注意力模块；所述空间注意力模块的输入为若干个不同残差组提取的特征，经过一个1
×
1的卷积层进行降维处理，然后经过卷积和池化操作对其下采样，然后经过一个残差组的学习再进行上采样，然后经过1
×
1的卷积层进行升维处理，最后经过sigmoid计算权重与其相乘，输出与权力要求3的输出进行特征融合。
[0039]
本发明第一方面，本发明提供了一种基于图表示学习的图像超分辨率重建装置，包括：输入模块，准备数据集，根据图像退化模型建立训练集，得到m个低分辨率图像和m个高分辨率图像，其中m个高分辨率图像对应真实高分辨率图像，m为大于1的整数；浅层特征提取模块，将低分辨率图像输入到浅层特征提取模块提取图像的浅层特征；深层特征提取模块，将浅层特征输入到深层特征提取模块提取深层特征；重建模块，将深层特征输入重建模块，进行亚像素卷积完成上采样处理并重建出高分辨率图像；装置优化模块，通过损失函数对图像超分辨率重建装置进行优化，使用s1中的数据集，计算m个重建出的高分辨率图像与对应的真实高分辨率图像间的平均l1误差，表达式为：
[0040][0041]
式中，l(θ)表示损失函数，h
fsgcn
表示图像超分辨率重建装置的功能函数；输出模块，根据s5训练得到的最优模型，输入低分辨率图像后，系统输出最终的高分辨率图像。
[0042]
第二方面，本发明提供了一种基于图表示学习的图像超分辨率重建方法，应用于上述的图像超分辨率重建装置，包括：浅层特征提取模块、深层特征提取模块和重建模块；浅层特征提取模块用于从输入的低分辨率图像中提取浅层特征；深层特征提取模块包括由若干个通道注意力残差块组成的残差组、一个层特征图注意力模块、一个空间注意力模块和一个特征融合模块；残差组从浅层特征中提取不同深度的特征，然后对特征进行融合，得到对应的融合特征；层特征图注意力模块通过获取每一块残差组的特征用来构图，计算得
到不同块特征之间的相关性；空间注意力模块是对前面若干个残差组提取特征的空间聚合，使图像感兴趣的区域更受关注；通过特征融合模块将浅层特征与残差组特征、层特征图注意力模块特征、空间注意力模块特征融合相加得到对应的深层特征；重建模块用于将深层特征进行上采样和特征重构，输出最终的高分辨率图像。
[0043]
本发明能够实现有益的效果：本发明将图表示学习与通道空间注意力结合起来，该网络利用自注意机制自适应地学习不同深度、通道和位置之间的全局依赖关系；具体来说，层特征注意力模块捕获了层与层之间的长距离依赖关系；同时，通道空间注意力模块将通道和上下文信息整合到每层中；将这两个注意模块协同应用于多层次特征，然后可以捕获更多信息丰富的特征，从而提高网络对特征的辨析学习能力，进而提高了通道注意力残差组图像超分辨率重建质量。
附图说明
[0044]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0045]
图1为本发明实施例提供的一种图像超分辨率重建装置的结构示意图；
[0046]
图2为本发明实施例提供的一种通道注意力残差组的结构示意图；
[0047]
图3为本发明实施例提供的一种通道注意力残差块的结构示意图；
[0048]
图4为本发明实施例提供的一种层特征图注意力模块的结构示意图；
[0049]
图5为本发明实施例提供的一种空间注意力模块的结构示意图；
[0050]
图6为本发明实施例提供的一种图像超分辨率重建方法的流程示意图。
[0051]
图标：10-图像超分辨率重建装置；100-浅层特征提取模块；200-深层特征提取模块；210-通道注意力残差组；211-通道注意力残差块；220-层特征图注意力模块；230-空间注意力模块；240-特征融合模块；300-重建模块。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实例中的技术方案进行描述。
[0053]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0054]
请参看图1，图1为本发明实施例提供的一种图像超分辨率重建装置的结构示意图。
[0055]
随着深度学习的发展，图像超分辨率重建(sr)取得了比较好的发展，但是，近年来运用图表示学习处理超分辨率重建问题局限于对整个图像进行信息处理或者是同一层不同特征图像之间的关系处理，忽略了不同层提取特征之间的相互依赖关系，并且传统的卷积神经网络模型中，没有同时兼顾通道维度信息和空间尺度信息，不利于提取更深层次的图像特征。所以图像重建时细节特征处理结果还有待提高，因此本发明实施例提供了一种基于图表示学习的图像超分辨率重建方法，以解决上述问题。
[0056]
在一种实施方式中，本发明实例提供的图像超分辨率重建装置包括浅层特征提取模块、深层特征提取模块和重建模块；
[0057]
浅层特征提取模块用于从输入的低分辨率图像i
lr
中提取浅层特征f0：
[0058]
f0＝conv(i
lr
)
[0059]
深层特征提取模块包括由若干个通道注意力残差块组成的残差组其中：
[0060][0061]
第一个残差组的第一个残差块的输入是浅层特征f0，
[0062][0063]
残差组是由m个残差块组成，并且每一个残差块的输出为下一个残差块的输入；
[0064]
一个层特征图注意力模块：
[0065]ff_gat
＝h
f_gat
(concatenate(f1,f2,...,fn))
[0066]
其中：
[0067][0068]ff_gat
表示h
f_gat
从所有的残差组的输出特征中学习它们之间的关系，使有着高贡献的特征层被加强，低贡献的被抑制；
[0069]
一个空间注意力模块：
[0070][0071]fs_agg
为被通道空间注意力模块筛选后的特征。
[0072]
一个特征融合模块，通过特征融合模块将浅层特征与残差组特征、层特征图注意力特征、空间注意力模块特征融合相加得到对应的深层特征：f0 f
l_gat
f
s_agg
[0073]
重建模块用于根据深层特征进行上采样和特征重构，输出最终的高分辨率图像：
[0074]isr
＝u
↑
(f0 f
l_gat
f
s_agg
)
[0075]u↑
表示亚像素卷积操作，i
sr
表示sr重建的结果。
[0076]
如图1所示，在上述实现过程中，通道注意力残差组可以设为n个(n大于2的整数)；浅层特征提取模块包括一个n
×
n卷积层，其中n为大于1的奇数；各个通道注意力残差组串行连接，提取不同深度的特征；特征融合模块将浅层特征与融合后的深层特征相加，确保网络专注于学习高频的残差特征；重建模块包括一个亚像素卷积层和一个1
×
1卷积层，用于将多尺度残差模块所输出的深层特征进行上采样和特征重构，输出最终的高分辨率图像。
[0077]
请参看图2和图3，图2为本发明实施例提供的一种通道注意力残差组的结构示意图；
[0078]
图3为本发明实施例提供的一种通道注意力残差块的结构示意图；
[0079]
在一种实施方式中，一个通道注意力残差组包括m个通道注意力残差块，不同残差块之间串行连接且首尾残差连接；上一个通道注意力残差组学习到的特征传入到下一个通道注意力残差组；一个残差块中包含“卷积层-relu层-卷积层”与通道注意力模块，首尾残差连接；上一个通道注意力残差块学习到的特征传入到下一个通道注意力残差块。
[0080]
请参看图4，图4为本发明实施例提供的一种层特征图注意力模块的结构示意图；
[0081]
在一种实施方式中，n个通道注意力残差组学习到的特征被汇总为n个一维向量；每个向量分别与其他包括自身的n个向量相乘计算相关性，得到一个n
×
n的二维矩阵，然后每一行减去每一行的平均值，小于0的标注为0，然后根据每个节点与其他节点包括自身在内的n个节点，计算与不同节点之间的注意力系数，然后对注意力系数进行归一化，最后对该节点进行更新；此步骤是该节点充分融合了与它相关的n个节点的信息，使得该节点表达能力更强。
[0082]
在上述实现过程中，模块的输入是提取的中间特征组，维数为n
×h×w×
c。然后将特征组重构成具有n
×
hwc维数的二维矩阵。应用矩阵乘法与相应的转置计算在不同层之间的关系权重w，得到关系矩阵m，其中mi是m矩阵的第i行；m的平均值是不同节点重要性的平均值节点，这里选择不同节点的重要性平均值作为阈值，表示为ti，权重w
i,j
表示为第i个节点与第j个节点最终的权重值w
i,j
＝softmax(relu(m
i,j-ti))，i,j＝1,2,...,n，最后，重塑的特征组fgs与预测相关矩阵相乘层特征图注意力模块允许网络的关注信息集中在中间特征，进一步提升了网络的表达能力。
[0083]
请参看图5，图5为本发明实施例提供的一种空间注意力模块的结构示意图。
[0084]
如图5所示，在一种实施方式中，n个通道注意力残差组学习到的特征被汇总作为空间注意力模块的输入；经过1
×
1卷积(1
×
1conv)对数据进行降维，随后经过卷积与池化上采样，结果与降维后的结果相加，再经过1
×
1卷积(1
×
1conv)对数据进行升维，计算权重；迫使特征更集中于感兴趣的区域，当聚合每个残差组输出的特征时，能获得更好的特征表示。
[0085]
具体来说，开始用了1
×
1的卷积层去减少通道维度，使得整个模块的计算量变少；然后为了降低特征空间尺寸和获得更大感受野范围，使用stride为2的卷积和maxpooling convgroups；其中convgroups由7
×
7maxpooling与stride为3的卷积组成，是为了进一步扩大感受野范围；接下来与之前对应增加上采样层，使用1
×
1卷积恢复空间尺寸；最后，通过sigmoid层生成注意力参数w
s_agg
与输入f
s_agg
相乘。
[0086]
本发明还使用跳跃连接将输入直接连接到上采样层；
[0087]
与传统的空间注意力和通道注意力相比，本发明通过明确地建模通道和空间特征之间的依赖关系，s_agg具有自适应学习通道间和通道内注意力的能力特征。
[0088]
请参看图6，图6为本发明实施例提供的一种图像超分辨率重建装置的流程示意图。
[0089]
在一种实施方式中，本发明实施例还提供了一种应用于上述图像超分辨率重建模型上的图像超分辨率重建装置，其具体内容如下所述。
[0090]
s1.输入模块，准备数据集，根据图像退化模型：其中iy为高分辨率图像，建立训练集，得到m个低分辨率图像lr和m个高分辨率图像hr，其中m个高
分辨率图像对应真实高分辨率图像，m为大于1的整数；
[0091]
s2.浅层特征提取模块，将低分辨率图像输入到浅层特征提取模块提取图像的浅层特征f0＝conv(i
lr
)；
[0092]
s3.深层特征提取模块，将浅层特征输入到深层特征提取模块提取深层特征f0 f
l_gat
f
s_agg
；
[0093]
s4.重建模块，将深层特征输入重建模块，进行亚像素卷积完成上采样处理并重建出高分辨率图像i
sr
＝u
↑
(f0 f
l_gat
f
s_agg
)；
[0094]
s5.装置优化模块，通过损失函数对图像超分辨率重建装置进行优化，损失函数使用m个重建出的高分辨率图像与对应的真实高分辨率图像间的平均l1误差，表达式为：
[0095]
式中，l(θ)表示损失函数，h
fsgcn
表示图像超分辨率重建装置的功能函数；
[0096]
s6.输出模块，根据s5训练得到的最优模型，输入低分辨率图像后，系统输出最终的高分辨率图像。
[0097]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。