单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质

技术特征：
1.一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，包括仿鹰眼特征提取模块，用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征，基于左、右眼视场交叉融合的原理，对提取的浅层特征信息进行融合提炼；反馈模块，所述反馈模块包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征，剔除冗余信息；通过反馈层对特征进行深层提取，将提取的深层特征传送至多尺度重建模块；多尺度重建模块，用于通过不同卷积提取深层特征的互补信息，通过卷积核大小相同、扩张率不同的空洞卷积进行初步重建，初步重建的图像经深层重建并与低分辨率图像的上采样图像融合获得高分辨率的重建图像。2.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述仿鹰眼特征提取模块仿照鹰左右眼正中央凹成像原理分别建立第1和第5支路，仿照鹰双眼侧中央凹成像原理分别建立第2和第4支路，仿照鹰双眼侧中央凹识别的前侧图像融合原理建立第3支路；第1和第5支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层5
×
5卷积获得浅层特征；第2和第4支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层3
×
3卷积获得浅层特征；第3支路，用于对低分辨率图像经过1层3
×
3卷积获得浅层特征。3.根据权利要求2所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述仿鹰眼特征提取模块通过前馈连接方式融合所有浅层特征信息，通过空洞率不同的空洞卷积层充分挖掘有效特征。4.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述注意力机制层在不降低维数的通道级全局平均池化下，通过自适应确定信道间的交互范围，利用一维卷积得到注意力信息并将其保存在信道，使用sigmoid函数得到通道权重，将仿鹰眼特征提取模块的输出与对应的权重系数相乘得到注意力特征图，用于剔除仿鹰眼特征提取模块的输出中包含的重叠信息。5.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述反馈层由多层组成，后一反馈层接收前一反馈层的信息以及注意力机制层输出的特征图，完成低分辨率图像中深层次特征的提取。6.根据权利要求1所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其特征在于，所述多尺度重建模块包括特征映射层和多尺度重建层；所述特征映射层通过反卷积将反馈模块输出中的i
lr
特征映射到i
hr
特征，i
lr
表示低分辨率图像，i
hr
表示高分辨率图像；所述多尺度重建层通过三个卷积核大小为3
×
3，扩张率分别为1、2、4的空洞卷积并联的方式对i
hr
特征进行基本的重建，扩张率为1的空洞卷积用于突出图像的边缘纹理信息，另两个空洞卷积用于保证重建图像轮廓的清晰；三个空洞卷积层的输出通过融合后经1
×
1卷积层进行通道数的变换，得到初步重建图像；初步重建图像经3
×
3卷积层进行深层次的重建，丰富图像的细节信息；最后将3
×
3卷积层的输出与上采样的结果融合得到最终的重建图像。
7.一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建方法，其特征在于，按照以下步骤进行：s1、将低分辨率图像输入仿鹰眼特征提取模块，仿鹰眼特征提取模块提取特征的方法按照以下公式进行：l1＝l5＝c5×5(c1×1(c3×3(c3×3(i
lr
))))；l3＝c3×3(i
lr
)；l2＝l4＝c3×3(c1×1(c3×3(c3×3(i
lr
))))；))))；其中，l
n
,n＝1,
…
,5代表第n条支路的输出，c
m
×
m
表示大小为m
×
m(m∈{1,3,5})的卷积核，表示卷积核大小为3
×
3、空洞率为p(p∈{3,4})的空洞卷积，[]表示级联操作，l
output3
表示空洞率为3的3
×
3卷积核的输出，l
output4
为仿鹰眼特征提取模块的输出；s2、将仿鹰眼特征提取模块的输出送入反馈模块，按照以下公式进行深层特征提取：n＝f
sigmoid
(c1d
k
(gap(l
output4
)))l
output5
＝l
output4
·
n其中，c1d
k
表示一维卷积，k表示一维卷积的输入层f与注意力权值n0之间的交互范围，gap表示通道级全局平均池化，f
sigmoid
表示sigmoid激活操作，n表示通道权重；
·
表示通道权重与仿鹰眼特征提取模块输出的相乘，t表示反馈层的层数，t＝1,2,3,4；f
fb
表示反馈操作，代表第t反馈层的输出，代表第t-1反馈层的输出，当t＝1时，表示注意力机制层的输出进入反馈层；s3、将反馈模块的输出送入多尺度重建模块，通过三个不同大小的空洞卷积核并联方式完成基本重建，基本重建的图像经过深层次重建得到多尺度重建模块的输出；s4、将多尺度重建模块的输出和低分辨率图像的上采样图像相加融合，即可得到重建的高清图像i
sr
。8.根据权利要求7所述一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建方法，其特征在于，所述步骤s3中，多尺度重建模块按照以下公式进行图像重建：其中，l
output
表示多尺度重建模块的输出，d
c
表示反卷积操作，{}表示相加融合，f
relu
表示relu激活操作，表示卷积核大小为3
×
3、空洞率为p(p∈{2,4})的空洞卷积。9.一种电子设备，其特征在于，采用如权利要求7-8任一项所述的方法实现图像重建。10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求7-8任一项所述的图像重建方法。

技术总结
本发明公开了一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质，重建模型包括仿鹰眼特征提取模块、反馈模块、多尺度重建模块，仿鹰眼特征提取模块用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征，对提取的浅层特征信息进行融合提炼；反馈模块包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征；多尺度重建模块用于通过不同卷积提取深层特征的互补信息，通过空洞卷积进行初步重建，经深层重建并与低分辨率图像的上采样图像融合获得高分辨率的重建图像。本发明重建的图像清晰度高，边缘纹理细节丰富，在保证图像清晰度的同时能丰富图片的内容。内容。内容。


技术研发人员：贾晓芬 梁镇洹 郭永存 黄友锐 赵佰亭 马天兵
受保护的技术使用者：安徽理工大学
技术研发日：2022.03.01
技术公布日：2022/5/30