单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质

1.本发明属于图像重建技术领域，涉及一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型、方法、设备及存储介质。


背景技术：

2.随着社会经济的发展，图像超分辨率重建技术在医学影像分析、安全监控、遥感技术等领域发挥着重要的作用。随着手机等移动设备的普及和发展，对处理图像数据的需求也越来越多。但由于成像设备自身的限制以及环境因素的干扰，所拍摄的图像往往分辨率较低，不能满足实际要求，为后续的工作带来巨大的困扰。因此，研究一种高效、可行的方案来改善图像分辨率、提高视觉质量是十分有必要的。
3.单幅图像的超分辨率重建方法主要分为基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法算法简单、处理速度快，但在边缘和纹理处的处理效果较差。基于重建的方法具有良好的先验知识，但其不适用于放大倍数较大的图像重建。随着计算机技术的发展，学者们开始将研究思路转向基于学习的方法，其核心思想是通过训练其他样本获得先验知识，以重建出高分辨率清晰图像。
4.近年来，随着深度学习热潮的兴起，利用卷积神经网络进行图像超分辨率重建的思想受到学者们的广泛关注。dong等人首次将深度学习知识应用到重建技术中，提出了srcnn，避免了人工设计特征提取方法，实现图像自身的学习，从而实现图像重建，详见“c.dong,c.c.loy,k.he,x.tang,image super-resolution using deep convolutional networks,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2014,pp.184-199”。kim等人提出了基于残差网络思想的vdsr，通过特征图的叠加解决深层网络带来的梯度弥散问题，详见“j.kim,j.k.lee,and k.m.lee,accurate image super-resolution using very deep convolutional networks,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),jun.2016,pp.1646-1654”。kim又提出了drcn网络，该网络可加快网络的收敛速度，减少网络参数，详见“j.kim,j.k.lee,and k.m.lee,deeply-recursive convolutional network for image super-resolution,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),jun.2016,pp.1637-1645”。lai等人提出了lapsrn网络，将传统图像算法拉普拉斯金字塔与深度学习相结合，通过构建上下两层分子结构实现图像的重建，详见“w.lai,j.huang,n.ahuja and m.yang,deep laplacian pyramid networks for fast and accurate super-resolution,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2017,pp.5835-5843”。为了生成深度网络的同时降低计算的复杂性、减少内存的消耗，hui等人提出了信息蒸馏网络idn，详见“z.hui,x.wang and x.gao,fast and accurate single image super-resolution via information distillation network,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2018,pp.723-731”。
5.由以上可知，传统的超分辨率重建方法大多是在单一图像内部潜在的规律中寻找约束关系，结合图像的先验知识提升图像的分辨率，很难修复图像中高频细节信息，修复出的图像边缘模糊，锐化效果差。不能满足实际高分辨率图像的要求。而基于学习的方法虽然可以重建出高分辨率图像，但存在着卷积核大小单一、互补不足，重建图像细节特征丢失问题，重建出的图像质量仍需加强。
6.鹰眼在识别物体时，其正中央凹可获得较高的相对分辨率，侧中央凹可获得局部高分辨率，观察物体时可从三个方向识别目标物体，经融合后形成总视场。受鹰眼结构和特性的启发，孙等在鹰眼颜色视觉机制的基础上构建了用于检测锥状区域和标记物颜色的方法，详见“y.sun,y.deng,h.duan,and x.xu.bionic visual close-range navigation control system for the docking stage of probe-and-drogue autonomous aerial refueling,aerospace science and technology,2019,pp.136-149”。刘等借助鹰眼多任务cnn区分同一类别航拍图像之间的细小差别，详见“y.liu,z.han,c.chen,et al.eagle-eyed multitask cnns for aerial image retrieval and scene classification,ieee transactions on geoscience and remote sensing,2020,pp.6699-6721”。段等提出生物鹰眼自适应机制，实现了无人机对复杂环境下的远距离海上小目标识别，详见“h.duan,x.xu,y.deng,and z.zeng.unmanned aerial vehicle recognition of maritime small-target based on biological eagle-eye vision adaptation mechanism,ieee transactions on aerospace and electronic systems,2021,pp.3368-3382”。上述研究表明鹰眼灵敏度高、视场大、识别精度高的特点在图像处理领域具有显著优势。
7.随着人工智能浪潮席卷全球以及计算机技术的不断发展，人们开始使用机器代替人工处理各种信息，高分辨率图像是保证机器处理各种视觉信息的关键。如何仿照鹰眼成像原理从低分辨率图像中获取更多有用信息，高效的提高图像分辨率、还原真实场景，最大限度呈现图像所包含的信息，为后续的研究工作提供便利成为当前急需解决的问题。
8.经发明人研究发现，现有的基于深度学习的单幅图像超分辨率重建方法的重建效果不佳，主要存在以下缺陷：(1)现有网络大多通过增加卷积层的深度来追求好的效果，造成网络运行速度缓慢；(2)卷积核互补不足、重建后的图像边缘轮廓信息不明显，细节信息存在丢失的情况；(3)重建后图像与原图相比颜色较暗，对比度较差，视觉效果不佳。


技术实现要素：

9.为了解决上述问题，本发明提供一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，图像清晰度高，边缘纹理细节丰富，在保证图像清晰度的同时能丰富图片的内容，解决了现有技术中存在的问题。
10.本发明的第二目的是，提供一种单幅图像的仿生鹰眼多尺度融合超分辨率重建方法。
11.本发明的第三目的是，提供一种电子设备。
12.本发明的第四目的是，提供一种计算机存储介质。
13.本发明所采用的技术方案是，一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，包括
14.仿鹰眼特征提取模块，用于仿照鹰双眼从三方向提取低分辨率图像的浅层特征，
基于左、右眼视场交叉融合的原理，对提取的浅层特征信息进行融合提炼；
15.反馈模块，所述反馈模块包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征，剔除冗余信息；通过反馈层对特征进行深层提取，将提取的深层特征传送至多尺度重建模块；
16.多尺度重建模块，用于通过不同卷积提取深层特征的互补信息，通过卷积核大小相同、扩张率不同的空洞卷积进行初步重建，初步重建的图像经深层重建并与低分辨率图像的上采样图像融合获得高分辨率的重建图像。
17.进一步的，所述仿鹰眼特征提取模块仿照鹰左右眼正中央凹成像原理分别建立第1和第5支路，仿照鹰双眼侧中央凹成像原理分别建立第2和第4支路，仿照鹰双眼侧中央凹识别的前侧图像融合原理建立第3支路；
18.第1和第5支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层5
×
5卷积获得浅层特征；
19.第2和第4支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层3
×
3卷积获得浅层特征；
20.第3支路，用于对低分辨率图像经过1层3
×
3卷积获得浅层特征。
21.进一步的，所述仿鹰眼特征提取模块通过前馈连接方式融合所有浅层特征信息，通过空洞率不同的空洞卷积层充分挖掘有效特征。
22.进一步的，所述注意力机制层在不降低维数的通道级全局平均池化下，通过自适应确定信道间的交互范围，利用一维卷积得到注意力信息并将其保存在信道，使用sigmoid函数得到通道权重，将仿鹰眼特征提取模块的输出与对应的权重系数相乘得到注意力特征图，用于剔除仿鹰眼特征提取模块的输出中包含的重叠信息。
23.进一步的，所述反馈层由多层组成，后一反馈层接收前一反馈层的信息以及注意力机制层输出的特征图，完成低分辨率图像中深层次特征的提取。
24.进一步的，所述多尺度重建模块包括特征映射层和多尺度重建层；
25.所述特征映射层通过反卷积将反馈模块输出中的i
lr
特征映射到i
hr
特征，i
lr
表示低分辨率图像，i
hr
表示高分辨率图像；
26.所述多尺度重建层通过三个卷积核大小为3
×
3，扩张率分别为1、2、4的空洞卷积并联的方式对i
hr
特征进行基本的重建，扩张率为1的空洞卷积用于突出图像的边缘纹理信息，另两个空洞卷积用于保证重建图像轮廓的清晰；三个空洞卷积层的输出通过融合后经1
×
1卷积层进行通道数的变换，得到初步重建图像；
27.初步重建图像经3
×
3卷积层进行深层次的重建，丰富图像的细节信息；最后将3
×
3卷积层的输出与上采样的结果融合得到最终的重建图像。
28.一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建方法，按照以下步骤进行：
29.s1、将低分辨率图像输入仿鹰眼特征提取模块，仿鹰眼特征提取模块提取特征的方法按照以下公式进行：
30.l1＝l5＝c5×5(c1×1(c3×3(c3×3(i
lr
))))；
31.l3＝c3×3(i
lr
)；
32.l2＝l4＝c3×3(c1×1(c3×3(c3×3(i
lr
))))；
[0033][0034][0035]
其中，ln,n＝1,
…
,5代表第n条支路的输出，cm×m表示大小为m
×
m(m∈{1,3,5})的卷积核，表示卷积核大小为3
×
3、空洞率为p(p∈{3,4})的空洞卷积，[]表示级联操作，l
output3
表示空洞率为3的3
×
3卷积核的输出，l
output4
为仿鹰眼特征提取模块的输出；
[0036]
s2、将仿鹰眼特征提取模块的输出送入反馈模块，按照以下公式进行深层特征提取：
[0037]
n＝f
sigmoid
(c1dk(gap(l
output4
)))
[0038]
l
output5
＝l
output4
·n[0039][0040]
其中，c1dk表示一维卷积，k表示一维卷积的输入层f与注意力权值n0之间的交互范围，gap表示通道级全局平均池化，f
sigmoid
表示sigmoid激活操作，n表示通道权重；
·
表示通道权重与仿鹰眼特征提取模块输出的相乘，t表示反馈层的层数，t＝1,2,3,4；f
fb
表示反馈操作，代表第t反馈层的输出，代表第t-1反馈层的输出，当t＝1时，表示注意力机制层的输出进入反馈层；
[0041]
s3、将反馈模块的输出送入多尺度重建模块，通过三个不同大小的空洞卷积核并联方式完成基本的重建，基本重建的图像经过深层次重建得到多尺度重建模块的输出；
[0042]
s4、将多尺度重建模块的输出和低分辨率图像的上采样图像相加融合，即可得到重建的高清图像i
sr
。
[0043]
进一步的，多尺度重建模块按照以下公式进行重建图像：
[0044][0045]
其中，l
output
表示多尺度重建模块的输出，dc表示反卷积操作，{}表示相加融合，f
relu
表示relu激活操作，表示卷积核大小为3
×
3、空洞率为p(p∈{2,4})的空洞卷积；
[0046]
一种电子设备，采用上所述的方法实现图像重建。
[0047]
一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的图像重建方法。
[0048]
本发明的有益效果是：
[0049]
本发明构建的仿鹰眼特征提取模块，使用三路特征并行提取的方式对低分辨率图像中的信息进行提取，利用左、右眼视场交叉原理融合三路信息，剔除冗余，补充缺失，通过空洞卷积层挖掘有效特征。反馈模块通过注意力机制捕获跨信道的交互信息并剔除冗余信息，再经4层迭代完成深层特征提取；多尺度重建模块发挥不同大小卷积核的优势，使用三个卷积核大小相同扩张率不同的空洞卷积层并联的方式进行图像的初步重建；初步重建图像经一层卷积进行深层的重建，利用深层重建图像与上采样图像的相关性完成最终的重建过程，得到sr图像。此模型能有效恢复低分辨率图像的细节信息，提高对比度，改善视觉效果，在保证图像清晰度的同时能丰富图片的内容，解决了现有超分辨率重建技术存在的卷积核互补不足、重建图像细节特征丢失问题。
[0050]
本发明的仿鹰眼特征提取模块和多尺度重建模块均利用空洞卷积的思想，较同等
大小的普通卷积感受野更大、运行速度更快、视场信息更多。在实际应用中，本发明仿照鹰视觉系统成像原理可对复杂环境下拍摄的低分辨率图像进行更多细节特征的提取，本发明的重建过程可以保证显著特征的突出，减少重建过程中信息的丢失，较好的还原真实场景，以较低的成本解决成像设备硬件缺陷导致的图像模糊问题。
附图说明
[0051]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0052]
图1是本发明实施例重建模型的结构示意图。
[0053]
图2是本发明实施例重建模型中的仿鹰眼特征提取模块的结构示意图。
[0054]
图3是本发明实施例重建模型中的反馈模块的结构示意图。
[0055]
图4是本发明实施例重建模型中的多尺度重建模块的结构示意图。
[0056]
图5是本发明实施例的重建方法与其他算法对b100中的“33039”进行
×
2放大倍数的重建效果对比图。
[0057]
图6是本发明实施例的重建方法与其他算法对set14中的“ppt”进行
×
3放大倍数的重建效果对比图。
[0058]
图7是本发明实施例的重建方法与其他算法对urban100中的“img_092”进行
×
4放大倍数的重建效果对比图。
具体实施方式
[0059]
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
实施例1，
[0061]
一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型，其结构如图1所示，包括依次连接的仿鹰眼特征提取模块、反馈模块、多尺度重建模块；
[0062]
其中，仿鹰眼特征提取模块，用于提取低分辨率图像(i
lr
)中的轮廓、纹理等浅层特征，三路特征并行的提取方式可以提取不同的特征，前馈连接方式可将不同层的特征进行融合，空洞卷积层可进一步挖掘有效特征。
[0063]
如图2所示，仿鹰眼特征提取模块包含特征初步提取和特征融合提炼两部分组成。特征初步提取仿照鹰双眼从三方向识别物体的原理，由上、中、下三部分特征组成，上下两路特征通过对输入的低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层5
×
5卷积获得，中路特征通过对低分辨率图像的1层3
×
3卷积获得。特征融合提炼按照鹰眼识别物体时左、右眼视场交叉融合的原理设计，旨在对特征初步提取部分上、中、下三部分独立提取的信息剔除冗余、补充缺失。
[0064]
仿鹰眼特征提取模块仿照鹰左右眼正中央凹成像原理分别建立第1和第5支路，仿
照鹰双眼侧中央凹成像原理分别建立第2和第4支路，仿照鹰双眼侧中央凹识别的前侧图像融合原理建立第3支路；第1和第5支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层5
×
5卷积获得浅层特征；第2和第4支路，用于对低分辨率图像依次经过2层3
×
3卷积、1层1
×
1卷积和1层3
×
3卷积获得浅层特征；第3支路，用于对低分辨率图像经过1层3
×
3卷积获得浅层特征。
[0065]
因此，仿照鹰眼视觉系统融合不同方向特征的原理，融合三路信息并利用空洞率为3和4的空洞卷积层充分挖掘有效特征，低层级提取到的特征是浅层神经网络即能够学习到的如颜色、边缘、纹理等特征信息。高层级图像特征信息是利用深度神经网络能够学习到的复杂抽象的图像特征信息，是神经网络对图像内容信息抽象的表达或者对图像的理解认知，例如图像中的人脸等。为了将不同层学习的特征进行融合，突出有用特征，仿鹰眼特征提取模块采用前馈连接方式将前一层学习到的特征向后传播，后一层对前面所有层融合的特征进行深度的学习，从低分辨率图像中获得更多的有用信息。至此，通过仿鹰眼特征提取模块，低分辨率图像中的有效特征得以挖掘。
[0066]
反馈模块，包括注意力机制层和反馈层，通过注意力机制层实现跨信道的信息交互，挖掘仿鹰眼特征提取模块提取的有效特征，剔除冗余信息，减少参数量，突出显著特征；反馈层通过4层迭代进行深层特征的提取，将提取的深层特征传送至多尺度重建模块。
[0067]
如图3所示，反馈模块由注意力机制层和反馈层组成。注意力机制层旨在剔除仿鹰眼特征提取模块输出中包含的上、中、下三部分提取的重叠信息，在不降低维数的通道级全局平均池化(gap)之后，通过自适应确定信道间的交互范围，利用一维卷积得到注意力信息并将其保存在信道，使用sigmoid函数得到通道权重，将原特征图与对应的权重系数相乘得到最后的输出。通过注意力机制层，仿鹰眼特征提取模块提取的特征参数量将减少，有用特征得到加强。注意力机制层的输出与反馈层的输入相连接。反馈层由4层组成，后一反馈层接收前一反馈层的信息以及注意力机制的输出。经过4层迭代，完成对低分辨率图像中深层次特征的提取，突出图像的边缘纹理信息。
[0068]
多尺度重建模块，用于将反馈模块输出中的低分辨率图像(i
lr
)特征放大到高分辨率图像(i
hr
)特征，利用不同卷积提取深层特征的互补信息，使用多分支并联完成图像初步重建，初步重建的图像经深层重建并与上采样图像融合获得高分辨率的重建图像。发挥不同大小卷积核的优势，通过卷积核大小相同、扩张率不同的空洞卷积进行初步重建，突出边缘轮廓信息，融合后的图像经深层重建并与上采样图像融合获得高分辨率的重建图像。
[0069]
如图4所示，多尺度重建模块主要由特征映射层和多尺度重建层组成。特征映射层利用反卷积将i
lr
特征映射到i
hr
特征。鹰识别信息时光感受器的方向敏感性可用gabor函数表示，gabor能量在大尺度下输出的主要是图像主体轮廓，在小尺度下输出的包含图像主体轮廓和纹理信息，且轮廓线较为清晰。基于此思想，多尺度重建层利用三个卷积核大小为3
×
3，扩张率分别为1、2、4的空洞卷积并联的方式进行基本的重建，扩张率为1的空洞卷积用于突出图像的边缘纹理信息，另两个空洞卷积可保证重建图像轮廓的清晰。三个空洞卷积层的输出通过“add”融合后经1
×
1卷积层进行通道数的变换，由128通道变为3通道，得到初步重建图像。初步重建图像经3
×
3卷积层进行深层次的重建，丰富图像的细节信息。
[0070]
如图1所示，最后将3
×
3卷积层的输出与上采样(up sample)的结果通过“add”融合得到最终的重建图像i
sr
。
[0071]
基于深度学习的网络模型设计依据应用背景，例如图像分类和图像分割关注的是图像内容的分析理解，在模型设计上更倾向关注的目标的识别，将目标信息从整体分离加以识别分类。图像超分辨率重建是关注低分辨率图像到高分辨率图像之间的非线性映射关系，通过提取图像中的每一处特征信息，将原始较弱的轮廓特征增强，提高细节及纹理，利用低分辨率图像推断出所有缺失的高频细节是重建的关键。本发明实施例为了充分提取低分辨率图像中的特征信息，最大限度地减少高频细节，提出了一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型及其重建方法。方法使用三路特征并行提取、卷积核大小不同的仿鹰眼特征提取模块，从输入的低分辨率图像中提取多个特征；通过前馈连接方式将不同卷积层学习到的特征向后传播，后一层对前面所有层融合的特征进行深度的学习，从低分辨率图像中获得更多的有用信息。包含注意力机制的反馈模块在不降低维数的通道级全局平均池化(gap)之后，通过自适应确定信道间的交互范围，利用一维卷积得到注意力信息并将其保存在信道，使用sigmoid函数得到通道权重，将原特征图与对应的权重系数相乘得到最后的输出。反馈层由4层组成，后一反馈层接收前一反馈层的信息以及注意力机制层的输出。经过4层迭代，完成对低分辨率图像深层次特征的提取，突出图像的边缘纹理信息。多尺度的重建模块通过特征映射层利用反卷积将i
lr
特征映射到i
hr
特征，使用卷积核大小为3
×
3，空洞率为1、2、4的三个空洞卷积构成3分支结构，分别突出图像的边缘纹理信息和轮廓信息；最后融合3分支得到的三尺度特征后完成基本重建，经1
×
1卷积进行通道数的变换，再通过3
×
3卷积和relu非线性激活后完成深度重建，深度重建的图像与上采样的图像进行“add”融合得到最终的重建图像。
[0072]
实施例2，
[0073]
一种单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的重建方法，按照以下步骤进行：
[0074]
步骤s1、将低分辨率图像(i
lr
)输入到单幅图像的仿生鹰眼多尺度融合超分辨率重建模型的仿鹰眼特征提取模块；仿鹰眼特征提取模块对i
lr
的特征进行提取，如图2所示；
[0075]
传统的特征提取模块大多使用单一尺度的卷积核，其只能提取底层特征信息，会遗漏过多的特征细节信息。本实施例的仿鹰眼特征提取模块仿照鹰视觉系统中单眼从正中央凹和侧中央凹两个方向识别的结构，由上、中、下三部分共5条支路组成，仿鹰眼特征提取模块提取特征的方法按照以下公式进行：
[0076]
l1＝l5＝c5×5(c1×1(c3×3(c3×3(i
lr
))))；
[0077]
l3＝c3×3(i
lr
)；
[0078]
l2＝l4＝c3×3(c1×1(c3×3(c3×3(i
lr
))))
[0079][0080][0081]
其中，ln,n＝1,
…
,5代表第n条支路的输出，cm×m表示大小为m
×
m(m∈{1,3,5})的卷积核。表示卷积核大小为3
×
3、空洞率为p(p∈{3,4})的空洞卷积，[]表示级联操作，l
output3
表示空洞率为3的3
×
3卷积核的输出，l
output4
为仿鹰眼特征提取模块的输出。
[0082]
步骤s2、将仿鹰眼特征提取模块的输出送入反馈模块根据以下公式进行深层特征提取，如图3所示：eca表示注意力机制层，1
×1×
c表示c个卷积核大小为1
×
1的卷积，f表示
一维卷积的输入层，由通道级全局平均池化gap得到；n0表示注意力权值，k表示f与n0之间的交互范围，n表示通道权重；
[0083]
n＝f
sigmoid
(c1dk(gap(l
output4
)))
[0084]
l
output5
＝l
output4
·n[0085][0086]
其中，c1dk表示一维卷积，f
sigmoid
表示sigmoid激活操作，
·
表示通道权重与原特征图(仿鹰眼特征提取模块输出)的相乘，gap表示通道级全局平均池化，t(t＝1,2,3,4)表示反馈层的层数，f
fb
表示反馈操作，代表第t反馈层的输出，代表第t-1反馈层的输出，当t＝1时，表示注意力机制层的输出进入反馈层。
[0087]
步骤s3、将反馈模块的输出送入多尺度重建模块，通过三个不同大小的空洞卷积核并联方式完成基本的重建，基本重建图像经深层次重建；
[0088]
反馈模块的输出仍然包含着i
lr
的特征，为了能够准确重建出sr图像，首先使用反卷积将i
lr
特征放大到i
hr
特征。经实验发现，3
×
3卷积可突出图像的边缘纹理信息，而其余较大的卷积可突出图像的轮廓信息，但较大的卷积核会导致运行时间的延长。空洞卷积较普通卷积相比运行速度很快，为了发挥不同大小卷积核的优势，保证速度的同时提高重建效果，经过大量的实验，使用一个3
×
3卷积和空洞率为2、4的两个空洞卷积构成的3分支结构可达到最优的重建效果，可分别突出图像的边缘纹理信息和轮廓信息；最后融合3分支得到的三尺度特征后，经1
×
1卷积进行通道数的变换，再通过3
×
3卷积和relu非线性激活后完成重建，此过程表示为：
[0089][0090]
其中，l
output
表示多尺度重建模块的输出，dc表示反卷积操作，{}表示相加融合，f
relu
表示relu激活操作，表示卷积核大小为3
×
3、空洞率为p(p∈{2,4})的空洞卷积。
[0091]
步骤s4、相加融合l
output
和对i
lr
的上采样结果，即可得到重建的高清图像i
sr
，如图4所示。
[0092]
在上采样过程中，亚像素上采样卷积不需要对输入图像进行预处理，可以保留更多的图像细节特征，但周期性排列的过程会使像素点之间的关联性遭到破坏，不能充分利用特征信息来提高重建效果。低分辨率图像i
lr
与高分辨率图像i
hr
有很多相同信息，具有相似的拓扑结构。因此将两者结合可保证重建图像像素点之间的相关性。因此将l
output
和对i
lr
的上采样结果进行相加融合得到最终的重建图像i
sr
。
[0093]
构造超分辨率重建网络的最终目标是构造i
lr
与i
hr
之间的映射函数。对于给定的一个训练数据集通过如下公式建立i
lr
与i
hr
之间的映射关系，使值达到最小：
[0094][0095]
其中，θ＝{w1,w2,w3...wm,b1,b2,b3...bm}，表示m层神经网络的权重和偏置，表示θ的最小二乘解，f
θ
()表示添加m层神经网络的权重和偏置后的映射关系，和分别表示第i对训练集的低分辨率图像和高分辨率图像，表示用于最小化和之间差异的
损失函数；此映射即反卷积将i
lr
特征映射到i
hr
特征。
[0096]
为了避免引入不必要的训练技巧，加快收敛速度，我们最终选择l1损失函数。损失函数被定义为：
[0097][0098]
其中，||||1表示求解1范数操作。
[0099]
用训练集训练单幅图像的仿生鹰眼多尺度融合超分辨率重建模型使损失最小化，找到的最优参数。
[0100]
为了验证本发明实施例的单幅图像的仿生鹰眼多尺度融合超分辨率重建方法的有效性，选择不同场景的图像作为测试集，将keys的算法(r.keys,cubic convolution interpolation for digital image processing,in ieee transactions on acoustics,speech,and signal processing,vol.29,december 1981,pp.1153-1160.)；dong的算法(c.dong,c.c.loy,k.he,x.tang,image super-resolution using deep convolutional networks,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2014,pp.184-199.)；kim的算法(j.kim,j.k.lee,and k.m.lee,accurate image super-resolution using very deep convolutional networks,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),jun.2016,pp.1646-1654.)；kim的算法(j.kim,j.k.lee,and k.m.lee,deeply-recursive convolutional network for image super-resolution,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),jun.2016,pp.1637-1645.)；lai的算法(w.lai,j.huang,n.ahuja and m.yang,deep laplacian pyramid networks for fast and accurate super-resolution,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2017,pp.5835-5843.)；hui的算法(z.hui,x.wang and x.gao,fast and accurate single image super-resolution via information distillation network,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2018,pp.723-731.)和本发明的实验结果进行主客观两个方面对比分析验证。
[0101]
如图5所示，为本发明实施例提供的单幅图像的仿生鹰眼多尺度融合超分辨率重建方法与其他算法对雕塑图像进行放大2倍的重建实验效果图，并对雕塑的脸部进行局部的对比。其中，图5(a)为雕塑所对应的高分辨率图像，图5(b)为keys的bicubic方法重建结果图，图5(c)为dong的srcnn方法重建结果图，图5(d)为kim的vdsr方法重建结果图，图5(e)为kim的drcn方法重建结果图，图5(f)为lai的lapsrn方法重建结果图，图5(g)为hui的idn方法重建结果图，图5(h)为本发明实施例方法的重建结果图。通过观察雕塑的面部放大图可以看出，本发明实施例的方法重建出的雕塑图像轮廓清晰，对比度强，与高分辨率图像最为接近，而其他方法重建出的图像存在着模糊不清的现象。因此，本发明实施例的方法有效复原了原始高分辨率图像的边缘细节和轮廓，提高了锐度。
[0102]
如图6所示，为本发明实施例提供的单幅图像的仿生鹰眼多尺度融合超分辨率重建方法与其他算法对ppt图像进行放大3倍的重建实验效果图，并对图像中的部分英文语句进行局部放大对比。其中，图6(a)为英文语句所对应的高分辨率图像，图6(b)为keys的bicubic方法重建结果图，图6(c)为dong的srcnn方法重建结果图，图6(d)为kim的vdsr方法重建结果图，图6(e)为kim的drcn方法重建结果图，图6(f)为lai的lapsrn方法重建结果图，
图6(g)为hui的idn方法重建结果图，图6(h)为本发明实施例方法的重建结果图。我们可以发现，本发明实施例重建的图像英文语句放大后与高分辨率图像最为接近，恢复效果最好，而其他方法重建后的图像颜色较暗、对比度差，且英文字母模糊不清。因此，本发明实施例的方法有效复原了原始高分辨率图像的轮廓，提高了对比度。
[0103]
如图7所示，为本发明实施例提供的单幅图像超分辨率重建方法与其他算法对高层建筑的图像进行放大4倍的重建实验效果图，并对墙面纹理进行局部的对比。其中，图7(a)为墙面纹理所对应的高分辨率图像，图7(b)为keys的bicubic方法重建结果图，图7(c)为dong的srcnn方法重建结果图，图7(d)为kim的vdsr方法重建结果图，图7(e)为kim的drcn方法重建结果图，图7(f)为lai的lapsrn方法重建结果图，图7(g)为hui的idn方法重建结果图，图7(h)为本发明实施例方法的重建结果图。可以看出，本发明实施例的方法重建的墙纹理最接近高分辨率图像，轮廓明显，而其他方法重建的图像纹理杂乱无章，整体图像模糊。因此，本发明实施例的方法有效复原了原始高分辨率图像的边缘细节和轮廓，提高了对比度。
[0104]
本实例为避免定性分析带来的偏差，使用峰值信噪比(psnr)和结构相似度(ssim)两个客观指标进行定量评价，通过在set5、set14、b100、urban100四个数据集上进行放大倍数为2、3和4倍共三种不同倍数的重建复原比较，如表1所示：
[0105]
表1不同方法在不同数据集上的psnr/ssim结果对比数据
[0106][0107]
从表1的数据可知，本发明实施例(our)的psnr和ssim均大于bicubic、srcnn、vdsr、drcn、lapsrn和idn方法，对于psnr和ssim，其数值越高，表示结果与真实的图像更为相似，图像质量越高。表1明确指出了在不同指标下不同图像数据集测试数据的平均得分。因此，本发明实施例的方法对于重建图像的峰值信噪比和结构相似度有较大的提升，且优于其他方法。
[0108]
为了验证本发明实施例的单幅图像的仿生鹰眼多尺度融合超分辨率重建方法的
在效率方面的优势，将本发明实施例的方法与dong的算法(c.dong,c.c.loy,k.he,x.tang,image super-resolution using deep convolutional networks,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),2014,pp.184-199.)；kim的算法(j.kim,j.k.lee and k.m.lee,accurate image super-resolution using very deep convolutional networks,2016ieee conference on computer vision and pattern recognition(cvpr),2016,pp.1646-1654.)；kim的算法(j.kim,j.k.lee,and k.m.lee,deeply-recursive convolutional network for image super-resolution,in proc.ieee conf.comput.vis.pattern recognit.(cvpr),jun.2016,pp.1637-1645.)；zhang的算法(y.zhang,y.tian,y.kong,b.zhong and y.fu,residual dense network for image super-resolution,2018ieee/cvf conference on computer vision and pattern recognition,2018,pp.2472-2481.)；lai的算法(w.-s.lai,j.-b.huang,n.ahuja and m.-h.yang,deep laplacian pyramid networks for fast and accurate super-resolution,2017ieee conference on computer vision and pattern recognition(cvpr),2017,pp.5835-5843.)；hu的算法(y hu,x gao,j li,et al,single image super-resolution with multi-scale information cross-fusion network.signal processing,2021,179.doi:10.1016/j.sigpro.2020.107831.)；pang的算法(s pang,z chen,and f yin.image super-resolution based on generalized residual network.arabian journal for science and engineering,2021.doi:10.1007/s13369-021-06145-x.)；lim的算法(b.lim,s.son,h.kim,s.nah and k.m.lee,"enhanced deep residual networks for single image super-resolution,"2017ieee conference on computer vision and pattern recognition workshops(cvprw),2017,pp.1132-1140.)在参数量和运行时间方面进行比较，比较结果如表2所示：
[0109]
表2不同网络结构在set5
×
2数据集下参数量和运行时间与psnr值比较表
[0110][0111]
从表2中可以看出，本发明实施例的参数量相对较多，主要源于其仿鹰眼特征提取模块，使用多个不同尺寸卷积核提取低分辨率图像i
lr
的特征，并通过前馈连接方式进行特征融合，增加了网络的连接参数。但该模块保证了有效特征的充分提取，保证了重建图像的质量。参数量的增加虽会造成测试时间的延长，但两者并非线性关系，在9种方法中，本发明实施例以适中的测试时间获得了较好的重建效果。综上，本发明实施例在图像重建效果、参数量和运行时间之间达到了较好的平衡。
[0112]
本发明实施例所述图像的重建方法如果以软件功能模块的形式实现并作为独立
的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明实施例所述图像的重建方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0113]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。