一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

1.本发明属于机器学习技术领域，是一种基于多尺度特征融合的机载遥感图像超分辨率重建方法。


背景技术：

2.随着航空航天领域的发展，人们对地面信息的需求日益增加，图像信息采集方式也日渐丰富。与造价高昂、适用面较窄的卫星遥感图像相比，机载遥感图像以其容易获取、经济实用等诸多优势，被广泛应用于生产生活的各个方面，特别是在无人机上的应用，可以为地面提供更多的信息。但是，机载遥感图像受到周围环境影响比较大，如拍摄过程中遇到气流、抖动会造成图像模糊，硬件本身的问题可能会造成机载遥感图像的分辨率比较低，这样的低分辨率图像无法得到更加有效的信息，大大降低了其应用价值。故利用图像超分辨率重建技术，通过软件对获取到的机载遥感图像进行超分辨率重建。
3.高分辨率的机载遥感图像，包含的信息量较大、细节较为清晰、像素密度较高，满足了人们对于机载遥感图像中地物清晰和丰富细节的要求。而高分辨率机载遥感图像的获取最直接的方法是对图像采集的硬件设备进行改进。例如，通过改进传感器的cmos感光元件或芯片来实现图像质量增强。但是，这样的方法存在着噪声引入、成本较高以及提升程度有限等缺点，并不适宜广泛的使用，无法满足人们对于高分辨率机载遥感图像的迫切需求。因此，通过软件的方法来提高机载遥感图像分辨率即超分辨率重建，受到了极大的重视。
4.目前，传统的超分辨率图像重建在面对纹理细节较为复杂的机载遥感图像，重建出图像丰富且有真实细节比较困难，在人工智能高速发展的今天，深度学习的出现为图像超分辨率重建提供了巨大的发展。相比于传统的方法只能提取一些较浅的特征信息，应用深层卷积神经网络可以更好的提取图像的细节信息，但在面临着层数的增加和网络的退化问题中，也同时有难以训练的难题。
5.利用多尺度特征提取，可以更加有效的提取并利用图片的高频特征信息。在特征提取模块设计上，将残差网络和密集网络思路相结合，可以将各层提取到的信息更好的传递到后面的网络层中，从而充分利用高频与低频信息；同时，也去除了网络中的批量归一化层，减轻了网络参数过大带来的负担。最终重建出具有丰富纹理细节的机载遥感图像，最大化保留了原有的图像信息。


技术实现要素：

6.本发明提供了一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，以解决目前纹理细节信息重建不够清晰的问题，而且计算量较少，最大化的保留了原有图像的细节信息。
7.为了实现上述目的，本发明采用以下技术方案：
8.一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，包括以下步骤：
9.步骤一、对需要输入网络中的低分辨率图片i
lr
进行预处理；
10.步骤二、对图片进行浅层特征提取；
11.步骤三、对图片采用多尺度特征融合密集模块mfdm来进行深度特征提取；
12.步骤四、利用上采样模块对图片上采样到需要的高分辨率尺寸；
13.步骤五、对图片进行重建得到最终输出重建的高分辨率图片i
sr
。
14.进一步的，所述步骤一具体为：
15.输入的图片为rgb格式，先将rgb格式的图片转换为ycbcr格式，ycbcr格式的三个通道中y为颜色的亮度，cb和cr分别代表蓝色和红色的浓度偏移量，由于人眼对颜色亮度比较敏感而对cb和cr不敏感，故只对y通道输入网络进行训练。
16.进一步的，所述步骤二具体为：
17.浅层特征处理：浅层特征处理模块仅存在一个卷积层，负责将低分辨率图片i
lr
从图像域映射到特征域，
18.f
in
＝f
conv
(i
lr
)
19.其中：i
lr
为低分辨率图片，大小为3
×h×
w，h和w分别表示特征图的高和宽，f
conv
()表示卷积操作，f
in
表示经过浅层特征提取模块得到的特征图，维度大小为c
×h×
w，c表示通道维度大小，设为64。
20.进一步的，所述步骤三具体为：
21.深度特征提取模块：将f
in
代入mfdm多尺度特征融合密集模块来提取更深层次的信息，经过上下两条线路，分别代表两个不同尺寸的特征，以此来获得更加充分的信息；同时结合长距离跳过连接和短距离跳过连接，来保证低频信息的流通，使得网络专注于学习高频信息，
22.f
out
＝f
mfdm
(f
in
)
23.其中：f
mfdm
()表示上下两条线路特征的提取，以及其中的级联和深度残差结构，f
out
为输出的特征图，大小为c
×h×
w，c表示通道维度大小，设为64；
24.所述深度特征提取模块包括cg级联组，所述cg包括多个wrb宽残差块和通道注意力机制，通道注意力机制的添加使网络不再平等的对待特征层的每个通道，再通过网络的训练；
25.所述宽残差块wrb包括卷积和prelu激活函数。
26.进一步的，所述步骤四具体为：
27.上采样模块：使用的是亚像素卷积加激活函数的方式，激活函数选取的是prelu，
28.f
up
＝f
up
(f
out
)
29.其中：f
out
大小为c
×h×
w，c设为64，f
up
()表示上采样操作，f
up
为上采样后的特征图，维度大小为c
×
rh
×
rw，r表示上采样的倍率。
30.进一步的，所述步骤五具体为：
31.图像重建模块：对应于浅层特征提取模块，是将图像从特征域映射回图像域，
32.i
sr
＝f
conv
(f
up
)
33.其中：f
conv
()表示卷积操作，i
sr
为重建的高分辨率图片，图像大小为3
×
rh
×
rw，r表示上采样的倍数。
34.与现有技术相比，本发明具有以下有益效果：
35.本发明针对原始卷积神经网络模型特征提取能力差导致的重建图像缺乏细节信
息的问题，提出一种基于多尺度特征融合的机载遥感图像超分辨率重建模型，提高了网络对机载遥感图像特征的提取能力，能够有效对机载遥感图像进行图像特征提取，并恢复出更清晰的细节纹理，且该模型具有对不同机载遥感图像重建的泛化能力，同时最大化保留了原有的图像信息。
附图说明
36.图1是本发明的流程图；
37.图2是本发明的神经网络模型图；
38.图3是本发明神经网络模型图中的级联组结构图；
39.图4是本发明级联组结构中的宽残差块结构图。
具体实施方式
40.下面结合实施例对本发明作更进一步的说明。
41.如图1-4所示，本发明提供的一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，低分辨率图片i
lr
依次进行浅层特征提取，深度特征提取，上采样模块和图像重建，最终得到重建的高分辨率图片i
sr
。
42.作为一个优选方案，如图1和2所示，一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，包括以下步骤：
43.步骤一、对需要输入网络中的低分辨率图片i
lr
进行预处理；
44.所述步骤一具体为：
45.输入的图片一般为rgb格式，由于rgb图片三通道之间的联系都比较密切，故直接对rgb格式图片进行神经网络的训练会破坏图片原本的结构，故先将图片转换为ycbcr格式，这种格式的三个通道，其中y为颜色的亮度，cb和cr代表蓝色和红色的浓度偏移量，由于人眼对颜色亮度比较敏感而对cb和cr不敏感，故只对y通道输入网络进行训练；
46.步骤二、对图片进行浅层特征提取；
47.所述步骤二具体为：
48.浅层特征处理模块：模块仅存在一个卷积层，负责将i
lr
图片从图像域映射到特征域。
49.f
in
＝f
conv
(i
lr
)
50.其中：i
lr
为低分辨率图片，大小为3
×h×
w，f
conv
()表示卷积操作，f
in
表示经过浅层特征提取模块得到的特征图，维度大小为c
×h×
w，c表示通道维度大小，设为64，h和w分别表示特征图的高和宽；
51.步骤三、对图片采用mfdm(多尺度特征融合密集模块)来进行深度特征提取；
52.如图2所示，所述步骤三具体为：
53.深度特征提取：将f
in
代入mfdm(多尺度特征融合密集模块)来提取更深层次的信息，经过上下两条线路，分别代表两个不同尺寸的特征，以此来获得更加充分的信息。同时结合长距离跳过连接和短距离跳过连接，来保证低频信息的流通，使得网络专注于学习高频信息。
54.f
out
＝f
mfdm
(f
in
)
55.其中：f
mfdm
()表示上下两条线路特征的提取，以及其中的级联和深度残差结构，f
out
为输出的特征图，大小为c
×h×
w，c表示通道维度大小，设为64。
56.如图3所示，深度特征提取其主要组成部分为cg(级联组)，而cg由多个wrb(宽残差块)和通道注意力机制组成，通道注意力机制的添加可以使网络不再平等的对待特征层的每个通道，而是有重点的关注某些通道上，再通过网络的训练，在有益于高频信息的通道上投入较多的算力，从而避免盲目的浪费网络的性能，cg的使用可以提取图片中更多的高频信息。
57.如图4所示，宽残差块(wrb)由卷积和prelu激活函数组成，宽残差块的设计能在不提升网络的计算量情况下有效提升网络的非线性表征能力、优化网络的超分辨率重建性能；
58.步骤四、利用上采样模块对图片上采样到需要的高分辨率尺寸；
59.所述步骤四具体为：
60.上采样模块：使用的是亚像素卷积加激活函数的方式，相比于使用去卷积操作，可以使恢复的特征更加清晰，而且运行速度也较快，激活函数选取的是prelu，相比于relu函数，可以更加有效的解决梯度消失的问题。
61.f
up
＝f
up
(f
out
)
62.其中：f
out
大小为c
×h×
w，c设为64，f
up
()表示上采样操作，f
up
为上采样后的特征图，维度大小为c
×
rh
×
rw，r表示上采样的倍率，即fout大小为c
×h×
w，经过上采样后大小发生变化，为c
×
rh
×
rw；
63.步骤五、对图片进行重建得到最终输出重建的高分辨率图片i
sr
；
64.所述步骤五具体为：
65.图像重建模块：图像重建模块对应于浅层特征提取模块，是将图像从特征域映射回图像域。
66.i
sr
＝f
conv
(f
up
)
67.其中：f
conv
()表示卷积操作，i
sr
为重建的高分辨率图片，图像大小为3
×
rh
×
rw，r表示上采样的倍数，即输出图片大小与输入图像大小发生变化。
68.以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。