一种基于深度学习的卫星影像超分辨率方法

1.本发明属于卫星影像处理领域，特别是对卫星影像的超分辨率方法。


背景技术：

2.为了更准确更广泛的对输电线路绝缘子进行识别和故障监测，云南电网开展了一批基于卫星技术的电网
‘
天空地协同’巡视关键技术研究。随着基于卫星技术的电网巡视关键技术的开展，电网部门积累了大量的遥感卫星影像数据、无人机巡检数据和输电线路绝缘子台账数据，但是在目前的输电线路绝缘子故障监测过程中，只运用了无人机巡检数据和一部分输电线路绝缘子台账数据，没有使用高分辨率的遥感卫星影像数据。在输电线路绝缘子识别和监测中，传统的方式是从无人机巡检数据中提取绝缘子特征，一般只考虑形状和颜色等特征，也有基于深度学习的方法，使用目标检测网络自动的学习绝缘子特征。但是在遥感卫星影像中，这类方法都不适用，因为遥感卫星影像分辨率有限，不能精细地反映输电线路绝缘子特征。


技术实现要素：

3.本发明目的在于提供一种基于深度学习的卫星影像超分辨率方法，用于解决现有基于遥感卫星影像输电线路绝缘子识别的特征精细化提取问题，依靠4倍分辨率的提升，可以较为清晰的重构输电线路绝缘子特征。本发明解决了基于遥感卫星影像输电线路绝缘子识别分辨率不足问题，解决了基于遥感卫星影像输电线路绝缘子特征难以提取的问题。
4.为实现上述目的，本发明的技术方案是：一种基于深度学习的卫星影像超分辨率方法，该方法包括：
5.步骤1：获取卫星影像；
6.步骤2：使用90m
×
90m的高程数据对卫星影像进行正射校正；
7.步骤3：对正射校正后的遥感卫星影像进行多光谱和全色波段融合，融合后的影像为红波段、绿波段、蓝波段和近红外波段四通道影像；
8.步骤4：利用双立方插值下采样算法，对正射校正后的遥感卫星影像进行4倍下采样，然后进行水平翻转、竖直翻转的数据增广，原始多光谱影像作为标签真值，获得训练影像对；
9.步骤5：搭建超分辨率网络；
10.所述超分辨率网络为4通道，对应红波段、绿波段、蓝波段和近红外波段四通道，每个通道输入后分为两支，其中主支依次经过第一卷积层、十个残差网络模块、第四卷积层、像素重组上采样4倍层i；分支首先经过第五卷积层，然后再分为两支，其中一支依次经过第六卷积层和像素重组上采样4倍层ii，另一支依次经过第七卷积层、第八卷积层和像素重组上采样4倍层iii；将像素重组上采样4倍层i、像素重组上采样4倍层ii、像素重组上采样4倍层iii的输出相加后的结果，作为整个超分辨率网络的输出；所述残差网络模块依次包括：第一卷积层、权重归一化层、线性整流层、第二卷积层和权重归一化层；
11.步骤6：将步骤4获得的训练影像对作为步骤5超分辨率网络的输入，训练一个超分辨率网络；
12.步骤7：在对待超分影像进行超分时，首先将影像进行分割裁剪，然后对裁剪后的每个区域影像进行超分，最后将超分后的各区域影像进行拼接；
13.步骤8：对超分后的影像进行红波段、近红外波段和蓝波段三通道假彩色和1％线性拉伸，输出。
14.进一步的，所述步骤5的残差网络模块中，第一卷积层卷积核边长为3，输出通道数为192，卷积步长为1，第二卷积层卷积核边长为3，输出通道数为192，卷积步长为1；主支的第三卷积层卷积核边长为3，输出通道为32，卷积步长为1，第四卷积层卷积核边长为3，输出通道为12，卷积步长为1。第一侧支的第五卷积层卷积核边长为3，输出通道数为96，卷积步长为1，第六卷积层卷积核边长为5，输出通道数为12，卷积步长为1。第二侧枝的第七卷积层卷积核边长为3，输出通道数为32，卷积步长为1，第八卷积层卷积核边长为5，输出通道数为12，卷积步长为1；
15.进一步的，所述步骤6中，设置训练轮次为100，初始学习率为0.0002，并在第25000，50000，75000个单次循环分别按0.5的比例对学习率进行衰减，批尺寸batch size为16。
16.本发明采用一种基于深度学习的多源遥感卫星影像超分辨率方法，搭建扩展性深层超分辨率网络，对superview-1和worldview-3遥感卫星影像进行4倍超分，能够很好的重构输电线路杆塔绝缘子特征，具有保真度高、处理速度快的优点；本发明还对有限的遥感卫星影像进行了数据增广，使得遥感卫星影像特征更多更广，绝缘子特征学习更好。为了不产生影像超分后灰度拉伸的效果，在卷积层后采用了权重归一化层，同时起到加速收敛、防止梯度消失和爆炸以及防止过拟合的作用；进一步的，引入跳接的像素重组上采样4倍层，不经过一系列的额外卷积，从而减小了计算量，加快了计算速度。本发明提出了一种基于深度学习的多源遥感卫星影像超分辨率方法。该方法从深度学习的角度出发，设计了一个轻量的超分辨率网络，并根据两类遥感卫星影像数据特性，研究制定了一套自动化超分流程，构建了高保真度的遥感卫星影像超分模型。目前已应用到云南电网遥感卫星影像处理中，可用于后续输电线路检视、输电线路杆塔识别和绝缘子检测等。
附图说明
17.图1是本发明基于深度学习的遥感卫星影像绝缘子超分辨率方法的流程图；
18.图2是本发明的超分辨率网络结构图；
19.图3是本发明的superview-1影像中杆塔部分超分结果图；
20.图4是本发明的wordview-3影像中杆塔部分超分结果图；
21.图5是本发明的superview-1影像大范围超分结果图。
具体实施方式
22.下面结合具体实施方式对本发明进行详细说明。
23.本发明的技术方案如图1，以云南省昆明市某输电线路为例进行说明，包括以下步骤：
to-noise ratio，wpsnr)三种评价指标来评价各模型对下采样4倍后的2m分辨率影像超分辨率4倍后与原始0.5m高分辨率影像的相似程度(由于gram-schmidt融合后的影像超分后无真值，所以这里用下采样影像超分后与原始高分辨率影像计算评价指标)。结果如表1，可见训练得到的超分辨率模型在superview-1和worldview-3卫星影像上都可以取得很高的评价指标，说明超分过后的影像可以获得较高的保真度，同时查看输电线路杆塔超分结果图，图3至图4，可以看出输电线路杆塔得到了更明显的细节增强，杆塔结构更加明显，同时绝缘子特征也更加明显，有益于后续遥感影像输电线路目标检测应用。
37.表1超分评价指标表
[0038][0039]
本发明的有益效果是能够快速的对输电线路遥感卫星影像进行4倍超分放大，获得更清晰的输电线路遥感卫星影像。由本发明训练得到的超分辨率模型，对于两类遥感卫星影像的超分可视化结果都获得了很好的验证，评价指标如uqi都高于0.99，mssim都高于0.91，wpsnr都高于32，说明结果具有较高的可信度，并且已经应用到云南电网遥感卫星处理中，可以为输电线路检视和绝缘子目标检测等提供更清楚的影像。


技术特征：
1.一种基于深度学习的卫星影像超分辨率方法，该方法包括：步骤1：获取卫星影像；步骤2：使用90m
×
90m的高程数据对卫星影像进行正射校正；步骤3：对正射校正后的遥感卫星影像进行全色波段融合，融合后的影像为红波段、绿波段、蓝波段和近红外波段四通道影像；步骤4：利用双立方插值下采样算法，对正射校正后的遥感卫星影像进行4倍下采样，然后进行水平翻转、竖直翻转的数据增广，原始多光谱影像作为标签真值，获得训练影像对；步骤5：搭建超分辨率网络；所述超分辨率网络为4通道，对应红波段、绿波段、蓝波段和近红外波段四通道，每个通道输入后分为两支，其中主支依次经过第一卷积层、十个残差网络模块、第四卷积层、像素重组上采样4倍层i；分支首先经过第五卷积层，然后在分为两支，其中一支依次经过第六卷积层和像素重组上采样4倍层ii，另一支依次经过第七卷积层、第八卷积层和像素重组上采样4倍层iii；将像素重组上采样4倍层i、像素重组上采样4倍层ii、像素重组上采样4倍层iii的输出相加后的结果，作为整个超分辨率网络的输出；所述残差网络模块依次包括：第一卷积层、权重归一化层、线性整流层、第二卷积层和权重归一化层；步骤6：将步骤4获得的训练影像对作为步骤5超分辨率网络的输入，训练一个超分辨率网络；步骤7：在对待超分影像进行超分时，首先将影像进行分割裁剪，然后对裁剪后的每个区域影像进行超分，最后将超分后的各区域影像进行拼接；步骤8：对超分后的影像进行红波段、近红外波段和蓝波段三通道假彩色和1％线性拉伸，输出。2.如权利要求1所述的一种基于深度学习的卫星影像超分辨率方法，其特征在于，所述步骤5的残差网络模块中，第一卷积层卷积核边长为3，输出通道数为192，卷积步长为1，第二卷积层卷积核边长为3，输出通道数为192，卷积步长为1；主支的第三卷积层卷积核边长为3，输出通道为32，卷积步长为1，第四卷积层卷积核边长为3，输出通道为12，卷积步长为1。第一侧支的第五卷积层卷积核边长为3，输出通道数为96，卷积步长为1，第六卷积层卷积核边长为5，输出通道数为12，卷积步长为1。第二侧枝的第七卷积层卷积核边长为3，输出通道数为32，卷积步长为1，第八卷积层卷积核边长为5，输出通道数为12，卷积步长为1。3.如权利要求1所述的一种基于深度学习的卫星影像超分辨率方法，其特征在于，所述步骤6中，设置训练轮次为100，初始学习率为0.0002，并在第25000，50000，75000个单次循环分别按0.5的比例对学习率进行衰减，批尺寸batch size为16。

技术总结
该发明公开了一种基于深度学习的卫星影像超分辨率方法，属于图像处理领域。本发明搭建扩展性深层超分辨率网络，对遥感卫星影像进行4倍超分，能够很好的重构输电线路杆塔绝缘子特征，具有保真度高、处理速度快的特点；为了提高超分辨率网络学习遥感卫星影像特征的能力，进一步的，采用了数据增广的方式，权重归一化层替换批处理归一化层的方式，更加精确的学习到遥感卫星影像的特征；进一步的，引入跳接的像素重组放大模块，不经过一系列的额外卷积，加快了计算速度，很好的应用到了电网遥感影像处理中。可用于后续输电线路检视、输电线路杆塔识别和绝缘子检测等用途。路杆塔识别和绝缘子检测等用途。路杆塔识别和绝缘子检测等用途。


技术研发人员：郑泽忠 邵添明 金伟士 彭庆军 朱浩玮 牟范 李江
受保护的技术使用者：电子科技大学
技术研发日：2022.05.26
技术公布日：2022/9/2