一种差异指导的遥感影像变化检测方法与流程

1.本发明属于遥感图像处理技术领域，具体涉及一种遥感影像变化检测方法。


背景技术：

2.高分辨率的遥感影像可提供大范围且细致的地球表面图像，在城市规划、交通、农业、军事等领域有着极其重要的作用。变化检测是基于遥感影像中最重要的检测任务之一，该技术可广泛应用于其扮演着重要的角色在土地覆盖、灾害检测、城市化建设、军事应用等领域。它通过对同一地理区域内一段时间内的观测来识别物体或现象的差异，即为对双时相图像(同一地域在不同时间的拍摄图像)检测之间的变化。随着遥感技术的发展，对地物变化的智能自动识别对于探测地球的动态变化变得越来越重要。研究人员提出了多种思想算法来提高遥感影像的变化检测性能，根据深度特征利用的方式，这些方法可分为两类：
3.a、直接利用方法。早期基于深度学习的变化检测网络都是在语义分割模型上演化而来的，这种类型的方法都是先对双时相图像进行特征提取，其创新点大多在于特征提取网络部分，通过网络提取特征后，对网络特征直接做差而得到差分图像，后根据阈值分割、分类、聚类技术对差分图像进行变化区域的提取。此种方法主要借鉴了语义分割的特征模型，通过采用端到端的网络训练方式，特征学习的过程得益于误差的反向传播，然而，并未在前向传播的过程中对特征的提取进行差异增强，故此种方法提取的特征在于任务相关性上不可控。
4.b、差异引入方法。随着遥感影像获取技术的提升，遥感影像的分辨率获得了较大的进步，遥感场景变得更加复杂，内容结构变得更加丰富，对变化检测的语义理解提出了较大的要求。故大多数工作开始考虑通过在特征提取的过程中就增加差异信息的引入，通过引入差异特征，使得与任务相关性强的特征所占比重更大，反之更弱，起到了一定的初步选择作用。使用差异特征的主要优点是其在前向传播的过程中，便学习选择对应的变化语义。与直接利用特征做差相比，基于差异特征增强的特征不仅能在反向传播中学习，还能在正向传播中对特征进行选择增强。由于差异特征的选择能力，差异引入的方法目前取得了较高的分类准确率。
5.尽管变化检测的性能已经较为优越，但仍有一些问题需要解决。其中，通过对遥感双时相图像的观察，发现有些场景中数据分布不均衡，容易引导模型倾向于数量多的未变化区域；此外，由于遥感图像的复杂语义，对网络学习识别与任务相关性的语义有一定的困难。这种数据分布特征和图像特性限制了检测性能的进一步提升。


技术实现要素：

6.为了克服现有技术的不足，本发明提供了一种差异指导的遥感影像变化检测方法，首先输入双时相遥感场景图像，对双时相图像进行数据增广；然后使用孪生卷积网络架构从图像中提取出初级特征；再使用差异指导加权的方法对双时相各自不同深度特征图进行指导增强，得到各尺度的对应加权特征；接下来对双时相各自的特征进行解码，得到对应
的最终特征；然后对双时相对应的最终特征进行做差，得到差异图像；最后对差异图像进行阈值分割，得到最终的变化检测结果。采用本发明方法检测出来的结果完整性强，精度高，和多个模型比较下有着优秀的准确率提升，证明了本发明有着良好的泛化性和鲁棒性。
7.本发明解决其技术问题所采用的技术方案包括如下步骤：
8.步骤1：输入双时相遥感场景图像，对双时相图像进行数据增广；
9.步骤2：使用孪生卷积网络架构，在数据增广后的双时相图像中分别对时相a、b进行特征提取，得到特征图fa、fb；
10.步骤3：对双时相特征图fa、fb做差，得到差异特征d；
11.利用式(1)对差异特征d生成通道加权向量mc(d)，再根据式(2)对特征图fa、fb进行选择性加强得到增强后的特征
[0012][0013][0014]
其中avgpool(d)表示平均池化，maxpool(d)表示最大池化，和分别表示平均池化特征和最大池化特征，σ表示sigmoid函数；mlp表示共享网络，用来产生通道注意力权重矩阵mc；mlp的权重w0和w1是共享的网络参数；
[0015]
步骤4：对双时相各自的特征解码，得到对应的最终特征f
′a、f
′b；
[0016]
步骤5：对双时相对应的最终特征f
′a、f
′b做差，得到差异图像fd；
[0017]
步骤6：对差异图像fd采用式(3)进行阈值分割，得到最终的变化检测结果；
[0018][0019]
其中p
i，j
表示预测图的第i行第j列像素变化预测结果，θ表示阈值，p
i，j
＝1代表该像素发生变化，p
i，j
＝0代表该像素未发生变化。
[0020]
优选地，所述对双时相图像进行数据增广具体为：调整图像尺寸为256x256，使用增广方法将原图像旋转15度或镜像反转。
[0021]
优选地，所述孪生卷积网络架构为双流cnn孪生架构。
[0022]
优选地，所述θ＝1。
[0023]
本发明的有益效果如下：
[0024]
本发明提出的遥感图像变化检测方法是一种对差异特征进行充分利用的思想，可以嵌入到各种变化检测的卷积神经网络中的模型。在高分辨遥感变化检测数据集上应用本发明所提出的差异增强算法后，复杂语义在前向传播中被选择增强，从而抑制了无关语义对任务的干扰，又通过反向传播训练了模型的选择机制，检测出来的结果完整性强，精度高，和多个模型比较下有着优秀的准确率提升，证明了本发明有着良好的泛化性和鲁棒性。
附图说明
[0025]
图1为本发明方法的流程图。
具体实施方式
[0026]
下面结合附图和实施例对本发明进一步说明。
[0027]
在遥感图像的变化检测任务中，数据类别不均衡、遥感图像内部的语义复杂问题，导致模型训练困难，从而降低了检测的准确率。针对以上问题，本发明提出了一种基于深度差异特征增强的变化检测算法，以此平衡数据分布、突出差异特征，从而对双时相遥感图像的变化检测进一步提升精度。
[0028]
一种差异指导的遥感影像变化检测方法，包括如下步骤：
[0029]
步骤1：输入双时相遥感场景图像，对双时相图像调整图像尺寸为256x256，使用增广方法将原图像旋转15度或镜像反转，将其作为步骤2的网络的训练图像；
[0030]
步骤2：使用双流cnn孪生架构，通过双流在数据增广后的双时相图像中分别对时相a、b进行特征提取，得到特征图fa、fb；
[0031]
步骤3：对双时相特征图fa、fb做差，得到差异特征d；
[0032]
利用式(1)对差异特征d生成通道加权向量mc(d)，再根据式(2)对特征图fa、fb进行选择性加强得到增强后的特征
[0033][0034][0035]
其中avgpool(d)表示平均池化，maxpool(d)表示最大池化，和分别表示平均池化特征和最大池化特征，σ表示sigmoid函数；mlp表示共享网络，用来产生通道注意力权重矩阵mc；mlp的权重w0和w1是共享的网络参数；
[0036]
步骤4：对双时相各自的特征解码，得到对应的最终特征f
″a、f
″b；
[0037]
步骤5：对双时相对应的最终特征f
″a、f
″b做差，得到差异图像fd；
[0038]
步骤6：对差异图像fd采用式(3)进行阈值分割，得到最终的变化检测结果；
[0039][0040]
其中p
i，j
表示预测图的第i行第j列像素变化预测结果，θ表示阈值，此处设为1，p
i，j
＝1代表变化，p
i，j
＝0代表未变化。
[0041]
具体实施例：
[0042]
1.实验条件
[0043]
本实施例是在中央处理器为i5-3470 3.2ghz cpu、内存64g、显卡nvidia gtx 1080ti，ubuntu16.04操作系统上，基于pytorch1.7.0、python3.7的语言环境下实现的。为证明本发明的泛化性能，需要证明其在不同的遥感数据集上有着良好的表现。试验中采用的数据集为季节变化数据集cdd、建筑变化检测数据集levir-cd。
photogrammetry,remote sensing and spatial information sciences,vol.42,no.2,pp.565-571,2018.”。
[0056]
unet 出自文献“d.peng,y.zhang and h.guan.“end-to-end change detection for high resolution satellite images using improved unet ,”remote sensing,vol.11,no.11,pp.1382,2019.”。
[0057]
ifn出自“c.zhang,p.yue,d.t,l.jiang,b.shangguan,l.huang and g.liu.“adeeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images”.isprs journal of photogrammetry and remote sensing,vol.166,pp.183-200,2020.”[0058]
为了验证本发明方法的先进性，与近几年的优秀模型unet 、ifn以及其基础模型fc-siam-conc和fc-siam-diff进行了对比，经过在cdd数据集上训练测试得到结果表2。其中recall为召回率，precision为精度，oa为准确率，综合性指标f1值。
[0059]
表2不同模型在cdd数据集的实验结果对比
[0060]
评价指标f1recallprecisionoafc-siam-conc0.8250.8250.8440.957fc-siam-diff0.8370.8360.8570.957unet 0.8750.8710.8950.967ifn0.9030.8600.9490.977本发明0.9140.8680.9650.980
[0061]
根据观察表2可知，本发明方法在季节变化数据集cdd中表现优良，相对于其他几种算法整体上有着较大的提升，首先在oa准确率上，本发明方法取得了0.980的成绩，相对与其他提升了0.3％～3％，尤其是在精度precision上，取得了较大的提升，超越了约1.6％～12.1％，说明了本发明方法在检测精度上最优，适用于一些对精度要求较高的检测场景；此外，为了综合评价算法性能，f1值的对比发现本发明方法提升了约1.1％～9％，足以体现出本发明方法在算法整体表现上优于其他算法。
[0062]
根据表1和表2的对比试验，说明了本发明方法对不同的数据类型有着较强的适应能力，可以有效的提升不同遥感场景的检测准确率、检测精度等，具有良好的泛化能力和鲁棒性；本发明方法通过对提取特征增加了差异增强，分别为对应通道获取了差异权重，从而极大程度的对相关特征起到了增强作用，同理对不相关语义特征起到了抑制作用，以此实现了选择性提取相关特征的作用，并经过试验证明了本发明方法可以有效的提升遥感场景中的变化检测性能。