一种基于领域自适应的端到端多源异质遥感影像变化检测方法与流程

一种基于领域自适应的端到端多源异质遥感影像变化检测方法
发明领域
1.本发明属于遥感图像处理领域，涉及计算机深度学习领域，特别是涉及一种端到端的多源异质遥感影像监督变化检测方法。具体地说是一种基于深度卷积神经网络的遥感影像变化检测方法，该方法将双时相异质遥感影像特征进行提取，通过领域一致性约束层实现多源异质特征的同质化，进而对异质图像上变化区域进行精准检测。


背景技术：

2.自然环境演变与人类行为的相互作用导致地球表面无时无刻不在发生着变化。对地表覆盖变化的及时发现以及周期性关注，对于人与自然和谐相处有着重要意义。基于遥感影像的地表变化检测是实现地表观测的重要途经和手段。随着近些年来遥感传感器的快速发展，遥感图像的种类越来越丰富，空间分辨率越来越高，传统的基于代数运算、图像转换和分类后比较乃至深度学习方法的同源遥感影像变化检测方法在多源异质图像上难以获得较好的变化检测结果。近些年来随着深度学习技术以及计算机视觉分析能力的提升，利用深度学习的高层次特征提取能力进行遥感影像变化检测任务成为一种高效可行的方案。
3.目前，主流的进行多源异质遥感影像变化检测的方法分为两类：一类是非监督传统方法，针对异质图像变化检测这种复杂情况有极大不稳定性，而且实验中参数设置需要大量实验来验证，且同一套参数有很差的泛化性；第二类是两阶段方法，该方法第一阶段先将异质影像进行风格迁移得到相似特征分布的近似同源数据，然后第二阶段利用已有的同源变化检测方法检测变化区域，但是这类方法由于第一阶段不可避免地丢失掉部分原始数据的特有属性，造成特征利用的损失进而导致检测精度偏低。


技术实现要素：

4.本发明要解决的技术问题在于针对上述方法的不足，提出了一个基于领域自适应的端到端多源异质遥感影像监督变化检测方法，实现了基于rgb影像和sar影像的多源影像变化检测。
5.为解决上述问题，该方法主要包括以下步骤：
6.步骤1，多源异质遥感影像数据预处理以及构建变化检测数据集；对原始双时相异质遥感影像经过几何配准校正、大气校正的预处理方式，标注变化标签并制作变化检测数据集；
7.步骤2，构建一个原始影像高维特征提取孪生网络，该网络两个分支分别由预训练好的resnet34的网络层构成；
8.将t1时相的rgb和t2时相的sar影像分别放入该预训练的高维特征提取孪生网络中，每张原始影像获得五组高维特征，这五组高维特征是分别从特征提取网络的不同层抽取出的高维特征，两张异质遥感影像共获得五对影像不同尺度高维特征；
9.步骤3，将步骤2提取出的最后一对最高维特征输入到领域自适应性特征约束层，并将经过领域自适应性特征约束层后的异质影像最高维特征进行差值运算；
10.步骤4，将步骤3中得到的最高维差值特征图作为初始特征块输入到多尺度特征融合解码模块，并将步骤2中前面的四对不同尺度高维特征进行差值计算，利用跳跃连接方式将这些差值特征与多尺度特征融合解码模块中对应尺度特征进行拼接后进行卷积块处理，同时在卷积块之间进行上采样处理，并且每个卷积块旁向会利用1
×
1的卷积层处理得到共四个不同阶段不同尺度的变化检测结果图，最后再利用上采样将四张变化检测结果图统一到原始输入影像大小，并进行拼接卷积得到最终的变化检测结果；
11.步骤5，利用得到的最终变化检测结果与真实标签对比，使用领域一致性损失和变化检测损失线性加权求和作为反向传播的最终损失，多次反向传播迭代训练由高维特征提取孪生网络、自适应性特征约束层和多尺度特征融合解码模块构成的变化检测网络的参数，直到变化检测损失不再下降即为网络训练完成，利用训练好的变化检测网络进行预测，完成双时相多源异质遥感影像的变化检测任务。
12.进一步的，在步骤2中的高维特征提取孪生网络中，两个分支使用非共享权重的方式训练来分别提取不同类型异质数据提取。
13.进一步的，领域自适应性特征约束层的具体处理过程如下；
14.首先利用下采样进一步减小特征图尺寸，极大减小领域距离计算量，随后接一层1
×
1卷积得到特征图大小，对t1和t2时相的特征图进行领域一致性距离计算，之后将特征图上采样到输入该特征约束层时大小。
15.进一步的，领域一致性距离计算是利用多层多核最大均值差异(multi-kernel maximum mean difference,mk-mmd)计算方式对两时相提取到的特征一致性进行更好的监督，其中mk-mmd计算公式如下所示：
[0016][0017]
其中d表示求得的多核领域分布距离值，即求得的mk-mmd，e
x
和ey表示求各自特征映射期望值，x和y分别表示高维特征提取孪生网络提取到的特征进行了下采样和卷积处理之后的双时相异质影像特征，f(
·
)表示特征映射核函数，表示重生核希尔伯特空间reproducing kernel hilbert space(rkhs)，‖
·
‖表示在统一希尔伯特空间两域特征均值之间的距离，κ表示使用多核mmd自适应的核函数权重关系，其中κi表示第i个核函数，βi表示第i个核函数的权重，n表示使用的核函数个数。
[0018]
进一步的，在多尺度特征融合解码模块中，进行拼接和卷积处理过程中，引入通道空间双注意力模块对融合特征在空间域和通道域上进行优化，其中通道注意力模块是将特征图在空间维度进行全局平均池化和全局最大池化压缩，得到一维向量后使用共享多层感知机网络处理，将处理后的两个特征向量逐元素求和产生通道注意力图；空间注意力模块是对通道维进行压缩，在通道维度分别进行平均值池化和最大值池化，接着将提取到的两个通道数为1的空间特征逐元素加和，经过sigmoid激活后得到空间注意力图。
[0019]
进一步的，步骤5中使用bceloss和diceloss进行变化检测损失值计算，并利用多层mk-mmd得到的各层平均领域距离l
mk-mmd
作为网络领域一致性损失；其中网络领域一致性
损失的计算公式如下；
[0020][0021]
其中dj表示领域一致性计算层中第j层计算得到的域分布距离值，m表示需要领域距离计算的层数。
[0022]
本发明与现有技术相比，提出了一个基于领域自适应的端到端多源异质遥感影像变化检测方法，将领域自适应的领域一致性约束引入变化检测模型当中，提高异质影像变化检测的准确性。在变化检测网络中引入双注意力模块实现对融合特征在空间域和通道域上的优化，并且在网络解码部分添加旁向输出层得到不同尺度阶段的变化检测结果，利用该网络的深度监督融合机制使得网络的所有层均能获得较好的训练，并且优化检测结果。本发明方法相比于当前非监督传统异质变化检测方法和两阶段深度学习检测方法，该方法既利用监督方式通过迭代反馈机制使得该方法拥有较高的泛化能力，且不需要大量重复实验确定实验参数；此外，通过引入领域一致性约束层将多源异质特征映射到统一特征空间内，有效克服两阶段异质遥感影像变化检测方法中原始数据特征丢失的缺陷，提高特征利用率，同时在解码阶段深度监督融合方式进行结果优化，该方法对于多源异质遥感影像变化区域的检测精度以及召回率比已有方法有较明显的提升。
附图说明
[0023]
图1是本发明提出的用于多源异质遥感影像变化检测的深度学习网络框架图。
[0024]
图2是该深度学习网络框架图中的双注意力机制组织结构图。
[0025]
图3是双注意力中通道注意力模块结构图。
[0026]
图4是双注意力中空间注意力模块结构图。
具体实施方式
[0027]
下面对结合附图对本发明作进一步的说明。
[0028]
如图1所示，本发明提出了一种基于领域自适应的端到端多源异质遥感影像变化检测方法，包括以下步骤：
[0029]
步骤1，多源异质遥感影像数据预处理以及构建变化检测数据集。原始双时相异质遥感影像经过几何配准校正、大气校正等预处理方式，标注变化标签。将输入数据和标签裁剪成256
×
256小块作为数据集，网络训练时使用水平垂直旋转、翻转的数据增强方法提高网络泛化性；
[0030]
步骤2，如图1孪生特征提取块所示，构建一个原始影像高维特征提取孪生网络，该网络两个分支分别由预训练好的resnet34的网络层构成，其中两分支采用非共享权重来针对性地分别提取多源异质影像的特征。
[0031]
将t1时相的rgb和t2时相的sar影像分别作为放入该预训练的特征提取网络两分支中，每张原始影像获得五组高维特征，这五组高维特征是分别从特征提取网络的不同层抽取出的高维特征，两张异质遥感影像共获得五对影像不同尺度高维特征；
[0032]
步骤3，如图1领域自适应特征约束块所示，将步骤2提取出的最后一对最高维特征输入到领域自适应性特征约束层，首先利用下采样进一步减小特征图尺寸，极大减小领域
距离计算量，随后将下采样后特征图结果进行一次1
×
1卷积得到尺寸大小不变特征图，对t1和t2时相的两层特征图进行领域一致性距离计算，利用多层多核最大均值差异(multi-kernel maximum mean difference,mk-mmd)计算方式对两时相提取到的特征一致性进行更好的监督，其中mk-mmd计算公式如下所示：
[0033][0034]
其中d表示求得的多核领域分布距离值(即求得的mk-mmd)，e
x
和ey表示求各自特征映射期望值，x和y分别表示孪生卷积网络提取到的特征进行了下采样和卷积处理之后的双时相异质影像特征图，f(
·
)表示特征映射核函数，‖
·
‖表示在统一希尔伯特空间两域特征均值之间的距离。κ表示使用多核mmd自适应的核函数权重关系，其中κi表示第i个核函数，βi表示第i个核函数的权重，n表示使用的核函数个数。表示在κ下的重生核希尔伯特空间reproducing kernel hilbert space(rkhs)
[0035]
多层mk-mmd自适应方式的计算方式如下所示：
[0036][0037]
其中dj表示领域一致性计算层中第j层计算得到的域分布距离值，m表示需要领域距离计算的层数，最终计算各层的平均距离作为领域一致性损失。
[0038]
之后将特征图上采样到输入该特征约束层时的大小，并将经过领域自适应性特征约束层后的异质影像高维特征进行差值运算。
[0039]
步骤4，如图1多尺度特征融合解码块所示，将步骤3中得到的高维差值特征图作为初始特征块输入到解码器部分，即多尺度特征融合解码模块，并将步骤2中前四层网络得到的前四对特征块(即前面的四对不同尺度高维特征)分别进行差值计算，利用跳跃连接方式将这些差值特征与解码阶段对应尺度特征进行拼接输入后续卷积块。如图2所示，在多源变化检测网络解码部分，进行拼接和卷积处理过程中，引入通道空间双注意力模块对融合特征在空间域和通道域上进行优化，其中通道注意力模块如图3所示，将特征图在空间维度进行全局平均池化和全局最大池化压缩，得到两个一维向量后分别使用共享多层感知机网络处理，将处理后的两个特征向量逐元素求和产生通道注意力图；空间注意力机制如图4所示是对通道维进行压缩，在通道维度分别进行平均值池化和最大值池化，接着将提取到的两个通道数为1的空间特征逐元素加和，经过sigmoid激活后得到空间注意力图。同时解码部分在卷积块之间进行上采样处理，并且每个卷积块旁向会利用1
×
1的卷积层处理得到共四个不同阶段不同尺度的变化检测结果图，最后再利用上采样将4张变化检测结果图统一到原始输入影像大小，并进行拼接卷积得到最终的变化检测结果。
[0040]
步骤5，利用得到的最终变化检测结果与真实标签对比，使用bceloss和diceloss进行变化检测损失值计算；将步骤3中利用多层mk-mmd得到的各层平均领域距离l
mk-mmd
作为网络领域一致性损失；最终网络训练使用领域一致性损失和变化检测损失线性加权求和作为反向传播的最终损失，多次反向传播迭代训练变化检测网络的参数，直到变化检测损失不再下降即为网络训练完成，利用训练好的网络进行预测，完成双时相多源异质遥感影像的变化检测任务。
[0041]
将本发明方法与已有的方法在美国california数据集上进行了变化检测结果精度测试，该数据集中的可见光rgb影像和sar影像分别由quickbird2和terrasar-x卫星传感器采集得到，该数据集是加利福尼亚州某区域的不同时相的高空间分辨率数据(空间分辨率为0.65米)，在该数据集上多源异质影像变化检测的测试结果如下：
[0042]
表1变化检测精度比较
[0043][0044]
表1中da-mscdnet为目前公开发表的多源异质遥感影像变化检测结果精度最高的方法。与cgan和dhff方法相比，本方法在f1分数上得到接近43％的提升，在iou分数上得到接近37％的提升；与sccn方法相比，本方法在f1分数上得到29.39％的提升，在iou分数上得到30.05％的提升；与同源变化检测监督方法fc-ef、fc-ef-conc和未加领域一致性约束层的mscdnet等方法相比，本发明方法在准确率、召回率、f1分数以及iou分数上均获得了明显的提升。
[0045]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。