基于对偶相关注意力的对象级遥感变化检测方法及系统与流程

1.本发明属于遥感影像自动变化检测领域，具体涉及一种基于对偶相关注意力的对象级遥 感变化检测方法及系统。


背景技术：

2.变化检测是通过观察和识别不同时期的对象或现象的状态来检测差异的过程。更准确地 说，变化检测的目的是在过滤掉无关的变化信息的干扰下，找到特定感兴趣的语义类别的变 化信息。它一直是遥感领域中最重要的问题之一。目前变化检测已广泛用于各种应用中，例 如城市规划，土地资源管理，环境监测，农业调查，灾害评估和其他应用，具有极大的研究 价值。
3.目前，根据所使用的基本单元的粒度，变化检测方法可分为像素级的变化检测方法、对 象级的变化检测方法和场景级的变化检测方法。像素级方法通常通过提取地面变化的特征， 在输入尺寸上逐像素分类为变化或不变，输出像素级的二值掩膜预测。对于对象级的变化检 测,通常通过分割或检测的方式来获取对象，并通过提取和比较对象的多时相特征来确定对象 是否发生了变化，输出对象级的预测，如对象实例的二值掩膜或者对象的边界框。场景级方 法是指从语义层面分析对应场景的类别是否发生了变化，不同时间发生了什么样的变化，它 对影像或者影像切片进行分类，提供图像级标签的预测。由于变化检测大多数时候需要确定 特定类别的区域或目标的变化，因此像素级和对象级方法使用得更多。
4.对于像素级的变化检测方法，代表性的传统方法有主成分分析(pca)，变化向量分析 (cva)等等。鉴于手工设计的特征对高分辨率图像的适应性差的问题，以及深度学习方法在特 征提取方面的优越性，越来越多的变化检测研究开始引入深度学习方法。这些模型具有较大 的感受野，其性能远优于传统方法，但在处理方式上仍停留在像素级。像素级方法总有一个 隐藏的约束条件，需要在不同的相位数据之间进行高精度的相互配准，即对前后图像进行严 格的对齐。然而，由于视角的不同而引起的形状变化和高层建筑所引起的投影阴影往往会造 成虚假的变化区域。此外，最近的研究表明，现代深层神经网络对平移不是严格不变的。因 此，在“像素标签”模式的监督下，具有像素对应效应的像素级方法很难避免这种伪变化。
5.传统的基于对象的变化检测方法使用“对象”作为分析单元在一定程度上可以减少对伪变 化区域的误判。值得注意的是，基于对象的方法中的“对象”通常是一组局部像素簇，通过使 用光谱纹理特征、几何特征(例如形状和面积)以及其他信息对图像进行分割而获得的。但 是，由于传统的手工设计特征提取方法的局限性，这些分割后的区域通常依赖于阈值，让“对 象”易于过度分割和边界碎片化，不具有语义完整性，并且无法真正模拟实际的地理实体目标。


技术实现要素：

6.为了克服以上技术问题，本发明利用深度学习技术，提出了一种基于对偶相关注意力的 对象级遥感变化检测方案，用于检测变化的地理实体(比如新增的建筑物，变化的人工地物)。 相比像素级方法和传统的基于对象的方法，本发明更关注变化的地理实体的整体信息和上下 文联系，并能有效抵抗影像中的伪变化干扰。
7.本发明提供一种基于对偶相关注意力的对象级遥感变化检测方法，包括以下步骤，
8.步骤1，进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影像对进行 随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作，包括随 机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相应的几 何变换；
9.步骤2，设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征；
10.步骤3，在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征融合颈 中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次的相关 性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征进行融 合；
11.步骤4，最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的 位置、大小和变化置信度。
12.而且，所述共享权重的骨干网络中，通过分层特征融合策略实现特征重用，并截断过度 重复的梯度信息，用于提取双时相影像的不同尺度的并行特征。
13.而且，使用cspdarknet
‑
53网络构建孪生网络作为共享权重的骨干网络，提取五个尺度 的特征，从顶层到底层依次标记为c1
‑
c5层。
14.而且，双重协同注意力引导的特征融合颈对采用三个对偶相关注意力模块来自孪生 cspdarknet
‑
53网络的c3
‑
c5层的特征进行融合生成p3
‑
p5层特征，然后采用细化路径聚合 金字塔模块对不同尺度层间的差异特征进行融合。
15.而且，所述对偶相关注意力模块中包括空间相关注意力模块、通道相关注意力模块和变 化差异模块，设来自同尺度层的并行特征f
a
,b进行串联获得特征f
ab
，将空间相关注意力引导 的差异特征f
p
，通道相关注意力引导的差异特征f
c
和特征f
ab
进行进一步融合获得最终的变化 差异特征f。
16.而且，变化检测头共分为三层，检测头
‑
s，检测头
‑
m，检测头
‑
l，分别对应来自细化路 径聚合金字塔模块的n3
‑
n5层特征，根据监督信息并行地学习变化对象的变化置信度和坐标， 并使用先验框学习变化对象的边界框的回归；使用多任务损失函数，根据训练样本标签，对 整体网络模型进行训练；将待检测的双时相影像对输入训练好的网络，获得准确的变化检测 结果。
17.另一方面，本发明还提供一种基于对偶相关注意力的对象级遥感变化检测系统，用于实 现如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
18.而且，包括以下模块，
19.第一模块，用于进行用于变化检测的数据增强，生成双输入流，实现方式包括对四
对影 像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作， 包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相 应的几何变换；
20.第二模块，用于设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺 度特征；
21.第三模块，用于在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征 融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次 的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征 进行融合。
22.第四模块，用于最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化 地物的位置、大小和变化置信度。
23.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存 储指令执行如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
24.或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执 行时，实现如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
25.本发明与现有技术相比，具有以下三个优点：
26.1)专用于变化检测的数据增强方式能加速模型训练，提升模型性能。
27.本发明提出的数据增强方法通过在线随机交换前期图像和后期图像，帮助网络更加关注 变化的本质，而不是在特定的输入模式下过拟合。将四对双时相影像对随机组合成一对合成 影像对，这一方式有助于隐式地增加批处理大小，丰富变化场景，帮助模型更稳定、更快地 收敛。通过对于合成影像对的缩放，隐式增加变化的小目标的占比，引导网络关注小目标的 变化检测，有效提升模型性能。
28.2)使用特征相关性去捕捉差异特征，加快模型收敛。
29.本发明设计的对偶相关注意力模块，从通道和空间层次建立并行特征的相关性注意力， 引导网络从特征的通道和空间层次进一步细化与变化相关的特征，抑制无关的特征，有利于 网络的快速收敛。
30.3)具有优越性和鲁棒性，变化检测效果较好，并可以有效抵抗伪变化干扰。
31.本发明通过网络结构设计和损失函数设计，让构建的端到端变化检测网络更注重于变化 对象的整体特征和上下文关联，避免视角变化以及投影差引起的伪变化干扰。整体训练过程 无需设计人工特征引导，网络可以自适应学习所需特征，具备较好泛化性。在复杂变化场景 下，也有较佳稳定表现。
附图说明
32.图1为本发明实施例的专用于变化检测的数据增强方法的流程图。
33.图2为本发明实施例的对偶相关注意力引导的变化检测网络的总体框架示意图。
34.图3为本发明实施例的对偶相关注意力模块的结构示意图，其中，图3(a)为对偶相关 注意力模块的总体架构，图3(b)为空间相关注意力模块的具体架构，图3(c)为通道相关 注意力模块的具体架构，图3(d)为变化差异模块的具体架构。
具体实施方式
35.以下结合附图和实施例具体说明本发明的技术方案。
36.在数据层面，该框架设计了一种专用于变化检测的数据增强方法，可以有效地加快模型 的训练速度，并提高模型的性能。在模型层面，该框架构建了一种对偶相关注意力引导的变 化检测网络，可以有效提取变化对象的整体特征和上下文关联。该框架最终以边界框的形式 表示检测到的变化地理实体(如新增的建筑物、人工构筑物等)。
37.本发明实施例提供了一种基于对偶相关注意力的对象级遥感变化检测方法，包括专用于 变化检测的数据增强过程(如图1所示)和对偶相关注意力引导的变化检测网络(如图2所示)。 所述对偶相关注意力引导的变化检测网络依次包括共享权重的骨干网络、双重协同注意力引 导的特征融合颈和变化检测头，双重协同注意力引导的特征融合颈包括和骨干网络相应的若 干对偶相关注意力模块和细化路径聚合金字塔模块。另外，图3说明了网络中的对偶相关注 意力模块的架构细节。具体包括以下步骤：
38.步骤1：专用于变化检测的数据增强方式对四对影像对进行随机组合与变换，生成双输入 流。
39.实施例采用专用于变化检测的数据增强方式对四对影像对进行随机的时序交换和组合， 并进行随机的几何变换和颜色变换等操作，生成双输入流。
40.包括以下子步骤：
41.步骤1.1，从训练集中随机选择四对不同区域的双时相图像，并随机交换前时相影像和后 时相影像。
42.步骤1.2，将处理后的四对图像以随机顺序拼接组合为一对合成影像对。
43.例如，区域1t0时相影像、区域2t0时相影像、区域3t0时相影像、区域4t0时相影像、 区域1t1时相影像、区域2t1时相影像、区域3t1时相影像、区域4t1时相影像，随机交换 后，区域1t1时相影像、区域2t0时相影像、区域3t1时相影像和区域4t0时相影像合成影 像1，区域1t0时相影像、区域2t1时相影像、区域3t0时相影像和区域4t1时相影像合成 影像2。
44.步骤1.3，对于合成影像之一，实施例执行以下增强功能：
45.(1)几何变换：随机变换，包括裁剪，缩放，平移，翻转和旋转；
46.(2)亮度变换；
47.(3)增加高斯噪声；
48.(4)色彩变换。
49.为了确保网络的通用性和鲁棒性，对于另一个合成影像，实施例仅进行相同的几何变换 方法。经过以上步骤，使用这一对合成影像生成双输入影像流。
50.步骤2：设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征。
51.实施例使用cspdarknet
‑
53网络构建孪生网络作为共享权重的骨干网络接收双输入流， 通过分层特征融合策略实现特征重用，并截断过度重复的梯度信息，用于提取双时相影像的 不同尺度的并行特征(图2中从顶层到底层的c1
‑
c5层对应五个相应的尺度的特征)。
52.步骤3：双重协同注意力引导的特征融合颈对采用三个对偶相关注意力模块来自孪生 cspdarknet
‑
53网络的c3
‑
c5层的特征进行融合生成p3
‑
p5层特征，然后采用细化路径
聚合 金字塔模块对不同尺度层间的差异特征进行融合。包括以下子步骤：
53.步骤3.1，对偶相关注意力模块对同尺度层的并行特征使用空间层次与通道层次的特征相 关性来获取精化的差异特征，其中包括空间相关注意力模块、通道相关注意力模块和变化差 异模块，具体细节如图3所示，包括以下子步骤：
54.步骤3.1.1，来自同尺度层的并行特征f
a
,b被送入空间相关注意力模块。首先计算它们的 空间相关图c
p
，如图3(b)所示，计算如下：
[0055][0056]
其中，是通过f
a
转置和变形操作获得的结果，f
b
′
是由f
b
变形操作获得的结果，表示 矩阵乘法。根据空间相关图c
p
，对f
a
与f
b
中变化相关的空间局部特征进行增强，与变化无关 的空间局部特征进行抑制，根据空间相关图c
p
的softmax归一化结果并与变形的f
a
进行矩阵 相乘可获得增强的特征f
pa
，根据转置的空间相关图c
p
的softmax归一化结果并与变形的f
b
进 行矩阵相乘可获得增强的特征f
pb
。最后，融合特征f
pa
和f
pb
去生成空间相关注意力权重w
p
， 融合过程包括使用将特征f
pa
和f
pb
进行连接(图3(b)中的c符号)、sigmoid变换获得特征 f
pab
，再经过1*1卷积和3*3卷积将通道数由2c压缩到c获得w
′
p，最终再经过sigmoid变 换。
[0057][0058][0059]
步骤3.1.2，来自同尺度层的并行特征f
a
,f
b
被送入通道相关注意力模块。首先计算它们的 通道相关图c
c
，如图3(c)所示，计算如下：
[0060][0061]
其中，是通过f
b
转置和变形操作获得的结果，f
′
a
是由f
a
变形操作获得的结果，表示 矩阵乘法。根据通道相关图c
c
，对f
a
与f
b
中变化相关的通道进行增强，其中与变化无关的通 道进行抑制，获得根据通道相关图c
c
进行增强的特征f
ca
和f
cb
。最后，融合特征f
ca
和f
cb
去生 成通道相关注意力权重w
c
。融合过程包括使用将特征f
ca
和f
cb
进行连接(图3(c)中的c符 号)、sigmoid变换获得特征f
cab
，再经过1*1卷积和3*3卷积将通道数由2c压缩到c获得 w
′
c
，最终再经过sigmoid变换。
[0062]
步骤3.1.3，来自同尺度层的并行特征f
a
,f
b
被送入变化差异模块。变化差异模块通过绝对 差分操作和串联操作两个分支来分别提取差异特征，最后将两个分支提取的差异特征进行融 合获得最终的差异特征f
d
,如图3(d)所示。f
d1
由f
a
,f
b
进行绝对差分获得，f
ab
由f
a
,f
b
进行特 征连接获得，再经过1*1卷积可获得特征f
d2
，最终f
d1
和f
d2
进行特征连接、1*1卷积、批次 归一化以及leakyrelu变换获得最终的特征f
d
。
[0063]
leakyrelu(x)＝max(αx,x)
[0064]
步骤3.1.4，来自同尺度层的并行特征f
a
,f
b
进行串联获得特征f
ab
。
[0065]
步骤3.1.5，f
d
分别在w
p
,w
c
的引导下进行特征增强，获得由空间相关注意力引导的差异 特征f
p
和通道相关注意力引导的差异特征f
c
，如图3(a)所示，计算方式如下：
[0066]
f
′
p
＝w
p
⊙
f
d
[0067]
f
′
c
＝w
c
⊙
f
d
[0068][0069][0070]
其中
⊙
表示逐元素点积操作，表示逐元素加法操作。
[0071]
将空间相关注意力引导的差异特征f
p
，通道相关注意力引导的差异特征f
c
和特征f
ab
进行 进一步融合获得最终的变化差异特征f。
[0072]
步骤3.2，细化路径聚合金字塔模块对不同尺度层间的差异特征进行融合。
[0073]
路径聚合金字塔网络在常规的top
‑
down路径外增加bottom
‑
up路径，在特征融合中可以 有效增强低层特征的表达。本发明提出的细化路径聚合金字塔模块在进行不同尺度特征的融 合时使用串联操作，而不是逐元素相加操作，这样可以自适应地融合低层与高层的特征，更 有效地捕捉不同尺度地物的语义变化。
[0074]
c3
‑
c5层的特征经过对偶相关注意力模块完成不同时相的特征融合，再经过top
‑
down路 径完成不同尺度的特征融合。具体而言，以p4层特征的生成为例。c5层特征经过对偶相关 注意力模块直接获得p5层特征。p5层的特征经过上采样放大到与c4层特征相同的分辨率， 与c4层特征经过对偶相关注意力模块获得的特征进行融合获得p4层特征。具体方式是进行 特征连接并经过1*1卷积、3*3卷积、批次归一化和leakyrelu变换。p3层的特征生成与p4 层特征生成方式相同。
[0075]
之后，p3
‑
p5层的特征经过bottom
‑
up路径进一步进行特征融合生成特征n3～n5。具体而 言，以n4层特征的生成为例，n3层特征由p3层特征经过1*1卷积、3*3卷积、批次归一化 和leakyrelu变换获得，n3层特征经过上采样缩小到p4层特征分辨率，与p4特征进行特 征融合获得n4层特征，具体方式是进行特征连接并经过1*1卷积、3*3卷积、批次归一化和 leakyrelu变换。n5层的特征生成与n4层特征生成方式相同。
[0076]
步骤4，来自细化路径聚合金字塔模块的不同尺度的特征(n3
‑
n5)送入变化检测头以输出 边界框形式的变化对象预测。
[0077]
对偶相关注意力引导的变化检测网络中，最后将不同尺度的差异特征送入网络的变化检 测头，以边界框的形式表示检测到的变化地理实体(如新增的建筑物、人工构筑物等)。
[0078]
实施例中，步骤4包括以下子步骤：
[0079]
步骤4.1，变化检测头共分为三层，检测头
‑
s，检测头
‑
m，检测头
‑
l，分别对应来自细化 路径聚合金字塔模块的n3～n5层特征，根据监督信息并行地学习变化对象的变化置信度 conf
changed
和坐标(x,y,w,h)。并使用先验框来快速而高效地学习变化对象的边界框的回归， 默认三个检测层上的先验框数都为3，所有先验框的长宽根据训练集数据进行kmeans聚类获 得。a是先验框数，c为特征通道数，w为特征图宽度，h为特征图高度。
[0080]
步骤4.2，使用多任务损失函数，根据训练样本标签，对模型进行训练。损失函数loss包 括边界框回归损失l
reg
和变化置信预测损失l
conf
：
[0081]
loss＝λ
reg
×
l
reg
λ
conf
×
l
conf
[0082]
其中λ
reg
表示回归损失在总损失中的权重，λ
conf
表示变化置信预测损失对总损失的贡献。取 λ
reg
＝1，λ
conf
＝2.5。
[0083]
包括以下子步骤：
[0084]
步骤4.2.1，正负样本生成。
[0085]
计算地面真值框尺寸与anchor尺寸之比。如果比率在设定的阈值(1/4～4)内，本发明将 anchor视为正样本(置信度为1)；否则，视为负样本(置信度为0)。
[0086]
步骤4.2.2，计算边界框回归损失。使用ciou损失函数作为边界框回归损失函数。
[0087][0088][0089][0090]
其中，b代表预测边界框的中心点坐标，代表真值框的中心点坐标，iou为交并比因子， 由预测框与真值框交集面积除去两者的并集面积，是指预测边界框的中心点和地面 真值框的中心点之间的欧氏距离，c表示同时包含预测框和地面真值框的最小封闭矩形的对角 线距离，用v度量预测边界盒与地面真值盒的宽高比的相似性，和代表真值框的宽和长， w和h代表预测框的宽和长，α为权重系数，
[0091]
步骤4.2.3，计算变化置信度预测损失。使用focal损失函数作为变化置信度损失函数。
[0092][0093]
其中y
′
表示预测的变化置信度，y表示真正的置信度，α用于控制正样本和负样本对损失 的贡献，γ用于控制困难样本和简单样本对损失的贡献。在本发明的实验中，默认使用 α＝0.25和γ＝1.5。
[0094]
步骤4.2.4，利用多任务损失，对于对偶相关注意力引导的对象级变化检测网络进行训 练，直到整个网络收敛至最优精度为止。
[0095]
步骤4.3，将待检测的双时相影像对输入训练步骤4.2中训练好的网络，可以获得准确的 变化检测结果。待检测的双时相影像对的生成，和之前步骤对训练集的处理方式一致。
[0096]
本发明对部分实验数据进行变化检测的预测结果可以看出，本发明能准确、鲁棒地对不 同场景下的遥感影像进行变化检测。实验结果可以证明，本发明专用于变化检测的数据增强 方法可以加快模型训练与提升模型性能，基于对偶相关注意力的检测网络通过对变化影像对 训练集进行端到端学习与训练，经对偶相关注意力机制引导，能有效抵抗影像对中的伪变化 干扰，具有较高的准确性和鲁棒性。
[0097]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现 自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读 存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0098]
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测系统，包 括以下模块，
[0099]
第一模块，用于进行用于变化检测的数据增强，生成双输入流，实现方式包括对四
对影 像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作， 包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相 应的几何变换；
[0100]
第二模块，用于设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺 度特征；
[0101]
第三模块，用于在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征 融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次 的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征 进行融合。
[0102]
第四模块，用于最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化 地物的位置、大小和变化置信度。
[0103]
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测系统，包 括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如 上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
[0104]
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测系统，包 括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如 上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
[0105]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技 术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不 会偏离本发明的精神或者超越所附权利要求书所定义的范围。