一种联合局部表征和全局建模的双时遥感变化检测方法

1.本发明属于图像处理技术领域，具体涉及一种联合局部表征和全局建模的双时遥感变化检测方法。


背景技术：

2.双时遥感图像变化检测对于理解地表变化至关重要，其在灾害损失评估、土地覆盖制图和城市扩展调查等应用中得到了广泛研究。随着高分辨率光学传感器的发展，高分辨率遥感图像的可用性不断提高，从而拓宽了高分辨率双时相图像中变化检测的应用范围。
3.基于卷积网络的变化检测模型cnn凭借局部连接和权值共享的特性而取得了较好的检测性能，但是受感受野大小和局部特征提取的限制，不具备全局上下文信息的建模能力。而transformer网络一经从自然语言处理领域应用到计算机视觉中，就凭借其自注意力机制中长距离依赖特性产生了巨大轰动，然而transformer中不同网络阶段所捕获的全局特征极度相似而存在冗余。因此，提出一种检测精度和泛化性能更好的双时遥感图像变化检测方法。


技术实现要素：

4.本发明的目的在于针对上述问题，提出一种联合局部表征和全局建模的双时遥感变化检测方法，兼具cnn模型和transformer模型的优点，在引进局部归纳偏置的同时，建立长距离依赖，从而保证模型的特征互补与有效表征，可实现更好的目标定位、边缘细化和语义理解，进一步保障双时遥感图像对变化检测的检测精度和泛化性能，且数据处理速度快。
5.为实现上述目的，本发明所采取的技术方案为：
6.本发明提出的一种联合局部表征和全局建模的双时遥感变化检测方法，包括如下步骤：
7.s1、获取双时遥感图像对，将图像对中的两图像分割为若干相同尺寸的子图；
8.s2、建立对偶主干网络模型并进行预训练，对偶主干网络模型包括并行的cnn模型和transformer模型；
9.s3、采用预训练好的对偶主干网络模型对子图进行特征提取，对应获得cnn模型输出的多尺度局部特征图f
local
和transformer模型输出的多尺度全局特征图f
global
；
10.s4、对相同空间分辨率下的局部特征图f
local
和全局特征图f
global
执行双分支信息交叉融合操作，局部特征图f
local
的尺寸记为w
×h×
l
local
，全局特征图f
global
的尺寸记为w
×h×
l
global
，其中，w为当前空间分辨率下局部特征图f
local
或全局特征图f
global
的宽度，h为当前空间分辨率下局部特征图f
local
或全局特征图f
global
的高度，l
local
为当前空间分辨率下局部特征图f
local
的通道深度，l
global
为当前空间分辨率下全局特征图f
global
的通道深度，双分支信息交叉融合操作具体如下：
11.s41、将局部特征图f
local
和全局特征图f
global
分别通过卷积操作统一尺寸为w
×h×
d，其中，d为局部特征图f
local
或全局特征图f
global
统一后的通道深度；
12.s42、线性展开局部特征图f
local
和全局特征图f
global
获取对应的向量组表示，依次记为(q
local
,k
local
,v
local
)和(q
global
,k
global
,v
global
)，其中，q
local
为局部特征图f
local
的查询矩阵，k
local
为局部特征图f
local
的键矩阵，v
local
为局部特征图f
local
的值矩阵，q
global
为全局特征图f
global
的查询矩阵，k
global
为全局特征图f
global
的键矩阵，v
global
为全局特征图f
global
的值矩阵，尺寸均为n
×
d，n＝w
×
h；
13.s43、计算局部特征图f
local
的交叉注意力输出f
cross-local
和全局特征图f
global
的交叉注意力输出f
cross-global
，尺寸均为w
×h×
d；
14.s44、将f
cross-local
和f
cross-global
沿通道方向堆叠，并通过残差模块获取尺寸为w
×h×
d的联合表示f
cross
；
15.s5、对不同空间分辨率的联合表示f
cross
执行多尺度特征图融合操作，获取多尺度融合特征图f
fuse
，多尺度融合特征图f
fuse
的尺寸为对应子图联合表示f
cross
的最大尺寸，记为w1×
h1×
d1；
16.s6、将图像对中对应子图获得的多尺度融合特征图f
fuse
之间依次进行差值、上采样和卷积变换，获取尺寸为nw1×
nh1×
2的变化检测图f
final
，其中，n为上采样的倍数。
17.优选地，步骤s43中，局部特征图f
local
的交叉注意力输出f
cross-local
和全局特征图f
global
的交叉注意力输出f
cross-global
，计算公式如下：
[0018][0019][0020]
其中，softmax(
·
)为非线性映射函数，t为转置操作。
[0021]
优选地，步骤s5中，多尺度特征图融合操作具体如下：
[0022]
s51、在不同空间分辨率的联合表示f
cross
中按照尺寸由小到大顺序选取两种规格，记尺寸大的为低水平特征图f
low
，尺寸小的为高水平特征图f
high
；
[0023]
s52、对低水平特征图f
low
依次进行卷积操作和上采样后生成第一掩码图mask
low
，第一掩码图mask
low
与高水平特征图f
high
进行哈达玛积生成高水平增强特征图f
en-high
；
[0024]
s53、对高水平特征图f
high
进行卷积操作后生成第二掩码图mask
high
，第二掩码图mask
high
与低水平特征图f
low
进行哈达玛积生成低水平增强特征图f
en-low
；
[0025]
s54、对高水平增强特征图f
en-high
和低水平增强特征图f
en-low
依次进行沿通道方向堆叠和卷积操作，形成初始融合特征图；
[0026]
s55、判断初始融合特征图的尺寸是否为联合表示f
cross
的最大尺寸，若是，将初始融合特征图作为多尺度融合特征图f
fuse
，否则，将初始融合特征图归为联合表示f
cross
并以该初始融合特征图的尺寸为最小尺寸，返回执行步骤s51。
[0027]
优选地，步骤s52中，第一掩码图mask
low
通过对低水平特征图f
low
依次进行卷积操作、归一化、卷积操作和上采样生成。
[0028]
优选地，步骤s53中，低水平特征图f
low
与第二掩码图mask
high
进行哈达玛积前还对其进行预处理，预处理为依次进行卷积操作、归一化和上采样。
[0029]
优选地，步骤s52或s53中，在执行哈达玛积后还通过激活函数生成对应的增强特征图。
[0030]
优选地，步骤s54中，在执行卷积操作后还依次通过归一化和激活函数获取初始融合特征图。
[0031]
优选地，步骤s6中，上采样为4倍插值上采样。
[0032]
与现有技术相比，本发明的有益效果为：
[0033]
本技术利用cnn模型和transformer模型并行组成的对偶主干网络模型提取双时遥感图像对的双分支多尺度特征图，包括多尺度局部特征图和多尺度全局特征图，通过双分支信息交叉融合操作联合局部和全局特征，引进局部归纳偏置的同时，建立长距离依赖，从而保证模型的特征互补与有效表征；并且利用多尺度特征图融合操作将有助于目标定位和边界估计的低水平特征图和有助于像素级语义理解的高水平特征图进行融合，实现更好的目标定位、边缘细化和语义理解，进一步保障双时遥感图像对变化检测的检测精度和泛化性能，且数据处理速度快。
附图说明
[0034]
图1为本发明联合局部表征和全局建模的双时遥感变化检测方法的结构示意图；
[0035]
图2为本发明双分支信息交叉融合操作的结构示意图；
[0036]
图3为本发明多尺度特征融合操作的结构示意图；
[0037]
图4为本发明实施例的检测结果图。
具体实施方式
[0038]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0039]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0040]
本技术联合了cnn和transformer的优点构建对偶主干网络模型提取双分支多尺度特征图，并通过双分支信息交叉融合获取局部和全局联合特征表示，从而保证模型的特征互补与有效表征；并且构建多尺度特征融合，将不同水平的特征图进一步融合，以实现更好的目标定位、边缘细化和语义理解，以此充分保证双时遥感图像变化检测的精度和泛化性能。
[0041]
如图1-4所示，一种联合局部表征和全局建模的双时遥感变化检测方法，包括如下步骤：
[0042]
s1、获取双时遥感图像对，将图像对中的两图像分割为若干相同尺寸的子图。
[0043]
如图1所示，记双时遥感图像对中的两个图像分别为x1和x2，作为输入数据，为提高数据处理速度与准确性，首先对获取的双时遥感图像对进行预处理，将各图像切割成统一空间大小(如256
×
256)的子图。
[0044]
s2、建立对偶主干网络模型并进行预训练，对偶主干网络模型包括并行的cnn模型和transformer模型；
[0045]
s3、采用预训练好的对偶主干网络模型对子图进行特征提取，对应获得cnn模型输出的多尺度局部特征图f
local
和transformer模型输出的多尺度全局特征图f
global
。
[0046]
鉴于cnn模型输出的多尺度局部特征图f
local
在主干网络前期具有较小的感受野，此时提取的特征更加聚焦于局部归纳偏执。随着cnn网络的加深，其感受野也稍有扩大，然而始终缺失长距离依赖建模。transformer输出的多尺度全局特征图f
global
，通过考虑每个位置间相似度或亲和度的自注意力机制，从浅层网络起就以近似全局的感受野捕获长距离依赖，造成transformer在浅层和深层获得的表征之间具有更多相似性而导致过高的冗余。本技术联合cnn模型和transformer模型的优点构建对偶主干网络模型用于双时遥感图像的多尺度特征提取中。
[0047]
s4、对相同空间分辨率下的局部特征图f
local
和全局特征图f
global
执行双分支信息交叉融合操作，局部特征图f
local
的尺寸记为w
×h×
l
local
，全局特征图f
global
的尺寸记为w
×h×
l
global
，其中，w为当前空间分辨率下局部特征图f
local
或全局特征图f
global
的宽度，h为当前空间分辨率下局部特征图f
local
或全局特征图f
global
的高度，l
local
为当前空间分辨率下局部特征图f
local
的通道深度，l
global
为当前空间分辨率下全局特征图f
global
的通道深度，双分支信息交叉融合操作具体如下：
[0048]
s41、将局部特征图f
local
和全局特征图f
global
分别通过卷积操作统一尺寸为w
×h×
d，其中，d为局部特征图f
local
或全局特征图f
global
统一后的通道深度；
[0049]
s42、线性展开局部特征图f
local
和全局特征图f
global
获取对应的向量组表示，依次记为(q
local
,k
local
,v
local
)和(q
global
,k
global
,v
global
)，其中，q
local
为局部特征图f
local
的查询矩阵，k
local
为局部特征图f
local
的键矩阵，v
local
为局部特征图f
local
的值矩阵，q
global
为全局特征图f
global
的查询矩阵，k
global
为全局特征图f
global
的键矩阵，v
global
为全局特征图f
global
的值矩阵，尺寸均为n
×
d，n＝w
×
h；
[0050]
s43、计算局部特征图f
local
的交叉注意力输出f
cross-local
和全局特征图f
global
的交叉注意力输出f
cross-global
，尺寸均为w
×h×
d。
[0051]
在一实施例中，步骤s43中，局部特征图f
local
的交叉注意力输出f
cross-local
和全局特征图f
global
的交叉注意力输出f
cross-global
，计算公式如下：
[0052][0053][0054]
其中，softmax(
·
)为非线性映射函数，t为转置操作。
[0055]
s44、将f
cross-local
和f
cross-global
沿通道方向堆叠，并通过残差模块获取尺寸为w
×h×
d的联合表示f
cross
。计算公式如下：
[0056]fcross
＝residual(concat(f
cross-local
,f
cross-global
))
[0057]
其中，residual(
·
)为残差模块，concat(
·
)表示沿着通道方向堆叠。
[0058]
针对卷积操作中感受野受限与自注意力机制中过高冗余，通过引入交叉注意力机
制，在数据表征阶段同时引进局部归纳偏置和全局依赖建模，实现双分支信息的高效交叉融合。
[0059]
s5、对不同空间分辨率的联合表示f
cross
执行多尺度特征图融合操作，获取多尺度融合特征图f
fuse
，多尺度融合特征图f
fuse
的尺寸为对应子图联合表示f
cross
的最大尺寸，记为w1×
h1×
d1。
[0060]
在一实施例中，步骤s5中，多尺度特征图融合操作具体如下：
[0061]
s51、在不同空间分辨率的联合表示f
cross
中按照尺寸由小到大顺序选取两种规格，记尺寸大的为低水平特征图f
low
，尺寸小的为高水平特征图f
high
；
[0062]
s52、对低水平特征图f
low
依次进行卷积操作和上采样后生成第一掩码图mask
low
，第一掩码图mask
low
与高水平特征图f
high
进行哈达玛积生成高水平增强特征图f
en-high
；
[0063]
s53、对高水平特征图f
high
进行卷积操作后生成第二掩码图mask
high
，第二掩码图mask
high
与低水平特征图f
low
进行哈达玛积生成低水平增强特征图f
en-low
；
[0064]
s54、对高水平增强特征图f
en-high
和低水平增强特征图f
en-low
依次进行沿通道方向堆叠和卷积操作，形成初始融合特征图；
[0065]
s55、判断初始融合特征图的尺寸是否为联合表示f
cross
的最大尺寸，若是，将初始融合特征图作为多尺度融合特征图f
fuse
，否则，将初始融合特征图归为联合表示f
cross
并以该初始融合特征图的尺寸为最小尺寸，返回执行步骤s51。
[0066]
在一实施例中，步骤s52中，第一掩码图mask
low
通过对低水平特征图f
low
依次进行卷积操作、归一化、卷积操作和上采样生成。
[0067]
在一实施例中，步骤s53中，低水平特征图f
low
与第二掩码图mask
high
进行哈达玛积前还对其进行预处理，预处理为依次进行卷积操作、归一化和上采样。需要说明的是，预处理中的卷积操作和归一化可与生成第一掩码图mask
low
时依次进行的卷积操作、归一化共用或分别执行。
[0068]
在一实施例中，步骤s52或s53中，在执行哈达玛积后还通过激活函数生成对应的增强特征图。
[0069]
在一实施例中，步骤s54中，在执行卷积操作后还依次通过归一化和激活函数获取初始融合特征图。
[0070]
本实施例中，如图3所示，多尺度特征图融合操作具体如下：
[0071]
1)高水平增强特征图f
en-high
的计算公式如下：
[0072]
s.t.mask
low
＝up(conv(bn(conv(f
low
))))
[0073]
2)低水平增强特征图f
en-low
的计算公式如下：
[0074]
s.t.mask
high
＝conv(f
high
)
[0075]
3)初始融合特征图的计算公式如下：
[0076]ffuse
＝relu(bn(conv(concat(relu(f
en-low
),relu(f
en-high
)))))
[0077]
其中，为哈达玛积，up(
·
)为上采样操作,conv(
·
)为卷积操作，relu(
·
)为非线性映射函数，bn(
·
)为归一化操作，concat(
·
)为连接函数。
[0078]
在遥感图像变化检测任务中，变化目标们的尺寸大小不一，引入不同分辨率水平的特征图将进一步提升模型的泛化性能和检测精度。通过对联合表示f
cross
执行多尺度特征
图融合操作，将其中有助于目标定位和边界估计的低水平特征图f
low
和有助于像素级语义理解的高水平特征图f
high
进行尺度间融合，获取多尺度融合特征图f
fuse
，进一步提升模型表征能力，实现更好的目标定位、边缘细化和语义理解，进一步增强模型的检测精确度。
[0079]
s6、将图像对中对应子图获得的多尺度融合特征图f
fuse
之间依次进行差值、上采样和卷积变换，获取尺寸为nw1×
nh1×
2的变化检测图f
final
，其中，n为上采样的倍数。
[0080]
在一实施例中，步骤s6中，上采样为4倍插值上采样。
[0081]
作为一个较佳的实施例，以广东省广州市2006年和2019年高分辨率遥感影像为例，如图4中x1为2006年的采集图像，x2为2019年的采集图像，(a)-(f)为六组图像，采用本技术提供的一种联合局部表征和全局建模的双时遥感变化检测方法进行实验。检测数据集的影像包含r、g、b三个波段，分辨率为0.55m，具体步骤如下：
[0082]
步骤1：载入广东省广州市2006年和2019年高分辨率遥感影像，选取显示的3个波段(默认r、g、b)，对双时遥感图像对及其对应的检测标签图进行256*256的切割操作，并将数据划分成训练集、验证集、测试集三部分。
[0083]
步骤2：在imagenet分类数据集上预训练对偶主干网络模型中的cnn模型(具体采用resnet-18网络)和transformer模型(具体采用pvtv2-b1网络)。cnn模型和transformer模型还可采用现有技术中其他适用的网络。
[0084]
步骤3：载入步骤1切割后的训练集和验证集数据，送入并行的cnn模型和transformer模型捕获尺寸分别为(64
×
64
×
64、32
×
32
×
128、16
×
16
×
256)的多尺度局部特征图f
local
和(64
×
64
×
64、32
×
32
×
128、16
×
16
×
320)多尺度全局特征图f
global
。
[0085]
步骤4：执行双分支信息交叉融合操作，将cnn模型和transformer模型同一空间分辨率的局部特征图f
local
和全局特征图f
global
融合，获取尺寸为(64
×
64
×
64、32
×
32
×
64、16
×
16
×
64)的多尺度联合表示f
cross
。
[0086]
步骤5：执行多尺度特征图融合操作，将双分支信息交叉融合后的尺寸为16
×
16
×
64的高水平特征图与尺寸为32
×
32
×
64的较低水平特征图融合输出尺寸32
×
32
×
64的特征图(初始融合特征图)，尺寸32
×
32
×
64的特征图再与尺寸为64
×
64
×
64的最低水平特征图融合，获取尺寸为64
×
64
×
64的多尺度融合特征图f
fuse
。
[0087]
步骤6：对双时图像输出的尺寸都为64
×
64
×
64的多尺度融合特征图f
fuse
之间依次做差值、4倍插值上采样和卷积操作，获取尺寸为256
×
256
×
2的变化检测图f
final
。可通过交叉熵损失函数、随机梯度下降算法，最小化检测预测图与标签图之间的损失，完成模型训练，为本领域技术人员熟知技术，在此不再赘述。
[0088]
步骤7：载入本方法训练好的参数，在测试集上获取预测输出，并与测试集标签进行变化检测结果比较，计算查准率、查全率、f1分数、交并比和总体准确率，如图4所示，包括(a)-(f)共六组图像对，对应有所提方法(本技术方法)和参考方法(双时变换器)的变化检测图的结果比较。检测评价结果如表1所示。
[0089]
表1
[0090][0091]
其中，双时变换器为现有技术提出的方法，参考：h.chen,z.qi and z.shi,"remote sensing image change detection with transformers,"in ieee transactions on geoscience and remote sensing,vol.60,pp.1-14,2022,art no.5607514,doi:10.1109/tgrs.2021.3095166.。所提方法为本技术提出的方法。表1中所提方法的检测结果在数值上全方面超过最新的双时变换器方法的结果，同时图4上具有更少的漏检(浅灰色像素点)和误检(深灰色像素点)，以及更高的准确率(白色像素点)，进一步验证了本方明在双时遥感图像变化检测任务上的有效性。
[0092]
本技术利用cnn模型和transformer模型并行组成的对偶主干网络模型提取双时遥感图像对的双分支多尺度特征图，包括多尺度局部特征图和多尺度全局特征图，通过双分支信息交叉融合操作联合局部和全局特征，引进局部归纳偏置的同时，建立长距离依赖，从而保证模型的特征互补与有效表征；并且利用多尺度特征图融合操作将有助于目标定位和边界估计的低水平特征图和有助于像素级语义理解的高水平特征图进行融合，实现更好的目标定位、边缘细化和语义理解，进一步保障双时遥感图像对变化检测的检测精度和泛化性能，且数据处理速度快。
[0093]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0094]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。