一种双时相遥感图像的变化检测与语义描述方法与流程

本发明涉及遥感图像变化检测，具体涉及一种双时相遥感图像的变化检测与语义描述方法。

背景技术：

1、遥感图像变化检测是时序遥感分析的核心研究方向之一，其通过计算机视觉技术对同一地理区域不同时序的遥感图像进行处理，精准获取“变化位置”与“变化属性”两类关键信息，在国土规划、灾害评估、生态监测等多个领域具有重要的实际应用价值。

2、现有遥感图像变化检测方法是将变化检测与图像描述视为相互独立的任务，因未建立两者之间的协同关联，会导致变化区域的空间定位结果与语义理解信息相互独立，需分别处理变化掩码与文本语义，难以满足实际应用中对变化检测与语义描述一体化的需求，增加了实际操作成本，也影响了技术应用的便捷性；其次，在跨模态特征融合环节，现有遥感图像变化检测方法多采用“单向调制”或“简单拼接”的方式，缺乏对语义特征与视觉特征的深度互促，因语义特征存在空间定位模糊性且视觉特征缺乏语义关联性的特点，会导致变化区域的语义表达与空间定位脱节，融合效果不佳。

3、其次，针对长序列语义特征的处理，现有技术难以充分捕捉跨时相变化信息，且对空间依赖关系的挖掘方式较为单一，无法全面刻画不同时序遥感图像中变化区域的空间关联与时序演化规律，进一步影响了变化检测的准确性与语义描述的完整性。

技术实现思路

1、本发明的目的是解决现有遥感图像变化检测方法缺乏对语义特征与视觉特征的深度互促，融合效果不佳、变化检测准确性低、语义描述完整性不高的技术问题，提出一种双时相遥感图像的变化检测与语义描述方法。

2、为实现上述目的，本发明所提供的技术解决方案为：

3、一种双时相遥感图像的变化检测与语义描述方法，其特殊之处在于：

4、步骤1，获取双时相遥感图像；所述双时相遥感图像包括同一地理区域不同时间节点的第一时相图像t1、第二时相图像t2；

5、构建双时相遥感图像的变化检测与语义描述模型，所述模型包括双分支特征提取网络、双向调制模块、语义增强融合模块、视觉解码器及文本生成解码器；

6、步骤2，通过双分支特征提取网络分别对第一时相图像t1、第二时相图像t2进行特征提取，其中双分支特征提取网络包括并行的clip-vit32网络和resnet50网络，分别获取得到第一时相图像t1、第二时相图像t2的高层语义特征和多尺度视觉特征；

7、步骤3，通过双向调制模块将获取的高层语义特征和多尺度视觉特征整合并进行双向调制，得到优化后的跨模态特征；

8、步骤4，通过语义增强融合模块和变化检测解码模块对优化后的跨模态特征分别进行语义增强融合与变化检测解码，得到语义增强融合特征及像素级变化区域掩码；

9、步骤5，将语义增强融合特征输入文本生成解码器进行解码，生成双时相遥感图像变化内容的自然语言描述；

10、步骤6，根据像素级变化区域掩码及双时相遥感图像变化内容的自然语言描述，构建双任务联合损失函数，判断像素级变化检测精度与文本描述质量是否同时满足预设要求；若未同时满足，基于双任务联合损失函数更新模型参数，返回步骤2重新迭代；若同时满足，则完成模型训练，并确定优化模型；

11、所述像素级变化检测精度为像素级变化区域掩码与真实变化掩码之间的像素误差；所述文本描述质量为双时相遥感图像变化内容的自然语言描述与真实标注文本之间的逐词预测误差；

12、步骤7，将待测双时相遥感图像输入训练完成的优化模型，输出双时相遥感图像对应的像素级变化区域掩码以及变化内容的自然语言描述，完成双时相遥感图像的变化检测与语义描述。

13、进一步地，所述步骤2中，clip-vit32网络包括clip语义编码器，所述clip语义编码器以vit-32视觉变换器作为图像编码器，将图像和文本映射至同一语义空间；

14、所述resnet50网络包括输入层、初始卷积层、池化层及多级堆叠残差块构成的resnet50视觉编码器，用于逐层提取第一时相图像t1、第二时相图像t2的深层特征并输出包括图像特征向量的多尺度视觉特征；

15、步骤2具体为：

16、步骤2.1，通过双分支特征提取网络中的clip语义编码器分别将第一时相图像t1和第二时相图像t2划分为设定尺寸的图像块序列，经线性投影与位置编码后，进行语义特征提取并输出高层语义特征；

17、步骤2.2，通过双分支特征提取网络中的resnet50视觉编码器分别对第一时相图像t1和第二时相图像t2进行多尺度视觉特征提取，输出多尺度视觉特征，所述多尺度视觉特征包括4个不同尺度的视觉特征。

18、进一步地，所述步骤3包括：

19、步骤3.1，计算4个不同尺度的视觉特征的差异，生成多尺度跨时相差异特征图；

20、其中，为第一时相图像t1在第i个尺度上的视觉特征，为第二时相图像t2在第i个尺度上的视觉特征，i=1,2,3,4；

21、步骤3.2，通过sigmoid激活函数将多尺度跨时相差异特征图转换为空间变化掩码；

22、步骤3.3，将空间变化掩码与高层语义特征进行逐元素相乘，对高层语义特征的空间响应强度实现调制，得到初步调制的语义特征，利用初步调制的语义特征对多尺度视觉特征进行反馈增强实现双向调制，得到增强后的多尺度视觉特征；将增强后的多尺度视觉特征与初步调制的语义特征进行跨模态融合，得到优化后的跨模态特征。

23、进一步地，所述步骤4中，得到语义增强融合特征的步骤包括：

24、步骤a.1，以优化后的跨模态特征为输入，分别在第一时相图像t1和第二时相图像t2的高层语义特征中添加2d位置编码，生成增强后的双时相语义特征、；

25、步骤a.2，计算两个语义特征间的余弦相似度矩阵，生成语义变化掩码

26、其中，为余弦相似度计算函数；

27、步骤a.3，设计差异化空间视角重排策略，将、分别按4种视角进行重排，得到4组不同空间顺序的特征序列；

28、步骤a.4，将4组不同空间顺序的特征序列分别输入mamba模型，提取不同空间视角下的特征关联信息，将特征关联信息进行拼接融合，得到语义增强融合特征。

29、进一步地，所述步骤4中，得到像素级变化区域掩码的步骤包括：

30、步骤b.1，以优化后的跨模态特征为输入，通过多尺度跨时相特征融合变化检测解码器，对不同层级的视觉特征进行自底向上的融合；

31、步骤b.2，在融合过程中对视觉特征进行增强处理，通过通道注意力分支对视觉特征的通道维度进行自适应加权得到通道注意力权重，再通过空间注意力分支对其空间维度进行响应计算得到空间注意力权重；最终得到增强后的视觉特征fenhance：

32、；

33、其中，为通道注意力权重，为空间注意力权重；f为网络中描述特征的张量；

34、步骤b.2，将增强后的视觉特征通过卷积层映射为单通道输出，得到像素级变化区域掩码。

35、进一步地，所述步骤5中，文本生成解码器包括多个解码层以及内置的文本嵌入特征语义模块，每个解码层包括掩码自注意力层、交叉注意力层和前馈网络、线性投影层；掩码自注意力层和交叉注意力层为信息提取层，用于捕捉上下文；前馈网络层为线性变换层，用于信息增强；线性投影层用于将隐藏状态映射到词汇表；

36、步骤5具体包括：

37、步骤5.1，将语义增强融合特征在空间维度上展平为序列特征，输入文本生成解码器，通过文本生成解码器的线性投影层，将其与内置的文本嵌入特征语义对齐；

38、步骤5.2，通过文本生成解码器的掩码自注意力层，捕捉其文本序列内部的上下文依赖关系，并通过交叉注意力层内的交叉注意力机制，将对齐后的语义增强融合特征与解码器内置的文本嵌入特征进行融合，得到跨模态隐状态特征；

39、步骤5.3，采用预设采样策略从跨模态隐状态特征中选取文本序列，生成双时相遥感图像变化内容的自然语言描述。

40、进一步地，所述步骤6中，双任务联合损失函数为：

41、loss_total = loss_cap + λ × loss_mask

42、其中，loss_cap为文本生成损失；loss_mask为变化检测损失；λ 为变化检测损失的权重系数。

43、进一步地，所述步骤a.1中，2d位置编码由水平方向w和垂直方向h的位置向量拼接而成，其中w方向和h方向的位置向量维度均为384，总编码维度与语义特征维度一致。

44、进一步地，所述步骤a.3中，所述差异化空间视角重排策略，包括原始空间顺序、水平翻转空间顺序、垂直翻转空间顺序、对角翻转空间顺序。

45、与现有技术相比，本发明具有的有益技术效果如下：

46、本发明一种双时相遥感图像的变化检测与语义描述方法，通过将双分支特征提取、跨模态双向调制、多视角mamba相融合的一体化训练架构，实现了双时相遥感图像变化检测与语义描述的联合训练，无需额外跨任务的关联处理，在训练过程中直接完成特征互补与协同优化，有效保证了像素级变化区域定位的精准性与自然语言描述的逻辑性，显著降低了遥感图像变化信息的人工解读成本。