一种建筑目标毁伤识别方法与流程

本技术涉及建筑目标多类型毁伤识别领域，具体地，涉及一种建筑目标毁伤识别方法。

背景技术：

1、建筑目标经过打击之后，往往存在破碎区、坍塌区、孔洞区等多类型毁伤区域，建筑目标多类型毁伤识别对实现高效、高精度的毁伤效能评估具有重要的作用。针对建筑目标破碎区、坍塌区、孔洞区等多类型毁伤识别问题，现有的建筑目标毁伤识别方法大多实现了二元定性信息提取，仅能直观地反应建筑目标被打击后的毁伤变化情况，并不能反应建筑目标毁伤的具体类型。

技术实现思路

1、为了克服现有技术中的至少一个不足，本技术提供一种建筑目标毁伤识别方法。

2、第一方面，提供一种建筑目标毁伤识别方法，包括：

3、构建建筑目标毁伤识别模型；建筑目标毁伤识别模型包括特征提取模块、语义分割与变化检测模块，语义分割与变化检测模块包括毁伤语义分割头、基于交叉学习时间相关性建模的变化检测模块；

4、基于训练数据集对建筑目标毁伤识别模型进行训练，得到训练后的建筑目标毁伤识别模型；训练数据集中的样本包括建筑目标打击前后双时相图像对，即建筑目标打击前图像和建筑目标打击后图像；

5、训练过程中，建筑目标打击前后双时相图像对输入特征提取模块，得到打击前图像语义特征和打击后图像语义特征；打击前图像语义特征和打击后图像语义特征输入语义分割与变化检测模块，毁伤语义分割头根据打击前图像语义特征和打击后图像语义特征，得到建筑目标打击前图像毁伤语义预测分割图、打击后图像毁伤语义预测分割图；基于交叉学习时间相关性建模的变化检测模块根据打击前图像语义特征和打击后图像语义特征，实现双时相毁伤语义特征的时间相关性建模，并完成二分类毁伤变化检测，得到二分类毁伤预测变化图；

6、将待识别的建筑目标打击前图像和建筑目标打击后图像输入训练后的建筑目标毁伤识别模型，得到打击后图像毁伤语义预测分割图和二分类毁伤预测变化图，利用二分类毁伤预测变化图对打击后图像毁伤语义预测分割图进行掩膜，得到毁伤语义变化检测图。

7、在一个实施例中，基于交叉学习时间相关性建模的变化检测模块包括基于交叉学习时间相关性建模模块和二分类毁伤变化检测头；

8、基于交叉学习时间相关性建模模块包括注意力模块；打击前图像语义特征输入注意力分支，得到查询、值、键，打击后图像语义特征输入注意力模块，得到查询、值、键；查询和键相乘，并经过softmax，得到相似度矩阵；查询和键相乘，并经过softmax，得到相似度矩阵；相似度矩阵和值相乘，经过卷积操作后，与打击前图像语义特征相加，得到交叉学习后的打击前图像语义特征；相似度矩阵和值相乘，经过卷积操作后，与打击后图像语义特征相加，得到交叉学习后的打击后图像语义特征；

9、交叉学习后的打击前图像语义特征和交叉学习后的打击后图像语义特征输入二分类毁伤变化检测头，得到二分类毁伤预测变化图。

10、在一个实施例中，注意力模块包括3个并行设置的卷积层、2个并行设置的池化层、reshape层、transpose转置层；

11、打击前图像语义特征分别输入三个卷积层，得到第一卷积结果、第二卷积结果和第三卷积结果；

12、第一卷积结果和第三卷积结果分别经过一个池化层，得到第一池化结果和第二池化结果；

13、第一池化结果、第二卷积结果和第二池化结果均输入reshape层，得到第一重塑结果、第二重塑结果和第三重塑结果；

14、第一重塑结果输入transpose转置层，得到查询，第二重塑结果作为值，第三重塑结果作为键。

15、在一个实施例中，训练过程中，采用的总损失为：

16、

17、其中，为总损失，为双时相毁伤语义分割损失，为二分类毁伤变化检测损失，为语义交互对比损失，为附加约束损失，和分别代表语义交互对比损失和附加约束损失的权重。

18、在一个实施例中，双时相毁伤语义分割损失为：

19、

20、

21、其中，表示时相的毁伤语义分割损失，表示时相的毁伤语义分割损失，表示时相的毁伤语义分割损失，表示时相毁伤语义真值分割图中第个像素点属于第类毁伤的概率，表示时相毁伤语义预测分割图中第个像素点属于第类毁伤的概率，表示像素点个数，表示毁伤类型个数。

22、在一个实施例中，二分类毁伤变化检测损失为：

23、

24、其中，表示二分类毁伤真值变化图中第个像素点属于第类的概率，，0表示未变化类型，1表示变化类型，表示二分类毁伤预测变化图中第个像素点属于第类的概率，表示二分类毁伤真值变化图，表示二分类毁伤预测变化图，表示像素点个数。

25、在一个实施例中，附加约束损失为：

26、

27、其中，为二分类预测变化图中第个像素点的像素值，为双时相语义差值特征中第个像素点的像素值，为双时相毁伤语义差异的上界，表示像素点个数，表示双时相语义差值特征的通道数。

28、在一个实施例中，语义交互对比损失为：

29、

30、

31、

32、

33、

34、

35、其中，表示局部对比损失，表示全局对比损失；表示时相t毁伤类型的查询向量，表示计数操作，和分别表示当前训练批次打击前时相和打击后时相存在的毁伤类型数量，表示正样本，表示正样本集，表示时相t的毁伤类型集；表示infonce损失，表示缩放系数，表示负样本，表示负样本集；

36、表示正样本对之间的对比损失，表示负样本对之间的对比损失，表示当前训练批次的记忆队列，表示余弦相似度。

37、在一个实施例中，方法还包括：

38、将双时相语义特征映射到高维密集特征空间，得到毁伤特征向量集；

39、针对每个时相每个毁伤类型，随机提取多个毁伤特征向量，并计算平均特征向量，作为查询向量；

40、毁伤特征向量集中与查询向量具有相同毁伤类型的所有毁伤特征向量，构成正样本集；毁伤特征向量集中与查询向量具有不同毁伤类型的所有毁伤特征向量，构成负样本集。

41、第二方面，提供一种建筑目标毁伤识别装置，用于实现上述的建筑目标毁伤识别方法。

42、相对于现有技术而言，本技术具有以下有益效果：

43、1、将共享参数语义特征编-解码器提取出双时相毁伤语义特征输入到语义交互对比学习模块中，在毁伤语义真值分割图的引导下构建用于对比学习的正负样本对，并通过构建按毁伤类型划分的毁伤特征向量记忆队列，同时完成了局部和全局层次的双时相毁伤语义特征的交互对比，增强毁伤语义特征的类内相似性和类间可分性。

44、2、通过基于共享参数分割头的毁伤语义分割分支完成建筑目标打击前后图像的毁伤语义分割图，同时构建与毁伤语义分割分支并行的变化检测分支，使用交叉学习策略进行双时相毁伤语义特征的时间相关性建模，实现建筑目标打击前后图像变化信息的提取。此外，利用变化检测分支产生的二分类变化信息对双时相毁伤语义信息施加附加约束，捕获语义和二分类变化信息之间的相关性。最后，利用二值变化图作为建筑目标打击后毁伤语义分割图的掩膜获取最终的建筑目标多类型毁伤识别结果，实现破碎区、坍塌区、孔洞区等多类型毁伤变化区域的位置、毁伤类型信息的高精度提取。