一种基于灾害感知掩膜分类模型的建筑物损伤评估方法及装置

本技术涉及建筑物损伤评估，特别是涉及一种基于灾害感知掩膜分类模型的建筑物损伤评估方法及装置。

背景技术：

1、在全球气候变化持续加剧的背景下，极端自然灾害如地震、洪水、飓风的发生频率与强度均呈现上升趋势，对人类生命安全与社会基础设施构成了严峻威胁。在灾害事件发生之后，基于遥感数据进行可靠的建筑物损失评估分析（building damage assessment，bda）能够为后续应急响应与人道主义救援提供参考和支持。

2、xbd数据集的发布为该任务提供了重要的研究基础。该数据集包含灾害发生前后的超高分辨率（vhr）遥感影像，并覆盖多种灾害类型和全球不同区域，相较于早期仅关注单一灾害场景的研究，xbd显著提升了模型训练的数据规模与多样性，使得基于深度学习的建筑物损毁评估方法得以快速发展。因此，大部分随后发布的建筑物损毁评估模型都基于这一基准数据集进行开发和测试。

3、在这一基础上，建筑物损毁评估模型得以快速发展。在发布xbd的xview2挑战后，孪生cnn结构逐渐成为建筑物损失评估的主流方法。之后，随着transformer模型在计算机视觉领域的快速发展，部分研究开始引入基于transformer的架构，利用全局感受野和长距离依赖关系的建立，从而提升模型的特征表达能力。此外，近期提出的mamba系列模型也正被应用于建筑物损毁评估任务，并取得了具有潜力的性能表现。

4、尽管现有研究已经在模型架构设计上取得了很大进步，但仍存在一个重要问题。在灾害事件发生时，建筑物的结构性受损是整体性的，也就意味着一栋建筑理应只属于一种损失等级，比如轻度受损或损毁。然而，大多数现有的bda方法，无论是基于cnn还是transformer的模型，仍沿用传统的变化检测范式，即在像素级别对损毁进行分类。这种像素级的策略会导致两个隐患，首先是语义不一致，即在单个建筑物内部，模型会判别不同像素属于不同的损失级别，例如一个建筑一半未受损一般损毁，而这显然与物理直觉明显违背，一栋建筑物不应有两种受损状态。其次是边界粘连，在建筑物密集的区域，像素级模型难以分离紧邻的建筑物，可能会错误地将相邻且损毁程度不同的建筑实例连接合并。近年来，一些研究已经意识到这些问题，并引入了后处理策略以强化实例一致性。然而，它们的核心模型框架仍然是以像素为中心的方法。

5、除了架构上的局限性之外，评估可靠性的问题也值得关注。官方的xbd数据集使用了空间上随机分配的默认策略，这使得同一个灾害事件的影像会同时出现在训练和测试集当中。从而导致模型的实际能力可能被高估，因为模型往往依赖于事件特定的线索，而在面对未见过的灾害场景时则泛化能力有限。

6、具体的，在现有技术中存在以下方案：

7、（1）像素级建筑物损毁评估模型。

8、xview2挑战排名第一的模型由durnov提出，其作为早期基于xbd建立的代表性建筑物损毁评估模型，使用了siamese u-net结构和两阶段训练策略，即首先训练建筑物分割并在第一阶段得到的权重基础上训练后续的损伤分类模型。此后siamese u-net及其变体成为了bda的主流范式。这些模型使用共享权重的编码器从灾前灾后影像提取特征，并在之后进行特征融合用于损失判别。为了克服两阶段训练的缺陷，之后的研究开始探索端到端的训练策略。weber使用共享权重的resnet50主干，并拼接双时相特征直接预测损失类别，在xbd官方划分数据集上总体分数达到0.741；rescuenet使用空洞卷积以扩大感受野；为了增强特征表述，dual-hrnet建立了孪生结构的hrnet，将总体分数提升至0.768；siam-u-net-attn引入了通道和空间注意力以关注损伤相关区域；bdanet进一步提出了一种跨方向注意力（cross-directional attention，cda）模块，用于显式建模双时相影像之间的相关性，从而显著提升对轻微损毁与严重损毁的区分能力，总体分数达到0.806；deng和wang提出了shuffle attention，用于关注灾前与灾后建筑之间的相关关系。以上研究尽管在精度上取得了显著进展，但基于cnn的模型仍受到有限感受野的制约。为了解决这一问题，研究者开始引入基于transformer的架构，以建模长距离依赖关系。damformer利用孪生transformer编码器提取非局部特征，在复杂灾害场景中表现出优于cnn方法的性能；类似地，dahitr通过分层transformer结构强调多尺度的时序差异建模；lu等人提出了bat模型，并设计了一种新的跨注意力机制，总体f1分数0.813。此外，一些新兴架构如mamba也被changemamba引入到建筑物损毁评估任务中，并取得了具有竞争力的性能，f1分数达到0.814。

9、然而，尽管模型架构不断演进，上述方法在本质上仍然遵循逐像元分类的建模范式，即对每个像素独立预测其损毁类别。这种建模方式忽略了建筑物作为结构化实体的约束，容易导致同一建筑实例内部出现不一致的预测结果。例如，一个建筑物的不同区域可能被分别判定为“未受损”与“严重损毁”，从而违背实际物理语义。changeos和bat均指出了像素级预测所带来的语义不一致问题，并通过在每个建筑实例内部对像素预测结果进行多数投票（majority voting）的方式，强制为每个建筑分配唯一的损毁类别。尽管这些方法在一定程度缓解了相关问题，但是引入了额外的后处理步骤。

10、综上所述，现有建筑物损毁评估方法虽然在模型结构与特征建模方面不断演进，但在任务定义层面仍然存在明显局限，仅依赖像素级分类框架难以满足实际应用中对语义一致性与结构化结果输出的需求，有必要探索新的建模范式以实现从像素级预测向实例级理解的转变。

11、（2）掩码分类范式。

12、最近，基于detr的设计思想，mask2former推广的掩码分类（maskclassification）范式已经逐渐被引入遥感领域，并应用于实例分割和云检测任务。然而，该范式在变化检测任务中的应用仍然相对有限。maskcd和cdmask尝试将这一思想引入变化检测领域，并在二元变化检测场景下应用。特别的，cdmask通过学习变化查询（changequeries）来预测变化掩码，并设计了专门的变化特征提取器和场景引导轴向注意力机制（scene-guided axial attention），以更好地适应变化检测任务。这些研究体现了掩码分类框架在变化检测中的潜力。

13、然而，现有工作仍存在明显局限。首先，在任务设定上，上述方法均局限于二元变化检测，即仅区分“变化”与“未变化”，而建筑物损毁评估任务本质上属于多类别问题，需要对不同损毁等级（如未受损、轻度受损、严重受损及完全损毁）进行区分，这对模型的判别能力与特征表达提出了更高要求。其次，这类方法在设计思想上仍然遵循将整幅影像中的变化区域视为一个统一的语义类别进行建模，而缺乏对具体对象实例的建模能力。而这种建模方式与建筑物损毁评估任务的本质需求存在根本性差异。在bda任务中，研究重点并非简单地识别哪里发生了变化，而是需要明确哪一栋建筑发生了何种程度的损毁。也就是说该任务强调的是以建筑物实例为中心的损毁建模，要求模型能够在复杂场景中准确区分相邻建筑物，并为每个独立实例赋予唯一且一致的损毁标签。

14、因此，尽管现有研究初步验证了掩码分类范式在变化检测任务中的应用潜力，但如何将其从关注变化区域进一步拓展到对实例级损毁的判别，并适配多类别损毁评估任务，仍然是一个有待深入研究的关键问题。这也为构建面向建筑物实例的端到端损毁评估框架提供了重要的研究契机。

15、（3）基于xbd事件划分的灾害自适应模型。

16、绝大部分现有的建筑损伤评估模型均在官方发布的xbd数据集划分下评估的，并在测试时取得了相当高的精度结果。但是，由于在官方的随机划分规则下同一灾害事件的许多影像对可能会被分别分到训练集和测试集当中，这使得模型可以会隐式记忆与具体事件有关的特征，例如特定区域的建筑风格、成像条件、背景纹理甚至那一次具体灾害特有的破坏模式等，而非真正具有泛化能力的损毁判别特征。在测试阶段，由于测试样本与训练样本在事件层面存在相似性，模型能够依赖这些隐式记忆的信息取得较好的表现，从而造成评估结果被高估的现象。为了解决这一问题，hafner的工作尝试将灾害类型信息引入建筑损毁评估模型，以促使模型学习在同一灾害类型的不同事件下能够泛化的特征。具体而言，他们提出了一个基于siamese cnn的简单基线模型，并通过单次film调制机制在灾后特征注入灾害类型标签。结果表明，即使是简单的条件信息引入，也能够提升模型在未见灾害事件上的泛化能力。但是这一方法仅在解码器之后引入灾害信息，缺乏在网络内部进行更深层或多层级条件调制的能力。

17、因此，如何突破像素分类固有局限、从实例视角建模建筑损毁并引入多层级灾害先验提升跨事件泛化能力，成为本领域亟需解决的技术问题。

技术实现思路

1、本技术的目的是提供一种基于灾害感知掩膜分类模型的建筑物损伤评估方法及装置，可在多类型未知灾害场景下精准区分各损毁等级建筑物，保证单栋建筑损伤预测语义统一、密集建筑实例完整分割，有效提升灾后遥感影像建筑物损伤评估的可靠性与实用性。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种基于灾害感知掩膜分类模型的建筑物损伤评估方法，包括：

4、获取待预测的灾前影像、灾后影像和灾害类型。

5、将所述灾前影像、所述灾后影像和所述灾害类型输入训练好的idam模型；所述idam模型通过孪生骨干网络分别提取所述灾前影像的多尺度特征和所述灾后影像的多尺度特征，根据所述灾害类型生成事件嵌入，并利用所述事件嵌入执行以下处理：在多个特征尺度上分别生成逐通道缩放参数和偏置参数，利用所述逐通道缩放参数和所述偏置参数对相应尺度的灾后影像特征进行仿射调制，将调制后的灾后影像特征与相应尺度的灾前影像特征进行融合，并通过像素解码器得到聚合多尺度特征；在transformer解码器的各解码层中，将与所述灾害类型对应的可学习提示标记和从所述聚合多尺度特征中提取的对象查询特征张量在序列维度上进行拼接，对拼接后的查询特征序列进行自注意力处理，并从处理结果中移除所述可学习提示标记，得到更新后的对象查询特征；以及生成与所述灾害类型相关的分类权重残差和分类偏置残差，将所述分类权重残差和所述分类偏置残差分别与共享静态分类权重和共享静态分类偏置组合，基于所述更新后的对象查询特征生成各对象查询的类别得分，并基于所述聚合多尺度特征和所述更新后的对象查询特征生成各对象查询的掩膜预测logits。

6、对各对象查询的类别得分进行softmax处理，并删除无对象类别对应的概率分量，得到各对象查询针对各建筑损伤类别的类别概率向量；对各对象查询的掩膜预测logits进行sigmoid处理，得到各对象查询的掩膜概率图；根据全部对象查询的所述类别概率向量构建类别概率矩阵，根据全部对象查询的所述掩膜概率图构建掩膜概率矩阵，将所述类别概率矩阵的转置矩阵与所述掩膜概率矩阵相乘，以对全部对象查询在各建筑损伤类别下的类别概率与掩膜概率进行加权求和，得到各建筑损伤类别的空间得分图，并根据所述空间得分图生成建筑损毁分布图。

7、可选地，所述idam模型包括：

8、孪生骨干网络，采用共享权重的swin transformer分别提取所述灾前影像和所述灾后影像的多尺度层级特征。

9、多层级灾害感知调制模块，包括分别与多个特征尺度对应的film特征调制单元，各所述film特征调制单元根据所述事件嵌入生成与对应尺度的通道数相适配的逐通道缩放参数和偏置参数。

10、像素解码器，用于聚合各尺度的融合特征，生成所述聚合多尺度特征。

11、transformer解码器，包括

l个解码层和

n

q个对象查询，每一解码层依次通过掩膜交叉注意力从所述聚合多尺度特征中提取对象查询特征张量，并通过灾害条件化自注意力利用

n

p个所述可学习提示标记更新所述对象查询特征张量，得到更新后的对象查询特征。

12、动态分类头，包括共享静态分类参数和由多层感知机根据所述事件嵌入生成的动态残差参数，用于生成各对象查询的类别得分。

13、掩膜预测头，用于根据所述聚合多尺度特征和所述更新后的对象查询特征生成各对象查询的掩膜预测logits。

14、可选地，所述事件嵌入的表达式为：

15、；

16、所述调制参数的表达式为：

17、；

18、所述调制后的灾后特征的表达式为：

19、；

20、所述融合特征表示的表达式为：

21、；

22、其中，为事件嵌入；为可学习的查找表；为离散的灾害类型；为用于调制第尺度灾后特征的逐通道缩放向量；为偏置向量；为尺度相关的生成网络；为调制后的第个尺度下的灾后特征；为第个尺度下灾后影像的特征图；为第个尺度下灾前影像的特征图；为第个尺度下的融合特征表示。

23、可选地，所述对象查询特征张量的计算公式为：

24、；

25、所述拼接后的查询特征序列的表达式为：

26、；

27、所述自注意力处理的表达式为：

28、；

29、所述更新后的对象查询特征的表达式为：

30、；

31、其中，为transformer解码器第层的建筑物对象查询特征张量；为多尺度特征集合；为第解码层得到的预测掩膜；为拼接后的查询特征序列；为可学习的提示标记；为对象查询的数量；为灾害类型对应的可学习提示标记的数量；为嵌入向量维度；为输出查询特征序列；为更新后的对象查询特征。

32、可选地，所述类别得分和类别概率的计算公式为：

33、；

34、

35、其中，为第个对象查询的分类logits；为对进行softmax处理后得到的类别概率向量；为静态权重；为静态偏置；为与灾害类型相关的分类权重残差；为与灾害类型相关的分类偏置残差；为查询特征。

36、对于个对象查询，将各对象查询的类别得分组成类别得分矩阵，其中，为建筑损伤类别的数量，附加的一类为无对象类别；对所述类别得分矩阵

s进行softmax处理并删除所述无对象类别对应的概率列，得到类别概率矩阵；将各对象查询的掩膜预测logits进行sigmoid处理并展平，得到掩膜概率矩阵，其中，

h和

w分别为输出影像的高度和宽度；按照计算建筑损伤类别空间得分矩阵，并将所述空间得分矩阵重构为的空间得分图；针对每个空间位置，根据各建筑损伤类别的空间得分确定对应的损伤类别，得到建筑损毁分布图。

37、可选地，对所述idam模型的训练，具体包括：

38、获取训练集；所述训练集包括：历史灾前影像、历史灾后影像、对应的灾害类型、各建筑实例的二值掩膜及与每个二值掩膜对应的损伤类别标签。

39、将所述历史灾前影像、所述历史灾后影像和对应的灾害类型输入idam模型，得到idam模型的输出。

40、基于所述idam模型的输出、各建筑实例的二值掩膜、与各二值掩膜对应的损伤类别标签以及确定的损失函数，确定损失值。

41、基于所述损失值对所述idam模型的网络参数进行优化，得到训练好的idam模型。

42、可选地，所述损失函数的表达式为：

43、；

44、其中，为单个解码层的训练损失；为分类损失权重；为带类别权重的多类别交叉熵损失；为第个对象查询的预测类别概率分布；为对象查询的数量；为第个对象查询的目标类别标签；为掩膜bce损失权重；为批次中真实掩膜数量的归一化因子；为图像中真实建筑实例的总数；为预测掩膜与真实掩膜之间的二元交叉熵损失；为第个真实建筑实例的二值掩膜；为与第个真实实例相匹配的预测掩膜；为dice损失权重；为dice损失。

45、第二方面，本技术提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述所述的基于灾害感知掩膜分类模型的建筑物损伤评估方法。

46、第三方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的基于灾害感知掩膜分类模型的建筑物损伤评估方法。

47、第四方面，本技术提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述所述的基于灾害感知掩膜分类模型的建筑物损伤评估方法。

48、根据本技术提供的具体实施例，本技术具有了以下技术效果：

49、本技术提供了一种基于灾害感知掩膜分类模型的建筑物损伤评估方法及装置，通过获取待预测的灾前影像、灾后影像和灾害类型；构建了完整且贴合灾害评估场景的输入数据体系，规避了单一影像数据评估维度缺失、无灾害类型先验导致的评估针对性不足问题。将所述待预测的灾前影像、灾后影像和灾害类型输入idam模型；突破了传统建筑物损伤评估全局粗粒度分析、无法区分单个建筑实例、特征融合单一且未结合灾害特性的技术瓶颈，实现了依托灾害类型特性自适应调整特征提取逻辑、兼顾多尺度建筑损伤特征、精准输出单个建筑实例掩膜及损伤概率结果的实例级精细化评估，大幅提升了建筑损伤识别的个体适配性与特征提取完整性。利用多尺度film特征调制、灾害条件提示标记和灾害类型相关的动态分类参数生成各对象查询的类别得分和掩膜预测logits；对所述类别得分进行softmax处理并删除无对象类别对应的概率分量，对所述掩膜预测logits进行sigmoid处理，进而将类别概率矩阵的转置矩阵与掩膜概率矩阵相乘，得到建筑损毁分布图；解决了单一掩膜仅能体现建筑区域、单一概率向量无法定位损伤空间范围的信息割裂问题，实现了建筑损伤量化程度与空间分布信息的有机统一，生成可视化、可量化、高精度的建筑损毁分布图，让损伤评估结果更直观、精准且具备落地实用性。本技术通过多步骤协同的智能化评估逻辑，依托双时相影像特征挖掘、灾害类型先验自适应调控、实例级推理与多维度信息融合的核心技术优势，彻底改善了传统建筑物损伤评估粒度粗放、灾害适配性差、实例区分度低、结果维度单一、精准度不足的弊端，实现了自动化、精细化、智能化、可视化的建筑物灾害损伤全域精准评估，有效提升了灾害后建筑损伤评估的效率、精度与实用性，能够为灾后灾情统计、灾害复盘、应急救援与灾后重建规划提供科学、可靠、细致的数据支撑与决策依据。