基于先验与语义对齐的遥感图像描述方法

本发明涉及遥感图像处理领域，具体涉及一种基于先验与语义对齐的遥感图像描述方法。

背景技术：

1、随着遥感对地观测技术的快速发展，高分辨率遥感图像在区域规划、目标监测等领域发挥着越来越重要的作用。机场作为典型的复杂遥感场景，内部包含航站楼、跑道、滑行道、停机坪及飞机等多类关键目标，不仅目标类型丰富、尺度差异显著，而且空间组织关系复杂、运行状态变化频繁。因此，如何从遥感图像中自动生成准确、完整且具有较强语义表达能力的文本描述，已成为遥感图像智能解译的重要研究方向。

2、传统遥感图像描述方法大多建立在编码器、解码器框架之上，通常利用卷积神经网络或视觉transformer提取图像特征，再结合循环神经网络或transformer解码器生成描述文本。该类方法在一定程度上实现了视觉信息到自然语言表达的映射，但其大多依赖全局视觉特征驱动文本生成，对场景中的关键目标、数量关系及空间布局缺乏显式建模能力，因而在复杂场景下容易出现描述过于粗略、语义信息不完整以及空间关系表达不准确等问题。

3、近年来，多模态大语言模型的发展为图像描述提供了新的技术路径。通过将视觉特征映射到语言模型的语义空间，多模态大语言模型能够借助大规模预训练所获得的知识和推理能力生成更加自然流畅、内容更丰富的描述文本。然而，现有多模态大语言模型主要面向自然场景构建，在遥感图像描述任务中仍存在明显局限。尤其是在高分辨率机场场景下，由于背景元素复杂、目标密集分布且尺度差异大，多模态大语言模型容易受到航站楼、廊桥、滑行道及地物阴影等复杂背景干扰，导致关键目标识别失真，进而在描述过程中产生目标幻觉、数量表述偏差以及空间关系描述不准确等问题。

4、此外，现有遥感图像描述研究大多依赖公开数据集进行训练，而相关数据集的描述文本通常较为简短，多停留于宏观场景概述层面，缺乏对目标属性、数量信息、空间关系及运行状态等关键内容的系统刻画，难以满足机场场景下细粒度、结构化和高保真语义解译的实际需求。与此同时，现有方法在文本生成过程中更多依赖视觉特征与语言模型之间的隐式对齐，对类别、数量、位置等结构化场景信息利用不足，因此难以对机场场景中的核心要素形成稳定约束。

5、综上，现有技术在机场遥感图像描述任务中，仍存在关键目标易产生数量描述不一致、空间关系表达偏差以及复杂场景语义概括能力不足等问题。因而，有必要提出一种能够充分利用场景结构先验信息、增强视觉语义对齐能力并提高描述真实性与准确性的机场遥感图像描述方法。

技术实现思路

1、本发明为了解决机场遥感图像描述方法易出现目标幻觉、数量统计不准确和空间关系表达偏差的问题，进而提出了一种基于先验与语义对齐的遥感图像描述方法。

2、本发明采取的技术方案是：

3、构建图像描述模型，并采集待描述的机场遥感图像，将待描述的机场遥感图像输入图像描述模型内，图像描述模型输出待描述的机场遥感图像的描述文本；

4、所述图像描述模型包括视觉编码器、双通道门控非线性映射器、全景分割网络、融合层和文本解码器。

5、本发明的有益效果为：

6、本发明构建了图像描述模型，它包括视觉编码器、双通道门控非线性映射器、全景分割网络、融合层和文本解码器，其中，双通道门控非线性映射器通过空间合并策略增强局部区域的联合建模能力，并利用并行生成的门控分支与特征分支进行动态内容调整。此过程利用门控分支对特征分支进行的自适应加权，在连续特征层面针对性地放大了航站楼、跑道、滑行道和飞机等关键目标的语义响应，同时抑制了复杂的背景干扰，提升了视觉特征向语言模型嵌入空间投影时的有效性与稳定性。全景分割网络利用底层全景分割掩码提供的细粒度结构支撑，通过感知实体筛选、场景锚点定位、飞机近邻聚簇解析将复杂的视觉场景解构为离散的物理属性。这种层次化的解析方式契合机场场景中目标局部密集且整体结构关联强的空间规律，通过将结构化提示文本注入文本解码器输入序列，为文本生成过程提供了明确的基础设施类别、数量和空间位置等先验约束，改善了生成文本描述中实体关系错乱与关键特征遗漏的问题。融合层生成了融合视觉映射特征与层次化结构提示文本的统一多模态特征，并利用文本解码器生成了机场遥感图像的描述文本。本发明通过双通道门控非线性映射器提供的连续高层视觉语义与全景分割结果提炼的离散结构化属性先验实现了优势互补。在图像描述模型的自回归语言生成损失的驱动下，图像描述模型能够同时依赖视觉特征感知全局场景，并借助结构化提示精细刻画局部多目标分布与基础设施运行状态，增强了图像描述模型在复杂机场遥感场景下的语义理解能力，提升了机场遥感图像描述文本的准确性、真实性与层次逻辑性。

1.基于先验与语义对齐的遥感图像描述方法，其特征在于：它包括以下步骤：

2.根据权利要求1所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述视觉编码器为rice-vit视觉编码器。

3.根据权利要求2所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述双通道门控非线性映射器依次包括层归一化处理层、空间合并层、第一线性变换层、维度切分层、激活融合层和第二线性变换层。

4.根据权利要求3所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述文本解码器为qwen3-0.6b文本解码器。

5.根据权利要求4所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述将待描述的机场遥感图像输入图像描述模型内，图像描述模型输出待描述的机场遥感图像的描述文本，具体过程为：

6.根据权利要求5所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述s2的具体过程为：

7.根据权利要求6所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述s3的具体过程为：

8.根据权利要求7所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述s33中根据覆盖率确定场景锚点的尺度分类结果，具体过程为：

9.根据权利要求8所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述s36中提示文本为：

10.根据权利要求9所述的基于先验与语义对齐的遥感图像描述方法，其特征在于：所述s4的具体过程为：