基于结构化视觉摘要与自适应路由的海港遥感问答方法

本发明涉及遥感图像智能解译与计算机视觉，具体涉及基于结构化视觉摘要与自适应路由的海港遥感问答方法，适用于海港遥感图像中的目标检测、数量统计、区域分布判断及开放语义交互式分析。

背景技术：

1、海港区域是海上运输、港口调度和海洋安全监管的重要空间单元。高分辨率遥感图像能够反映船只停靠、岸线结构、储罐分布、港区布局及陆域作业状态等信息。在实际应用中，用户不仅关注目标是否存在，还需要获取目标数量、空间分布、类别关系和场景功能等综合信息。因此，使海港遥感图像能够以自然语言响应用户查询，是提升遥感智能解译效率的重要问题。

2、视觉问答（vqa）任务使图像理解由固定标签输出转向面向自然语言问题的语义交互。遥感视觉问答进一步使用户能够围绕遥感图像中的地物类别、目标数量和空间关系进行自然语言查询，推动遥感图像解译由模型固定输出向用户主动提问转变。与传统分类、检测和分割任务相比，遥感视觉问答更贴近港口监管、目标核查和场景分析等实际应用中按需获取图像信息的需求。

3、近年来，视觉语言大模型的发展进一步提升了开放式图像理解和自然语言生成能力。blip-2、llava和qwen-vl等模型通过连接视觉编码器与大语言模型，使模型能够同时处理图像与文本输入，并生成较自然的多模态问答结果。在遥感领域，rsgpt、geochat和earthgpt等研究开始探索视觉语言大模型在遥感图像描述、区域对话、视觉问答和多源遥感理解中的应用，为海港遥感图像智能问答提供了新的技术支撑。

4、然而，现有方法直接用于海港遥感图像智能问答时仍存在以下不足：一方面，视觉语言大模型虽然具备开放语义理解能力，但在目标数量统计、区域分布判断和类别比较等结构化事实问题上仍不够稳定。海港遥感图像中的船只、港区目标和储罐等对象尺度较小、分布密集且方向变化明显，模型直接基于原始图像推理时，容易受到复杂背景和注意力偏移影响，产生漏数、误判或视觉幻觉。另一方面，不同问题对视觉信息的需求并不相同：结构化事实型问题主要依赖目标类别、数量和空间分布等显式信息，若统一采用完整图像输入进行视觉—语言融合推理，会带来额外计算开销；开放语义推理型问题则需要保留图像上下文，仅依赖检测结果又难以完成自然语言语义交互。因此，有必要将目标检测结果组织为问答模型可利用的结构化视觉知识，并根据问题类型选择合适的推理路径，从而在问答准确性、稳定性与推理效率之间取得平衡。

技术实现思路

1、本发明的目的在于，针对现有海港遥感图像智能问答方法中结构化事实问答稳定性不足、推理效率不高的问题，提供基于结构化视觉摘要与自适应路由的海港遥感问答方法。该方法通过将旋转目标检测结果转换为结构化视觉摘要，为问答模型提供显式目标级证据，并通过问题分类引导的自适应推理路由，使不同问题类型匹配最合适的推理路径。

2、本发明的核心发明点包含两点：其一，提出结构化视觉摘要，将旋转目标检测得到的检测框与类别标签转换为由全局统计与区域统计两部分组成、经模板化文本组织函数生成的纯文本形式目标级文本证据，使视觉语言大模型在计数、区域分布等结构化事实型问题上摆脱对原始图像像素的依赖，从而抑制漏数、误判与视觉幻觉；其二，提出问题分类引导的自适应推理路由机制，通过门控模块估计问题属于结构化事实型问题的概率，并据此在轻量的摘要文本推理路径与完整的视觉—语言融合推理路径之间自适应切换，使结构化事实型问题与开放语义推理型问题各自匹配最合适的推理路径，从而在保持开放语义理解能力的同时显著降低结构化问答的计算开销。

3、本发明所采用的技术方案是：基于结构化视觉摘要与自适应路由的海港遥感问答方法，以海港遥感图像和自然语言问题为输入，包括以下步骤：

4、步骤一、采用旋转目标检测模型对输入的海港遥感图像进行目标检测，获得各目标的类别、位置、方向及置信度；

5、步骤二、基于检测结果进行类别统计、区域划分与模板化文本组织，将目标的类别、位置、方向及置信度转换为由全局统计与区域统计两部分组成、经模板化文本组织函数生成的纯文本形式结构化视觉摘要，所述摘要包含目标类别、全局数量与区域分布；

6、步骤三、构建问题分类引导的门控模块，对输入问题构建语义特征表示，估计所述问题属于结构化事实型问题的概率；

7、步骤四、根据所述概率与预设路由判别阈值的比较结果选择推理路径：当所述概率高于阈值时，采用“结构化视觉摘要+问题”的文本推理路径；当所述概率不高于阈值时，采用“图像+结构化视觉摘要+问题”的视觉—语言融合推理路径；

8、步骤五、由微调后的视觉语言大模型沿所选推理路径进行推理，生成自然语言答案。

9、进一步地，所述步骤一中的旋转目标检测模型为yolo11s（一种单阶段实时目标检测网络的轻量版本）+p2+bifpn（双向加权特征金字塔网络）-obb（定向边界框）模型，该模型由yolo11s-obb主干网络、高分辨率特征层、bifpn特征融合层和obb检测头组成；所述主干网络以yolo11s-obb为骨干，通过逐级下采样提取多尺度特征，并在最深尺度特征后连接sppf（空间金字塔池化）模块和c2psa（跨阶段部分注意力模块），引出p2、p3、p4、p5四个尺度的特征；所述高分辨率特征层为所述四个尺度分别对应设置，每个尺度对应一个高分辨率特征层，用于保留浅层空间细节并增强小目标感知能力；所述bifpn特征融合层在p2、p3、p4、p5四个尺度之间构建双向跨尺度连接，采用可学习加权特征融合实现不同尺度特征的自适应融合；所述obb检测头包括分别与p2、p3、p4、p5四个尺度对应的四个检测头，经所述obb检测头输出船舶、港区目标及储罐的类别、置信度及旋转边界框。

10、进一步地，所述步骤二中的类别统计为：类别c的目标数量nc由指示函数统计得到，公式表示为：

11、

12、其中i(·)为指示函数，当第i个目标的类别ci与类别c相同时取1，否则取0；该统计结果用于回答目标存在性判断、全局计数及类别数量比较问题。

13、进一步地，所述步骤二中的区域分布统计为：设图像宽度为w、高度为h，目标中心点归一化坐标为；以图像中线为界，根据所述归一化坐标的横坐标将目标划分至左半区或右半区，根据纵坐标将目标划分至上半区或下半区，并根据横纵坐标的组合将目标划分至第一、第二、第三、第四象限区域；统计各类别在各区域中的目标数量，用于回答区域计数、目标分布及区域比较问题。

14、进一步地，所述步骤三中，门控模块通过问题文本编码、关键词与问句模板构建问题语义特征表示h，并利用门控映射参数w、b按估计问题属于结构化事实型问题的概率，其中σ为sigmoid激活函数，p表示问题属于结构化事实型问题的概率。

15、进一步地，所述步骤四中的路由判别阈值τ用于与所述概率的比较；τ的取值通过在验证集上进行网格搜索确定，使结构化事实型问题与开放语义推理型问题在验证集上的分类准确率最高；所述自适应路由还依据问答准确性与计算代价之间的权衡设定路径选择判据：设av、as分别为视觉—语言融合路径与摘要文本路径的预期问答准确性，cv、cs分别为两条路径的计算代价，λ为计算代价权重系数，当时选择视觉—语言融合路径，否则选择摘要文本路径。

16、进一步地，所述步骤五中的视觉语言大模型为qwen3-vl-4b-instruct（参数量4b的千问3视觉语言模型量产版），采用低秩适配（lora）对其进行微调。

17、进一步地，所述结构化事实型问题包括目标存在性判断、全局计数、区域计数、左右或象限分布、类别比较及数量排序；所述开放语义推理型问题包括场景概括、港区功能判断、港口活动推断、空间关系理解及开放语义描述。

18、进一步地，所述步骤五中，当选择文本推理路径时，模型的输入仅由结构化视觉摘要与问题组成，仅进行文本编码与语言解码；当选择视觉—语言融合推理路径时，模型的输入由图像、结构化视觉摘要与问题组成，先对图像进行视觉编码，再与摘要及问题的文本特征进行跨模态对齐后解码生成答案。

19、本发明与现有技术相比，具有以下有益效果：

20、（1）通过结构化视觉摘要将检测框与类别标签转换为包含类别、数量与区域分布的显式目标级证据，缓解视觉语言大模型在海港小目标密集场景中的漏数、误判与区域判断不稳定问题，结构化事实问答的严格匹配准确率可达81.05%，计数类问题的平均绝对误差降至1.355；

21、（2）通过问题分类引导的自适应推理路由，使结构化事实型问题采用轻量的摘要文本推理路径、开放语义推理型问题采用完整的视觉—语言融合推理路径，在保持开放语义理解能力的同时降低计算开销，其中meteor（基于词序对齐的文本评价度量）为0.6645、bertscore-f1（基于预训练语言模型的文本相似度评价度量f1值）为0.8839，平均单题推理时间降至约3.75秒，较固定图像推理方式降低约15.5%。