一种基于多模态大语言模型的视觉推理智能体方法及系统

本发明属于多模态大语言模型mllms领域，具体涉及一种基于多模态大语言模型的视觉推理智能体方法及系统。

背景技术：

1、随着深度神经网络及人工智能的发展，多模态大语言模型在高分辨率视觉问答方面有了极大的进步。但现有模型大多基于低分辨率数据进行训练，关键视觉信息容易被背景信息稀释，进而影响高分辨率推理。

2、在高分辨率视觉问答中，图像若按照原始尺寸对全部视觉信息进行处理，则显存占用及推理开销会成比例增加；而若直接将图像缩小，则会造成关键信息的压缩或丢失。现有技术的动态分块、滑动窗口等手段，都是采用固定位置和启发式规则进行裁剪，不能保证局部块与查询的语义一致性。且各局部图像块如相互独立地输入模型，也会破坏其在原图中左右、上下及邻接的关系。现有方法仍旧缺失根据局部视觉反馈自主调整后续搜索的视觉推理智能体的闭环。

技术实现思路

1、针对上述问题，本发明提出基于多模态大语言模型的视觉推理智能体方法及系统，能够解决高分辨率视觉问答问题中语义与定位脱节、背景信息冗余以及裁剪中的空间关系丢失的技术问题。

2、本发明一方面，提供了基于多模态大语言模型的视觉推理智能体方法，包括：

3、将高分辨率问题的数据进行预处理并基于多模态大模型的注意力机制进行实体语义锚定，得到实体语义锚点集合；基于实体语义锚点集合，通过自适应视觉区域生长生成候选区域通过得到的候选区域，从而将用户查询拆分为可验证子任务；基于多模态大模型的置信度进行候选区域存在性验证与主动循环细化，得到已验证区域集合，建立视觉推理智能体的初始状态；由视觉推理智能体提根据任务状态和验证反馈选择继续视觉搜索、子任务切换或停止，在停止后进行空间感知重组，形成经过空间感知重组的候选区域，并将所述经过空间感知重组的候选区域和用户查询共同输入多模态大语言模型，输出最终视觉问答推理结果。具体步骤如下：

4、本发明所属视觉推理智能体是以用户查询作为任务目标，以任务状态作为工作记忆，记录锚点是否执行，以视觉搜索、子任务切换或停止作为动作，以实体锚点相关的视觉验证作为反馈，并根据反馈决定后续处理的闭环程序。

5、具体处理过程为：任务解析、初始状态建立、视觉搜索、反馈验证以及继续搜索、任务切换、或停止。停止后将已验证区域用于空间感知重组和最终推理。

6、步骤（1）、任务解析与初始状态建立

7、本步骤输入高分辨率输入图像和用户查询，其中为初始输入图像，为该图像的相关问题。利用多模态大语言模型的语言解析能力及经过预设计的语言约束，将用户查询解析为实体语义锚点集合。其中：为经过预先设计的，用以限制实体语义锚点输出形式的语言约束，为由一个或多个可定位实体构成的实体语义锚点集合，并建立视觉智能体初始任务状态，用于记录待验证实体、已验证区域等信息。

8、步骤（2）、状态驱动的视觉搜索、自适应区域生长与候选区域生成

9、本步骤的输入为高分辨率输入图像以及实体语义锚点集合。视觉推理智能体将读取当前任务状态，选择当前待推理实体，在首次搜索或上一轮验证通过时选择序列中的下一实体，未通过时保持为当前实体，并在后续搜索中避开已尝试区域。针对实体语义锚点集合中的每个实体语义锚点，从多模态大语言模型内部交叉注意力层提取对应注意力分布，对应注意力分布通过平方增强、多注意力头平均融合、高斯平滑运算、背景噪声均值扣除以及交叉注意力层特征降噪得到对应注意力图；再以对应注意力图的最大激活位置为起点执行自适应区域生长，最后每个实体语义锚点都会得到若干候选区域。完成后，候选区域记录将返回视觉推理智能体。

10、步骤（3）、候选区域存在性验证、视觉反馈与任务状态更新

11、视觉推理智能体将候选区域提交存在性验证，并将验证结果作为视觉反馈用于更新任务状态，在验证通过时将相应任务标记为完成，验证未通过时保持为当前任务并继续搜索。针对若干候选区域记录中的局部高分辨率图像块，构造独立于用户查询的目标存在性二分类问题，并根据分类输出层给出的未归一化对数几率得分计算目标存在性置信度，基于目标存在性置信度进行验证，将目标存在性置信度大于目标存在性置信阈值的候选区域写入已验证区域集合。将建立已验证区域集合，其中每条记录包括经过验证的局部高分辨率图像块、对应实体语义锚点和候选边界框原始坐标；所述已验证区域集合在主动循环中持续累积更新。当实体语义锚点集合中仍有尚未验证的实体语义锚点且未满足本步骤后述的任一主动循环停止条件时，将所述尚未验证的实体语义锚点反馈至步骤（2），供步骤（2）继续生成候选区域记录。满足任一主动循环停止条件后，将最终已验证区域集合输出至步骤（4）。

12、步骤（4）、停止判定、空间感知重组与多模态推理

13、视觉推理智能体根据更新后的任务状态和视觉反馈来决定继续搜索、切换任务或停止。视觉推理智能体将会在所有任务完成、置信度连续未提高或达到预设的最大主动细化升读时停止。通过读取已验证区域集合中各条记录保存的局部高分辨率图像块、对应实体语义锚点和候选边界框原始坐标，根据候选边界框原始坐标确定目标之间的左、右、上、下和邻接关系，通过折叠映射压缩无效空白背景，同时保持对应实体语义锚点与目标区域之间的对应关系。最后，将经过空间感知重组的候选区域和用户查询共同输入多模态大语言模型，输出最终视觉问答推理结果，最终解决高分辨率视觉问答问题。

14、本发明另一方面，提供一种基于多模态大语言模型的视觉推理智能体系统，包括以下模块：

15、任务解析与状态初始化模块，用于输入高分辨率输入图像和用户查询，将用户查询解析为实体语义锚点集合，初始化视觉推理智能体状态。

16、候选区域模块，基于高分辨率输入图像以及当前视觉推理智能体，进行自适应候选区域生成，得到每个实体语义锚点对应的若干候选区域。

17、存在性验证模块，用于针对若干候选区域记录中的局部高分辨率图像块，计算目标存在性置信度，构建已验证区域集合。

18、视觉推理模块，基于当前的视觉推理智能体，通过已验证区域集合进行空间感知重组，结合用户查询共同输入多模态大语言模型，输出最终视觉问答推理结果。

19、空间感知重组与视觉推理模块，用于在视觉推理智能体控制模块请求停止动作后，基于已验证区域进行空间感知重组，重组结果和用户查询共同输入多模态大预言模型，输出最终视觉推理结果。

20、本发明的有益效果

21、1.通过语言约束将用户查询解析为可定位的实体语义锚点集合，并以实体语义锚点集合引导视觉定位、未验证实体判断和候选区域验证，使每个语义锚点均具有对应的空间搜索对象，减少出现全局查询语义与微小目标局部区域之间的匹配错位及必要实体遗漏的几率。

22、2.通过精细设计的自适应降噪视觉区域生长与候选区域生成方法，使候选边界框的边界沿有效激活区域逐步扩展并自适应停止，从而提高小目标定位的完整性和准确性。

23、3.通过基于对候选区域记录中的局部高分辨率图像块进行主动筛选，并在已验证区域集合中成组保存局部高分辨率图像块、对应实体语义锚点和候选边界框原始坐标，既能删除低置信度或不完整区域，降低模型产生错误推理的概率，又能为后续空间感知重组提供完整输入。

24、4.根据已验证区域集合中的局部高分辨率图像块，并采用折叠映射压缩无效空白背景，在减少冗余视觉信息的同时保持多个目标的相对次序、方向和邻接关系，使模型在无需额外训练的条件下获得紧凑且拓扑关系一致的视觉输入，提高属性识别、多目标重识别和空间关系推理的准确率。