一种基于主动探索的视觉语言模型空间推理方法

摘要: 本发明涉及视觉语言模型和人工智能空间推理,尤其涉及一种基于主动探索的视觉语言模型空间推理方法。背景技术:1、视觉语言模型在图像描述、视觉问答、目标识别和视觉定位...
一种基于主动探索的视觉语言模型空间推理方法

本发明涉及视觉语言模型和人工智能空间推理,尤其涉及一种基于主动探索的视觉语言模型空间推理方法。

背景技术:

1、视觉语言模型在图像描述、视觉问答、目标识别和视觉定位等二维视觉理解任务中取得了较好的效果。然而,二维图像是三维场景在特定视角下的局部投影,固定视角中可能缺少被遮挡区域、视野外目标以及相机之间的几何关系。对于“转身后右侧是什么”“从第一视角移动到第二视角的方向是什么”以及“沿给定方向移动后是否更接近目标”等问题,模型不仅需要识别图像内容,还需要模拟视角变化并在统一三维坐标系中比较位置和朝向,仅依赖固定二维图像容易产生视角转换错误、左右方向混淆和跨视角对应错误。

2、目前,空间推理的方法有以下几种,一类方法是将深度、点云或其他三维先验编码到视觉语言模型的内部特征空间,该方法通常需要大规模图像—三维—语言对齐数据和额外训练,三维几何约束仍以隐式特征形式存在,难以被模型按当前问题主动查询。另一类方法在推理阶段向视觉语言模型提供额外二维视图,虽然扩大了可观察范围,但额外视图仍是相互分离的二维观测,未显式给出相对相机位姿、跨视角目标对应和目标级三维关系,模型仍需从图像中隐式恢复这些关系。还有一类主动视觉方法通过新视角渲染、新视角生成或视觉程序执行获取附加观测。其中,仅提供新视角图像的方法不能直接给出相机位姿和目标三维关系,依赖复杂程序生成的方法容易受程序语法、执行环境和一次性规划错误影响,不利于根据新证据逐轮修正探索计划。尤其对于参数规模较小的视觉语言模型,常出现提前终止、重复调用无信息动作、探索方向与问题无关或函数参数不合法等情况。

3、综上所述,现有技术的空间推理不能按问题主动获取三维证据,难以被模型按当前问题主动查询,容易受程序语法、执行环境和一次性规划错误影响,复杂程序式探索稳定性不足,尤其在稀疏视角和遮挡条件下空间推理的准确性、可解释性和可追溯性较差。因此,有必要构建一种几何一致、语义对齐且能够以图像和文本形式查询的显式空间表示,并围绕该表示建立多轮主动探索机制,使视觉语言模型能够根据问题逐步获取当前二维视图之外的空间证据,同时保持对现有视觉语言模型结构的兼容性。

技术实现思路

1、本发明的目的是针对现有技术的不足而设计的一种基于主动探索的视觉语言模型空间推理方法,采用从多视角图像构建包含场景几何、相机位姿和问题相关目标语义的显式空间表示,并通过视觉语言模型主动探索显式空间表示以完成空间推理,该方法把稀疏多视角图像转换为包含场景几何、相机位姿和目标级语言语义的显式空间表示,并通过视觉接口和语言接口将三维信息转换为视觉语言模型能够直接接收的新视角图像和自然语言描述。本发明无需改变视觉语言模型结构,能够提高稀疏视角和遮挡条件下空间推理的准确性、可解释性和可追溯性,具有良好的应用前景。

2、实现本发明目的的具体技术方案是:一种基于主动探索的视觉语言模型空间推理方法,其特点是该方法具体包括:

3、步骤1:输入多视角图像和空间推理问题并恢复空间信息

4、获取同一场景的多视角图像和空间推理问题,从多视角图像恢复场景几何与相机位姿,并将问题相关目标的二维掩膜提升至三维空间,得到包含场景几何、相机位姿和目标语义的显式空间表示。

5、步骤2:构建重力对齐的显式空间表示

6、基于显式空间表示,提取其中语义类别为“地面”的三维点作为地面三维点;对地面三维点进行平面拟合,并根据拟合得到的地面平面的法向量估计重力方向;根据所述重力方向对场景几何、相机位姿和目标语义进行同步对齐,得到重力对齐的显式空间表示。

7、步骤3:构建视觉接口、语言接口和探索函数

8、基于重力对齐的显式空间表示构建视觉接口和语言接口,其中,视觉接口按查询相机位姿生成新视角图像,语言接口返回查询视角下的可见目标描述或两个视角之间的相机位姿关系描述;将视觉接口和语言接口封装为探索函数,且由视觉语言模型根据空间推理问题和交互历史选择视角探索动作或三维信息查询动作,获取相应的图像证据或语言证据并更新交互历史。

9、步骤4:执行多轮主动探索并累计空间证据

10、重复选择并执行主动探索动作,直至累计证据足以支持回答、交互轮数达到上限或视觉语言模型生成终止指令。

11、步骤5:生成空间推理答案

12、视觉语言模型根据最终交互历史生成空间推理答案。

13、所述步骤1和步骤2具体包括:

14、1)采用预训练三维基础模型 得到各视角的深度图、相机到世界坐标系的位姿 和相机内参;

15、2)将各视角像素反投影至统一三维坐标系以生成场景点图;

16、3)将目标二维掩膜对应的三维点跨视角聚合为目标三维点集;

17、4)利用地面三维点估计重力方向,并根据重力方向同步对齐场景点图、相机位姿和目标三维点集。

18、所述步骤3的视觉接口根据参考相机位姿和视角探索动作确定查询相机位姿,将场景点图投影至查询视角,并通过遮挡处理、颜色融合和图像栅格化生成新视角图像;所述语言接口根据目标三维点集在查询视角下的投影结果返回可见目标描述,并根据重力对齐坐标系中两个相机中心的相对平移和水平朝向差返回相机位姿关系描述。

19、所述步骤4的视觉语言模型根据交互历史生成动作,且由显式空间表示及其接口构成的可查询三维世界执行主动探索动作,并返回证据,按更新交互历史;所述视角探索动作包括:左转、右转、转身、向前移动、向后移动、抬头、低头、视野放大和视野缩小;所述三维信息查询动作包括:可见目标描述查询和相对相机位姿描述查询。

20、所述步骤4采用监督微调和强化学习优化主动探索策略,具体包括:

21、1)监督微调使用教师视觉语言模型与显式空间表示逐轮交互生成并过滤示范轨迹;

22、2)强化学习对交互轨迹设置格式奖励、答案奖励、探索奖励、动作匹配奖励和动作惩罚,并采用组相对策略优化算法更新探索策略;所述组相对策略优化算法针对同一空间推理问题采样多个候选交互轨迹,并根据各候选交互轨迹的组内相对奖励更新视觉语言模型的探索策略。

23、本发明与现有技术相比具有以下有益的技术效果和显著的技术进步:

24、1)利用统一坐标系显式关联场景几何、相机位姿和目标级语言语义,减少从独立二维图像中隐式恢复跨视角三维关系造成的错误;

25、2)通过视觉接口和语言接口将三维证据转换为图像和自然语言,能够直接兼容现有视觉语言模型而无需改变其网络结构;

26、3)根据具体问题多轮选择旋转、移动、视野调整或三维信息查询动作,能够主动观察原视野外或被遮挡区域;

27、4)以重力对齐坐标系将相对位姿稳定地转换为前、后、左、右和斜向等方向描述;

28、5)通过示范轨迹进行监督微调,并结合带有步骤级奖励的强化学习,能够抑制提前终止、失败调用、重复动作和空视图,提高复杂多步空间推理的稳定性;

29、6)函数调用、返回证据和最终答案均保留在交互历史中,使推理过程具有可追溯性和可解释性。