基于视图记忆与假设检索的三维场景多任务证据推理方法

本技术涉及视觉感知，尤其涉及一种基于视图记忆与假设检索的三维场景多任务证据推理方法。

背景技术：

1、随着大语言模型与视觉语言模型的发展，面向预扫描三维场景的具身智能多模态理解任务面临着处理跨越二维图像、三维几何、时间轨迹和语言等多维输入的挑战。现有的主流方案主要分为两类：一是基于离散三维场景图的文本符号推理，此方案虽检索快且结构清晰，但本质上是对原始视觉的压缩式表达，容易丢失颜色纹理、物体状态等细粒度特征，且一旦发生漏检或误标，由于缺乏回到原始图像的通道，会导致推理能力受限；二是基于独立关键帧的视觉语言问答，此方案虽保留了图像细节，但忽略了视频序列、相机轨迹及视角的时空相邻性，不仅容易引入大量冗余数据，而且在初始帧未覆盖关键细节时，缺乏沿轨迹动态回溯和寻找互补视角的补证机制。

2、由此，亟需提出一种基于视图记忆与假设检索的三维场景多任务证据推理方法，以解决现有方法因丢弃原始图像证据或缺乏动态证据调度机制而导致的细粒度信息缺失、无法回溯验证、无法按需补充视角以及多类任务缺乏统一推理框架的问题。

技术实现思路

1、本技术提供一种基于视图记忆与假设检索的三维场景多任务证据推理方法，用以现有方法因丢弃原始图像证据或缺乏动态证据调度机制而导致的细粒度信息缺失、无法回溯验证、无法按需补充视角以及多类任务缺乏统一推理框架的问题。

2、本技术提供一种基于视图记忆与假设检索的三维场景多任务证据推理方法，包括如下步骤：

3、获取三维场景证据库和初始询问信息，其中，所述三维场景证据库将场景中的对象实例、全量视觉帧以及空间关系组织为多层级可查询结构，所述初始询问信息具有对应的任务类型；

4、根据所述初始询问信息，生成检索假设信息；

5、基于所述检索假设信息在所述三维场景证据库中进行检索，以生成初始证据包；

6、调用与所述初始证据包匹配的预设工具，在所述三维场景证据库中进行补充检索，以确定候选证据包；

7、根据所述任务类型和所述候选证据包，确定与所述初始询问信息对应的答复信息。

8、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述三维场景证据库包含对象层、视图层和关系层，其中，

9、所述对象层用于存储有三维场景内的对象实例，及与所述对象实例对应的语义属性、几何边界特征及可见视图索引；

10、所述视图层用于存储所述三维场景的全量视觉帧，及与所述全量视觉帧对应的采集元数据；

11、所述关系层用于存储记录所述对象层与视图层之间的可见性关系、对象实例之间的空间关系，及所述全量视觉帧之间的时间邻接关系、位姿邻接关系与可见性重叠关系。

12、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述根据所述初始询问信息，生成检索假设信息，包括：

13、将所述初始询问信息转换为结构化查询信息；

14、根据所述结构化查询信息，生成所述检索假设信息，所述检索假设信息按照优先级包括直接假设、代理假设和上下文假设；

15、其中，所述直接假设用于匹配所述初始询问信息中显式出现且在所述三维场景证据库的对象层中可识别的所述目标对象实例或所述空间关系；

16、所述代理假设用于在所述目标对象实例无法通过所述直接假设匹配时，以功能相近的对象实例作为候选进行检索；

17、所述上下文假设用于根据所述初始询问信息中的区域线索或所述空间关系，推断其他证据位置进行检索。

18、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述关系层还用于根据所述时间邻接关系、位姿邻接关系和可见性重叠关系构建轨迹感知视图图谱，所述轨迹感知视图图谱以所述全量视觉帧为节点、以所述邻接关系为边，用于表征视觉帧之间的相邻特征；

19、其中，所述基于所述检索假设信息在所述三维场景证据库中进行检索，以生成初始证据包，包括：

20、根据所述检索假设信息在所述视图层中确定候选视图；

21、根据预设指标对所述候选视图进行评估，以确定评估结果，其中，所述预设指标包括：所述对象实例在所述候选视图中的可见性、所述对象实例与锚点对象实例在所述候选视图中的共同覆盖程度、所述对象实例的成像面积、所述候选视图的视角质量、以及所述候选视图在所述轨迹感知视图图谱上的邻接关系中的至少一项；

22、根据所述评估结果，确定初始关键帧；

23、根据所述初始关键帧，及与所述初始关键帧关联的所述对象实例信息，生成所述初始证据包。

24、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述预设工具包括以下至少一种：

25、视角扩展工具，用于在所述三维场景证据库中获取与当前视图相邻或互补的视觉帧；

26、局部裁剪工具，用于从所述视觉帧中截取目标区域的局部特写图像；

27、对象上下文读取工具，用于从所述对象层读取目标对象实例的语义属性、几何边界特征及可见视图索引；

28、假设切换工具，用于在所述初始证据包未满足匹配要求时，切换至其他所述检索假设信息进行检索；

29、视图探索工具，用于在所述三维场景证据库中检索未包含在所述初始证据包中的其他视觉帧。

30、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述调用与所述初始证据包匹配的预设工具，在所述三维场景证据库中进行补充检索，以确定候选证据包，包括：

31、根据所述初始证据包，确定待调用的预设工具及调用顺序；

32、根据所述调用顺序，调用所述待调用的预设工具，以从所述三维场景证据库中获取补充证据；

33、根据所述补充证据和所述初始证据包，生成所述候选证据包。

34、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，所述根据所述任务类型和所述候选证据包，确定与所述初始询问信息对应的答复信息，包括以下任一项：

35、在所述任务类型为问答任务的情况下，将基于所述候选证据包生成的自然语言答案，及与所述自然语言答案对应的支撑视觉帧作为所述答复信息；

36、在所述任务类型为视觉定位任务的情况下，将基于所述候选证据包生成的目标对象实例的标识信息及位置信息作为所述答复信息；

37、在所述任务类型为导航规划任务的情况下，将基于所述候选证据包生成的目标区域和路径信息作为所述答复信息；

38、在所述任务类型为操作规划任务的情况下，将基于所述候选证据包生成的动作序列和执行约束信息作为所述答复信息。

39、本技术提供一种基于视图记忆与假设检索的三维场景多任务证据推理装置，包括如下模块：

40、获取模块，用于获取三维场景证据库和初始询问信息，其中，所述三维场景证据库将场景中的对象实例、全量视觉帧以及空间关系组织为多层级可查询结构，所述初始询问信息具有对应的任务类型；

41、生成模块，用于根据所述初始询问信息，生成检索假设信息；

42、第一检索模块，用于基于所述检索假设信息在所述三维场景证据库中进行检索，以生成初始证据包；

43、第二检索模块，用于调用与所述初始证据包匹配的预设工具，在所述三维场景证据库中进行补充检索，以确定候选证据包；

44、确定模块，用于根据所述任务类型和所述候选证据包，确定与所述初始询问信息对应的答复信息。

45、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，所述三维场景证据库包含对象层、视图层和关系层，其中，

46、所述对象层用于存储有三维场景内的对象实例，及与所述对象实例对应的语义属性、几何边界特征及可见视图索引；

47、所述视图层用于存储所述三维场景的全量视觉帧，及与所述全量视觉帧对应的采集元数据；

48、所述关系层用于存储记录所述对象层与视图层之间的可见性关系、对象实例之间的空间关系，及所述全量视觉帧之间的时间邻接关系、位姿邻接关系与可见性重叠关系。

49、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，生成模块，具体用于：

50、将所述初始询问信息转换为结构化查询信息；

51、根据所述结构化查询信息，生成所述检索假设信息，所述检索假设信息按照优先级包括直接假设、代理假设和上下文假设；

52、其中，所述直接假设用于匹配所述初始询问信息中显式出现且在所述三维场景证据库的对象层中可识别的所述目标对象实例或所述空间关系；

53、所述代理假设用于在所述目标对象实例无法通过所述直接假设匹配时，以功能相近的对象实例作为候选进行检索；

54、所述上下文假设用于根据所述初始询问信息中的区域线索或所述空间关系，推断其他证据位置进行检索。

55、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，所述关系层还用于根据所述时间邻接关系、位姿邻接关系和可见性重叠关系构建轨迹感知视图图谱，所述轨迹感知视图图谱以所述全量视觉帧为节点、以所述邻接关系为边，用于表征视觉帧之间的相邻特征；

56、其中，第一检索模块，具体用于：

57、根据所述检索假设信息在所述视图层中确定候选视图；

58、根据预设指标对所述候选视图进行评估，以确定评估结果，其中，所述预设指标包括：所述对象实例在所述候选视图中的可见性、所述对象实例与锚点对象实例在所述候选视图中的共同覆盖程度、所述对象实例的成像面积、所述候选视图的视角质量、以及所述候选视图在所述轨迹感知视图图谱上的邻接关系中的至少一项；

59、根据所述评估结果，确定初始关键帧；

60、根据所述初始关键帧，及与所述初始关键帧关联的所述对象实例信息，生成所述初始证据包。

61、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，所述预设工具包括以下至少一种：

62、视角扩展工具，用于在所述三维场景证据库中获取与当前视图相邻或互补的视觉帧；

63、局部裁剪工具，用于从所述视觉帧中截取目标区域的局部特写图像；

64、对象上下文读取工具，用于从所述对象层读取目标对象实例的语义属性、几何边界特征及可见视图索引；

65、假设切换工具，用于在所述初始证据包未满足匹配要求时，切换至其他所述检索假设信息进行检索；

66、视图探索工具，用于在所述三维场景证据库中检索未包含在所述初始证据包中的其他视觉帧。

67、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，所述第二检索模块，具体用于：

68、根据所述初始证据包，确定待调用的预设工具及调用顺序；

69、根据所述调用顺序，调用所述待调用的预设工具，以从所述三维场景证据库中获取补充证据；

70、根据所述补充证据和所述初始证据包，生成所述候选证据包。

71、根据本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理装置，所述确定模块，具体用于：

72、在所述任务类型为问答任务的情况下，将基于所述候选证据包生成的自然语言答案，及与所述自然语言答案对应的支撑视觉帧作为所述答复信息；

73、在所述任务类型为视觉定位任务的情况下，将基于所述候选证据包生成的目标对象实例的标识信息及位置信息作为所述答复信息；

74、在所述任务类型为导航规划任务的情况下，将基于所述候选证据包生成的目标区域和路径信息作为所述答复信息；

75、在所述任务类型为操作规划任务的情况下，将基于所述候选证据包生成的动作序列和执行约束信息作为所述答复信息。

76、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于视图记忆与假设检索的三维场景多任务证据推理方法。

77、本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于视图记忆与假设检索的三维场景多任务证据推理方法。

78、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于视图记忆与假设检索的三维场景多任务证据推理方法。

79、本技术提供的一种基于视图记忆与假设检索的三维场景多任务证据推理方法，通过构建多层级可查询的三维场景证据库，将对象实例、全量视觉帧与空间关系有机融合，为后续推理保留了完整的视觉回溯能力；通过生成检索假设信息，将模糊的自然语言查询转化为结构化的检索策略，有效应对了对象标签不匹配、描述不精确等不确定性；通过基于检索假设生成初始证据包，实现了高效、低冗余的首轮证据筛选；通过补充检索，使系统能够按需动态获取视角扩展、局部裁剪等增量证据，避免了固定输入带来的信息冗余或缺失；最后，根据不同任务类型输出结构化的答复信息，实现了从问答、定位到导航、操作规划等多任务的统一框架。由此，本发明显著提升了大语言模型在三维场景理解中对细粒度视觉证据的获取能力和推理准确率，降低了场景图压缩导致的信息损失和推理上界限制，同时通过任务条件化输出增强了跨任务的通用性和可解释性。