一种基于视觉语言模型并以参考观测为条件的六自由度物体位姿估计方法、装置及存储介质

本发明涉及人工智能、计算机视觉、机器人感知与空间定位领域，具体涉及一种利用共享多模态编码模型，以一幅位姿已知的参考观测、可选附加参考观测或附有位姿的历史帧为条件，对待估计的彩色-深度图像（下文称查询 rgb-d 图像）中的目标物体进行六自由度位姿（six-degree-of-freedom object pose，6dof pose）估计的方法，以及实现该方法的装置、电子设备和计算机可读存储介质。

背景技术：

1、六自由度物体位姿估计用于确定目标物体相对于相机坐标系的三维旋转与三维平移，其中，平移表示物体规范坐标系原点在相机坐标系中的位置，本发明将该原点简称为物体中心。该位姿具有实际物理尺度，平移和深度以毫米等物理单位表示。六自由度物体位姿估计是机器人抓取与装配、增强现实、工业检测、仓储分拣和目标跟踪等系统中的基础能力。对于测试阶段出现的新物体，通常需要由计算机辅助设计（computer-aided design，cad）模型、若干参考观测或历史视频帧提供物体外观和坐标系信息，再在彩色-深度（color-depth，rgb-d）中恢复该物体的位姿。

2、现有方法按照参考证据和任务形式通常被拆分为多条独立技术路线。基于计算机辅助设计模型的方法通过离线渲染、检索和迭代对齐估计位姿；基于多参考视图的方法通过特征匹配、点云配准或重建获得物体表征；单参考方法通过分割、稠密对应、坐标图预测和几何求解器进行估计；视频跟踪方法则依赖位姿传播、滤波、建图或在线重建。不同路线往往使用不同的输入组织、网络结构、训练数据和推理程序。

3、视觉语言模型（vision-language model，vlm）具有多图像理解、开放词汇识别和多步推理能力，近年来已被用于空间关系判断、目标识别、候选位姿筛选或歧义解释。但在多数相关方案中，视觉语言模型主要承担语义辅助作用，最终的连续六自由度位姿仍由专用对应网络、回归网络或几何优化器产生。

4、现有技术至少存在以下不足：

5、第一，不同任务及参考信息形式缺乏统一处理机制。单参考、多参考和视频跟踪被视为不同任务，需要切换模型、输入接口或推理流程，难以让同一模型按当前可用证据灵活工作。

6、第二，对物体模型、参考数据及专用中间处理模块依赖较强。部分方案依赖计算机辅助设计模型、离线渲染、目标分割掩膜、查询图像中目标物体的边界框、点云配准、在线重建或迭代细化，增加部署成本并限制对新物体的适用性。

7、第三，连续旋转与多个有效监督目标之间的适配问题。旋转位于（specialorthogonal group，so(3) ）流形；几何容差和物体对称性可使同一目标旋转对应多个有效粗旋转监督目标。将这些目标直接序列化为文本会产生相互竞争的符号序列，而单一共享残差又无法同时适配不同类别的代表旋转。

8、第四，中心深度误差突出。rgb-d 深度图提供的是可见表面点深度，而位姿平移需要物体中心深度。二者之间的有符号偏移与可见表面、物体朝向和几何结构相关，在遮挡情况下尤其难以直接回归。

9、第五，跟踪系统模块冗余且易积累误差。现有跟踪方案通常另设检测、滤波、建图、重建或跟踪头；静态估计模型难以直接复用，历史证据也无法自然扩展为同一参考集合。

技术实现思路

1、本发明要解决的核心技术问题是：在不要求查询图像中目标物体的边界框、查询图像中目标物体的分割掩膜和计算机辅助设计模型的前提下，建立以参考观测为条件的统一输入与解码机制，使同一共享多模态编码模型能够根据一幅位姿已知的参考观测、一个或多个附加参考或附有位姿的历史帧，直接输出查询 rgb-d 帧中目标物体的度量六自由度位姿，并提高对对称、遮挡和大视角变化的适应性。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于视觉语言模型并以参考观测为条件的六自由度物体位姿估计方法，包括：

4、获取参考集合与查询观测，所述参考集合包含一幅或多幅参考rgb-d观测，所述查询观测为一幅未标注的完整查询rgb-d观测；所述参考集合中的首个参考为位姿已知的有位姿参考，其余参考为不带位姿标注的补充观测或附有先前预测位姿的历史观测；

5、构造面向位姿估计的多模态提示，将所述参考集合中的每幅rgb-d观测组织为rgb图像与采用同一固定绝对深度尺度编码的伪彩深度图的有序图像对，在所述首个参考的rgb图像上叠加由其已知位姿确定的规范坐标轴标记，并向提示中提供该首个参考的物体中心深度和相机内参；

6、利用共享多模态编码模型对所述参考集合和所述查询观测进行联合编码，得到共享隐藏表示；

7、从所述共享隐藏表示中，通过旋转解码分支输出所述查询观测中目标物体的旋转，并通过平移解码分支输出所述目标物体的三维平移；

8、将所述旋转与所述三维平移组合为所述查询观测相机坐标系下的六自由度位姿。

9、进一步的，所述旋转解码分支被配置为：

10、通过一组固定的代表旋转将so(3)离散化为k个粗粒度旋转类别，所述代表旋转从以单位四元数表示的候选旋转集合中按照so(3)测地距离进行最远点采样获得；

11、根据旋转专用词元对应的隐藏状态，同时预测所述k个粗粒度旋转类别各自的概率，以及以每个粗粒度旋转类别为条件、采用连续六维旋转表示表示的局部旋转残差，所述连续六维旋转表示经正交化算子映射到so(3)；

12、推理时选择概率最大的粗粒度旋转类别及其对应的局部旋转残差，将所选类别的代表旋转与正交化后的局部旋转残差相乘，得到所述目标物体的旋转

13、进一步的，训练时，对于每个旋转类别b，按照该类别代表旋转到最接近的对称等价真值的距离确定距离最小的类别，并以为阈值构建由几何容差和物体对称变换集合s确定的有效粗旋转目标集合，其中；粗粒度分类损失通过最小化负对数似然提高所述有效粗旋转目标集合内各类别的预测概率之和，局部旋转残差损失对所述有效粗旋转目标集合内的每个旋转类别分别监督其条件残差。

14、进一步的，对于所述有效粗旋转目标集合中的每个旋转类别b，选择距离该类别代表旋转最近的对称等价目标，其中，并构造该旋转类别对应的残差目标；不同有效旋转类别接收不同的残差目标，且任一被选中的有效旋转类别均具有与其对应的局部旋转修正。

15、进一步的，所述平移解码分支被配置为执行基于几何信息的深度轴思维链，包括：

16、在未提供查询图像中目标物体的边界框和分割掩膜的完整查询rgb-d观测中，推断目标物体中心的投影位置，并选择靠近该投影且具有有效观测深度的可见物体表面点；

17、从查询深度图读取所选表面点的表面深度；

18、在所述首个参考中定位同一物理表面点，结合该参考的规范坐标轴、已知物体中心深度、相机内参以及查询视角相对于参考视角的相对朝向，推理该表面点到物体中心沿查询相机深度轴方向的有符号深度偏移；

19、按照计算物体中心深度，并结合所述投影位置和查询相机内参反投影得到所述三维平移。

20、进一步的，所述有符号深度偏移的中间监督目标在训练数据准备阶段离线构造：给定真值查询位姿，将物体中心投影到查询图像，在既属于目标可见区域又具有有效观测深度的像素中选择距离该投影最近的表面像素，读取其深度并反投影为查询相机坐标系中的三维点；将该三维表面点经真值查询位姿的逆变换映射到物体规范坐标系，再经所述首个参考的已知位姿变换到参考相机坐标系并投影到参考图像；计算，并将中心位置、表面位置及深度、参考对应位置、有符号偏移和最终中心深度序列化为语言监督文本；推理阶段不输入物体网格、可见性标签、查询真值位姿或显式对应。

21、进一步的，单参考样本、多参考样本和跟踪样本在一次单阶段训练中混合并共享同一组模型参数；所述单参考样本包含一幅位姿已知的参考rgb-d观测；所述多参考样本在所述首个参考之后加入一个或多个未提供位姿标注的参考rgb-d观测；所述跟踪样本将一幅或多幅附有已知或预测位姿的历史帧作为参考集合，且训练时对历史位姿施加扰动并根据扰动后的位姿生成坐标轴与中心深度提示；

22、在跟踪推理时，将当前时刻预测的六自由度位姿重新编码为下一时刻的参考提示，使同一模型逐帧运行，无需另设检测器、地图或在线物体重建器。

23、进一步的，所述伪彩深度图通过以下方式生成：将每幅深度图的有效深度按预设的同一绝对度量区间归一化，再利用固定颜色映射函数生成伪彩图，使不同观测中相同颜色对应相同物理深度；无效深度使用固定保留值或掩码标识；所述预设的绝对度量区间通过文本提示给出，且不同观测使用相同的绝对深度映射及相同的深度单位。

24、本发明还提供一种用于实现上述方法的六自由度物体位姿估计装置，包括：

25、数据获取模块，用于获取参考集合与查询观测，所述参考集合包含一幅或多幅参考rgb-d观测，所述查询观测为一幅未标注的完整查询rgb-d观测，所述参考集合中的首个参考为位姿已知的有位姿参考；

26、提示构造模块，用于将每幅rgb-d观测组织为rgb图像与采用同一固定绝对深度尺度编码的伪彩深度图的有序图像对，在所述首个参考的rgb图像上叠加规范坐标轴标记，并向提示中提供该首个参考的物体中心深度和相机内参；

27、共享编码模块，用于利用共享多模态编码模型对所述参考集合和所述查询观测进行联合编码，得到共享隐藏表示；

28、旋转估计模块，用于从所述共享隐藏表示中通过旋转解码分支输出所述查询观测中目标物体的旋转；

29、平移估计模块，用于从所述共享隐藏表示中通过平移解码分支输出所述目标物体的三维平移；

30、位姿融合模块，用于将所述旋转与所述三维平移组合为所述查询观测相机坐标系下的六自由度位姿。

31、本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被一个或多个处理器执行时实现上述方法。

32、与现有技术相比，本发明至少具有如下有益效果：

33、一个模型覆盖多种任务：通过数量可变的参考集合统一单参考、多参考和跟踪，避免为每种证据形式部署不同网络和中间处理流程，并能随可用参考数量增加吸收补充证据。

34、降低测试时依赖：查询使用完整 rgb-d 帧，无需查询图像中目标物体的边界框或掩膜；核心推理不要求计算机辅助设计模型、目标数据集微调、在线重建、显式对应或迭代细化，有利于新物体部署。

35、提高旋转解码的结构适配性：粗粒度旋转分类利用共享视觉表示的全局候选判别能力，局部旋转残差用于局部旋转细化；集合式粗监督和针对各旋转类别分别预测的残差能够同时处理近邻候选和物体对称性。

36、提高中心深度准确性与可解释性：不将中心深度视为黑盒数值，而是利用深度图真实观测的表面深度和跨视角几何推断有符号偏移；在中心被遮挡时仍具有明确的几何依据。

37、参数和部署效率较高：可冻结大部分预训练骨干，仅训练低秩适配（low-rankadaptation，lora）和轻量旋转头；旋转粗选和细化在一次前向计算中完成，跟踪也不要求另建地图或物体模型。

38、参考信息的扩展：同一模型通过改变参考集合，接收单幅真实参考、多个补充视角或附有位姿的历史帧。参考数量和任务形式改变时，保持同一模型参数、输入组织规则以及旋转和平移解码机制。