一种基于Fisher信息的机械臂物体观察角度预测方法和装置

本发明属于信息科学技术与机器人领域，具体涉及一种基于fisher信息的机械臂物体观察角度预测方法和装置。

背景技术：

1、机器人技术作为国家科技发展水平的重要标志，自诞生以来已获得广泛的研究和应用。在机器人的多种能力中，手臂操作是其在复杂非结构化环境下执行任务的基础和核心技能。为了实现精准、高效的物体操作，机器人必须能够准确地感知和获取目标物体的三维几何信息。高质量的物体感知和三维重建是后续决策规划、路径规划和控制执行的关键基础。传统的机器人感知策略主要包括两种模式。一是固定相机-固定物体 (staticcamera, static object, scso) 模式，这种模式下相机和物体均固定不动。机器人只能从单一视角获取信息，数据质量高度依赖于该视角下的先验模型，缺乏足够的泛化能力，仅适用于特定物体。二是移动相机-固定物体 (moving camera, static object, mcso) 模式，通过移动或旋转固定在机器人顶部或腕部的相机来实现多视角观察。然而，在开放式、非结构化的复杂场景中，当物体已经被机械臂抓握时，mcso策略往往需要复杂的运动规划来移动整个机械臂或外部平台，显得不够自然且效率较低。

2、上述传统策略，特别是采用固定的或随机的传感器参数（如相机姿态），往往会导致遗漏物体重要视角、数据利用效率低下等问题，最终影响目标物体三维重建的质量。此外，现有的主动感知算法在视角选择上多依赖于基于几何重叠或可见性的启发式增益。这类方法缺乏对三维重建模型（如 3d 高斯重建）内部参数不确定性的直接度量。在数据采集过程中，往往由于标定残差、动态背景干扰以及单目深度的尺度模糊，导致重建模型出现“重影”或几何畸变，难以在稀疏视角下实现高质量的物体表征。因此，亟需一种更智能、更高效的感知策略，使得机器人能够在抓握物体的情况下，通过有选择性地、主动地观察手中物体，以最少的视角实现高质量的三维重建。

技术实现思路

1、本发明的目的在于提供一种基于fisher信息的机械臂物体观察角度预测方法和装置，旨在解决现有机器人感知策略中存在的数据利用效率较低、三维重建质量不佳的问题，以实现机器人在抓握物体状态下，高效、自主地选择最佳观察视角，以提升物体感知精度。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于fisher信息的机械臂物体观察角度预测方法，包括以下步骤：

4、采用移动物体-固定相机的感知范式定义世界坐标系、相机坐标系和机械臂末端执行器坐标系，从预定义的初始视角集合中采集图像进行三维重建模型的初始化；

5、构建颜色 fisher 信息增益与深度 fisher 信息增益并对其进行加权融合，得到总 fisher 信息增益；

6、在每次迭代中，从候选视角集合选取能够最大化总 fisher 信息增益的观察视角作为最佳观察视角；

7、对最佳观察视角下采集的rgb图像与深度图像执行预处理，所述预处理包含前景图像分离、全局尺度-偏移对齐和相机外参动态校正；

8、将最佳观察视角下完成预处理的观测数据并入训练集，增量式更新三维重建模型，直至满足迭代终止条件；

9、利用训练完成的三维重建模型完成机械臂对目标物体操作任务。

10、进一步地，所述移动物体-固定相机的感知范式中，相机坐标系相对于世界坐标系固定，观察视角由机械臂末端执行器的位姿决定。

11、进一步地，所述构建颜色 fisher 信息增益与深度 fisher 信息增益包括：分别基于颜色渲染函数和深度渲染函数构建负对数似然损失函数，采用损失函数对应的hessian 矩阵的对角项近似得到颜色与深度的 fisher 信息矩阵。

12、进一步地，通过结合机械臂的正逆运动学模型、关节物理限位及防碰撞约束，在机械臂末端执行器的可达流形工作空间内进行均匀或网格化离散采样计算，得到所述候选视角集合。

13、进一步地，所述前景图像分离包括：利用单目深度估计网络对采集到的各视角rgb图像提取初始的单目深度图序列；对多帧深度图像序列在时间维度上进行像素级的统计显著性差异计算；设定动态显著性判定阈值，将深度值随时间发生显著变化的区域判定为运动前景，静态区域判定为背景，从而生成高精度的前景掩膜以剔除背景干扰。

14、进一步地，所述全局尺度-偏移对齐包括：建立含尺度因子、深度偏移量的线性几何对齐模型，利用基于最小二乘法的非线性优化目标函数，求解最优的尺度因子与偏移量，将各个局部的单目预测深度图统一对齐至具有绝对物理尺度的全局坐标系中。

15、进一步地，所述相机外参动态校正包括：在多帧不同视角的观测图像序列中提取并关联共享的二维特征点；将待优化的相机外参残差参数化为李代数空间中的刚体变换误差向量；建立三维空间点到各个视角二维图像平面的重投影误差模型；采用高斯-牛顿法或lm算法在李代数空间下对刚体变换误差向量进行迭代更新，直至重投影误差最小化，从而得到校正后的高精度相机外参位姿。

16、一种基于fisher信息的机械臂物体观察角度预测装置，其包括：

17、建模初始化模块，用于采用移动物体-固定相机的感知范式定义世界坐标系、相机坐标系和机械臂末端执行器坐标系，从预定义的初始视角集合中采集图像进行三维重建模型的初始化；

18、fisher 信息计算模块，用于构建颜色 fisher 信息增益与深度 fisher 信息增益并对其进行加权融合，得到总 fisher 信息增益；

19、最优视角迭代选择模块，用于在每次迭代中，从候选视角集合选取能够最大化总fisher 信息增益的观察视角作为最佳观察视角；

20、图像预处理模块，用于对最佳观察视角下采集的rgb图像与深度图像执行预处理，所述预处理包含前景图像分离、全局尺度-偏移对齐和相机外参动态校正；

21、重建模型增量更新模块，用于将最佳观察视角下完成预处理的观测数据并入训练集，增量式更新三维重建模型，直至满足迭代终止条件；

22、任务执行模块，用于利用训练完成的三维重建模型完成机械臂对目标物体操作任务。

23、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法的指令。

24、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现上述的方法。

25、本发明的有益效果在于：

26、本发明通过提出mosc（移动物体-固定相机）感知范式，有效规避了传统mcso模式在手持操作场景下的运动规划局限，显著提升了受限空间内的感知效能；基于fisher信息对三维重建模型底层参数进行解析级敏感度度量，打破了现有技术经验启发式增益评估的局限，实现了在极稀疏采样下的高技术性能；基于mosc数据特性，通过设计预处理算法与外参动态校正，确保了高一致性的几何重构，显著增强了机器人在非结构化复杂环境下的鲁棒性与表征精度。