基于机器视觉观测的物体物理属性估计方法、设备及介质与流程

本发明涉及具身智能，尤其涉及一种基于机器视觉观测的物体物理属性估计方法、设备及介质。

背景技术：

1、在具身智能领域，机器人执行抓取、推动等操作任务时，不仅需要识别物体的类别和位姿，更需要预知物体的质量、表面摩擦系数、转动惯量等物理属性，才能合理规划操作力与运动轨迹。然而，这些物理属性并非直观可见的视觉特征，它们隐含在物体与环境的力学交互过程中。在物理模型驱动的运动规划与控制中，物体物理参数的缺失将直接导致力学模型无法准确预测接触后的运动状态，使机器人难以实现安全灵巧的操作。

2、现有技术中，当前获取物体物理属性的主要方式仍依赖物理接触。例如，机器人通过夹爪反复试探性地夹持物体，逐步增加夹持力直至物体被稳定提起，从而反推其质量和表面摩擦特性；或借助集成于末端执行器的力学传感器进行直接测量。然而，这类接触式方法每次操作均需执行完整的物理测试循环，效率较低，且对易碎、易形变物体存在损坏风险。在服务机器人、野外作业等开放场景中，机器人面对的多为一次性未知物体，预先接触测试并不现实。

3、在机器视觉领域，已有研究尝试从图像中估计物体的物理属性，但现有方法通常依赖于对物体材质或类别的先验识别。它们需要预先建立材质类型与物理属性值之间的映射关系库，当遇到数据库中未收录的陌生物体时，便无法提供有效的属性估计。进一步地，获取真实物体精确的物理属性标注数据本身极为困难，对大量物体逐一测量其质量、转动惯量和摩擦系数需要耗费大量人力和专用设备，导致真实场景下的训练数据高度稀缺。上述种种限制使得机器人面对未知物体时，普遍缺乏可靠的非接触式物理感知能力，成为制约具身智能系统在真实世界中自主作业的关键短板。

技术实现思路

1、本发明提供了一种基于机器视觉观测的物体物理属性估计方法、设备及介质，旨在解决的技术问题是：如何提供一种能够在非接触条件下对物体关键物理属性进行有效估计的解决方案。

2、第一方面，本发明提供了一种基于机器视觉观测的物体物理属性估计方法，其包括：

3、获取物体由第一物理状态运动至第二物理状态的视频帧序列；

4、对所述视频帧序列进行物体分割与运动跟踪，得到物体分割掩码和物体运动轨迹；

5、将所述物体分割掩码和所述物体运动轨迹输入物理逆模型，得到所述物体的物理属性预测值；

6、其中，所述物理逆模型是基于物体交互的视觉数据及对应物理属性真值训练得到的。

7、可选地，所述物理逆模型的通过以下方式训练得到：

8、在物理仿真环境中，对虚拟物体的物理属性进行随机化设定，模拟所述虚拟物体的交互运动，生成仿真视频帧序列及对应的物理属性真值；

9、利用所述仿真视频帧序列训练初始神经网络模型，得到预训练物理逆模型；

10、获取真实场景中物体交互的标注视频帧序列及对应的物理属性标注值，基于所述标注视频帧序列对所述预训练物理逆模型进行微调，得到所述物理逆模型。

11、可选地，，所述对虚拟物体的物理属性进行随机化设定，包括：

12、s21,为质量、摩擦系数和转动惯量分别定义对应的概率分布类型及分布参数，所述分布参数基于真实世界物体的属性统计先验确定；

13、s22,根据所述概率分布类型及分布参数，独立采样得到质量随机值、摩擦系数随机值和转动惯量随机值；

14、s23,将采样得到的所述质量随机值、所述摩擦系数随机值和所述转动惯量随机值作为一套属性组合赋予物理仿真环境中的一个目标虚拟物体；

15、s24,重复执行步骤s22-s23，生成多个具有不同属性组合的目标虚拟物体，并将赋予各所述目标虚拟物体的所述质量随机值、所述摩擦系数随机值和所述转动惯量随机值记录为各所述目标虚拟物体对应的所述物理属性真值。

16、可选地，所述基于所述标注视频帧序列对所述预训练物理逆模型进行微调，得到所述物理逆模型，包括：

17、从所述标注视频帧序列中提取物体分割掩码和物体运动轨迹；

18、将提取的物体分割掩码和物体运动轨迹输入所述预训练物理逆模型，得到预测物理属性；

19、计算所述预测物理属性与所述物理属性标注值之间的误差；

20、基于所述误差，仅调整所述预训练物理逆模型中用于回归预测的部分网络的参数，保持用于时空特征提取的部分网络的参数不变，得到所述物理逆模型。

21、可选地，所述对所述视频帧序列进行物体分割与运动跟踪，得到物体分割掩码和物体运动轨迹，包括：

22、对所述视频帧序列中的每一帧图像进行实例分割，提取发生交互的物体所在的区域，生成物体分割掩码序列；

23、根据所述物体分割掩码序列确定所述物体在每一帧图像中的质心位置；

24、基于所述质心位置生成初始物体运动轨迹；

25、对所述初始物体运动轨迹进行归一化处理，得到所述物体运动轨迹。

26、可选地，所述基于所述质心位置生成初始物体运动轨迹，包括：

27、在所述物体分割掩码序列的物体区域内检测角点和边缘点中的至少一种特征点；

28、对所述特征点在相邻帧间进行光流跟踪，得到特征点运动轨迹；

29、采用随机抽样一致性算法，对所述特征点运动轨迹进行刚体运动模型拟合，剔除不符合刚体运动规律的离群特征点，得到所述物体的质心运动轨迹，将所述质心运动轨迹作为所述初始物体运动轨迹。

30、可选地，所述对所述初始物体运动轨迹进行归一化处理，得到所述物体运动轨迹，包括：

31、将所述物体分割掩码序列中的各掩码缩放至统一固定尺寸；

32、以所述物体在所述视频帧序列的第一帧图像中的质心位置为原点建立局部坐标系，所述局部坐标系的坐标轴方向与图像坐标系方向一致；

33、将所述初始物体运动轨迹中各点的坐标转换至所述局部坐标系，得到归一化运动轨迹；

34、计算所述物体分割掩码序列中所述物体的平均面积，将所述归一化运动轨迹中各点的坐标值除以所述平均面积的平方根，得到尺度归一化运动轨迹，将所述尺度归一化运动轨迹作为所述物体运动轨迹。

35、可选地，所述物理逆模型包括时空特征提取网络和回归网络，所述时空特征提取网络为具有三维卷积核的卷积神经网络；

36、所述将所述物体分割掩码和所述物体运动轨迹输入物理逆模型，得到所述物体的物理属性预测值，包括：

37、将所述物体分割掩码和所述物体运动轨迹在通道维度上进行拼接，生成多通道时空输入张量；

38、将所述多通道时空输入张量输入所述时空特征提取网络，利用所述三维卷积核在空间维度和时间维度上同时进行卷积，得到时空特征图；

39、将所述时空特征图输入所述回归网络，得到所述物体的物理属性预测值。

40、第二方面，本发明还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

41、第三方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

42、本发明提供了一种基于机器视觉观测的物体物理属性估计方法、设备及介质，通过获取物体由第一物理状态运动至第二物理状态的视频帧序列，对所述视频帧序列进行物体分割与运动跟踪，得到物体分割掩码和物体运动轨迹，并将所述物体分割掩码和所述物体运动轨迹输入物理逆模型，得到所述物体的物理属性预测值。其中，所述物体分割掩码与所述物体运动轨迹分别从空间外观维度和时序运动维度描述了物体在交互过程中的行为特征，为物理属性推断提供了完整的视觉线索；进一步地，所述物理逆模型基于物体交互的视觉数据及对应物理属性真值训练得到，其通过学习从视觉运动表观到内在物理属性的逆映射关系，使得在仅获取视觉观测数据的条件下，即可推断出物体的物理属性。由此，整个方案在不依赖任何物理接触的前提下，实现了对物体关键物理属性的有效估计。