一种基于对象中心运动抽象的人机技能迁移方法及系统

本发明涉及智能机器人控制、计算机视觉、机器学习和人机技能迁移，特别涉及一种基于对象中心运动抽象的人机技能迁移方法及系统。

背景技术：

1、人类操作视频包含丰富的任务知识和动作过程信息，采集成本低、任务类型多，适合作为机器人技能学习的数据来源。然而，人类和机器人在身体结构、关节自由度、末端执行器、动作范围、观察视角和运动习惯等方面存在差异，机器人无法直接复制人手或人体的关节轨迹。

2、为了弥合这一“具身差异”（embodiment gap），现有系统通常在“人类演示”和“机器人控制指令”之间建立中间运动表示。其中，对象中心运动表示不直接记录人手运动，而是记录被操作物体的位移、旋转或表面点轨迹，从而降低执行主体差异对技能迁移的影响。近年来，围绕对象中心运动表示已涌现出一系列代表性工作。

3、现有常用对象中心运动表示方法及其局限性如下：

4、稠密对象中心运动场（dense object-centric motion field）使用对象中心3d运动场作为从人类视频中学习机器人控制策略的动作表示。该方法在目标物体表面采样大量点，并记录每个点在多个时间位置上的三维运动轨迹，通过训练“去噪”3d运动场估计器从含噪rgb-d视频中鲁棒提取细粒度对象3d运动。实验表明该方法将3d运动估计误差降低了50%以上。然而，稠密运动场方法空间覆盖率较高，但包含大量方向、幅值和时间变化相近的重复轨迹，输出维度高，容易将执行者习惯、场景布局和相机视角一并编码，增加了预测模型的训练难度。

5、关键点轨迹（keypoint trajectories）方法从稠密轨迹中通过随机采样、最远点采样、运动幅值排序或其他策略选择少量关键点，以降低表示维度。存在现有技术进一步利用预训练的视觉-语言模型自动生成任务相关且跨实例一致的关键点，使机器人仅需5至10次演示即可学习关键点条件化策略。但该方法本质上仍然是轨迹稀疏化，不能主动区分完成任务所需的运动证据与执行者特定信息。此外，深度噪声、点跟踪误差、姿态估计误差和采样策略会导致关键点轨迹抖动，影响表示的稳定性。

6、现有技术目前存在以下共性缺陷：

7、表示冗余。稠密运动场和点云方法包含大量近似重复的运动信息，增加预测模型输出维度和训练难度。

8、表示不稳定。深度噪声、点跟踪误差、姿态估计误差和采样策略会导致关键点轨迹抖动。

9、任务信息与执行信息耦合。执行速度、动作幅度、抓持位置、相机视角和场景布局可能被模型误认为任务本身，导致技能迁移时难以泛化。

10、跨实例缺少统一结构。同一任务的不同执行者可能使用不同接触位置和不同动作速度，导致源点和时间阶段无法直接对应。

11、训练目标不易建立。不同演示通常没有逐点对应关系、严格同步关系或配对监督样本，难以形成稳定的机器人预测目标。

技术实现思路

1、本发明旨在提供一种基于对象中心运动抽象的人机技能迁移方法及系统，旨在从原始、稠密且受执行者影响明显的对象运动流中提取低维度、跨实例统一、任务信息与执行信息解耦的结构化运动抽象，以作为人类演示到机器人执行的跨具身中间接口。

2、为实现上述目的，本发明采用如下技术方案：

3、一种基于对象中心运动抽象的人机技能迁移方法，包括以下步骤：

4、s1、获取人类操作演示的稠密对象中心运动流；

5、s2、通过任务证据瓶颈从所述稠密对象中心运动流中提取任务证据潜变量，所述任务证据瓶颈采用无条件先验与任务分类损失联合约束；

6、s3、基于所述任务证据潜变量生成个源锚点在个有序时间阶段上的运动抽象，所述运动抽象由行列的三维位移向量构成；

7、s4、通过源-时间原型约束对所述运动抽象进行跨实例结构对齐，得到最终运动抽象；

8、s5、根据单帧rgb-d观测和任务描述预测所述最终运动抽象；

9、s6、将预测得到的运动抽象解码为目标物体的刚体运动，并转换为机器人末端执行器路径。

10、2.根据权利要求1所述的方法，其特征在于，步骤s1中，所述获取人类操作演示的稠密对象中心运动流具体包括：

11、根据目标物体分割结果、物体姿态信息和深度信息，在目标物体表面采样个点；采样方式采用均匀采样、最远点采样、网格采样、分割掩码内随机采样或基于曲率的采样中的任意一种；

12、跟踪所述个点在个时间位置上的三维运动；

13、将所有位移表示在目标物体坐标系中，构成所述稠密对象中心运动流；所述稠密对象中心运动流表示为，其中表示目标物体表面采样点数量，表示运动轨迹的时间采样数量，每个三维向量表示对应表面点在目标物体坐标系中的位移。

14、进一步地，步骤s2中，所述通过任务证据瓶颈从所述稠密对象中心运动流中提取任务证据潜变量具体包括：

15、将所述稠密对象中心运动流输入运动编码器，得到逐点局部运动特征和全局运动特征，所述，所述，所述运动编码器采用点云网络、集合编码器、时空transformer或图神经网络中的任意一种或其组合实现；

16、根据所述全局运动特征通过后验参数生成头得到后验分布；

17、从所述后验分布中采样得到所述任务证据潜变量；

18、以无条件标准高斯先验约束所述任务证据潜变量，计算kl散度损失：

19、；

20、其中，表示kl散度算子，表示单位矩阵；

21、以任务分类损失约束使得所述运动抽象能够识别任务类别；

22、联合训练目标为：

23、；

24、其中，为平衡系数，所述平衡系数在训练的前期周期内从0线性增加至目标值。

25、进一步地，步骤s3中，基于所述任务证据潜变量生成个源锚点在个有序时间阶段上的运动抽象具体包括：

26、将所述任务证据潜变量与个可学习槽位嵌入结合，形成个源锚点查询向量；

27、将所述个源锚点查询向量与所述逐点局部运动特征进行槽位交叉注意力，得到源分配矩阵，所述源分配矩阵表示每个源锚点对每个对象表面采样点的软分配权重；

28、根据所述源分配矩阵对所述稠密对象中心运动流进行加权聚合，形成条代表轨迹；

29、通过阶段预测头根据所述任务证据潜变量输出个有序时间阶段；

30、按照所述个有序时间阶段在所述条代表轨迹上进行时间插值，得到所述运动抽象，所述。

31、进一步地，将所述任务证据潜变量与个可学习槽位嵌入结合，形成个源锚点查询向量，具体包括：

32、以所述任务证据潜变量作为条件，对所述个可学习槽位嵌入进行条件化调制，生成与当前任务语义相关的个源锚点查询向量；

33、所述槽位交叉注意力通过计算所述个源锚点查询向量与所述逐点局部运动特征之间的注意力权重，得到所述源分配矩阵。

34、进一步地，步骤s4中，所述通过源-时间原型约束对所述运动抽象进行跨实例结构对齐具体包括：

35、对于任务类别，收集训练集中该任务类别的原始运动抽象，并对每个源-时间单元按照槽位活跃度进行加权平均，形成任务源-时间原型：

36、；

37、；

38、其中，表示任务类别下第个源锚点在第个时间阶段的原型位移向量， 表示对任务类别下所有训练实例中同一源-时间单元按照槽位活跃度进行加权平均的操作， 表示原始运动抽象在第个源锚点、第个时间阶段的三维位移向量；

39、对于当前实例的原始运动抽象，生成至多个候选运动抽象：候选布局通过将当前运动抽象中活跃度最低的源锚点替换为任务原型中活跃度较高的源锚点生成，并保持源锚点容量和阶段顺序不变；

40、对于候选运动抽象，计算其与所述任务源-时间原型之间的源-时间原型距离：

41、；

42、其中表示候选运动抽象中的源-时间单元索引，表示第个单元的源分配置信度，表示截断距离常数，表示任务源-时间原型中的源-时间单元索引，表示任务类别的源-时间原型占用支持集合，表示第个单元与第个单元之间的结构距离，为取最小值运算；

43、计算候选运动抽象的综合评分：

44、；

45、其中，表示候选运动抽象的源分配置信度总和，为距离权重系数；

46、当所述候选运动抽象满足以下条件时选用所述候选运动抽象，否则保留原始运动抽象：

47、；

48、；

49、其中，为置信度下降容限，为综合评分提升阈值。

50、进一步地，步骤s5中，所述根据单帧rgb-d观测和任务描述预测所述最终运动抽象具体包括：

51、从单帧rgb-d观测中构建整体场景点云和目标物体点云；

52、提取任务文本描述的特征；

53、将场景特征、目标物体特征、任务文本特征和相机参数特征输入条件融合网络；

54、由表示专用解码器预测个源锚点在个阶段的三维运动、有效性状态和内部阶段时间。

55、进一步地，步骤s6中，所述将预测得到的运动抽象解码为目标物体的刚体运动具体包括：

56、对相邻时间阶段之间的源锚点位移场进行中心化处理；

57、对中心化后的源锚点位移场执行奇异值分解，估计目标物体的共享旋转轴；

58、分别建立平移假设和共享轴旋转假设，根据重建残差和源锚点有效性选择运动假设；

59、根据选定的运动假设得到相邻时间阶段之间的离散刚体变换，通过插值获得连续物体位姿轨迹。

60、进一步地，步骤s6中，将所述预测得到的运动抽象转换为机器人末端执行器路径具体包括：

61、通过眼在手外标定获得相机坐标系到机器人基坐标系的变换矩阵；

62、将目标物体的位姿轨迹转换到机器人基坐标系；

63、根据物体与末端执行器的初始相对位姿，将物体位姿轨迹转换为末端执行器路径点。

64、一种基于对象中心运动抽象的人机技能迁移系统，用于实现上述基于对象中心运动抽象的人机技能迁移方法，该系统包括：

65、运动抽象构建模块，被配置为获取人类操作演示的稠密对象中心运动流，通过任务证据瓶颈从所述稠密对象中心运动流中提取任务证据潜变量，并基于所述任务证据潜变量生成个源锚点在个有序时间阶段上的运动抽象，所述运动抽象由行列的三维位移向量构成；

66、源-时间原型约束模块，被配置为通过源-时间原型约束对所述运动抽象进行跨实例结构对齐，得到最终运动抽象；

67、运动表示预测模块，被配置为根据单帧rgb-d观测和任务描述预测所述最终运动抽象；

68、机器人执行模块，被配置为将预测得到的运动抽象解码为目标物体的刚体运动，并转换为机器人末端执行器路径。

69、由以上技术方案可知，与现有技术相比，本发明的有益效果是：

70、1、本发明通过任务证据瓶颈（teb）将原始稠密对象中心运动流压缩为低维结构化运动抽象，显著降低了运动表示维度和冗余，同时提高了任务可解码性。

71、2、本发明通过任务证据瓶颈采用无条件标准高斯先验与任务分类损失联合约束，使潜变量在默认情况下不记录全部输入细节，对任务分类没有贡献的执行者习惯、动作速度、动作幅度和场景变化被压缩，对任务具有区分作用的对象运动模式被保留，实现任务信息与执行者信息的有效解耦。

72、3、本发明建立了建立跨实例统一的源-时间组织结构（st-ptc），在无需不同演示之间存在点级几何对应或严格时间同步的条件下，使同一任务的不同执行实例收敛到统一的索引网格结构。

73、4、本发明通过运动表示预测模块（mrp），在部署时仅需单帧rgb-d观测和任务描述即可预测完整运动抽象，无需输入完整的人类演示视频或重新计算人类轨迹，显著降低了部署阶段的感知和数据需求。