基于组合式潜变量的机器人接触动作生成方法及系统

摘要: 本发明涉及机器人智能控制,尤其涉及一种基于组合式潜变量的机器人接触动作生成方法及系统。背景技术:1、随着机器人操作任务复杂度的提高,机器人控制系统逐渐从传统的规...
基于组合式潜变量的机器人接触动作生成方法及系统

本发明涉及机器人智能控制,尤其涉及一种基于组合式潜变量的机器人接触动作生成方法及系统。

背景技术:

1、随着机器人操作任务复杂度的提高,机器人控制系统逐渐从传统的规则规划、轨迹跟踪和单一传感器反馈控制,发展到基于视觉、语言、本体感觉和触觉等多源感知数据的智能动作生成。对于抓取、插入、边缘跟踪、接触后微调和人机交互接触等任务而言,机器人不仅需要识别目标物体的位置和类别,还需要根据任务指令、末端姿态、接触状态、滑移趋势和任务推进阶段不断调整动作。因此,如何根据多源感知信息生成稳定、可纠偏、可解释的机器人动作,已经成为机器人智能控制领域的重要问题。

2、近年来,视觉语言动作模型为机器人控制提供了新的技术路径。文献《rt-2:vision-language-action models transfer web knowledge to robotic control》(anthony brohan等)提出将视觉语言模型中的知识迁移到机器人控制中,使模型能够根据视觉观测和语言指令生成机器人动作。文献《openvla: an open-source vision-language-action model》(moo jin kim等)提出开源视觉语言动作模型,通过大规模机器人操作数据训练,使机器人能够基于视觉输入和语言指令执行多类操作任务。上述研究说明,视觉语言动作模型能够将视觉语义理解和语言任务理解引入机器人动作生成过程,提升机器人对开放任务指令的适应能力。

3、在动作生成模型方面,文献《visuomotor policy learning via actiondiffusion》(cheng chi等)提出diffusion policy,将视觉运动策略表示为条件去噪扩散过程,用于从视觉观测生成机器人动作。文献《learning fine-grained bimanualmanipulation with low-cost hardware》(tony z. zhao、vikash kumar、sergey levine、chelsea finn)提出基于动作分块的模仿学习方法,使机器人能够从示教数据中学习精细双臂操作动作。上述技术通常能够根据观测信息和任务条件输出动作序列或未来动作片段,在机器人模仿学习和视觉运动控制中具有较好效果。

4、在专利文献方面,公开号为us20210086353a1、名称为《controlling a robotbased on free-form natural language input》的专利申请公开了根据自由形式自然语言输入和视觉数据生成机器人动作预测输出的技术方案。公开号为cn109906132b、名称为《机器人操纵的深度强化学习》的专利公开了利用深度强化学习训练策略神经网络,并基于当前状态确定机器人动作的技术方案。这些专利文献表明,基于自然语言、视觉数据或当前状态训练机器人控制模型并输出机器人动作,已经成为机器人智能控制中的重要技术方向。

5、然而,上述现有技术仍然存在不足。首先,现有视觉语言动作模型或视觉运动策略通常将视觉输入、语言指令、本体感觉状态和历史动作等信息输入到统一的策略网络中,再直接输出机器人动作。这种“观测到动作”的直接映射方式在数据分布稳定、任务轨迹固定的场景中能够取得一定效果,但在接触丰富的机器人操作任务中,容易退化为对训练轨迹的模仿。当物体姿态、接触位置、摩擦状态、滑移趋势或外界扰动发生变化时,单纯依赖直接动作回归的模型难以及时根据接触反馈修正动作,容易出现夹持不稳、插入偏移、边缘跟踪偏离或碰撞等问题。

6、其次,普通机器人动作生成模型通常将多种状态因素混合在同一隐向量中。对于接触操作任务而言,机器人动作至少受到任务目标、当前身体构型、运动动力学趋势和任务推进阶段等因素共同影响。任务目标决定机器人要完成抓取、插入、滑动检测还是边缘跟踪;当前身体构型决定机器人末端、关节和夹爪处于何种姿态;运动动力学趋势决定机器人动作流是否正在接近、滑移、纠偏或稳定;任务推进阶段决定机器人处于接近、接触、闭合、提升、对准、微调或插入等阶段。如果这些信息全部被压缩到一个普通隐向量中,模型虽然可能输出动作,但难以解释动作产生原因,也不利于后续控制系统判断当前动作是否与任务阶段、身体状态和接触反馈一致。

7、再次,触觉反馈在现有机器人动作生成模型中的注入位置通常不够明确。接触操作中,触觉信息不仅用于判断是否接触,还可能影响不同层面的动作生成。例如,局部接触压力和接触位置可能影响机器人对当前末端姿态或夹爪状态的估计;滑移信号和摩擦变化可能影响后续动作趋势和纠偏方向;稳定接触或碰撞信号可能影响任务阶段是否从接近阶段进入接触阶段,或者从接触阶段进入操作阶段。如果仅将触觉特征与视觉特征、语言特征和本体感觉特征进行简单拼接,模型难以明确区分触觉到底是在影响姿态估计、动力学更新,还是任务相位推进,从而限制了触觉反馈在闭环动作控制中的作用。

8、进一步地,现有技术中虽然存在基于循环网络、状态空间模型或动作序列预测的机器人控制方法,但这些方法通常更关注动作序列的连续性或预测精度,未必显式构建任务潜变量、姿态潜变量、动力学潜变量和相位潜变量之间的组合关系。对于抓取、插入装配和边缘跟踪等阶段性明显的接触任务而言,如果缺少相位潜变量及其单调推进约束,模型可能难以区分任务处于接近、接触、闭合、提升、对准、微调或插入等不同阶段,也就难以根据不同阶段输出不同类型的动作调节。类似地,如果缺少动力学潜变量的递推更新机制,模型也难以表达接触后纠偏趋势、滑移抑制趋势和短期运动记忆。

9、因此,现有技术仍需要一种能够面向机器人接触操作任务的动作生成方法。该方法应当不是简单地将多源感知数据直接映射为动作,而是能够将机器人动作生成过程拆解为任务目标、姿态状态、动力学趋势和任务相位等多个可解释内部状态;同时,应当使触觉增强特征分别参与姿态潜变量生成、动力学潜变量递推和相位潜变量推进,使机器人能够根据接触反馈在不同层面对动作生成过程进行修正;并进一步通过组合式状态融合和动作解码器输出机器人末端位置增量、末端姿态增量、夹爪动作、速度调节量或阻抗调节量,从而提高机器人在抓取、接触后微调、边缘跟踪、插入装配、滑移抑制和人机交互接触等任务中的动作生成稳定性、闭环纠偏能力和状态可解释性。

技术实现思路

1、为实现上述目的,本发明采用如下技术方案。

2、本发明提供一种基于组合式潜变量的机器人接触动作生成方法,包括如下步骤:

3、s1,获取机器人在执行接触操作任务时的多源感知数据,所述多源感知数据包括视觉输入、语言指令、本体感觉状态和触觉增强特征;其中,所述触觉增强特征由设置于机器人末端的触觉传感器采集的触觉数据经触觉编码或触觉上下文增强处理得到,所述本体感觉状态包括机器人关节状态、末端位姿、末端速度、夹爪状态和历史动作中的一种或多种。

4、其中,所述接触操作任务包括抓取、接触后微调、边缘跟踪、插入装配和滑移抑制中的一种或多种。

5、在其他实施方式中,所述接触操作任务还可以扩展至表面检测和人机交互接触。当用于表面检测时,触觉增强特征用于表征表面粗糙度变化、局部凸起、毛刺或接触振动异常,相位潜变量用于表征接近表面、建立接触、沿表面扫描和异常确认阶段,动作解码器输出末端位置增量、扫描速度调节量和接触力调节量。当用于人机交互接触时,触觉增强特征用于表征人体接触强度、接触区域变化和异常推挤,相位潜变量用于表征接近、接触建立、交互保持和安全退出阶段,动作解码器输出末端速度调节量、阻抗参数调节量和避让动作。

6、所述视觉输入可以包括目标图像、目标位置、目标类别、目标边缘、预期接触区域或场景深度信息。所述语言指令可以包括自然语言任务指令、动作意图、任务阶段约束或接触强度约束。所述触觉增强特征由触觉时序数据经触觉主通路和上下文调制网络处理得到。具体地,所述触觉时序数据包括连续多个控制周期内触觉传感器采集的接触压力、接触位置、接触面积、切向力变化量、法向力变化量、接触中心偏移量、振动能量或者触觉阵列节点信号中的一种或多种。触觉主通路用于从所述触觉时序数据中提取触觉主特征,所述触觉主特征包括接触强度特征、接触位置特征、接触面积变化特征、滑移趋势特征和异常接触特征中的一种或多种。上下文调制网络根据视觉上下文、语言上下文和本体感觉上下文中的至少一种生成上下文聚合特征,并根据所述上下文聚合特征生成与触觉主特征维度一致的增益向量和偏置向量,再按照如下方式对触觉主特征进行调制:

7、

8、其中, 表示触觉增强特征, 表示按特征维度逐元素相乘,*表示按元素相乘。通过上述调制方式,触觉增强特征不仅包含触觉传感器采集的局部接触信息,还包含当前任务目标、预期接触区域和机器人本体状态对触觉信息解释的约束。

9、s2,将s1所述视觉输入和s1所述语言指令输入任务编码器,得到任务潜变量,所述任务潜变量用于表征当前接触操作任务的任务目标和任务语义。

10、在一种实施方式中,任务编码器包括视觉编码分支、语言编码分支和任务融合编码器。视觉编码分支用于从s1所述视觉输入中提取目标位置、目标类别、目标边缘或预期接触区域特征;语言编码分支用于从s1所述语言指令中提取动作意图、任务阶段约束或接触强度约束;任务融合编码器用于将视觉编码分支输出的视觉特征和语言编码分支输出的语言特征融合为s2所述任务潜变量。由此,任务潜变量能够反映机器人当前需要完成的任务目标,例如轻拿抓取、稳定搬运、沿边缘滑动检测、插入装配或避免碰撞等。

11、s3,将s1所述触觉增强特征、s1所述本体感觉状态和s2所述任务潜变量输入姿态编码器,得到姿态潜变量,所述姿态潜变量用于表征机器人当前身体构型、末端状态或接触姿态。

12、在一种实施方式中,姿态编码器先将s1所述触觉增强特征、s1所述本体感觉状态和s2所述任务潜变量进行拼接、注意力融合或门控融合,得到姿态融合特征,再将姿态融合特征输入姿态编码器得到s3所述姿态潜变量。进一步地,可以将s3所述姿态潜变量输入姿态辅助预测头,预测机器人当前关节状态、末端位姿、夹爪开合量或接触姿态中的一种或多种,以使姿态潜变量与机器人真实本体状态保持一致。由此,姿态潜变量不是任意隐向量,而是与机器人当前身体构型和接触姿态相关联的状态表征。

13、s4,将上一控制时刻的动力学潜变量、s1所述多源感知数据中当前控制时刻的触觉增强特征、s1所述多源感知数据中当前控制时刻的本体感觉状态、s2所述当前控制时刻的任务潜变量和上一控制时刻的机器人动作输入动力学状态更新器,得到当前控制时刻的动力学潜变量,所述动力学潜变量用于表征机器人动作流的演化趋势、接触后纠偏趋势或短期运动记忆。

14、在一种实施方式中,动力学状态更新器可以为循环神经网络、门控循环单元、长短期记忆网络、状态空间模型或由多层感知机实现的递推更新网络中的一种。当前控制时刻的动力学潜变量可以满足如下递推关系:

15、s43,由s42所述动力学状态更新器递推生成s4所述当前控制时刻的动力学潜变量;

16、其中,s4所述当前控制时刻的动力学潜变量满足如下递推关系:

17、

18、其中, 表示动力学状态更新函数,表示当前控制时刻的动力学潜变量,表示上一控制时刻的动力学潜变量, 表示当前控制时刻的触觉增强特征, 表示当前控制时刻的本体感觉状态,表示当前控制时刻的任务潜变量,表示上一控制时刻的机器人动作。通过递推更新方式,动力学潜变量能够表达接触后的动作演化趋势和短期运动记忆,例如滑移后夹持力增大趋势、碰撞后避让趋势、边缘跟踪时的方向调整趋势或插入装配时的微调趋势。

19、s5,将s1所述多源感知数据中当前控制时刻的触觉增强特征、s1所述多源感知数据中当前控制时刻的本体感觉状态和s2所述当前控制时刻的任务潜变量输入任务相位编码器,生成非负相位增量,并对所述非负相位增量进行单调累积和归一化处理,得到当前控制时刻的相位潜变量,所述相位潜变量用于表征接触操作任务的任务推进阶段。

20、在一种实施方式中,将当前控制时刻的触觉增强特征、本体感觉状态和任务潜变量进行融合,得到相位输入特征;将相位输入特征输入任务相位编码器,得到相位增量预测值;对相位增量预测值进行非负化处理,得到非负相位增量。所述非负化处理可以通过softplus函数、指数函数或非负截断函数实现。随后,将多个控制时刻对应的非负相位增量沿时间顺序累积,得到相位累积值;根据预设归一化系数、同类任务示教轨迹对应的最终相位累积值或在线估计的任务终止相位值,对相位累积值进行归一化处理,得到归一化相位值。其中,在离线训练阶段,可以根据完整示教轨迹的结束时刻确定最终相位累积值;在在线执行阶段,可以根据同类任务的平均执行步数、平均执行时长、预设阶段模板或者任务终止预测头输出的任务终止相位值进行归一化,以避免在线控制过程中无法预先获得任务最终相位累积值的问题;将归一化相位值和相位输入特征输入相位嵌入网络,得到s5所述相位潜变量。

21、通过上述方式,相位潜变量能够以单调推进的方式表征任务阶段。例如,在抓取任务中,相位潜变量可以表征接近阶段、接触阶段、闭合阶段和提升阶段;在插入装配任务中,相位潜变量可以表征对准阶段、接触阶段、微调阶段和插入阶段;在边缘跟踪任务中,相位潜变量可以表征接近边缘、建立接触、沿边缘滑动和异常检测等阶段。

22、s6,将s2所述任务潜变量、s3所述姿态潜变量、s4所述动力学潜变量和s5所述相位潜变量进行组合式状态融合,得到组合式感觉运动状态特征。

23、在一种实施方式中,将s2所述任务潜变量、s3所述姿态潜变量、s4所述动力学潜变量和s5所述相位潜变量进行拼接,得到潜变量拼接特征;将潜变量拼接特征输入组合式状态融合模块,得到s6所述组合式感觉运动状态特征。所述组合式状态融合模块可以包括全连接层、门控融合层、注意力融合层和归一化层中的一种或多种。由此,机器人动作不再由单一黑箱隐向量决定,而是由任务目标、身体构型、动作趋势和任务阶段共同决定。

24、s7,将s6所述组合式感觉运动状态特征输入动作解码器,输出机器人动作,所述机器人动作包括机器人末端位置增量、机器人末端姿态增量、夹爪动作、速度调节量和阻抗调节量中的一种或多种。

25、在一种实施方式中,动作解码器可以包括末端位置动作输出头、末端姿态动作输出头、夹爪动作输出头和速度或阻抗调节输出头中的一种或多种。末端位置动作输出头用于输出机器人末端位置增量;末端姿态动作输出头用于输出机器人末端姿态增量;夹爪动作输出头用于输出夹爪开合动作或夹持力调节量;速度或阻抗调节输出头用于输出末端速度调节量或阻抗参数调节量。通过多个动作输出头,能够使机器人动作具有更明确的控制含义,并便于控制器根据不同动作分量执行相应控制。

26、s8,根据s7所述机器人动作控制机器人执行当前控制时刻的接触操作动作。

27、在一种实施方式中,当s1所述触觉增强特征表征滑移趋势增强时,通过s7所述机器人动作控制机器人增大夹持力、降低末端速度或调整接触姿态;当s1所述触觉增强特征表征碰撞或异常接触时,通过s7所述机器人动作控制机器人执行减速、避让或停止动作;当s5所述相位潜变量表征任务由接近阶段进入接触阶段时,通过s7所述机器人动作控制机器人降低末端接近速度或切换为柔顺接触;当s5所述相位潜变量表征任务由接触阶段进入操作阶段时,通过s7所述机器人动作控制机器人执行夹爪闭合、插入推进、边缘跟踪或接触微调动作。

28、进一步地,所述方法还可以包括:

29、s9,输出s2所述任务潜变量、s3所述姿态潜变量、s4所述动力学潜变量、s5所述相位潜变量和s6所述组合式感觉运动状态特征中的一种或多种作为可解释中间结果,用于表征机器人动作生成过程中任务目标、身体构型、运动趋势和任务推进阶段对s7所述机器人动作的影响。

30、本发明还提供一种基于组合式潜变量的机器人接触动作生成网络训练方法,用于训练执行上述基于组合式潜变量的机器人接触动作生成方法的动作生成网络。所述训练方法包括如下步骤:

31、t1,构建训练样本集,所述训练样本集中的每一训练样本包括视觉输入、语言指令、本体感觉状态、触觉增强特征、历史动作、目标动作标签、姿态监督标签、动力学监督标签和任务相位标签中的一种或多种。

32、t2,将t1所述视觉输入和t1所述语言指令输入任务编码器,得到任务潜变量。

33、t3,将t1所述触觉增强特征、t1所述本体感觉状态和t2所述任务潜变量输入姿态编码器,得到姿态潜变量。

34、t4,根据上一控制时刻的动力学潜变量、t1所述当前控制时刻的触觉增强特征、t1所述当前控制时刻的本体感觉状态、t2所述当前控制时刻的任务潜变量和上一控制时刻的历史动作,递推得到当前控制时刻的动力学潜变量。

35、t5,根据t1所述当前控制时刻的触觉增强特征、t1所述当前控制时刻的本体感觉状态和t2所述当前控制时刻的任务潜变量生成非负相位增量,并根据所述非负相位增量得到相位潜变量。

36、t6,将t2所述任务潜变量、t3所述姿态潜变量、t4所述动力学潜变量和t5所述相位潜变量进行组合式状态融合,并通过动作解码器得到预测机器人动作。

37、t7,根据训练损失对所述动作生成网络进行训练,所述训练损失包括动作监督损失、姿态一致性损失、动力学预测损失、相位单调损失、相位监督损失、触觉纠偏损失和潜变量解耦损失中的至少两种。

38、其中,动作监督损失可以根据t6所述预测机器人动作与t1所述目标动作标签之间的差异确定;姿态一致性损失可以根据由t3所述姿态潜变量预测得到的机器人本体状态与t1所述姿态监督标签之间的差异确定;动力学预测损失可以根据由t4所述动力学潜变量预测得到的下一控制时刻本体感觉状态、下一控制时刻触觉增强特征或下一控制时刻动作状态与对应监督标签之间的差异确定;相位单调损失可以根据相邻控制时刻的相位累积值是否沿时间方向非递减确定;相位监督损失可以根据归一化相位值与t1所述任务相位标签之间的差异确定;触觉纠偏损失可以根据触觉扰动条件下的机器人动作输出与纠偏动作标签之间的差异,或者根据触觉扰动条件下的机器人动作变化是否满足预设纠偏方向确定;潜变量解耦损失可以根据t3所述姿态潜变量、t4所述动力学潜变量和t5所述相位潜变量之间的相关性确定。

39、在一种实施方式中,触觉纠偏损失通过如下方式获得:基于同一训练样本构造正常触觉增强特征和扰动触觉增强特征;将正常触觉增强特征和扰动触觉增强特征分别输入动作生成网络,得到正常动作输出和扰动动作输出;根据扰动动作输出与纠偏动作标签之间的差异,或者根据扰动动作输出相对于正常动作输出的动作变化是否满足预设纠偏方向,确定触觉纠偏损失。通过触觉纠偏损失,能够促使动作生成网络在滑移、碰撞、接触偏移或摩擦变化等触觉扰动下输出具有纠偏意义的动作。

40、在一种实施方式中,潜变量解耦损失通过如下方式获得:对同一批次训练样本中的姿态潜变量、动力学潜变量和相位潜变量分别进行归一化处理,得到归一化姿态潜变量、归一化动力学潜变量和归一化相位潜变量;计算任意两类归一化潜变量之间的相关性或内积;根据所述相关性或内积构建潜变量解耦损失,使姿态潜变量、动力学潜变量和相位潜变量分别表征机器人身体构型、动作流演化趋势和任务推进阶段,从而减少不同潜变量之间的语义混叠。

41、本发明还提供一种基于组合式潜变量的机器人接触动作生成系统,包括数据获取模块、任务编码器、姿态编码器、动力学状态更新器、任务相位编码器、组合式状态融合模块、动作解码器和机器人控制模块。

42、所述数据获取模块用于获取机器人在执行接触操作任务时的多源感知数据,所述多源感知数据包括视觉输入、语言指令、本体感觉状态和触觉增强特征。

43、所述任务编码器用于将所述数据获取模块获取的视觉输入和语言指令编码为任务潜变量。所述姿态编码器用于根据所述数据获取模块获取的触觉增强特征、本体感觉状态和所述任务编码器输出的任务潜变量生成姿态潜变量。

44、所述动力学状态更新器用于根据上一控制时刻的动力学潜变量、所述数据获取模块获取的当前控制时刻的触觉增强特征、当前控制时刻的本体感觉状态、所述任务编码器输出的当前控制时刻的任务潜变量和上一控制时刻的机器人动作,递推得到当前控制时刻的动力学潜变量。所述任务相位编码器用于根据所述数据获取模块获取的当前控制时刻的触觉增强特征、当前控制时刻的本体感觉状态和所述任务编码器输出的当前控制时刻的任务潜变量生成非负相位增量,并根据所述非负相位增量的单调累积和归一化结果生成相位潜变量。

45、所述组合式状态融合模块用于将所述任务编码器输出的任务潜变量、所述姿态编码器输出的姿态潜变量、所述动力学状态更新器输出的动力学潜变量和所述任务相位编码器输出的相位潜变量融合为组合式感觉运动状态特征。

46、所述动作解码器用于根据所述组合式状态融合模块输出的组合式感觉运动状态特征输出机器人动作。

47、所述机器人控制模块用于根据所述动作解码器输出的机器人动作控制机器人执行接触操作动作。

48、在一种实施方式中,所述数据获取模块包括视觉采集模块、语言输入模块、触觉增强特征获取模块和本体感觉状态获取模块。其中,所述触觉增强特征获取模块用于获取由触觉编码网络或触觉上下文增强网络输出的触觉增强特征,所述本体感觉状态获取模块用于获取机器人关节状态、末端位姿、末端速度、夹爪状态和历史动作中的一种或多种。

49、在一种实施方式中,所述动作解码器包括末端位置动作输出头、末端姿态动作输出头、夹爪动作输出头和速度或阻抗调节输出头中的一种或多种。所述机器人控制模块用于根据所述动作解码器输出的机器人末端位置增量、机器人末端姿态增量、夹爪动作、速度调节量或阻抗调节量控制机器人末端执行接触操作动作。

50、本发明还提供一种机器人,包括机器人本体、机器人末端执行器、触觉传感器、视觉采集装置以及上述基于组合式潜变量的机器人接触动作生成系统。所述触觉传感器设置于所述机器人末端执行器上,所述机器人接触动作生成系统用于根据视觉输入、语言指令、本体感觉状态和触觉增强特征生成机器人动作,并控制所述机器人末端执行器执行接触操作任务。

51、本发明还提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现上述基于组合式潜变量的机器人接触动作生成方法,或者实现上述基于组合式潜变量的机器人接触动作生成网络训练方法。

52、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现上述基于组合式潜变量的机器人接触动作生成方法,或者实现上述基于组合式潜变量的机器人接触动作生成网络训练方法。

53、与现有技术相比,本发明至少具有如下有益效果。

54、1)本发明将机器人接触动作生成过程拆解为任务潜变量、姿态潜变量、动力学潜变量和相位潜变量,并通过组合式状态融合生成机器人动作。相较于将视觉、语言、本体感觉和触觉信息直接映射为动作的方式,本发明能够显式表达任务目标、身体构型、运动趋势和任务推进阶段,提高动作生成过程的可解释性和可调试性。本发明使触觉增强特征分别参与姿态潜变量生成、动力学潜变量递推和相位潜变量推进,使触觉反馈不再只是附加输入,而是能够在姿态估计、动作趋势更新和任务阶段判断中发挥作用。由此,机器人能够根据滑移、碰撞、接触偏移、稳定接触等触觉变化在不同层面调整动作生成过程。本发明通过动力学状态更新器根据上一控制时刻的动力学潜变量、当前触觉增强特征、本体感觉状态、任务潜变量和上一机器人动作递推生成当前动力学潜变量,使动作生成具有短期运动记忆和接触后纠偏能力。该方式有利于机器人在接触扰动、滑移趋势和插入偏差等情况下动态修正动作。

55、2)本发明通过非负相位增量、单调累积和归一化处理生成相位潜变量,使接触操作任务的阶段推进能够被显式表征。该相位潜变量能够区分抓取任务中的接近、接触、闭合和提升阶段,或者插入装配任务中的对准、接触、微调和插入阶段,从而使机器人在不同任务阶段输出更合适的动作调节。本发明的动作解码器能够输出机器人末端位置增量、机器人末端姿态增量、夹爪动作、速度调节量和阻抗调节量中的一种或多种,使组合式感觉运动状态特征能够转化为具体可执行的机器人动作,有利于接触操作任务中的闭环控制。本发明通过姿态一致性损失、动力学预测损失、相位单调损失、相位监督损失、触觉纠偏损失和潜变量解耦损失对动作生成网络进行训练,使各类潜变量具有更明确的语义分工,减少姿态、动力学和相位信息混叠,并提高模型在接触扰动条件下的纠偏能力。