一种基于接触相位调度的机器人控制方法及系统

摘要: 本发明涉及机器人控制,尤其涉及一种基于接触相位调度的机器人控制方法及系统。背景技术:1、视觉模仿学习和扩散策略在抓取、搬运等视觉主导任务中表现优异,但对于插拔、...
一种基于接触相位调度的机器人控制方法及系统

本发明涉及机器人控制,尤其涉及一种基于接触相位调度的机器人控制方法及系统。

背景技术:

1、视觉模仿学习和扩散策略在抓取、搬运等视觉主导任务中表现优异,但对于插拔、擦拭、抽屉开启等接触丰富操作,任务成功同时依赖毫米级几何对准及对短时力/力矩瞬态的闭环响应。仅从图像往往难以区分插入到位与孔口卡滞、工具脱离与过压接触等状态。现有力感知策略通常将力历史与视觉token直接拼接或通过注意力融合后,在动作块更新频率下输出动作;少数慢快策略虽增加块内反应,但未显式区分任务阶段,也未明确限定不同阶段可被修正的自由度。具体缺陷包括:

2、力/力矩的有效时间尺度高于生成式策略的动作块更新频率,导致微碰撞、粘滑、早期卡滞等瞬态难以及时利用。

3、连续且无差别地注入力信号会在自由空间将传感器噪声混入视觉语义,影响任务意图规划。

4、不同阶段需要互斥或正交的校正自由度(例如平面搜索与法向插入),无相位调度的高速校正容易产生无关修正并诱发卡滞。

5、只生成基准动作块而缺少控制频率残差闭环时,对接触几何偏移和高度偏移的适应性不足。

技术实现思路

1、有鉴于此,本发明要解决的核心技术问题是:如何提升机器人在接触丰富操作任务中的成功率、鲁棒性和适应性,从而实现在保持视觉主导任务语义的同时,实现低频动作规划与高频力反馈校正的协同,并依据任务阶段自适应调整力/力矩历史注入强度及校正自由度。

2、一方面,本发明提供了一种基于接触相位调度的机器人控制方法,包括以下步骤:s1、获取机器人的多模态感知数据,多模态感知数据包括多视角图像、力/力矩历史和本体状态;s2、将多模态感知数据输入接触感知相位预测器,由接触感知相位预测器输出接触概率和相位信念;其中,接触概率用于表征未来时间窗口内发生接触的可能性,相位信念用于表征未来预设偏移时刻处于不同预设任务相位的概率分布;s3、通过低频扩散规划器以第一频率处理多视角图像、力/力矩历史和本体状态,生成基准动作块;s4、通过高频残差校正器以高于第一频率的第二频率处理力/力矩历史、本体状态、接触概率、相位信念以及基准动作块,生成位姿残差;其中,高频残差校正器根据接触概率动态调整力/力矩历史对位姿残差生成过程的影响强度,并根据相位信念从预设的多个校正子空间中选择或加权组合出有效校正子空间,并将位姿残差限定在有效校正子空间内;s5、将位姿残差复合至基准动作块,得到执行动作,并将执行动作发送给机器人执行。

3、可选地,步骤s2中,接触感知相位预测器包括视觉编码器和力/力矩编码器,视觉编码器用于从多视角图像中提取视觉token,力/力矩编码器用于从力/力矩历史中提取力历史token。

4、可选地,步骤s3中,低频扩散规划器包括多头交叉注意力单元,多头交叉注意力单元以视觉token为查询,以力历史token为键和值,进行多头交叉注意力运算;相位信念通过头级门控网络转换为逐注意力头门控向量,对多头交叉注意力计算的各注意力头的输出进行加权。

5、可选地,多头交叉注意力单元的输出相对于视觉token进行正交化处理,得到正交残差,正交残差与视觉token复合形成融合token;低频扩散规划器基于融合token和本体状态生成基准动作块。

6、可选地,多个校正子空间均由对角选择矩阵定义,对角选择矩阵用于限定对应任务相位下允许进行校正的自由度组合;高频残差校正器通过相位信念对多个对角选择矩阵进行加权求和,得到有效校正子空间,并通过接触概率对位姿残差进行整体门控。

7、可选地,位姿残差的计算公式为:;其中ptc为第t时刻的接触概率,pt(k)表示第t时刻属于第k个任务相位的概率,bk为第k个任务相位对应的对角选择矩阵,k为任务相位总数,ct为高频残差校正器生成的原始候选残差。

8、可选地,还包括以下步骤:s6、使用物理先验模型,根据力/力矩历史和相位信念自动生成目标位姿残差;以最小化高频残差校正器输出的位姿残差与目标位姿残差之间的差异为目标,训练高频残差校正器。

9、可选地,使用由任务相位和确定性事件规则自动生成的未来接触标签和未来相位标签,训练接触感知相位预测器。

10、可选地,步骤s5中,将位姿残差复合至基准动作块,具体为:通过在机器人末端执行器的位姿空间中将基准动作块与位姿残差进行复合运算实现。

11、另一方面,本发明提供了一种机器人控制系统,包括:多模态数据获取模块,用于获取多模态感知数据,多模态感知数据包括多视角图像、力/力矩历史和本体状态;接触感知相位预测器,通信连接至多模态数据获取模块,用于接收多模态感知数据,并输出接触概率和相位信念,接触概率用于表征未来时间窗口内发生接触的可能性,相位信念用于表征未来预设偏移时刻处于不同预设任务相位的概率分布;低频扩散规划器,通信连接至接触感知相位预测器,用于以第一频率处理多视角图像、力/力矩历史和本体状态,生成基准动作块; 高频残差校正器,通信连接至低频扩散规划器,用于以高于第一频率的第二频率,处理力/力矩历史、本体状态、接触概率、相位信念以及基准动作块,生成位姿残差;其中,高频残差校正器根据接触概率动态调整力/力矩历史对位姿残差生成过程的影响强度,并根据相位信念从预设的多个校正子空间中选择或加权组合出有效校正子空间,并将位姿残差限定在有效校正子空间内; 动作复合单元,通信连接至高频残差校正器,用于将位姿残差复合至基准动作块,并输出执行动作。

12、实施本发明包括以下有益效果:本发明通过接触感知相位预测器输出接触概率和相位信念,使得低频扩散规划器生成的基准动作块与高频残差校正器生成的位姿残差得以协同工作。具体地,本发明通过接触感知相位预测器,准确预测接触概率和相位信念,为后续的调度提供依据; 通过低频扩散规划器,生成保持视觉语义连贯性的基准动作,确保任务意图不漂移;通过高频残差校正器,依据接触概率和相位信念,在恰当的时机、恰当的自由度上施加力反馈校正,实现了对接触状态的快速、精准的闭环响应。在上述技术特征的协同作用下,使得低频扩散规划器能够专注于保持任务整体意图和视觉语义的连贯性,而高频残差校正器则能够根据接触概率和相位信念,并施加由力反馈驱动的校正,从而在保持视觉主导任务语义的前提下,实现了对任务执行过程中接触状态的快速闭环响应,整体上提升了机器人在接触丰富操作任务中的成功率、鲁棒性和适应性。

1.一种基于接触相位调度的机器人控制方法,其特征在于,包括以下步骤:

2.如权利要求1所述的机器人控制方法,其特征在于,步骤s2中,所述接触感知相位预测器包括视觉编码器和力/力矩编码器,所述视觉编码器用于从所述多视角图像中提取视觉token,所述力/力矩编码器用于从所述力/力矩历史中提取力历史token。

3.如权利要求2所述的机器人控制方法,其特征在于,步骤s3中,所述低频扩散规划器包括多头交叉注意力单元,所述多头交叉注意力单元以所述视觉token为查询,以所述力历史token为键和值,进行多头交叉注意力运算;所述相位信念通过头级门控网络转换为逐注意力头门控向量,对所述多头交叉注意力计算的各注意力头的输出进行加权。

4.如权利要求3所述的机器人控制方法,其特征在于,所述多头交叉注意力单元的输出相对于所述视觉token进行正交化处理,得到正交残差,所述正交残差与所述视觉token复合形成融合token;所述低频扩散规划器基于所述融合token和所述本体状态生成所述基准动作块。

5.如权利要求1所述的机器人控制方法,其特征在于,多个所述校正子空间均由对角选择矩阵定义,所述对角选择矩阵用于限定对应任务相位下允许进行校正的自由度组合;所述高频残差校正器通过所述相位信念对多个所述对角选择矩阵进行加权求和,得到所述有效校正子空间,并通过所述接触概率对所述位姿残差进行整体门控。

6.如权利要求5所述的机器人控制方法,其特征在于,所述位姿残差的计算公式为:

7.如权利要求1所述的机器人控制方法,其特征在于,还包括以下步骤:

8.如权利要求7所述的机器人控制方法,其特征在于,使用由任务相位和确定性事件规则自动生成的未来接触标签和未来相位标签,训练所述接触感知相位预测器。

9.如权利要求1所述的机器人控制方法,其特征在于,步骤s5中,将所述位姿残差复合至所述基准动作块,具体为:

10.一种机器人控制系统,其特征在于,包括: