机器人手臂运动控制策略网络的训练方法及装置与流程
本发明实施例涉及机器人,具体涉及一种机器人手臂运动控制策略网络的训练方法及装置。
背景技术:
1、机器人在执行末端到达任务时,需要根据机器人当前状态和目标位置生成控制动作,使机器人末端逐步移动至目标位置。在不存在障碍物的场景中,机器人通常可以沿当前位置指向目标位置的方向运动;但在存在障碍物的场景中,机器人不仅需要接近目标位置,还需要在运动过程中避开障碍物,防止运动轨迹进入碰撞区域。
2、相关技术中,机器人运动控制策略网络通常以目标位置作为训练目标,并根据机器人末端当前位置与目标位置之间的位置误差构造奖励函数。位置误差越小,表示机器人末端越接近目标位置。策略网络在训练过程中根据奖励反馈不断更新参数,以学习能够减小位置误差的控制动作。该类方法在无障碍场景中能够引导机器人末端逐步接近目标位置。
3、然而,在存在障碍物的场景中,位置误差主要反映机器人末端与目标位置之间的距离,难以反映机器人沿某一方向运动时是否会与障碍物发生碰撞。例如,对于两个均能够减小位置误差的运动方向,其中一个运动方向可能绕开障碍物并通向目标位置,另一个运动方向则可能直接进入障碍物所在区域。仅根据位置误差形成的奖励信号,难以区分上述可通行方向和不可通行方向。
4、随着强化学习和教师—学生蒸馏方法在机器人运动控制领域的应用,部分方案开始利用教师侧能够获得的特权状态信息或者完整状态信息,对学生侧的策略网络进行辅助训练。例如,cn120065751a公开了一种基于深度强化学习的机器人运动控制模型训练方法。该方法利用教师编码器对机器人的特权状态信息进行编码,得到教师侧潜在状态表示,并利用学生编码器对机器人的历史运动状态信息进行编码,得到学生侧潜在状态表示;在训练过程中,通过减小教师侧潜在状态表示与学生侧潜在状态表示之间的差异,对学生编码器进行蒸馏训练,再将相应潜在状态表示输入策略网络,由策略网络输出机器人运动动作。又例如,cn121361098a公开了一种机器人运动控制策略网络训练方法。该方法从机器人的历史状态数据中提取状态表征特征,将所述状态表征特征输入运动控制策略网络以生成动作策略,同时利用前向预测模型预测机器人在后续多个时间步的状态,并根据预测状态与真实状态之间的差异以及强化学习损失,对相关网络参数进行联合更新。
5、上述方案能够利用特权状态信息、潜在状态表示蒸馏或者未来状态预测辅助策略网络训练,但其主要监督对象为潜在状态表示、预测状态或者环境反馈形成的奖励值,并未直接提供同时表征目标趋近方向和障碍物规避方向的安全末端速度动作监督。因此,在存在障碍物的环境中,学生策略网络仍需要通过与环境交互和随机探索,自行学习在接近目标位置的同时避开障碍物的运动方式。
6、当机器人当前位置与目标位置之间存在障碍物时,策略网络可能仍然沿位置误差减小的方向直接逼近目标位置,进而进入障碍物所在的碰撞区域。机器人发生碰撞后,相应运动轨迹可能被中断,导致该轨迹中能够用于策略更新的有效训练数据减少。为了学习到可行的避障路径,策略网络通常需要在较大的状态空间和动作空间内进行反复探索,并针对不同障碍物位置和障碍物组合进行多次碰撞试错。
7、综上所述,现有机器人运动控制策略网络的训练方法主要根据机器人末端当前位置与目标位置之间的位置误差引导策略更新,缺少能够同时表征目标趋近方向和障碍物规避方向的安全运动监督信号,难以有效区分可通行路径和不可通行路径,容易因机器人进入碰撞区域而导致运动轨迹中断,因而难以在保证训练效率的同时,使机器人学习到既能够避开障碍物又能够稳定到达目标位置的运动控制策略网络。
技术实现思路
1、鉴于相关技术中机器人手臂在存在障碍物的环境中执行末端到达任务时,主要依据末端当前位置与目标位置之间的位置误差引导策略更新,难以直接反映当前运动方向对应的碰撞风险,学生策略网络需要通过较多环境交互和碰撞试错学习安全运动方向的问题,本发明实施例提供一种机器人手臂运动控制策略网络的训练方法及装置,通过教师控制器生成兼顾目标趋近和障碍物规避的末端速度,并以该末端速度作为学生策略网络的动作监督,以提高运动控制策略网络的训练有效性。
2、为实现上述目的,根据本发明实施例的一个方面,提供一种机器人手臂运动控制策略网络的训练方法,包括:
3、获取机器人手臂当前状态、目标位置及特权环境信息作为教师控制器的输入,以输出指向目标位置且避开障碍物的第一末端速度向量;
4、利用第一末端速度向量控制机器人手臂在环境中运动,并将机器人手臂在运动过程中的当前关节角、当前关节速度、目标位置及对应的第一末端速度向量构造为样本数据集;
5、以样本数据集中的当前关节角、当前关节速度、目标位置作为学生策略网络的输入,以输出第二末端速度向量,并基于第二末端速度向量和样本数据集中对应的第一末端速度向量进行参数更新训练,得到运动控制策略网络。
6、其中,学生策略网络的输入还可以包括当前环境信息,当前环境信息的信息量少于特权环境信息的信息量。
7、其中,特权环境信息包括障碍物几何信息、场景几何信息和碰撞模型信息中的至少一种;当前环境信息包括机器人手臂与障碍物之间的距离信息和局部距离场中的至少一种,局部距离场用于表征机器人手臂周围局部空间内多个空间位置分别与障碍物之间的距离关系。
8、其中,还可以获取与样本数据集中的当前关节角、当前关节速度和目标位置对应的当前末端位置,并根据当前末端位置和目标位置确定目标位置相对于当前末端位置的相对位移;学生策略网络的输入可以包括当前关节角、当前关节速度、当前末端位置、目标位置、相对位移和当前环境信息。
9、其中,对学生策略网络进行参数更新训练时,从样本数据集中获取当前关节角、当前关节速度、目标位置以及对应的第一末端速度向量,将当前关节角、当前关节速度和目标位置输入学生策略网络得到第二末端速度向量,将第一末端速度向量作为第二末端速度向量的监督目标,并根据第二末端速度向量与第一末端速度向量之间的差异更新学生策略网络的参数。
10、其中,在训练过程中,还可以将机器人手臂的当前关节角、当前关节速度和目标位置输入学生策略网络得到第二末端速度向量,利用第二末端速度向量控制机器人手臂与环境交互;根据执行第二末端速度向量前后的末端位置分别与目标位置之间的距离确定运动结果,根据机器人手臂与障碍物之间的空间关系确定安全判定结果,并根据运动结果和安全判定结果形成反馈信号,以根据反馈信号更新学生策略网络的参数。
11、其中,当安全判定结果表明机器人手臂存在碰撞风险,或者运动结果表明机器人手臂末端未朝向目标位置运动时,获取当前控制周期下的机器人手臂当前状态、目标位置和特权环境信息,并输入教师控制器,得到用于使机器人手臂末端避开障碍物并朝向目标位置运动的修正末端速度向量。
12、其中,可以取得教师控制器生成修正末端速度向量时对应的当前关节角和当前关节速度,将当前关节角、当前关节速度和目标位置作为新增样本的输入数据,将修正末端速度向量作为对应的监督目标构造新增样本,将新增样本加入样本数据集,并基于加入新增样本后的样本数据集继续对学生策略网络进行参数更新训练。
13、其中,在基于加入新增样本后的样本数据集进行参数更新后,可以利用参数更新后的学生策略网络控制机器人手臂再次与环境交互;若再次出现碰撞风险或者末端未朝向目标位置运动,则由教师控制器生成新的修正末端速度向量,根据新的修正末端速度向量构造新的新增样本,并基于更新后的样本数据集继续训练学生策略网络。
14、其中,第一末端速度向量和第二末端速度向量均可以包括机器人手臂末端的线速度分量和角速度分量;训练时分别确定第二末端速度向量与第一末端速度向量之间的线速度分量差异和角速度分量差异,根据线速度分量差异和角速度分量差异确定训练损失,并按照减小训练损失的方向更新学生策略网络的参数。
15、其中,教师控制器生成第一末端速度向量时,可以根据机器人手臂当前状态和特权环境信息确定机器人手臂与障碍物之间的碰撞检测结果;根据机器人手臂当前状态、目标位置、特权环境信息和碰撞检测结果确定使机器人手臂末端朝向目标位置且避开障碍物的可行运动方向;再根据机器人手臂当前状态和可行运动方向确定第一末端速度向量。
16、根据本发明实施例的另一个方面,还提供一种机器人手臂运动控制方法,包括:获取机器人手臂的当前关节角、当前关节速度和机器人手臂末端执行器所要到达的目标位置;将当前关节角、当前关节速度和目标位置输入经上述训练方法训练得到的运动控制策略网络,得到末端执行器的运动控制量;根据运动控制量控制机器人手臂运动。
17、其中,运动控制策略网络为完成参数更新训练的学生策略网络,运动控制量为末端速度向量;在部署阶段,将当前关节角、当前关节速度和目标位置输入学生策略网络,由学生策略网络输出末端速度向量。
18、其中,将当前关节角、当前关节速度、目标位置以及当前环境信息输入运动控制策略网络,得到末端执行器的运动控制量。
19、根据本发明实施例的另一个方面,还提供一种机器人手臂运动控制策略网络的训练装置,包括:教师控制模块,用于获取机器人手臂当前状态、目标位置及特权环境信息,并输出指向目标位置且避开障碍物的第一末端速度向量;样本构造模块,用于利用第一末端速度向量控制机器人手臂在环境中运动,并将运动过程中的当前关节角、当前关节速度、目标位置及对应的第一末端速度向量构造为样本数据集;网络训练模块,用于将样本数据集中的当前关节角、当前关节速度和目标位置输入学生策略网络,得到第二末端速度向量,并基于第二末端速度向量和样本数据集中对应的第一末端速度向量,对学生策略网络进行参数更新训练,得到运动控制策略网络。
20、根据本发明实施例的另一个方面,还提供一种机器人手臂运动控制装置,包括:状态获取模块,用于获取机器人手臂的当前关节角、当前关节速度和末端执行器所要到达的目标位置;网络推理模块,用于将当前关节角、当前关节速度和目标位置输入经上述训练方法训练得到的运动控制策略网络,得到末端执行器的运动控制量;运动控制模块,用于根据运动控制量控制机器人手臂运动。
21、根据本发明实施例的另一个方面,还提供一种电子设备,包括处理器和存储器,存储器中存储有计算机程序,计算机程序被处理器执行时,使处理器执行上述机器人手臂运动控制策略网络的训练方法,或者上述机器人手臂运动控制方法。
22、根据本发明实施例的另一个方面,还提供一种机器人手臂,包括机器人手臂本体和上述机器人手臂运动控制装置;机器人手臂本体包括末端执行器以及用于驱动机器人手臂关节运动的关节驱动机构;机器人手臂运动控制装置与关节驱动机构控制连接,用于根据当前关节角、当前关节速度和末端执行器所要到达的目标位置生成控制指令,并将控制指令发送至关节驱动机构,以使末端执行器的实际末端速度跟随运动控制装置生成的末端速度向量。
23、根据本发明实施例的另一个方面,还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时,实现上述机器人手臂运动控制策略网络的训练方法,或者上述机器人手臂运动控制方法。
24、与相关技术相比,本发明实施例具有以下有益效果:
25、本发明实施例利用教师控制器结合特权环境信息,生成使机器人手臂末端朝向目标位置运动且避开障碍物的第一末端速度向量,并将该第一末端速度向量作为学生策略网络的动作监督。那么,学生策略网络可以直接学习机器人手臂在不同状态下朝向目标位置运动并避开障碍物的运动方式,减少仅依靠环境反馈反复碰撞试错来探索避障运动方向的情况,提高运动控制策略网络的训练有效性。
26、训练完成后,将学生策略网络作为运动控制策略网络用于机器人手臂的实际控制。在机器人手臂执行末端到达任务的过程中,运动控制策略网络能够根据机器人手臂的当前状态和目标位置生成相应的末端速度向量,使机器人手臂在向目标位置运动的同时按照训练得到的避障运动规律避开障碍物,从而实现机器人手臂执行任务过程中的自主避障,并使机器人手臂能够安全地向目标位置运动。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com