基于深度强化学习运动控制策略网络的机器人移动控制方法、装置、机器人及可读存储介质与流程

摘要: 本发明涉及机器人,具体涉及一种基于深度强化学习运动控制策略网络的机器人移动控制方法、装置、机器人及可读存储介质。背景技术:1、对于采用深度强化学习运动控制策略网...
基于深度强化学习运动控制策略网络的机器人移动控制方法、装置、机器人及可读存储介质与流程

本发明涉及机器人,具体涉及一种基于深度强化学习运动控制策略网络的机器人移动控制方法、装置、机器人及可读存储介质。

背景技术:

1、对于采用深度强化学习运动控制策略网络进行移动控制的机器人,通常可以通过遥控手柄等控制器输入目标速度,以控制机器人的行走速度。在手柄控制过程中,受摇杆阻尼、用户操纵习惯以及手柄硬件通信协议、无线传输带宽等因素影响,手柄速度指令的下发频率可能相对较低,例如仅为10hz。当用户较快推动摇杆时,相邻两个指令下发周期对应的目标速度可能存在较大差值,使机器人接收到的目标速度呈现较明显的阶跃变化。

2、相关技术中,可以通过对目标速度的变化过程进行平滑处理,以减小速度指令突变对机器人运动过程的影响。例如,美国专利us8972055b1公开了一种用于控制机器人设备的速度曲线选择方法,该方法接收操纵杆或者触摸屏产生的用户输入,根据用户输入确定目标速度,并选择相应的速度剖面,通过速度剖面中的加速度、减速度等限制信息,对机器人由当前速度向目标速度的过渡过程进行控制,使机器人的速度按照所选速度剖面逐渐变化。

3、对于采用深度强化学习运动控制策略网络的机器人,运动控制策略网络通常先在仿真环境中进行训练或者调试,再部署至实体机器人运行。由于仿真环境与实体机器人在摩擦系数、电机增益、传动效率等动力学特性方面可能存在差异,运动控制策略网络部署至实体机器人后,输入至运动控制策略网络的速度指令与机器人实际达到的速度之间可能存在偏差,使机器人实际速度的变化不能完全符合用户通过手柄输入速度指令时的预期。

4、在实际操作过程中,当用户推动手柄摇杆后,如果机器人的实际速度变化较慢或者未达到用户预期,用户可能继续增大摇杆的输入幅度;而在后续较大的速度指令作用下,机器人实际速度又可能在较短时间内明显增大,出现突然加速的情况。这样,手柄输入的速度变化与机器人的实际行走速度变化难以保持较好的一致性,使机器人难以按照用户的手柄操作及时、准确地改变行走速度,导致手柄控制的跟手性较差,影响用户的操作体验。

技术实现思路

1、鉴于相关技术中采用手柄对基于深度强化学习运动控制策略网络的机器人进行速度控制时,机器人实际行走速度难以及时、准确地跟随用户的手柄操作,导致跟手性较差的问题,本发明提供一种基于深度强化学习运动控制策略网络的机器人移动控制方法、装置、机器人及计算机可读存储介质,以使机器人能够更加平稳、准确地响应用户通过手柄输入的目标速度,提高机器人在手柄控制过程中的跟手性。

2、根据本发明的一个方面,提供一种基于深度强化学习运动控制策略网络的机器人移动控制方法,包括:获取用于控制机器人移动的目标速度指令;在各控制周期内,根据当前控制周期的目标速度指令、上一控制周期输出的历史平滑速度指令以及预设时间常数,生成当前控制周期对应的平滑速度指令;根据预先标定的速度标定关系,确定与平滑速度指令对应的修正速度指令,其中,速度标定关系用于表征机器人的实际速度与输入至运动控制策略网络的速度指令之间的对应关系;将修正速度指令下发至运动控制策略网络以驱动机器人移动。

3、其中,根据当前控制周期的目标速度指令、上一控制周期输出的历史平滑速度指令以及预设时间常数,生成当前控制周期对应的平滑速度指令,包括:根据预设时间常数和当前控制周期的时长,确定与目标速度指令指示的目标速度值对应的第一权重系数,以及与历史平滑速度指令指示的历史平滑速度值对应的第二权重系数,第一权重系数与该时长呈正相关,第二权重系数与该时长呈负相关;根据第一权重系数对目标速度值进行加权,并根据第二权重系数对历史平滑速度值进行加权,得到当前控制周期对应的平滑速度值;根据平滑速度值生成当前控制周期对应的平滑速度指令。

4、其中,根据预设时间常数和当前控制周期的时长,确定第一权重系数和第二权重系数,包括:根据当前控制周期的时长在当前控制周期的时长与预设时间常数之和中所占的比例,确定第一权重系数;根据预设时间常数在当前控制周期的时长与预设时间常数之和中所占的比例,确定第二权重系数,第一权重系数和第二权重系数构成互补权重。根据第一权重系数对目标速度值进行加权,并根据第二权重系数对历史平滑速度值进行加权,得到当前控制周期对应的平滑速度值,包括:根据第一权重系数和第二权重系数,对目标速度值和历史平滑速度值进行加权融合,得到当前控制周期对应的平滑速度值。

5、其中,该方法还包括:确定当前控制周期对应的平滑速度值与历史平滑速度值之间的速度变化量;在速度变化量的绝对值大于预设最大速度变化量的情况下,根据预设最大速度变化量和历史平滑速度值,对当前控制周期对应的平滑速度值进行限幅修正,以使限幅修正后的平滑速度值与历史平滑速度值之间的速度变化量的绝对值小于或等于预设最大速度变化量;将限幅修正后的平滑速度值作为当前控制周期对应的平滑速度值,并根据该平滑速度值生成平滑速度指令。

6、其中,预设时间常数从至少两个取值不同的候选时间常数中确定;该方法还包括:确定当前控制周期的目标速度值与历史平滑速度值之间的速度差值;根据速度差值的绝对值,从至少两个候选时间常数中确定当前控制周期采用的预设时间常数,预设时间常数与速度差值的绝对值呈正相关。

7、其中,至少两个候选时间常数包括第一时间常数和小于第一时间常数的第二时间常数,预先设置有第一速度差阈值和小于第一速度差阈值的第二速度差阈值;该方法还包括:在速度差值的绝对值增大至大于或等于第一速度差阈值的情况下,将第一时间常数确定为当前控制周期采用的预设时间常数;在速度差值的绝对值减小至小于或等于第二速度差阈值的情况下,将第二时间常数确定为当前控制周期采用的预设时间常数;在速度差值的绝对值大于第二速度差阈值且小于第一速度差阈值的情况下,保持上一控制周期采用的预设时间常数不变。

8、其中,在首次生成平滑速度指令时:获取机器人的当前实际速度;根据当前实际速度生成初始平滑速度指令;将初始平滑速度指令作为历史平滑速度指令,以根据目标速度指令、历史平滑速度指令以及预设时间常数生成当前控制周期对应的平滑速度指令。

9、其中,速度标定关系通过以下方式预先标定:在运动控制策略网络部署至机器人后,向运动控制策略网络输入多个取值不同的标定速度指令;分别采集机器人响应各标定速度指令时的实际速度,得到多组标定数据,其中,每组标定数据包括一个标定速度指令的速度指令值以及机器人响应该标定速度指令时的实际速度;根据多组标定数据建立速度标定关系。

10、其中,根据多组标定数据建立速度标定关系,包括:以各组标定数据中的实际速度作为拟合输入,以对应的速度指令值作为拟合输出进行拟合,得到速度标定关系;其中,速度标定关系为以机器人的实际速度为自变量、以输入至运动控制策略网络的速度指令值为因变量的线性关系,该线性关系包括斜率和截距。

11、其中,根据预先标定的速度标定关系,确定与平滑速度指令对应的修正速度指令,包括:将平滑速度指令指示的速度值确定为期望机器人实际达到的期望速度值;根据期望速度值、斜率和截距,确定与期望速度值对应的速度指令值,其中,该速度指令值为期望速度值与斜率的乘积和截距之和;根据速度指令值生成修正速度指令。

12、其中,多个标定速度指令包括与机器人的第一运动方向对应的多个第一标定速度指令以及与第二运动方向对应的多个第二标定速度指令,第二运动方向与第一运动方向相反;分别根据第一标定速度指令对应的标定数据和第二标定速度指令对应的标定数据,建立第一标定子关系和第二标定子关系,其中,第一标定子关系和第二标定子关系分别用于表征机器人沿对应运动方向运动时的实际速度与速度指令值之间的对应关系;在确定修正速度指令时,根据平滑速度指令指示的运动方向,选取第一标定子关系或第二标定子关系,并根据选取的标定子关系确定修正速度指令。

13、其中,该方法还包括:根据线性关系确定各组标定数据对应的拟合速度指令值;根据各组标定数据中的速度指令值与对应的拟合速度指令值之间的差值,确定各组标定数据对应的拟合偏差;在至少部分标定数据对应的拟合偏差超过预设拟合偏差阈值的情况下,根据该至少部分标定数据对应的实际速度确定至少一个速度分段边界;根据至少一个速度分段边界将标定速度范围划分为多个速度区间,并分别根据各速度区间内的标定数据建立与各速度区间对应的标定子关系;将各标定子关系组成更新后的速度标定关系;在确定修正速度指令时,确定平滑速度指令指示的速度值所属的目标速度区间,并根据更新后的速度标定关系中与目标速度区间对应的标定子关系确定修正速度指令。

14、其中,采集机器人响应各标定速度指令时的实际速度,包括:在向运动控制策略网络输入一个标定速度指令后,在预设采样窗口内连续采集机器人的实际速度;确定预设采样窗口内采集的多个实际速度中的最大速度值和最小速度值;在最大速度值与最小速度值之间的差值小于预设稳态阈值的情况下,确定机器人进入与当前标定速度指令对应的稳态运动状态;在稳态运动状态下对机器人的实际速度进行多次采样,并将多次采样结果的平均值确定为当前标定速度指令对应的实际速度。

15、其中,该方法还包括:在根据速度标定关系确定的修正速度指令对应的速度指令值超出运动控制策略网络允许接收的速度指令值范围的情况下,将该速度指令值修正为该速度指令值范围中与该速度指令值相邻的边界速度指令值;根据速度标定关系,确定与边界速度指令值对应的可达实际速度值;根据可达实际速度值更新用于下一控制周期的历史平滑速度指令,以使更新后的历史平滑速度指令指示该可达实际速度值。

16、根据本发明的另一个方面,还提供一种基于深度强化学习运动控制策略网络的机器人移动控制装置,该装置包括:指令获取模块,用于获取用于控制机器人移动的目标速度指令;指令平滑模块,用于在各控制周期内,根据当前控制周期的目标速度指令、上一控制周期输出的历史平滑速度指令以及预设时间常数,生成当前控制周期对应的平滑速度指令;指令修正模块,用于根据预先标定的速度标定关系,确定与平滑速度指令对应的修正速度指令,其中,速度标定关系用于表征机器人的实际速度与输入至运动控制策略网络的速度指令之间的对应关系;指令下发模块,用于将修正速度指令下发至运动控制策略网络以驱动机器人移动。

17、根据本发明的另一个方面,还提供一种机器人,包括:处理器;以及存储器,存储器上存储有计算机可读指令,计算机可读指令被处理器执行时实现上述移动控制方法,以驱动机器人移动。其中,该机器人包括人形机器人、足式机器人、轮式机器人、四足机器人、双足机器人、清洁机器人或运输机器人。

18、根据本发明的另一个方面,还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时,实现上述移动控制方法。

19、由上述技术方案可知,本发明具备以下优点和积极效果中的至少之一:

20、本发明在各控制周期内,根据当前控制周期的目标速度指令、上一控制周期输出的历史平滑速度指令以及预设时间常数生成平滑速度指令。由于当前控制周期的输出同时受到当前目标速度和上一控制周期平滑结果的约束,因此,当用户快速推动手柄、使目标速度发生较大变化时,输出速度不会直接随目标速度发生同等幅度的跳变,而是逐步向目标速度变化,从而减小相邻控制周期之间的速度变化幅度,降低机器人突然加速、瞬时冲击和抖动的可能性。

21、在此基础上,还进一步根据实体机器人实际速度与输入至运动控制策略网络的速度指令之间的标定关系,对平滑速度指令进行修正,使下发至运动控制策略网络的速度指令能够补偿真机实际速度响应与期望速度之间的偏差。由此,机器人既能够避免因手柄指令突变而出现速度骤增,又能够使实际行走速度更接近用户通过手柄设定的目标速度,从而使机器人的速度变化与手柄操作保持较好的一致性,改善手柄控制过程中的跟手性。