面向遥操作移动机器人的强化学习共享控制方法和装置

本技术涉及机器人控制，特别是涉及一种面向遥操作移动机器人的强化学习共享控制方法和装置。

背景技术：

1、遥操作移动机器人在危险环境探测、灾害救援、远程巡检等领域具有广泛的应用前景。在典型的遥操作系统中，操作员通过本地控制站的人机交互界面和控制设备向远端机器人发送控制指令，同时通过通信网络接收远端环境的感知信息，以实现对远端机器人的实时操控。

2、然而，遥操作系统面临的核心挑战之一是通信时延问题。由于信号传输距离、网络拥塞、协议开销等因素，操作员的控制指令到达远端机器人时存在动作时延，远端环境感知信息回传至本地控制站也存在观测时延。这种双向通信时延导致操作员接收到的环境信息相较于远端真实状态存在滞后，同时其发出的控制指令也无法立即作用于机器人，从而显著降低操作员的态势感知能力和控制精度，同时增加操作员的认知负荷，在高速行驶、复杂曲率路径、障碍物密集等场景下极易引发碰撞或偏离轨迹等安全事故。

3、现有技术中，针对遥操作时延问题的解决方案主要包括以下几类：第一类是基于预测显示的方法，通过虚拟图像叠加或增强现实的方式在本地构建远端环境的预测结果来补偿观测时延，但该方法依赖于精确的环境建模，在高动态环境中适用性有限；第二类是基于时延预测补偿的方法，通过引入波变量变换、散射变换或smith预估器等时延补偿机制，从系统理论角度直接应对时延对闭环控制稳定性的影响，但该类方法以牺牲系统透明性为代价，且无法从根本上缓解操作员负荷；第三类是遥操作共享控制方法，通过引入自主控制器与操作员协同控制机器人以缓解时延对操控性能的影响，但现有遥操作共享控制方法在以下方面仍存在不足：其一，缺乏对操作员驾驶意图的准确建模与识别，容易引发人机冲突；其二，未能充分考虑通信时延、远端复杂环境对操作员实际控制能力的影响；其三，权限分配策略多采用基于规则或静态优化的方法，缺乏在线学习和动态优化的能力，难以适应时变的通信环境和复杂的任务需求。

4、因此，针对现有技术的不足，本技术提供一种面向遥操作移动机器人的强化学习共享控制方法，旨在解决在存在通信时延的遥操作场景中，如何实现对操作员驾驶意图和驾驶能力的实时估计，并采用滚动时域强化学习方法进行人机驾驶权限的自适应动态分配，从而在保障操控安全性的同时充分发挥人机协同优势的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够自适应动态分配人机驾驶权限、提高遥操作安全性和协同效率的面向遥操作移动机器人的强化学习共享控制方法和装置。

2、一种面向遥操作移动机器人的强化学习共享控制方法，方法包括：

3、获取远端移动机器人的运动状态信息并传输至本地控制站，接收操作员通过控制设备生成的驾驶输入指令；

4、根据运动状态信息，利用滚动时域强化学习算法在线求解自主控制策略，生成自主控制指令；

5、构建驾驶员模型以预测操作员的操纵意图，根据预测的操纵意图和自主控制指令计算人机冲突指标，并根据通信时延、运动状态信息中的行驶速度和路径曲率构建操作能力指标；其中，操作能力指标的值随通信时延的增大、行驶速度的增大和路径曲率的增大而减小；

6、根据人机冲突指标和操作能力指标，通过滚动时域强化学习优化人机控制权重；

7、根据人机控制权重，对驾驶员输入指令和自主控制指令进行加权融合，得到最终控制指令，并将最终控制指令发送至远端移动机器人执行。

8、在其中一个实施例中，还包括：提取所述驾驶员模型预测的输入控制序列，以及所述自主控制策略生成的最优控制序列；

9、根据所述输入控制序列和所述最优控制序列计算人机冲突指标为：

10、（修改公式中平方位置）

11、其中，表示预测时域长度，，表示的最大值，表示驾驶员输入的控制序列,表示自主控制器生成的最优控制序列。是折扣因子，是幅值系数，是人机冲突惩罚系数。

12、在其中一个实施例中，还包括：根据通信时延、所述运动状态信息中的行驶速度和路径曲率构建操作能力指标为：

13、

14、

15、

16、其中，表示操作能力指标，、、分别表示行驶速度、通信时延和路径曲率；、、分别表示行驶速度、通信时延和路径曲率的最大值，、、、、均为调节系数，和均为驾驶能力随速度的衰减速率。

17、在其中一个实施例中，还包括：根据所述人机冲突指标和所述操作能力指标构建奖励函数；所述奖励函数参数的值与所述人机冲突指标和操作能力指标呈负相关，参数的值与所述人机冲突指标和操作能力指标呈正相关；；

18、以最小化累计奖励为优化目标，在线求解人机控制权重；所述人机控制权重的取值范围为，其中＝1表示完全由操作员控制，＝0表示完全由自主系统控制；

19、所述奖励函数为：

20、

21、所述优化目标为：

22、

23、其中，表示跟踪误差向量，表示控制权重，表示作用于移动机器人的转向控制指令，表示驾驶员的转向控制输入，、、和表示权重系数，表示障碍函数调节参数，和表示状态和输入约束对应的障碍函数，表示预测时域长度，表示终端代价函数。

24、在其中一个实施例中，还包括：将所述驾驶员输入指令和所述自主控制指令进行加权融合，计算最终控制指令：

25、

26、其中，表示所述驾驶员输入指令，表示所述自主控制指令，为所述人机控制权重。

27、在其中一个实施例中，还包括：在每个控制时刻，根据机器人实时状态信息，在有限时域内进行滚动优化，求解最优控制序列，并输出最优控制序列中第一个时刻的控制动作作为所述自主控制指令。

28、在其中一个实施例中，所述驾驶员模型基于操作员的历史驾驶输入数据构建，用于预测操作员的未来操纵意图，所述操纵意图对应于预测时域内的所述输入控制序列。

29、一种面向遥操作移动机器人的强化学习共享控制装置，所述装置包括：

30、驾驶员操作指令生成模块，用于获取远端移动机器人的运动状态信息并传输至本地控制站，接收操作员通过控制设备生成的驾驶输入指令；

31、自主控制指令生成模块，用于根据所述运动状态信息，利用滚动时域强化学习算法在线求解自主控制策略，生成自主控制指令；

32、指标计算模块，用于构建驾驶员模型以预测操作员的操纵意图，根据预测的操纵意图和所述自主控制指令计算人机冲突指标，并根据通信时延、所述运动状态信息中的行驶速度和路径曲率构建操作能力指标；其中，所述操作能力指标的值随所述通信时延的增大、所述行驶速度的增大和所述路径曲率的增大而减小；

33、权重优化模块，用于根据所述人机冲突指标和所述操作能力指标，通过滚动时域强化学习优化人机控制权重；

34、执行模块，用于根据所述人机控制权重，对所述驾驶员输入指令和所述自主控制指令进行加权融合，得到最终控制指令，并将所述最终控制指令发送至远端移动机器人执行。

35、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

36、获取远端移动机器人的运动状态信息并传输至本地控制站，接收操作员通过控制设备生成的驾驶输入指令；

37、根据所述运动状态信息，利用滚动时域强化学习算法在线求解自主控制策略，生成自主控制指令；

38、构建驾驶员模型以预测操作员的操纵意图，根据预测的操纵意图和所述自主控制指令计算人机冲突指标，并根据通信时延、所述运动状态信息中的行驶速度和路径曲率构建操作能力指标；其中，所述操作能力指标的值随所述通信时延的增大、所述行驶速度的增大和所述路径曲率的增大而减小；

39、根据所述人机冲突指标和所述操作能力指标，通过滚动时域强化学习优化人机控制权重；

40、根据所述人机控制权重，对所述驾驶员输入指令和所述自主控制指令进行加权融合，得到最终控制指令，并将所述最终控制指令发送至远端移动机器人执行。

41、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

42、获取远端移动机器人的运动状态信息并传输至本地控制站，接收操作员通过控制设备生成的驾驶输入指令；

43、根据所述运动状态信息，利用滚动时域强化学习算法在线求解自主控制策略，生成自主控制指令；

44、构建驾驶员模型以预测操作员的操纵意图，根据预测的操纵意图和所述自主控制指令计算人机冲突指标，并根据通信时延、所述运动状态信息中的行驶速度和路径曲率构建操作能力指标；其中，所述操作能力指标的值随所述通信时延的增大、所述行驶速度的增大和所述路径曲率的增大而减小；

45、根据所述人机冲突指标和所述操作能力指标，通过滚动时域强化学习优化人机控制权重；

46、根据所述人机控制权重，对所述驾驶员输入指令和所述自主控制指令进行加权融合，得到最终控制指令，并将所述最终控制指令发送至远端移动机器人执行。

47、上述面向遥操作移动机器人的强化学习共享控制方法和装置，通过获取远端机器人的运动状态信息并结合操作员实时生成的驾驶输入指令，然后利用滚动时域强化学习算法在线求解自主控制策略，并同步构建驾驶员模型以预测操作员的操纵意图，从而计算人机冲突指标。同时，考虑了通信时延、行驶速度和路径曲率对操作员控制能力的影响，构建了操作能力指标。基于这两个动态指标，再次采用滚动时域强化学习对人机控制权重进行在线优化，最终实现驾驶员输入指令和自主控制指令的自适应加权融合。该方法能够实时感知环境变化和操作员状态，动态调整人机权限分配，在复杂时变环境下有效缓解了因通信时延导致的人机冲突，降低了操作员的认知负荷，显著提升了遥操作移动机器人的操控安全性和任务执行效率。