一种沉浸式增强现实环境的在轨操作强化学习训练方法与流程

本发明涉及一种沉浸式增强现实环境的在轨操作强化学习训练方法，属于空间在轨服务与智能控制。

背景技术：

1、在轨服务与空间机器人操作任务包括在轨装配、舱外维修、目标捕获与对接等，其操作环境复杂、通信时延大、实时性要求高。现有训练手段主要包括：基于传统图形渲染的纯软件仿真平台、基于实物装备的地面实验平台以及基于脚本的任务预案评估等。这些方式存在以下不足：

2、（1）难以同时兼顾视觉沉浸感与真实操控设备的耦合，操作者的头手位姿与虚拟在轨目标之间缺乏统一数学表示；

3、（2）强化学习策略多在离线仿真环境中训练，状态向量未充分包含真实传感器反馈，导致策略迁移到实际系统时性能显著下降；

4、（3）训练过程与部署评估往往分属不同系统，缺少在同一增强现实环境中闭环验证的能力，难以对策略的安全性与可解释性进行直观评估。

5、因此，亟需一种能够在沉浸式增强现实环境中统一虚实空间、构建包含多模态信息的状态向量和动作向量，并通过合理的奖励函数与分布式强化学习算法对在轨操作策略进行高效训练与评估的方法。

技术实现思路

1、本发明解决的技术问题是：针对目前现有技术中，实物装备的地面实验平台以及基于脚本的任务预案评估存在的困难，提出了一种沉浸式增强现实环境的在轨操作强化学习训练方法。

2、本发明解决上述技术问题是通过如下技术方案予以实现的：

3、一种沉浸式增强现实环境的在轨操作强化学习训练方法，包括：

4、构建增强现实环境，根据在轨操作任务信息进行增强现实环境坐标标定，获取真实空间坐标及虚拟空间坐标；

5、根据虚拟空间坐标构建增强现实环境中虚拟相机的成像模型，用于构造指定时刻的状态向量，根据状态向量获取动作向量；

6、构建动作平滑项、动作安全项、动作约束项，用于设计多目标奖励函数；

7、定义优化目标函数对多目标奖励函数进行优化；

8、构建策略网络及价值网络并进行分布式训练；

9、根据多目标奖励函数及分布式训练后的策略网络及价值网络，构造剪切策略目标；

10、利用剪切策略目标计算价值网络的网络损失更新价值网络参数，并作为衡量策略训练是否收敛的评估指标，进行策略收敛评估；

11、当策略收敛评估通过后，进行在轨操作任务的综合性能达标判断，若达标，则调整分布式环境下策略网络参数，利用调整后策略网络参数构造增广拉格朗日函数；

12、通过增广拉格朗日函数对策略网络参数进行训练后，计算评分参数，根据各评分参数获取综合评分，用于确定当前策略网络参数对应的在轨操作策略是否为最优策略。

13、所述增强现实环境由多平面立体显显示单元构成，用于实现在轨操作任务信息采集及操作控制，根据在轨操作任务信息进行增强现实环境坐标标定，通过坐标标定确定各显示单元的真实空间坐标；

14、虚拟空间坐标为真实空间坐标的映射坐标，其中：

15、

16、

17、式中，为从真实空间坐标系到虚拟空间坐标系的刚性齐次变换矩阵，为该变换的三维旋转矩阵，表征虚实坐标系之间的姿态旋转关系，代表三维特殊正交群，为该变换的三维平移向量，表征虚实坐标系原点的空间位置偏移量，代表三维实数向量空间，为维零向量。

18、所述虚拟相机的成像模型为：

19、

20、

21、式中，为图像平面的齐次像素坐标向量，，为虚拟相机的内参矩阵，为从真实空间坐标系到虚拟相机坐标系的外参齐次变换矩阵，、分别为虚拟相机图像在、轴方向的等效焦距，、分别为虚拟相机主点在、轴的像素坐标；

22、根据成像模型获取二维像素坐标；二维像素坐标用于实现真实物理设备与增强现实虚拟视场的视觉精准对齐；通过将三维空间坐标映射至二维视图，根据映射关系提取操作目标的相对位姿、并构造包含传感器感知信息的环境状态向量，并确保策略网络所接收的观测状态与真实在轨操作环境保持一致。

23、所述指定时刻为，在指定时刻构造状态向量，获取状态向量中传感部分，根据传感部分的向量元素确定在轨目标相对机械臂末端位姿；

24、根据在轨操作任务信息确定一维标量，根据一维标量更新状态向量，利用更新后的状态向量构造动作向量：

25、

26、式中，为末端平移增量，为末端姿态增量，为手爪开合控制量。

27、所述动作平滑项、动作安全项、动作约束项分别设置为：

28、

29、

30、

31、多目标奖励函数为：

32、

33、式中，为动作平滑惩罚项，为平滑惩罚系数，和分别为时刻和时刻的输出动作向量，为动作安全惩罚项，为安全惩罚系数，为最小允许安全距离阈值，为当前时刻的实际安全距离，为动作约束惩罚项，为约束惩罚系数，为动作向量的维度，为第时刻第维实际输出动作，为第维动作允许的最大幅值上限，为时刻的总奖励，为任务达成奖励，分别为任务完成项、动作安全项、动作平滑项、的奖励权重。

34、所述优化目标函数根据折扣因子定义，优化目标函数为：

35、

36、式中，为折扣因子，折扣因子根据在轨操作任务的规划周期长度与对长期奖励回报的重视程度确定。

37、所述策略网络采用高斯分布参数化策略进行优化，策略网络为：

38、

39、式中，为参数约束下，由状态输出动作的随机策略，和分别为高斯分布的均值与协方差矩阵，其中：

40、通过更新策略网络参数使得目标函数最大化，利用更新策略网络参数求解获得最大长期期望累积奖励的最优在轨控制策略；

41、在策略网络及价值网络的分布训练过程中，更新策略网络参数后的策略网络负责交互生成控制动作，价值网络负责评价当前状态价值；训练收敛后，获取最优策略网络的权重参数，并利用最优策略网络的权重参数生成真实环境下在轨机械臂的控制动作指令序列。

42、所述价值网络用于对多目标奖励函数的状态价值进行估计，价值网络用于逼近真实状态价值的神经网络，通过拟合获取的状态价值期望公式为：

43、

44、式中，为状态下的真实期望长期折扣回报；表示在当前控制策略运行轨迹下的数学期望；为折扣因子；为从时刻起未来第步环境反馈的即时奖励；

45、价值网络通过参数提取状态特征进行映射计算，使输出结果；输出结果的值代表机械臂从当前状态出发所能获得的预期累积奖励，并作为策略动作的评估基准；

46、其中，时间差分误差为：

47、

48、广义优势估计为：

49、

50、构造概率比率为：

51、

52、式中，为时刻的时间差分误差（td误差），与分别为价值网络在时刻和时刻预测的状态价值；为时刻的广义优势估计（gae），为优势估计的时间步截断长度，为平滑参数；为机械臂当前在轨控制策略相对于旧策略的动作概率比率，为当前策略网络（参数为）在状态下采取动作的概率，为旧策略网络（参数为）在相同状态下采取动作的概率。

53、所述剪切策略目标为：

54、

55、剪切策略目标根据机械臂当前在轨控制策略对于旧策略的动作概率比率以及广义优势估计构建，用于更新策略网络的参数；

56、更新过程中通过引入剪切函数限制单次策略更新的幅度，避免模型在训练中发生策略崩溃。

57、所述价值网络的网络损失根据价值网络确定：

58、

59、

60、其中，为价值网络的损失函数，为价值网络参数，表示对时间步求期望，为时刻起的真实累积折扣回报目标值；计算所得的网络损失用于通过梯度下降法更新价值网络，用于评估当前状态的长期价值；

61、在分布式训练过程中，网络损失值的下降趋势与稳定状态，作为策略收敛评估的判断依据；当价值网络损失收敛且策略评估通过后，触发进入后续的在轨操作性能达标判断环节。

62、调整分布式环境下策略网络参数的方法为：将全局策略参数分解为节点局部参数，，分解方法满足一致性约束；

63、构造增广拉格朗日函数为：

64、

65、式中，为惩罚参数，为全局一致性辅助变量，为拉格朗日乘子；为分布式计算节点总数，为当前节点编号；为全局策略网络参数，为第个节点的局部策略参数；为节点局部目标函数；

66、节点局部参数的局部更新方法为：

67、

68、式中，为迭代次数，为更新后的局部策略网络参数，为更新前的拉格朗日乘子，为更新后的全局参数；

69、增广拉格朗日函数中全局聚合方法为：

70、

71、乘子更新方法为：

72、

73、式中，为更新后的全局参数，为更新前后的拉格朗日乘子；

74、利用调整后策略网络参数构造增广拉格朗日函数，根据各分布式计算节点之间的局部策略网络参数与全局聚合参数的一致性误差，用于在各节点并行强化学习训练后期，对各节点出现分歧的策略参数进行全局协同优化；通过引入拉格朗日乘子惩罚项，强制各分散节点的局部策略网络参数收敛于统一的全局最优参数。

75、通过增广拉格朗日函数对策略网络参数进行训练，计算所有策略对应的评分参数包括平均回报、成功率、碰撞率、末端位置误差，其中：

76、平均回报：

77、

78、成功率：

79、

80、碰撞率：

81、

82、末端位置误差：

83、

84、利用评分参数计算综合评分的方法为：

85、

86、式中，为权重，用于选择最优在轨操作策略。

87、本发明与现有技术相比的优点在于：

88、（1）本发明提供的一种沉浸式增强现实环境的在轨操作强化学习训练方法，能够在多平面立体显示、深度相机与动作捕捉构成的增强现实场景中，直接构建统一状态-动作空间，设计兼顾任务完成度、安全性与动作平滑性的奖励函数，并结合近端策略优化与分布式求解，实现对在轨操作策略的高效训练与部署评估，为在轨服务任务提供技术基础；

89、（2）本发明通过在增强现实环境中，构建虚实融合坐标变换、统一状态向量与动作向量表达，定义多项式形式的奖励函数，并采用强化学习算法优化策略网络和价值网络，通过变换矩阵、相机模型以及状态向量的统一构建，实现了真实设备与虚拟在轨目标在同一数学框架下的融合，使强化学习策略能够直接面向沉浸式增强现实场景进行训练和部署；

90、（3）本发明通过多项式形式的奖励函数将任务误差、安全距离、动作平滑与约束违规统一到同一优化目标中，并结合近端策略优化与分布式求解，实现对在轨操作策略的高效、安全且可迁移的训练，为在轨服务任务提供可视化、可量化的训练评估手段。