一种基于结构因果解耦的强化学习方法、系统及存储介质与流程

本发明涉及强化学习，具体为一种基于结构因果解耦的强化学习方法、系统及存储介质。

背景技术：

1、在强化学习技术中，智能体普遍通过构建环境动态模型进行状态推演与动作规划，现有动态预测模型通常将环境演化过程视为整体耦合系统，直接将当前时间步的状态观测数据与动作变量输入单一网络结构中，进而预测下一时刻的环境状态，以上处理结构无法区分环境固有的自发演化与智能体动作产生的因果干预。

2、由于缺乏结构级别的因果解耦，当物理环境中存在随机背景噪声或不可控动态物体时，现有预测模型会将不可控因素产生的状态变化与动作变量直接引发的状态变化混淆，在缺乏外部环境奖励的探索任务中，智能体常规利用状态预测误差作为内在奖励信号，以上混淆现象会导致环境背景噪声产生异常的预测残差，使计算生成的内在奖励包含非动作引发的干扰数值，干扰数值会诱导智能体将探索步骤耗费在持续观察随机背景噪声上，造成动作探索效率低下。

3、此外，在结合蒙特卡洛树搜索执行长期动作规划时，现有预测网络无法隔离环境随机变化产生的影响，状态推演过程会直接产生预测偏差，随着推演时间步增加，单步预测偏差会产生误差累积效应，导致预估动作价值出现计算失真，价值失真最终会使得规划算法选取的规划动作偏离最优决策，降低了强化学习系统输出控制指令的可靠度。因此，本发明提出一种基于结构因果解耦的强化学习方法、系统及存储介质，来解决现有技术的不足。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于结构因果解耦的强化学习方法、系统及存储介质，解决了现有强化学习预测模型将环境自发演化与动作干预耦合处理，导致计算内在奖励时易受环境随机背景噪声干扰进而降低动作探索效率，以及在执行多步状态推演时因无法隔离环境随机变化产生误差累积，进而造成动作规划决策可靠性低的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：本发明第一方面提供一种基于结构因果解耦的强化学习方法，包括：

3、接收环境观测数据，通过参数化编码器处理环境观测数据生成潜状态；

4、将潜状态和动作输入双通道预测网络，通过双通道预测网络中的环境通道生成独立于动作的环境自发演化状态，通过双通道预测网络中的干预通道生成由动作引发的干预状态，基于潜状态、环境自发演化状态以及干预状态生成下一时刻预测潜状态；

5、基于干预通道输出的干预状态计算能动性内在奖励；

6、获取历史交互轨迹数据，利用下一时刻预测潜状态与历史交互轨迹数据计算动力学预测残差，构建包含动力学预测损失的联合损失函数，在联合损失函数的梯度反向传播过程中，将由动作引发的动力学预测残差对应的梯度参数传导至干预通道，对双通道预测网络进行更新；

7、调用更新后的双通道预测网络执行蒙特卡洛树搜索，融合能动性内在奖励更新搜索树，依据搜索树选取最终规划动作作用于环境。

8、本发明构建双通道预测网络，分离环境演化与动作干预过程，环境通道引入信息瓶颈限制阻断动作变量传入路径，干预通道设定零动作锚定约束，在联合训练的反向传播过程中，利用网络结构限制使动作引发的状态预测残差对应的梯度参数传导至干预通道，实现特征级因果解耦，基于独立输出的干预状态计算能动性内在奖励，排除环境随机背景噪声干扰，结合蒙特卡洛树搜索，将能动性内在奖励融合至节点预估价值，优化动作规划过程。

9、优选的，通过参数化编码器处理环境观测数据生成潜状态具体包括：

10、调用参数化编码器将环境观测数据映射至低维潜空间，生成对应时间步的潜状态；

11、当环境观测数据设置为二维图像数据时，参数化编码器实施为卷积神经网络或者视觉转换器模型；

12、当环境观测数据设置为多轴传感器数值数据时，参数化编码器实施为多层感知机网络。

13、优选的，环境通道设置有信息瓶颈限制，信息瓶颈限制物理切断动作传入环境通道的计算连接路径；

14、双通道预测网络仅将当前潜状态张量馈入环境通道的输入端口，不在环境通道内执行潜状态张量与动作张量的拼接融合操作。

15、优选的，干预通道在网络计算层面上设定零动作锚定约束，零动作锚定约束规定当输入动作设置为空操作指令时，干预通道的输出限制为零向量；

16、基于潜状态、环境自发演化状态以及干预状态生成下一时刻预测潜状态具体包括：

17、将潜状态、环境自发演化状态以及干预状态进行相加操作，生成下一时刻预测潜状态。

18、优选的，基于干预通道输出的干预状态计算能动性内在奖励具体包括：

19、将获取的干预状态作为干预状态向量并计算干预状态向量的二范数；

20、获取自适应滑动平均归一化参数，自适应滑动平均归一化参数包含在相似状态下观察到的干预幅度的滑动平均值以及对应的标准差；

21、基于干预状态向量的二范数、滑动平均值以及标准差计算偏置数值；

22、向偏置数值叠加平移超参数，调用激活函数对叠加结果执行非线性映射，生成最终的能动性内在奖励，计算过程独立于环境通道的输出结果。

23、优选的，在执行对双通道预测网络进行更新的步骤时：

24、在从经验回放池采样历史交互轨迹数据并进行网络更新时，利用当前训练批次数据的干预幅度统计均值和方差，结合历史记录的滑动参数按照预设的动量衰减率进行加权累加更新，同步维护自适应滑动平均归一化参数。

25、优选的，利用下一时刻预测潜状态与历史交互轨迹数据计算动力学预测残差并构建联合损失函数具体包括：

26、沿着时间轴执行多步时间展开机制，从采样的历史交互轨迹数据的初始时间步状态出发，连续调用双通道预测网络进行多个后续连续时间步的潜在状态推演得到各个推演时间步产生的计算结果；

27、利用各个推演时间步产生的计算结果与历史交互轨迹数据中保存的搜索统计目标数值进行比对计算，生成多项损失分量，多项损失分量包括策略损失、价值预测损失、外部奖励预测损失以及动力学预测损失；

28、将策略损失、价值预测损失、外部奖励预测损失与动力学预测损失按照预设的权重系数进行线性加和，形成联合损失函数。

29、优选的，融合能动性内在奖励更新搜索树，依据搜索树选取最终规划动作作用于环境具体包括：

30、在节点推演阶段，将边缘叶子节点对应的特征状态向量以及决策选择的动作向量输入双通道预测网络，输出下一步预测状态以及预测外部环境奖励；

31、将预测外部环境奖励、能动性内在奖励以及下一步预测状态对应的状态预估价值进行线性叠加聚合，计算得出增强后的累积价值，沿着遍历路径向初始根节点执行反向传播操作更新搜索树；

32、读取初始根节点下全部候选动作的动作访问次数记录，提取动作访问次数记录数值绝对量最大的候选动作作为最终规划动作作用于环境。

33、本发明第二方面还提供一种基于结构因果解耦的强化学习系统，包括：

34、状态编码模块，用于接收环境观测数据，通过参数化编码器处理环境观测数据生成潜状态；

35、因果预测模块，用于将潜状态和动作输入双通道预测网络，通过双通道预测网络中的环境通道生成独立于动作的环境自发演化状态，通过双通道预测网络中的干预通道生成由动作引发的干预状态，基于潜状态、环境自发演化状态以及干预状态生成下一时刻预测潜状态；

36、奖励计算模块，用于基于干预通道输出的干预状态计算能动性内在奖励；

37、联合训练模块，用于获取历史交互轨迹数据，利用下一时刻预测潜状态与历史交互轨迹数据计算动力学预测残差，构建包含动力学预测损失的联合损失函数，在联合损失函数的梯度反向传播过程中，将由动作引发的动力学预测残差对应的梯度参数传导至干预通道，对双通道预测网络进行更新；

38、动作规划模块，用于调用更新后的双通道预测网络执行蒙特卡洛树搜索，融合能动性内在奖励更新搜索树，依据搜索树选取最终规划动作作用于环境。

39、本发明第三方面还提供一种存储介质，存储有计算机程序，计算机程序在处理器执行时实现前述任一项的本发明第一方面提供的一种基于结构因果解耦的强化学习方法。

40、本发明提供了一种基于结构因果解耦的强化学习方法、系统及存储介质。具备以下有益效果：

41、1、本发明通过构建包含环境通道和干预通道的双通道预测网络，在环境通道设置信息瓶颈限制阻断动作变量传入计算连接路径，在干预通道设定零动作锚定约束，双通道预测网络在联合损失函数梯度反向传播过程中，将动作变量引发的状态预测残差对应的梯度参数传导至干预通道，在无需人工标注数据的前提下实现了环境自发演化与动作因果干预的特征级别解耦，提升了双通道预测网络执行状态推演计算的准确度。

42、2、本发明基于干预通道单独输出的干预状态计算能动性内在奖励，能动性内在奖励的计算过程完全排除环境通道输出的环境自发演化状态，避免了计算奖励数值时混入环境随机背景噪声，保障智能体在缺乏外部环境奖励的任务环境中提取到的探索驱动力来源于实际动作产生的物理干预影响，防止智能体陷入针对环境背景噪声的无效探索过程，提升了强化学习方法的动作探索效率。

43、3、本发明在调用双通道预测网络执行蒙特卡洛树搜索时，将预测外部环境奖励、能动性内在奖励以及状态预估价值进行线性叠加聚合以计算增强后的累积价值，并将增强后的累积价值用于反向传播操作更新搜索树，将独立解耦出的能动性内在奖励融合进在线动作评估步骤，优化了搜索树节点展开方向的选择逻辑，缓解了单步预测残差在多步时间展开机制中产生误差累积造成的规划失效现象，提高了动作规划模块输出最终规划动作的可靠性。