一种基于多智能体强化学习的地空异构平台协同决策方法及装置

本申请涉及多智能体协同决策，特别是涉及一种基于多智能体强化学习的地空异构平台协同决策方法及装置。

背景技术：

1、目前，在兵棋推演、无人集群作战等多平台协同应用场景中，现有技术主要有两类：一是各平台独立学习的方法，每个平台仅根据自己的观测信息单独训练，忽略了队友和对手之间的相互影响；二是集中式或规则化的协同方法，如按优先级分配任务、用固定规则控制行为等约束条件。此外，常规的多智能体联合训练方法也已用于兵棋推演和无人集群。

2、现有技术的主要缺点包括：约束规则和脚本靠人工设定，无法适应战场动态变化，同时难以应对复杂地形与多个平台类型的配合；各平台按固定规则各自为战，难以实现不同异构平台之间的联合决策；传统优化搜索计算量太大，无法实时决策，并且在快节奏攻防博弈中决策效率很低。

3、因此，亟需一种无需人工预设规则、可实现异构平台协同决策、运算量低且响应迅速的技术方案。

技术实现思路

1、本申请的目的是提供一种基于多智能体强化学习的地空异构平台协同决策方法及装置，可实现不同异构平台之间的实时联合决策。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种基于多智能体强化学习的地空异构平台协同决策方法，包括：

4、获取当前时间步若干智能体的局部观测及对应的平台类型编码。

5、将所述若干智能体的局部观测进行拼接结合得到当前时间步的全局状态。

6、基于所述若干智能体的局部观测及对应的平台类型编码，采用策略网络，得到联合动作。

7、执行所述联合动作，获取下一时间步的局部观测和即时奖励，并将当前时间步的经验元存入经验池；同时判断经验池是否池满或达到指定步数，得到第一判断结果；所述经验元包括：当前时间步的全局状态、平台类型编码、联合动作、下一时间步的局部观测、终止标志以及即时奖励。

8、若所述第一判断结果为否，则将下一时间步的局部观测作为当前时间步的局部观测，返回“获取当前时间步若干智能体的局部观测”步骤。

9、若所述第一判断结果为是，则将所述当前全局状态和所述平台类型编码输入评论家网络得到各平台对应的当前全局状态价值。

10、基于所述各平台对应的当前全局状态价值当前全局状态价值和所述即时奖励，计算得到各平台的优势函数估计。

11、基于所述各平台的优势函数估计，通过梯度上升最大化策略网络的优化目标与梯度下降最小化评论家网络的价值损失，交替更新策略网络参数与评论家网络参数，直至收敛，输出收敛后的策略网络参数。

12、基于所述收敛后的策略网络参数，执行地空异构平台协同决策。

13、第二方面，本申请提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述所述的基于多智能体强化学习的地空异构平台协同决策方法。

14、第三方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的基于多智能体强化学习的地空异构平台协同决策方法。

15、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述所述的基于多智能体强化学习的地空异构平台协同决策方法。

16、根据本申请提供的具体实施例，本申请具有了以下技术效果：

17、本申请提供了一种基于多智能体强化学习的地空异构平台协同决策方法及装置，通过获取当前时间步若干智能体的局部观测及对应的平台类型编码，解决了地空异构平台感知数据分散、平台属性无法量化表征的问题，实现了各智能体实时感知信息与平台特征的完整采集；通过将所述若干智能体的局部观测进行拼接结合得到当前时间步的全局状态，解决了单平台观测视角受限、跨平台环境信息割裂的问题，实现了多源局部感知数据融合，构建出完整的全域全局状态表征；通过基于所述若干智能体的局部观测及对应的平台类型编码，采用策略网络，得到联合动作，解决了异构平台独立决策、动作缺乏协同性的问题，实现了结合平台差异化属性输出多智能体协同联合动作；通过执行联合动作，获取下一时间步的局部观测和即时奖励，并将当前时间步的经验元存入经验池，同时判断经验池是否池满或达到指定步数得到第一判断结果，解决了智能体与环境交互无完整数据留存、训练数据无法批量归集的问题，实现了交互过程全要素数据有序存储，并完成训练数据收集阶段的条件判定；通过若所述第一判断结果为否，则将下一时间步的局部观测作为当前时间步的局部观测，返回获取若干智能体当前时间步的局部观测步骤，解决了动态环境下单轮交互无法持续推进、数据收集中断的问题，实现了不间断连续交互与训练样本持续采集；通过若所述第一判断结果为是，则将所述当前全局状态和所述平台类型编码输入评论家网络得到各平台对应的当前全局状态价值，通过基于各平台对应的当前全局状态价值和所述即时奖励，计算得到各平台的优势函数估计；通过基于所述各平台的优势函数估计，通过梯度上升最大化策略网络的优化目标与梯度下降最小化评论家网络的价值损失，交替更新策略网络参数与评论家网络参数，直至收敛，输出收敛后的策略网络参数；解决了传统强化学习在多平台异构环境中因不同平台的奖励尺度与状态转移规律差异较大，导致评论家网络无法准确估计全局状态价值、优势函数估计方差过高、策略网络更新方向不一致且难以收敛的问题；实现了通过引入平台类型编码使评论家网络能够感知平台差异从而输出更精准的状态价值，进而获得低方差且稳定的优势函数估计，最终驱动策略网络与评论家网络在交替对抗式更新中收敛至跨平台通用的最优策略参数；通过基于所述收敛后的策略网络参数，执行地空异构平台协同决策，解决了传统方案跨异构平台协同能力不足、分工适配性差的问题，实现了复杂场景下地空异构平台实时高效的联合协同决策。

1.一种基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，获取当前时间步若干智能体的局部观测，具体包括：

3.根据权利要求2所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，所述编码规则具体包括：

4.根据权利要求1所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，基于所述若干智能体的局部观测及对应的平台类型编码，采用策略网络，得到联合动作，具体包括：

5.根据权利要求4所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，所述动作掩码机制的表达式为：

6.根据权利要求1所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，所述即时奖励的计算公式为：

7.根据权利要求1所述的基于多智能体强化学习的地空异构平台协同决策方法，其特征在于，基于所述优势函数估计，通过梯度上升最大化策略网络的优化目标与梯度下降最小化评论家网络的价值损失，交替更新策略网络参数与评论家网络参数，直至收敛，输出收敛后的策略网络参数，具体包括：

8.一种计算机设备，包括：存储器、处理器以及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的基于多智能体强化学习的地空异构平台协同决策方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于多智能体强化学习的地空异构平台协同决策方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于多智能体强化学习的地空异构平台协同决策方法。