基于不完备信息的多智能体协同对抗对手建模方法及系统

本发明涉及多智能体强化学习，尤其涉及一种基于不完备信息的多智能体协同对抗对手建模方法及系统。

背景技术：

1、在多智能体协同对抗场景中，同一阵营的多个智能体需要协作对抗敌对阵营，并且智能体通常在部分可观测环境下进行决策。目前，多智能体强化学习已成为解决此类问题的重要手段，相关研究取得了一定进展，但仍面临诸多挑战。

2、现有对手建模方法在多智能体协同对抗场景中存在局限性。这些方法大多假设在训练或执行阶段能够获取对手的局部轨迹数据，例如在集中式训练阶段，依靠获取对手的完整观测 - 动作数据，运用监督学习或模仿学习构建对手模型；在分布式执行时，依赖对手的实时局部观测信息来预测其动作。然而，在实际的部分可观测且通信受限的场景中，智能体之间往往无法通信且缺乏全局视野，每个智能体只能依据自身当前观测信息和历史轨迹数据进行决策。同时，由于没有全局视角且对手的观测模型未知，对手观测信息难以获取，而且对手的观测范围还受到环境噪声和动态遮挡等多种因素干扰，存在不确定性。这使得现有对手建模方法的假设难以成立，严重限制了其在实际场景中的应用。

技术实现思路

1、为解决现有多智能体协同对抗场景中，对手建模方法因依赖对手完整观测数据而在部分可观测且通信受限场景下无法有效应用的问题，本发明主要提供了一种基于不完备信息的多智能体协同对抗对手建模方法及系统，以实现仅依靠己方智能体局部信息进行对手建模，进而提升多智能体深度强化学习算法的对抗性能。

2、本发明所采用的技术方案是：

3、提供了一种基于不完备信息的多智能体协同对抗对手建模方法，所述方法包括：

4、获取己方智能体的局部轨迹信息，并输入对手联合动作预测模型；

5、对对手联合动作预测模型进行求解，得到预测的对手动作，并根据预测结果进行己方智能体对抗；

6、其中，对手联合动作预测模型具体通过在集中式训练阶段建立己方智能体局部轨迹与近似对手联合观测信息间的映射关系，并在分布式执行阶段根据己方智能体的局部轨迹信息及映射关系求解预测的对手动作；其中，集中式训练阶段具体获取全局状态信息和己方智能体的交互轨迹信息，并分解为离散特征和连续特征，将连续特征通过码本映射到离散特征，并将连续特征和映射后的离散特征进行拼接，得到近似对手联合观测信息，根据己方智能体的交互轨迹信息和得到的近似对手联合观测信息建立己方智能体局部轨迹与近似对手联合观测信息间的映射关系。

7、按上述方案，己方智能体的交互轨迹信息包括己方智能体在各时间步的观测数据、坐标位置、动作概率分布和执行动作；全局状态信息包括全局离散变量和全局连续变量。

8、按上述方案，连续特征具体通过将己方智能体在各时间步的坐标位置和观测数据，及全局状态的连续变量进行拼接，并映射得到连续特征。

9、按上述方案，离散特征具体通过门控循环单元获取全局离散变量的低维嵌入，并通过码本将全局离散变量的低维嵌入和连续特征进行拼接，并寻找码本中与拼接后的数据最近的向量，将向量分配到最近的聚类中心，映射得到离散特征。

10、按上述方案，对手联合动作预测模型还对映射得到的连续特征进行重构，得到重构后的己方智能体的动作概率分布和全局连续变量，并根据重构后的己方智能体的动作概率分布、全局连续变量和重构前的己方智能体的动作概率分布、全局连续变量计算连续特征的重构损失。

11、按上述方案，对手联合动作预测模型还对映射得到的离散特征进行重构，得到重构后的己方智能体的动作概率分布和全局离散变量，并根据重构后的己方智能体的动作概率分布及全局连续变量、重构前的己方智能体的动作概率分布及全局离散变量和向量量化损失函数计算离散特征的重构损失。

12、按上述方案，向量量化损失函数具体根据码本更新损失、对其损失和表示损失函数中对齐损失与码本更新损失的占比的超参数计算得到。

13、还提供了一种基于不完备信息的多智能体协同对抗对手建模系统，所述系统包括：

14、信息获取模块，用于获取己方智能体的局部轨迹信息，并输入对手联合动作预测模型；

15、求解预测模块，用于对对手联合动作预测模型进行求解，得到预测的对手动作，并根据预测结果进行己方智能体对抗；

16、其中，对手联合动作预测模型具体通过在集中式训练阶段建立己方智能体局部轨迹与近似对手联合观测信息间的映射关系，并在分布式执行阶段根据己方智能体的局部轨迹信息及映射关系求解预测的对手动作；其中，集中式训练阶段具体获取全局状态信息和己方智能体的交互轨迹信息，并分解为离散特征和连续特征，将连续特征通过码本映射到离散特征，并将连续特征和映射后的离散特征进行拼接，得到近似对手联合观测信息，根据己方智能体的交互轨迹信息和得到的近似对手联合观测信息建立己方智能体局部轨迹与近似对手联合观测信息间的映射关系。

17、还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述基于不完备信息的多智能体协同对抗对手建模方法的步骤。

18、还提供了一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上文所述的基于不完备信息的多智能体协同对抗对手建模方法。

19、本发明产生的有益效果是：本发明通过建立的对手联合动作预测模型，在集中式训练阶段融合全局状态信息和己方智能体的交互轨迹信息进行己方智能体局部轨迹与近似对手联合观测信息之间的映射关系建立，从而实现在分布式执行阶段根据己方智能体的局部轨迹和映射关系进行对手动作预测，能够在部分可观测且通信受限的场景下，近似对手的联合观测信息，突破了现有方法对对手完整观测数据的依赖，显著提升了在不完备信息下的对手建模能力。

1.一种基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，己方智能体的交互轨迹信息包括己方智能体在各时间步的观测数据、坐标位置、动作概率分布和执行动作；全局状态信息包括全局离散变量和全局连续变量。

3.根据权利要求2所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，连续特征具体通过将己方智能体在各时间步的坐标位置和观测数据，及全局状态的连续变量进行拼接，并映射得到连续特征。

4.根据权利要求2所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，离散特征具体通过门控循环单元获取全局离散变量的低维嵌入，并通过码本将全局离散变量的低维嵌入和连续特征进行拼接，并寻找码本中与拼接后的数据最近的向量，将向量分配到最近的聚类中心，映射得到离散特征。

5.根据权利要求2所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，对手联合动作预测模型还对映射得到的连续特征进行重构，得到重构后的己方智能体的动作概率分布和全局连续变量，并根据重构后的己方智能体的动作概率分布、全局连续变量和重构前的己方智能体的动作概率分布、全局连续变量计算连续特征的重构损失。

6.根据权利要求2所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，对手联合动作预测模型还对映射得到的离散特征进行重构，得到重构后的己方智能体的动作概率分布和全局离散变量，并根据重构后的己方智能体的动作概率分布及全局连续变量、重构前的己方智能体的动作概率分布及全局离散变量和向量量化损失函数计算离散特征的重构损失。

7.根据权利要求6所述的基于不完备信息的多智能体协同对抗对手建模方法，其特征在于，向量量化损失函数具体根据码本更新损失、对其损失和表示损失函数中对齐损失与码本更新损失的占比的超参数计算得到。

8.一种基于不完备信息的多智能体协同对抗对手建模系统，其特征在于，所述系统包括：

9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述基于不完备信息的多智能体协同对抗对手建模方法的步骤。

10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-7中任一项所述的基于不完备信息的多智能体协同对抗对手建模方法。