基于多智能体值函数分解算法的智能博弈方法与流程

摘要: 本申请实施例涉及人工智能领域,更具体地涉及一种基于多智能体值函数分解算法的智能博弈方法。背景技术:1、多智能体协同博弈广泛应用于无人集群对抗、仿真推演及资源调度...
基于多智能体值函数分解算法的智能博弈方法与流程

本申请实施例涉及人工智能领域,更具体地涉及一种基于多智能体值函数分解算法的智能博弈方法。

背景技术:

1、多智能体协同博弈广泛应用于无人集群对抗、仿真推演及资源调度等场景。在复杂动态且信息不完全的环境中,各智能体需要依据有限的局部观测生成动作,并通过相互配合完成共同任务。

2、现有多智能体博弈方法主要包括人工规则驱动方法、数学优化方法和多智能体强化学习(multi-agent reinforcement learning,marl)方法。人工规则驱动方法依赖预先建立的规则库,面对未预设场景时适应能力有限,且随着场景复杂度提高,规则之间的协调和维护难度增大。数学优化方法通常依赖动力学模型、环境约束及对手行为模型,在环境信息不完全或存在动态扰动时,模型与实际场景之间容易产生偏差。当智能体数量增加时,联合决策的计算量也会相应增加。

3、在多智能体强化学习中,各智能体独立学习动作策略的方法虽然结构简单,但一个智能体的策略变化会影响其他智能体所面对的环境和反馈,容易造成训练过程不稳定。同时,当多个智能体共用任务奖励时,个体动作与团队任务结果之间的对应关系不易确定,可能出现各智能体分别选择的局部动作难以形成有效协同的问题。因此,亟待提出一种技术方案,用于提升现有多智能体博弈方法在复杂动态环境中的训练稳定性和协同决策能力。

技术实现思路

1、本申请实施例提供一种基于多智能体值函数分解算法的智能博弈方法,用于提升现有多智能体博弈方法在复杂动态环境中的训练稳定性和协同决策能力。

2、该方法包括:

3、获取多个智能体各自的局部观测信息以及所述多个智能体对应的全局状态信息;

4、将各智能体的局部观测信息分别输入对应的个体动作价值网络,得到各智能体针对多个候选动作的个体动作价值,并根据所述个体动作价值确定各智能体的目标动作,由所述多个智能体的目标动作形成联合动作;

5、控制所述多个智能体执行所述联合动作,获取执行所述联合动作后产生的团队奖励、新的局部观测信息、新的全局状态信息以及任务终止信息,并根据所述局部观测信息、所述全局状态信息、所述联合动作、所述团队奖励、所述新的局部观测信息、所述新的全局状态信息和所述任务终止信息生成交互经验数据;

6、根据所述多个智能体针对所述联合动作的个体动作价值以及所述全局状态信息,通过集中式混合网络确定所述联合动作对应的联合动作价值;

7、根据所述团队奖励、所述新的局部观测信息、所述新的全局状态信息和所述任务终止信息确定联合动作价值目标,并根据所述联合动作价值与所述联合动作价值目标确定联合价值损失;

8、根据所述联合价值损失更新所述多个智能体的个体动作价值网络和所述集中式混合网络,直至满足预设训练终止条件,得到各智能体的目标动作价值网络;

9、在协同博弈过程中,分别根据各智能体的实时局部观测信息,通过对应的目标动作价值网络确定各智能体的实时目标动作。

10、相较于现有技术,本申请实施例中,分别基于各智能体的局部观测信息确定多个候选动作的个体动作价值,并根据各智能体的个体动作价值形成联合动作。在多个智能体执行联合动作后,将产生的团队奖励、新的局部观测信息、新的全局状态信息及任务终止信息形成交互经验数据。进一步地,基于各智能体针对联合动作的个体动作价值和全局状态信息,通过集中式混合网络确定联合动作价值,并根据团队奖励及下一时刻的信息确定联合动作价值目标,使联合动作价值与联合动作价值目标之间的联合价值损失能够同时用于更新各智能体的个体动作价值网络和集中式混合网络。由此,团队任务结果能够通过联合价值损失传递至各个体动作价值网络,使各智能体的动作价值学习受到团队任务目标的共同约束,减少各智能体独立学习时因仅依据局部反馈而产生的动作配合不足,提升训练过程的稳定性及多个智能体之间的协同决策能力。在满足预设训练终止条件后,各智能体通过对应的目标动作价值网络,根据各自的实时局部观测信息确定实时目标动作,无需在协同博弈过程中继续调用集中式混合网络及全局状态信息。由此,在训练阶段利用全局状态信息和团队奖励建立个体动作价值与联合动作价值之间的关联,并在协同博弈阶段保留基于局部观测信息的分散式动作确定方式,从而降低实时协同决策对全局信息获取和集中式价值计算的依赖,有利于多个智能体在复杂动态且信息不完全的环境中完成共同任务。

1.一种基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述获取多个智能体各自的局部观测信息以及所述多个智能体对应的全局状态信息,包括:

3.根据权利要求2所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述自身运动状态包括:位置、速度、朝向、姿态;

4.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述根据所述个体动作价值确定各智能体的目标动作,包括:

5.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述通过集中式混合网络确定所述联合动作对应的联合动作价值,包括:

6.根据权利要求5所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述集中式混合网络包括第一全连接层和第二全连接层;

7.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述获取执行所述联合动作后产生的团队奖励,包括:

8.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述根据所述团队奖励、所述新的局部观测信息、所述新的全局状态信息和所述任务终止信息确定联合动作价值目标,包括:

9.根据权利要求8所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述根据所述联合价值损失更新所述多个智能体的个体动作价值网络和所述集中式混合网络,包括:

10.根据权利要求1所述的基于多智能体值函数分解算法的智能博弈方法,其特征在于,所述预设训练终止条件包括以下至少一个:训练步数达到预设训练步数;所述联合价值损失小于或等于预设收敛阈值;预设数量的连续训练回合对应的任务完成指标满足预设任务完成条件;