一种基于LEAP的多智能体协作决策方法及系统

摘要: 本发明涉及一种多智能体技术,尤其涉及一种面向混合动机博弈和序贯社会困境场景的基于leap的多智能体协作决策方法。背景技术:1、在多智能体系统中,多个智能体往往并...
一种基于LEAP的多智能体协作决策方法及系统

本发明涉及一种多智能体技术,尤其涉及一种面向混合动机博弈和序贯社会困境场景的基于leap的多智能体协作决策方法。

背景技术:

1、在多智能体系统中,多个智能体往往并非完全共享同一目标,也并非处于零和竞争关系,而是处在混合动机关系之中。每个智能体根据自身局部观测和个体奖励进行决策,但个体理性行为可能导致群体福利下降,例如公共资源被过度消耗、协作任务缺少承担者、个体规避成本而搭便车等,这类问题通常被称为序贯社会困境。序贯社会困境通常可建模为部分可观测马尔可夫博弈,每个智能体依据局部观测选择动作,获得个体奖励,并通过强化学习更新策略。在混合动机任务中,单纯最大化个体期望回报可能阻碍社会福利最大化,导致系统收敛至纳什均衡而非社会最优解。

2、现有缓解社会困境的技术包括不平等厌恶(inequity aversion,ia)、社会价值取向(social value orientation,svo)、随机异质社会偏好、创新者-模仿者偏好框架以及基于绩效差异的朴素自利利他偏好。其典型实现如下:(1)在多智能体环境中建立部分可观测马尔可夫博弈模型,定义智能体数量、局部观测空间、联合动作空间、状态转移函数及个体奖励函数;(2)每个智能体根据其局部观测输入策略网络,输出动作分布或动作价值,并根据强化学习算法进行策略更新;(3)在每个训练时间步,系统采集全部智能体的原始奖励;(4)根据固定社会偏好参数或异质偏好矩阵,对每个智能体的原始奖励进行重塑;(5)使用重塑奖励替代原始奖励计算优势函数、价值目标或时序差分目标,从而训练智能体策略。例如,不平等厌恶方法通常通过奖励差值中的优势不平等项和劣势不平等项对个体奖励进行调整;同质亲社会偏好方法通常通过一个统一系数将其他智能体平均奖励并入当前智能体奖励;异质偏好方法使不同智能体对之间具有不同偏好强度。在朴素自利利他偏好中,可以根据智能体间的奖励差异构造偏好因子,但偏好因子和增量奖励可能快速放大,导致强化学习过程不稳定。

3、因此,现有技术中存在以下缺陷:(1)同质偏好表达能力不足:统一公平因子或统一亲社会因子无法表达不同智能体之间不同的偏好强度,难以适应复杂序贯社会困境中不同角色、不同贡献、不同资源占用关系;(2)异质偏好搜索成本高:随着智能体数量增加,参数空间急剧扩大,若依靠随机搜索、网格搜索或手工调参,训练成本和试错成本高,且难以解释;(3)朴素指数型偏好容易导致奖励爆炸:在其他智能体绩效显著高于自身绩效时呈指数增长,可能使重塑奖励远大于环境原始奖励,导致策略梯度方差增大、价值函数目标不稳定以及策略过度依赖其他智能体收益;(4)直接截断方式不够平滑:虽然能够限制最大值,但在截断点附近不可平滑过渡,容易忽略截断后不同绩效差异之间的细微区别,不利于稳定学习;(5)现有公平型偏好可能抑制必要的任务分工:部分社会困境任务需要阶段性角色分化,例如部分智能体承担公共资源维护任务,部分智能体承担资源采集任务,纯公平目标可能过度压制收益差异,反而降低集体收益;(6)固定偏好缺少场景适配性:资源紧张、资源充足、大规模智能体、小规模智能体等环境对偏好强度的要求不同,固定偏好参数难以在多场景中同时保持稳定协作和较高社会福利。

技术实现思路

1、发明目的:本发明的目的是提供一种提升智能体间协作能力、群体福利及策略学习稳定性的基于leap的多智能体协作决策方法。

2、技术方案:本发明所述的一种基于leap的多智能体协作决策方法,包括:

3、(1)建立多智能体序贯决策模型;

4、(2)采集每个智能体的环境原始奖励与绩效信号;

5、(3)对绩效信号进行归一化处理;

6、(4)基于归一化后的绩效信号,构造自利向量与利他向量,得到朴素偏好强度;

7、(5)将所述朴素偏好强度输入平滑有界函数,通过有界映射生成leap偏好因子;

8、(6)计算每个智能体的个体增量奖励,并进行奖励重塑;

9、(7)基于重塑奖励训练策略网络;

10、(8)自适应调节偏好因子上限参数并执行去中心化。

11、步骤(1)中,所述建立多智能体序贯决策模型包括:

12、将任务建模为部分可观测马尔可夫博弈或序贯社会困境模型:

13、

14、其中,为智能体集合,为环境状态空间,为观测空间,为联合动作空间,为状态转移函数,为个体奖励函数集合,为折扣因子,为观测函数;

15、智能体在时刻获取局部观测,并根据策略选择动作。

16、步骤(2)中,所述采集每个智能体的环境原始奖励与绩效信号包括:

17、在每个时间步,采集每个智能体的环境原始奖励;

18、采用指数滑动平均形式将即时奖励、窗口累计奖励或指数滑动平均回报作为绩效信号:

19、

20、其中,为平滑系数,取值范围为。

21、步骤(3)中,所述对绩效信号进行归一化处理公式包括:

22、

23、其中,为当前批次或当前时间窗口内全部智能体绩效均值,为标准差,为防止除零的常数,为截断阈值。

24、步骤(4)中,所述构造自利向量与利他向量包括:

25、根据归一化绩效,构造自利向量和利他向量:

26、

27、

28、由此得到朴素偏好强度:

29、

30、其中,为绩效差异敏感系数,取值范围为0.1至10。

31、步骤(5)中,所述通过有界映射生成leap偏好因子包括:

32、将朴素偏好强度输入平滑有界函数,生成有限自利利他偏好因子:

33、

34、等价地:

35、

36、其中,为偏好因子上限,满足;对于的对角项,设置。

37、步骤(6)中,所述奖励重塑包括:、

38、对于智能体,基于其对其他智能体的leap偏好因子,计算增量奖励项:

39、

40、根据增量奖励项重塑个体奖励:

41、

42、其中,为奖励重塑强度系数,取值范围为;

43、对于奖励尺度较大的任务,可进一步设置重塑奖励截断:

44、

45、执行阶段可以不再计算,仅使用训练得到的策略网络进行动作决策。

46、步骤(7)中,所述基于重塑奖励训练策略网络包括:

47、将作为强化学习算法中的训练奖励,采用独立近端策略优化,则每个智能体根据重塑奖励计算回报和优势函数:

48、

49、

50、策略网络通过近端策略优化目标更新:

51、

52、

53、其中,为独立近端策略优化裁剪参数。

54、步骤(8)中,所述自适应调节偏好因子上限参数并执行去中心化包括:

55、根据智能体数量n进行衰减:

56、

57、其中,为基础上限,为规模调节系数;

58、训练完成后,各智能体在执行阶段仅根据自身局部观测和训练后的策略网络输出动作:

59、

60、若执行阶段仍能够获得其他智能体奖励或估计绩效,也可继续在线计算leap偏好用于持续学习;若执行阶段无法获得全局奖励信息,则只使用已训练完成的策略网络,不影响动作输出。

61、本发明所述的一种基于leap的多智能体协作决策系统,包括:

62、观测获取模块:用于获取各智能体在当前时间步的局部观测,并将所述局部观测提供给策略网络模块,作为对应智能体进行动作选择的输入;

63、策略网络模块:用于接收观测获取模块提供的局部观测,根据当前策略网络生成对应智能体的动作决策信息,并将所述动作决策信息提供给动作输出模块;

64、动作输出模块:用于接收策略网络模块产生的动作决策信息,确定对应智能体的动作,并将所述动作输出至执行环境模块,使智能体按照所确定的动作与环境进行交互;

65、执行环境模块:用于接收动作输出模块输出的各智能体动作,并根据各智能体的动作完成相应的环境交互和状态转移,产生各智能体在当前时间步对应的原始奖励;

66、奖励采集模块:用于采集各智能体在与执行环境模块交互过程中获得的环境原始奖励,并将所述原始奖励提供给绩效归一化模块和重塑奖励模块;

67、绩效归一化模块:用于根据奖励采集模块提供的原始奖励获得各智能体对应的绩效信号,并对所述绩效信号进行归一化处理,得到各智能体对应的归一化绩效,并将所述归一化绩效提供给leap偏好模块;

68、leap偏好模块:用于接收绩效归一化模块提供的各智能体归一化绩效,并根据不同智能体之间的绩效差异生成对应的leap偏好因子;

69、重塑奖励模块:用于接收奖励采集模块提供的各智能体原始奖励以及leap偏好模块生成的leap偏好因子,并基于所述leap偏好因子计算各智能体对应的增量奖励项,在原始奖励的基础上生成对应的重塑奖励;

70、强化学习更新模块:用于接收重塑奖励模块生成的重塑奖励,并利用所述重塑奖励对策略网络进行训练和参数更新,将更新后的策略网络参数提供给策略网络模块,以用于后续的动作决策。

71、有益效果:与现有技术相比,本发明具有如下显著优点:(1)保持异质偏好表达能力:通过表达智能体对智能体的偏好强度,使系统能够区分不同智能体对之间的关系,而不是使用单一同质公平因子;(2)降低偏好设计复杂度:本发明不需要直接搜索完整偏好矩阵,而是先由n维自利向量和n维利他向量生成原始偏好强度,再通过有界映射得到偏好矩阵,从而降低人工调参和随机搜索成本;(3)避免指数型奖励爆炸:通过sigmoid有界映射将限制在内,使增量奖励不会随指数无界增长,提高策略梯度和价值学习的稳定性;(4)相较于直接截断更平滑:sigmoid函数连续且可导,能够保留不同绩效差异的细粒度变化,不会在截断阈值附近产生突变;(5)有利于缓解社会困境:通过在个体奖励中加入基于他人绩效差异的有界增量项,智能体在追求自身收益的同时获得适度合作激励,可减少搭便车、过度攻击和公共资源维护不足;(6)适配多种强化学习框架:该方法作为奖励重塑模块独立于底层策略更新算法,可嵌入ippo、mappo、ppo、maddpg、dqn、vdn、qmix等多智能体强化学习框架;(7)执行阶段开销低:奖励重塑主要用于训练阶段,执行阶段可仅部署训练后的本地策略网络,不要求额外传输偏好矩阵或维护复杂的在线搜索过程;(8)可解释性强:偏好因子由“自身绩效”和“其他智能体绩效”的差异直接决定,参数和分别对应偏好上限和敏感程度,便于调参、审查和工程部署。