一种异构多智能体系统的分布式固定时间收敛纳什均衡求解方法

摘要: 本发明属于多智能体系统协同控制与非合作博弈的交叉,具体涉及一种面向高阶异构积分器动态的多智能体系统,在分布式通信条件下实现固定时间纳什均衡求解的方法。背景技术:...
一种异构多智能体系统的分布式固定时间收敛纳什均衡求解方法

本发明属于多智能体系统协同控制与非合作博弈的交叉,具体涉及一种面向高阶异构积分器动态的多智能体系统,在分布式通信条件下实现固定时间纳什均衡求解的方法。

背景技术:

1、随着信息物理系统(cyber-physical systems)、物联网以及人工智能技术的发展,非合作博弈问题在理论研究与工程实践中受到关注。典型的非合作博弈场景存在于电力微电网的能源负荷定价、无人系统集群的动态避障与编队协同、以及无线传感器网络的发射功率优化等应用中。在此类博弈模型中,通常假设每一个网络节点扮演一个独立的理性博弈参与者(即智能体),每个智能体具有一个不仅依赖于其自身动作,还依赖于网络中其他关联智能体动作的局部成本函数,其目标在于通过调整自身动作以使该成本函数最小化。作为分析非合作博弈的理论基础,纳什均衡(nash equilibrium)定义了一种稳固的策略配置状态:在该状态下,没有任何一个参与者能够通过单方面改变自身动作而获得更低的成本损耗。由于多智能体系统的信息分散性,如何有效引导所有节点收敛至纳什均衡点是控制领域的常见问题。基于参与者是否能够获取全局网络中其他所有节点的动作信息,现有的纳什均衡求解技术主要分为集中式算法与分布式算法。在集中式框架中,通常需要一个中心节点实时收集并广播所有个体的状态。然而,在大规模网络化博弈中,此类算法容易面临通信带宽受限、单点故障等局限性。因此,仅依靠局部相邻节点之间进行信息交互的分布式算法成为当前研究的重点。分析现有的分布式纳什均衡求解文献可以发现,多数早期研究主要针对具有一阶积分器动态的虚拟智能体进行论证。但在实际工程中,执行机构往往受制于物理惯性与延迟,其状态演化具有更复杂的动力学规律。例如,带有加速度控制的移动机器人具有二阶动态,而考虑加加速度的四旋翼飞行器则表现出高阶积分器特性。在收敛性方面,早期的分布式纳什均衡算法多在理论上保障渐近收敛或指数收敛,即系统理论上需要无限长的时间才能抵达纳什均衡点,这难以满足对实时性要求较高的应用场景。近年来,基于有限时间(finite-time)与固定时间(fixed-time)稳定性的分布式算法被提出。然而,有限时间算法的收敛时间上限依赖于系统的初始状态偏差。当系统初始偏离均衡点较大时,其收敛时间会显著增加。为减小收敛时间对初始条件的依赖,部分学者尝试研究固定时间理论在博弈领域的应用,但在现有技术中,现存的固定时间纳什均衡求解算法仍面临以下关键技术问题:

2、其一,部分算法建立在参与者能够掌握包含所有节点动作的全局成本函数解析式的假设之上,这在完全分布式的场景下难以实现;

3、其二,现有的主流设计通常采用耦合无源性(coupled passivity-based)控制架构,在求解控制参数时需要处理包含全局拉普拉斯矩阵特征值的高维矩阵不等式(lmi),随着网络规模的扩大,这易导致参数无解的情况发生;

4、其三,在博弈寻优过程中,动作更新依赖于成本函数的梯度向量,该梯度在全局空间中可能无界。常规的固定时间状态观测器在面对无界梯度时易产生估计误差放大,进而导致系统失稳。此外,针对高阶积分器节点的固定时间收敛纳什均衡算法尚未得到充分解决。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供了一种异构多智能体系统的分布式固定时间收敛纳什均衡求解方法。

2、为实现上述目的,本发明提供如下技术方案:

3、s1、建立多智能体通信拓扑结构,并为各智能体构建具备高阶积分器特性的异构物理动力学模型;

4、s2、在各智能体本地运行分布式固定时间观测器,提取邻居通信数据合成一致性估算误差,结合双幂次补偿项进行微分更新,在固定时间内估算全局虚拟动作信号;

5、s3、基于全局策略估计数据,各智能体沿自身成本函数负梯度方向更新虚拟动作信号,驱动系统虚拟动作组合在固定时间内收敛至纳什均衡点;

6、s4、基于双时间尺度分离准则配置系统参数,设定快速动态增益参数量级大于慢速动态参数;

7、s5、提取虚拟信号与实际状态间的级联跟踪误差,构建非线性积分滑模面并输出物理控制指令,驱动各智能体实际状态在固定时间内跟踪虚拟动作信号。

8、进一步地,所述s1具体包括:

9、建立一个包含个智能体的无向连通通信拓扑图:

10、

11、其中,顶点集代表各个智能体,边集代表信息交互链路;

12、提取其邻接权重矩阵:

13、

14、其中,若节点与连通则,否则;

15、据此计算对应的拉普拉斯矩阵:

16、

17、其中,矩阵为对角阵,其元素定义为连接度总和;

18、在此基础上,网络中每一个物理节点映射为一个具有阶连续积分器特性的异构动力学系统,其状态空间方程构建为:

19、

20、

21、其中,为包含各阶微积分分量的联合状态向量,总维度,为控制输入向量,为基础物理动作向量,为高阶积分器标准伴随结构矩阵,控制输入矩阵:

22、

23、其中,代表单位矩阵,表示克罗内克张量乘积,表示矩阵转置;

24、输出观测矩阵:

25、;

26、定义每一个智能体的目标为,在获取其他成员动作的基础上,最小化局部成本函数。假定该局部成本函数为凸函数且二次连续可微,定义全系统伪梯度向量映射:

27、

28、设定该伪梯度映射满足常数模量的强单调性,并且每一维度的局部梯度向量具备常数的利普希茨(lipschitz)连续性有界特征。

29、进一步地,所述s2具体包括:

30、在智能体中构建独立估计向量:

31、

32、智能体捕获一跳通信邻居数据,并合成局部一致性观测误差算子:

33、

34、其中,为邻居的虚拟策略信号。获取误差算子后,以预定采样率对以下微分方程进行数值积分:

35、

36、其中,算子定义为,用于固定时间收敛驱动,引入的高次幂项和低次幂项作为非线性阻尼耗散源,用于产生与无界梯度相匹配的负反馈项,以减小无界梯度引起的数值波动,使估计向量在固定时间内跟踪虚拟动作信号。

37、进一步地,所述s3具体包括:

38、智能体对虚拟动作执行微分更新过程:

39、

40、其中,表示在估计状态空间中提取的本地梯度偏导向映射。常数和用于调节寻优的步长,幂次和用于在不同误差区间实现快速收敛。

41、进一步地,所述s4具体包括:

42、将控制观测的参数序列设定为较高带宽层,控制博弈的参数序列设定为较低带宽层。配置快速动态增益时,需满足代数判据保证约束参数至为正实数,相应的判据不等式为:

43、

44、

45、

46、

47、

48、通过调节观测器增益和寻优步长,可获取有效参数。在参数配置作用下,全网虚拟策略信号在预定的时间极值前收敛至纳什均衡点,该收敛时间上限为:

49、

50、其中,为正定耗散常量,该时间计算机制独立于初始状态偏差。

51、进一步地,所述s5具体包括:

52、针对具备阶动态的实体,获取级联误差:

53、

54、

55、

56、伺服控制器针对轴向,构建带有历史积分特性的滑模面:

57、

58、其中,非线性次幂与通过公式递推计算:

59、

60、

61、其中,边界条件限定为,且,。

62、向底层致动器输出的控制输入为:

63、

64、其中,前一部分用于减小惯性延迟影响,后一部分提供滑模面趋近力。

65、执行该协议后,物理状态必然在时间内被收敛到滑模面结构中:

66、

67、其中,常数,且,分别依赖于全网最小抗扰增益与。

68、在滑模面上的衰减时间极限为:

69、

70、其中,矩阵为系统代数方程解算出的正定赫尔维茨能量边界矩阵,分别满足李雅普诺夫方程()。

71、经理论证明,该控制架构可使系统在时间上限:

72、

73、内稳定地收敛至纳什均衡状态。

74、与现有技术相比,本发明具有以下有益效果:

75、1.本发明建立独立于初始状态的双时间尺度固定时间博弈求解架构,设计基于双幂次非线性吸引结构的收敛时间界定方法,开发收敛时间与系统参数的显式解析模型,突破传统算法耗时受状态偏离约束的技术瓶颈,保障异构多智能体系统在硬实时条件下确切达成纳什均衡。

76、2.本发明突破高维博弈中无界策略梯度与大规模网络参数耦合导致的系统失稳难题,设计包含双幂次补偿项的能量耗散观测器以减小由无界梯度项引起的估计误差放大风险,开发基于高低频频域分离的系统级参数解耦机制,消除网络拓扑扩张对控制增益可行性的约束,实现海量集群策略的稳定跟踪与提升大规模网络下参数配置的可行性。

77、3.本发明提升系统对底层异构执行机构的复杂动力学适配与驱动控制能力,构建针对任意高阶积分器动态的非线性多项式积分滑模面,开发融合历史状态积分与幂次递推反馈的物理控制协议,克服机电设备固有的惯性迟滞,驱动异构实体精准平滑地完成虚拟博弈指令的物理转化。