一种融合自注意力机制和分层经验回放的MADDPG多无人机协同避障方法

摘要: 本方案属于多飞行器协同控制,具体涉及一种融合自注意力机制和分层经验回放的maddpg多无人机协同避障方法。背景技术:1、在当今世界,无人机技术的发展日新月异,其...
一种融合自注意力机制和分层经验回放的MADDPG多无人机协同避障方法

本方案属于多飞行器协同控制,具体涉及一种融合自注意力机制和分层经验回放的maddpg多无人机协同避障方法。

背景技术:

1、在当今世界,无人机技术的发展日新月异,其应用领域也日益广泛。特别是在复杂环境中,如丛林、山地、城市等,多无人机的自主导航和路径规划能力显得尤为重要。在这样的环境中,无人机需要具备高度的自主性和灵活性,以便在执行任务时能够避开障碍物,同时保持高效的飞行路径。

2、maddpg算法是一种基于集中式训练与分布式执行框架的多智能体深度强化学习算法,适用于连续动作空间的多智能体环境。集中式训练,是指在训练期间,每个智能体可以访问全局信息(包括其他智能体的状态和动作),以便更好地学习策略。分布式执行,是指在执行阶段,每个智能体仅依赖自己的局部观测信息完成决策过程。maddpg算法中,为每个智能体设计了独立的actor-critic结构。智能体的actor网络用于输出智能体的策略,即输出相应的动作。critic网络则用于评估智能体当前策略的好坏,具体表现为对动作价值函数(q值)的衡量。在训练阶段,critic网络的输入是全局状态和所有智能体的动作,目标是最小化贝尔曼误差,也就是使损失函数最小化。actor网络以智能体的局部观测信息为输入,优化目标是通过策略更新使critic网络输出的q值达到最大,从而生成和输出各智能体的动作策略,这些策略将直接影响系统的整体性能。

3、maddpg算法主要有以下优点:(1)可以解决多智能体深度强化学习环境的非平稳性问题;(2)可应用于多场景任务;(3)经验回放机制避免局部最优;(4)设计目标网络稳定训练过程。基于上述优点可知,maddpg算法更适用于解决多无人机物资配送协同避障控制问题,因此选择maddpg算法为基础算法。

4、然而,该算法仍存在一些不足。

5、maddpg算法采用经验回放机制,目的是通过保存和重复利用过往经验来提升样本的使用效率。经验回放机制的实现过程包括如下三个阶段:首先,经验存储,将智能体与环境交互产生的经验(包含状态、动作、奖励和下一状态)存入经验池;其次,随机采样,在训练阶段从经验池中随机抽取一批经验(mini-batch);最后,训练更新,利用采样的经验数据计算损失函数,并借助梯度下降法对网络参数进行更新。上述过程中,一是maddpg算法在处理高维状态和动作空间时,由于数据依赖关系复杂,往往导致协同效果差。具体表现为智能体难以有效处理高维空间中的复杂关系,从而影响协作效率和任务完成质量。例如,在多无人机协同避障任务中,随着无人机数量和环境中障碍物数量增加,联合状态空间和动作空间的维度急剧增长,无人机之间的依赖关系复杂,无人机难以理解其他无人机的行为,导致协作效率低下。因此,当无人机和障碍物数量多时,maddpg算法的协同效果不好。二是maddpg算法在高维空间中的经验池数据分布通常不均匀,部分区域的经验数据对训练贡献有限。例如,在多无人机协同避障任务中,某些状态(如静止状态)可能频繁出现,但对策略学习的贡献较小。经验回放机制中采用随机采样的方式,对所有经验数据一视同仁,无法区分其重要性。采样的经验数据可能包含大量冗余或低价值信息,导致样本效率低下。另外,部分经验数据(如关键转折点)对训练贡献较大,但可能被随机采样忽略。

技术实现思路

1、本方案的目的是提供一种融合自注意力机制和分层经验回放的maddpg多无人机协同避障方法,以解决无人机和障碍物数量增多情况下的多无人机协同避障任务中,存在高维状态空间数据关系依赖关系复杂、样本学习不充分导致多无人机避障决策不及时和避障效果差的问题。

2、为了达到上述目的,本方案提供一种融合自注意力机制和分层经验回放的maddpg多无人机协同避障方法,包括以下步骤:

3、s10:多无人机与环境交互获取联合状态空间信息[s1,…,si,…sn];

4、s20:将联合状态空间信息[s1,…,si,…sn]输入多头自注意力机制网络,进行信息筛选和增强处理,得到新的联合状态空间信[h1,…,hi,…hn];

5、s30:将新的状态空间信息[h1,…,hi,…hn]输入至maddpg算法进行训练,产生新的联合动作空间;

6、s40:无人机根据新的动作与环境进行交互,更新状态和奖励,并将新的状态、动作和奖励存入经验池;

7、s50:构建分层经验池,根据最优奖励评分将联合状态空间、联合动作空间和奖励存入经验池不同经验缓冲区;

8、s60:从高层缓冲区采样n1组样本数据,从低层缓冲区采样n2组样本数据,进行s30训练;

9、s70:将融合自注意力机制和分层经验回放的maddpg算法训练收敛稳定后的算法模型进行无人机部署,实现多无人机协同避障,

10、所述多头自注意力机制网络是将输入分成多个头,每个头独立计算自注意力,然后将结果拼接并通过一个线性变换得到最终的输出,其公式定义如下:

11、

12、multihead(q,k,v)=concat(head1,…,headh)wo;

13、其中,qi、ki和vi分别代表第i头的查询向量、键向量和值向量,由每个头i对应的可学习权重矩阵与序输入矩阵x相乘线性变换得到;h为注意力头的个数;dk为键向量的维度,用于缩放点积,防止点积过大导致梯度消失;ai是注意力得分矩阵;softmax(.)是指数归一化函数,用于将注意力得分矩阵ai中每个元素表示为概率值;concat(.)是拼接函数,用于将所有headi拼接在一起;wo是一个可学习的权重矩阵,用于将拼接的结果转换到输出的维度;

14、多头自注意力网络设计为n个头,对应n个无人机,每个头的输入矩阵x为无人机i和障碍物om的联合状态空间信息si(i∈n,m∈m,m为环境中障碍物的数量),包括无人机i自身信息si,其他无人机信息以及障碍物信息obsi。将联合状态空间信息[s1,…,si,…,sn]作为输入序列,通过多头自注意力机制网络处理后,得到各头注意力[h1,…,hi,…,hn],利用concat(.)函数将所有hi拼接,并与可学习权重矩阵wo相乘进行线性变换,得到多头注意力模块的最终输出[h1,…,hi,…,hn]。

15、进一步,所述最优奖励评分计算为:使用td-error和即时奖励rt,i计算无人机i在t时刻通过第p组样本获得的最优评分将作为判断样本重要性程度的评判依据;td-error计算公式为:

16、

17、其中,为智能体i在t时刻通过第p组样本获得的即时动作奖励值;为目标critic网络输出的t+1时刻动作价值;为目标critic网络参数;为critic网络输出的动作价值,为critic网络参数;

18、通过加权和归一化的方式将td-error和即时奖励结合起来,计算最优评分其计算公式为:

19、

20、其中,ω1.、ω2为重要性权重,且ω1+ω2=1,取值根据td-error和即时奖励在最优奖励评分中的重要性决定,如果看中td-error探索更有价值动作,ω1可取较大的值,如果认为即时动作更加关键,ω2可以相应增大;max(δt)为最大时序差分误差;rmin,i为智能体i最小即时奖励值;rmax,i为智能体i最大即时奖励值。

21、进一步,所述分层经验池的为:将初始化为0,当有新的经验样本产生,将该样本的最优奖励评分与分层标准进行比较,若大于分层标准则将该样本加入高层缓冲区,否则存入低层缓冲区,样本存储之后根据两个缓冲区样本计算更新分层标准其计算公式为:

22、

23、式中,h为无人机与环境交互产生的样本总数。

24、从高层缓冲区采样n1组样本数据,从低层缓冲区采样n2组样本数据继续进行网络模型训练。

25、与传统的无人机协同避障方法相比,本方法融合了基于多头自注意力机制的关键信息筛选与增强、基于最优评分的分层经验回放两项关键技术。基于多头自注意力机制的关键信息筛选与增强,通过利用多头自注意力机制网络并行处理无人机与障碍物的联合状态空间,为联合状态空间中的每个元素动态分配差异化权重,动态调整影响无人机决策的自身、其他无人机和障碍物等信息的权重,从而降低高维空间数据处理复杂度,解决高维状态空间数据关系依赖复杂导致避障决策不及时的问题。基于最优评分的分层经验回放,通过定义和计算最优评分,将不同重要性程度样本分层存放,在网络模型训练过程中,每次从高层缓冲区中采样大量高价值经验样本加速训练过程,从低层缓冲区中采样少量低价值经验样本保证样本多样性,解决样本学习不充分导致协同避障效果差的问题。