一种基于图注意力机制的无人机协同计算方法

本发明涉及无人机群体智能领域，具体涉及一种基于图注意力机制的无人机协同计算方法。

背景技术：

1、随着低空经济与边缘计算的深度融合，无人机凭借其机动灵活、按需部署的优势，已成为构建空天地一体化协同边缘计算网络的重要载体，通过主动飞近地面用户热点区域提供低延迟计算卸载与通信中继服务，有效弥补地面固定基础设施在覆盖范围与动态响应能力上的不足。然而，无人机集群在三维空间中的动态资源调配上，依旧面临严峻的技术瓶颈，传统数学优化方法计算开销庞大、时延极高，难以适应网络拓扑与业务需求的快速变化；标准多智能体强化学习采用全连接状态拼接，集群规模扩大时引发维度灾难，冗余噪声干扰信用分配；图注意力网络虽能捕捉拓扑关系，却缺乏对通信边界的物理约束，持续聚合超距无效特征，削弱决策的物理可信性。这是由于上述方案在连续动作空间下，普遍面临价值高估累积与梯度方差异常，导致协同策略难以稳定收敛，最终产生显著的服务覆盖空洞。

2、中国专利cn120499746a中公开了一种面向无人机机场集群的无人机边缘协同计算方法及系统，包括以下步骤：基于无人机通信网络，分析无人机类型和实时网络数据流，评估当前网络的拥堵状况，并根据网络状况和数据类型，调整数据压缩比例和多个数据包的传输优先级，并优化数据传输路径，生成传输效率优化记录。该申请虽然在一定程度上提升了传输效率和网络响应速度，优化了无人机的协同效率，但未能解决连续动作空间下价值高估累积与梯度方差异常导致的策略收敛不稳定问题，服务覆盖空洞依然存在，因此，目前急需一种无人机集群协同调度方法，以解决连续动作空间下的策略收敛难题，消除服务覆盖空洞。

技术实现思路

1、本发明提供了一种基于图注意力机制的无人机协同计算方法，用以克服连续动作空间下价值高估累积与梯度方差异常导致的策略收敛不稳定问题，消除服务覆盖空洞。

2、本发明提供了一种基于图注意力机制的无人机协同计算方法，包括，

3、以无人机与地面设备为实体，采用去中心化部分可观察马尔可夫决策过程框架转化无人机协同过程，以联合策略下的期望折扣累积奖励最大化为全局优化目标，构建空地协同模型，其中，期望折扣累积奖励基于若干期望折扣累积奖励确定；

4、以所述无人机为节点构建几何图，周期性基于节点间距更新几何图节点对连边集；

5、基于预构建的策略网络采用节点实时观测参数生成节点动作，基于节点实时观测参数与节点动作构建级联特征向量，基于级联特征向量确定各节点若干查询向量、键向量和值向量，基于查询向量和键向量确定各所述节点对连边标准注意力系数；

6、各所述节点基于所述标准注意力系数与所述值向量确定若干节点分支特征向量，以及，基于节点分支特征向量确定节点总特征向量，以及，基于各节点总特征向量确定基准联合向量；

7、基于当前所述节点动作确定目标联合向量，基于目标联合向量与注入噪声的策略网络确定目标动作，实例化若干评估网络，将目标联合向量与目标动作输入目标评估网络确定目标价值评分，基于目标价值评分与期望折扣累积奖励确定时序差分目标；

8、基于所述基准联合向量与基准节点动作确定基准价值评分，基于所述时序差分目标与基准价值评分确定损失标量，基于损失标量反向传播更新评估网络；

9、基于网络更新阈值确定获取基准节点动作，基于基准节点动作与基准联合向量确定目标价值评分，对目标价值评分求偏导后采用链式法则确定策略网络更新梯度并更新策略网络参数。

10、进一步地，所述期望折扣累积奖励基于服务覆盖率的jain氏公平性指数、服务时延以及能量消耗确定；

11、其中，服务覆盖率基于通信合格时隙数与监测时长确定，通信合格时隙数基于监测时长内用户通信合格的次数确定。

12、进一步地，基于节点间距小于等于通信半径分析条件，确定在节点对间构建节点对连边并更新所述节点对连边集。

13、进一步地，基于神经网络算法构建策略网络，以及，基于节点实时观测参数为输入，基于节点动作为输出。

14、进一步地，基于所述查询向量和所述键向量的缩放点积确定注意力系数，归一化后得到各所述节点对连边所述标准注意力系数。

15、进一步地，基于当前所述节点动作，采用空地协同模型确定下一时间步各节点实时观测参数，基于各节点实时观测参数确定下一时刻基准联合向量，记为目标联合向量。

16、进一步地，目标动作的确定过程包括：

17、策略网络基于所述目标联合向量生成节点原始动作，向节点原始动作施加约束探索噪声，得到目标动作；

18、其中，所述约束探索噪声是指分量的绝对值小于等于越界截断阈值，并服从均值为零高斯分布的随机向量。

19、进一步地，基于神经网络算法构建所述评估网络，以及，基于所述联合向量与各所述节点动作作为输入，基于价值评分作为输出；

20、所述损失标量基于所述时序差分目标与所述基准价值评分的均方误差确定；

21、基于评估网络的副本构建目标评估网络。

22、进一步地，基于所述基准联合向量与所述基准节点动作输入所述评估网络确定所述基准价值评分；

23、基于所述时序差分目标与基准价值评分的损失标量确定损失标量；

24、其中，所述基准节点动作是指在当前时间步，各所述节点基于所述实时观测参数，采用所述策略网络生成节点动作的联合动作向量。

25、进一步地，基于评估网络更新次数大于等于网络更新阈值分析条件，确定获取基准节点动作。

26、与现有技术相比，本发明的有益效果在于，本发明通过构建空地协同模型并引入去中心化部分可观察马尔可夫决策过程框架，将无人机协同计算问题形式化为联合策略优化问题，以期望折扣累积奖励最大化为全局优化目标，为后续协同决策提供了统一的数学基础。通过在几何图节点对连边集上引入图注意力机制，各节点能够基于标准注意力系数动态聚合邻居节点的值向量并生成基准联合向量，使得评论家网络在集中式训练阶段能够获得具有物理拓扑感知能力的全局状态表征。在此基础上，通过在训练阶段引入基于时序差分目标的均方误差反向传播更新评估网络，以及基于网络更新阈值触发的策略网络延迟更新机制，有效抑制了连续动作空间下多智能体强化学习中的价值高估累积与梯度方差异常问题，提升了协同策略收敛的稳定性和最终收敛奖励。

27、进一步地，本发明通过在期望折扣累积奖励中引入基于服务覆盖率的jain氏公平性指数，使得奖励信号不仅反映任务时延与能量消耗的瞬时性能，还涵盖各用户历史服务覆盖的长期均衡程度，驱动无人机集群优先服务长期被冷落的地面用户，从而从优化目标层面根本性地消除服务覆盖空洞，实现用户间的长期公平性保障。

28、进一步地，本发明通过以节点间距是否小于等于通信半径作为节点对连边构建与更新的判定条件，将物理通信可达性作为硬约束注入几何图拓扑的更新过程中，保证后续注意力计算仅在物理可达节点之间进行，从图结构源头阻断了超距无效节点的信息流入，降低了计算冗余并提高了拓扑表征的物理可信度。

29、进一步地，本发明通过采用神经网络算法构建策略网络并以节点实时观测参数为输入、以节点动作为输出，实现了去中心化分布式执行，使各无人机在执行阶段仅依赖局部观测即可独立生成动作，有效降低了系统对全局通信的依赖，保障了决策的实时性与鲁棒性。

30、进一步地，本发明通过在缩放点积计算后引入归一化处理得到标准注意力系数，使同一节点针对所有邻居节点的注意力权重总和为1，保障了特征聚合时各邻居贡献的相对可比性与尺度一致性，避免了因原始注意力系数数值范围波动导致的训练不稳定问题。

31、进一步地，本发明通过将当前节点动作输入空地协同模型获得下一时间步各节点实时观测参数，并据此确定目标联合向量，实现了经验回放池中目标联合向量的自主生成，保障了时序差分目标值计算所需下一时刻状态数据的完整性与自动闭环。

32、进一步地，本发明通过在目标动作确定过程中向节点原始动作施加约束探索噪声，并将噪声分量的绝对值限制在越界截断阈值以内，既保证了策略网络在训练过程中的探索充分性，又防止因极端噪声导致动作越界或策略剧烈震荡，提高了训练过程的平滑性与安全性。

33、进一步地，本发明通过采用神经网络算法构建评估网络并以其副本构建目标评估网络，采用时序差分目标与基准价值评分的均方误差作为损失标量进行反向传播更新，使得评估网络在训练过程中始终以稳定的目标网络输出为参照，有效抑制了价值函数预测的偏差累积，提升了对联合策略评价的准确性。

34、进一步地，本发明通过将基准节点动作明确限定为在当前时间步由各节点策略网络基于实时观测参数生成的联合动作向量，并以其与基准联合向量共同输入评估网络确定基准价值评分，保障了当前价值评分与训练过程中时序差分目标计算所采用的时间步对齐，避免了因动作与状态时间不匹配导致的价值函数估计偏差。

35、进一步地，本发明通过以评估网络更新次数达到网络更新阈值作为触发策略网络更新的条件，采用延迟更新机制，使评估网络在策略网络更新前获得充分的优化，从而为策略网络提供更准确的梯度方向，有效抑制了评估网络与策略网络同步更新所带来的价值估计偏差与策略震荡问题，进一步增强了协同决策算法的收敛稳定性。