一种基于多智能体强化学习的无人机边缘计算调度方法

本发明属于无人机移动边缘计算与多智能体强化学习领域，特别涉及基于多智能体强化学习的无人机边缘计算调度方法。

背景技术：

1、无人机(unmanned aerial vehicle，uav)辅助移动边缘计算(mobile edgecomputing，mec)能够在地面基础设施稀疏、过载、损毁或临时不可用的场景中提供灵活的计算服务，适用于应急救援、临时公共活动保障、智慧城市感知、偏远区域服务等需要快速部署和低时延处理的任务。无人机可作为空中边缘节点，为地面用户或物联网设备提供任务采集、转发、计算卸载和结果回传能力。

2、在多层无人机mec网络中，地面用户组(ground user group，gug)、低空无人机(low-altitude uav，l-uav)和高空无人机(high-altitude uav，h-uav)构成层级化服务体系。地面用户组持续产生具有突发性的计算任务；低空无人机需要跟踪地面用户组并完成本地聚合、部分计算和任务卸载；高空无人机作为空中边缘服务器，提供较强的计算能力和跨区域服务能力。低空无人机的飞行轨迹会影响其覆盖范围和可服务任务量，高空无人机的位置和带宽分配会影响低空无人机的卸载可行性和传输速率。因此，轨迹规划、任务卸载、带宽协调、队列积压、任务时延和能耗之间存在强耦合关系。

3、现有无人机mec研究中，部分方法采用凸优化、分步规划或启发式算法求解轨迹规划与任务卸载问题。该类方法通常依赖较完整的全局状态、准确的信道模型和集中式迭代求解，在无线链路快速变化、地面任务突发到达、无人机感知受限或通信阻塞的情况下，难以保证实时在线决策能力。另一些方法采用强化学习(reinforcement learning，rl)、深度强化学习(deep reinforcement learning，drl)或多智能体强化学习(multi-agentreinforcement learning，marl)提高在线适应性，但常假设无人机角色相同，或者将连续运动控制进行离散化处理，难以同时适应多层异构无人机网络中的混合动作控制需求。

4、此外，在真实无线环境中，低空无人机并非任意时刻都能向任意高空无人机卸载任务。当候选高空无人机超出通信范围、链路速率不足、当前无可服务积压任务或候选卸载比例超过当前时隙可传输能力时，直接采样对应卸载动作会产生不可行动作，降低训练样本效率并影响策略稳定性。因此，如何在部分可观测条件下，面向低空无人机和高空无人机的异构角色，联合实现连续轨迹控制、离散任务卸载比例选择、带宽分配模式选择和不可行动作屏蔽，是多层无人机mec网络亟需解决的技术问题。

技术实现思路

1、本发明的目的是针对多层无人机mec网络中轨迹规划、任务卸载和带宽协调高度耦合，且现有方法难以在部分可观测、突发流量和混合动作条件下稳定在线决策的问题，提出一种基于多智能体强化学习的无人机边缘计算调度方法，从而提高系统吞吐量和能效比，降低任务时延和任务溢出风险。为了实现该目的，本发明所采用的步骤是：

2、步骤1：将多层无人机mec网络中的联合轨迹规划、任务卸载和带宽协调问题建模为分布式部分可观测马尔可夫决策过程(decentralized partially observable markovdecision process，dec-pomdp)，确定全局状态空间，用于集中训练阶段的评价网络，并分别构建l-uav和h-uav的角色化部分观测空间，用于uav在分布式执行阶段进行在线决策。

3、步骤2：分别构建l-uav和h-uav的混合动作空间和多目标奖励函数，其中l-uav的动作包括连续水平速度动作和离散卸载目标及卸载比例动作，h-uav的动作包括连续水平速度动作和离散带宽分配模式动作。l-uav的奖励包括任务成功处理奖励、能耗惩罚、任务积压惩罚、跟随gug奖励、卸载成功奖励，h-uav的奖励包括协助服务奖励、能耗惩罚、服务范围内任务积压惩罚、负载均衡奖励、服务通信链路奖励。两类无人机的最终奖励均为上述各自部分的线性耦合。

4、步骤3：根据l-uav的卸载动作确定各h-uav关联并执行有效卸载的l-uav集合，依据h-uav选择的带宽分配模式计算对应a2a链路带宽；并针对l-uav离散卸载动作分支构建可行卸载动作掩码，根据可服务积压任务量、l-uav至h-uav通信距离、参考a2a上行速率和最大允许卸载比例判断候选卸载动作是否可行，在动作采样前屏蔽不可行卸载动作。

5、步骤4：构建并训练异构混合动作多智能体近端策略优化算法模型，包括l-uav和h-uav的角色化策略网络、角色化评价网络、观测编码器、门控循环单元(gated recurrentunit，gru)、多头注意力模块、连续动作输出头和离散动作输出头，在仿真环境中获取全局状态以及各uav的角色相关局部观测，将局部观测输入策略网络生成l-uav和h-uav的混合动作，并在仿真环境中执行所述混合动作，根据环境反馈获得角色化奖励，将局部观测、动作、奖励、价值估计、旧动作概率、循环隐藏状态和动作掩码写入轨迹缓存，并采用广义优势估计和近端策略优化更新策略网络和评价网络，直至奖励函数收敛或达到预设训练轮数，得到训练后决策模型。

6、步骤5：将训练后的l-uav模型和h-uav模型部署至多层无人机mec仿真系统中，使各uav基于自身局部观测在线输出轨迹控制、任务卸载和带宽分配决策，实现多层无人机mec网络的联合轨迹规划与任务卸载。

7、进一步，异构混合动作空间包括l-uav动作空间和h-uav动作空间。对于第i个l-uav，其动作由连续水平速度控制动作和离散任务卸载动作组成，第j个h-uav的动作由连续水平速度控制动作和离散带宽模式动作组成，具体表达方式为：

8、

9、其中，为l-uav集合；为h-uav集合；为第i个l-uav在时隙t的混合动作；vi(t)为第i个l-uav的连续水平速度动作，vx，i(t)和vy，i(t)分别为x方向和y方向速度分量；bi(t)为第i个l-uav面向候选h-uav的链路级卸载比例动作向量；ai，j(t)为第i个l-uav面向第j个h-uav的卸载比例动作；为第j个h-uav在时隙t的混合动作；uj(t)为第j个h-uav的连续水平速度动作，ux，j(t)和uy，j(t)分别为x方向和y方向速度分量；为第j个h-uav的离散带宽模式分量。在h-uav离散动作分支中，分别对应平均分配、信道优先、积压优先和保守分配。

10、进一步，异构混合动作空间满足的动作约束的具体表达方式为：

11、

12、其中，为离散卸载比例集合；为指示函数，当括号内条件成立时取1，否则取0；和分别为l-uav和h-uav的最大水平速度。上述单目标约束使每个l-uav在一个时隙内使用本地服务或最多选择一个h-uav进行卸载。

13、进一步，l-uav任务处理量由本地处理量和远程卸载处理量共同确定。第i个l-uav在时隙t的总卸载比例定义为：

14、

15、第i个l-uav在时隙t选定的进行远程辅助卸载的h-uav索引定义为：

16、

17、其中，当ji(t)＝0时表示第i个l-uav未选择h-uav且执行纯本地处理，此时将用于统一表示的a2a上行速率取为

18、基于上述定义，有效处理任务量表示为：

19、

20、其中，和γi(t)分别为第i个l-uav在时隙t的本地处理任务量、远程卸载任务量和总处理任务量；为第i个l-uav当前可服务积压任务量；fl为l-uav本地计算能力；δt为时隙长度；ccyc为处理单位比特数据所需cpu周期数；为第i个l-uav到其选定h-uav的a2a上行速率。

21、根据l-uav的卸载动作确定与第j个h-uav关联且有卸载动作的l-uav集合，并由第j个h-uav选择的带宽分配模式计算链路带宽。关联的l-uav集合为：

22、

23、其中，为时隙t内与第j个h-uav关联并执行有效卸载的l-uav集合；di，j(t)为第i个l-uav与第j个h-uav之间的距离；rlh为l-uav至h-uav的有效通信距离。

24、集合中l-uav的数量为：

25、

26、对于集合内的l-uav且l-uav数量大于0时，四种带宽模式定义为：

27、

28、其中，bi，j(t)为第j个h-uav分配给第i个l-uav的a2a链路带宽；bh为h-uav总带宽预算；ηb为保守模式带宽因子；χi，j(t)＝1/(di，j(t)+εd)为信道质量代理，εd为常数项；u为集合求和中的虚拟索引；对于不属于集合的链路，bi，j(t)＝0。

29、进一步，可行卸载动作掩码作用于l-uav的离散卸载动作分支。对于第i个l-uav面向第j个h-uav的正卸载比例候选动作，先计算用于可行性判断的参考a2a上行速率。所述参考a2a上行速率基于h-uav的总带宽预算计算，并在计算时忽略瞬时阴影衰落和小尺度衰落影响，具体表示为：

30、

31、其中，为用于掩码判断的参考接收功率，为：

32、

33、其中，为l-uav发射功率；为第i个l-uav到第j个h-uav之间的距离相关路径损耗；n0为噪声功率谱密度。

34、第i个l-uav到第j个h-uav的最大掩码允许卸载比例为：

35、

36、其中，为第i个l-uav本地估计的可服务积压任务量；nm为可行性系数；∈β为比例容差；∈d为极小常数项。

37、根据可服务积压任务量、通信距离、参考a2a上行速率和最大允许卸载比例，判断候选卸载动作是否允许被选择，判断结果表示为：

38、

39、其中，mi，j，κ(t)为候选卸载动作的掩码取值；rmin为最小可用链路速率；βκ为候选卸载比例；当mi，j，κ(t)＝1时，表示第i个l-uav在时隙t以卸载比例βκ向第j个h-uav卸载的候选动作允许被选择；当mi，j，κ(t)＝0时，表示该候选动作在动作采样前被屏蔽。

40、将第i个l-uav在时隙t可选择的离散卸载动作集合记为该集合包括本地处理动作和卸载处理动作。为便于对全部离散候选动作进行统一表示，令l表示集合中的任一候选动作；当l＝0时，mi，l(t)＝1，表示本地处理动作始终允许被选择；当l＝(j，βκ)时，mi，l(t)＝mi，j，κ(t)，表示对应卸载候选动作的掩码取值。策略网络为集合中的每个候选动作输出原始选择概率为pi,e(t)。在动作采样前，根据掩码值mi，l(t)将不可行的候选动作屏蔽，并对剩余可行候选动作的概率重新归一化：

41、

42、进一步，异构混合动作多智能体近端策略优化算法对连续动作和离散动作采用分支式策略输出。对于l-uav角色或h-uav角色中的任一智能体，其混合动作策略可表示为：

43、

44、其中，r为uav角色，r∈{l，h}；l和h分别表示l-uav角色和h-uav角色；n为角色r下的uav索引；为第n个uav的完整混合动作，为连续动作分量，为离散动作分量；为角色r下第n个uav在时隙t由观测编码器输出的特征向量；θr为角色r的策略网络参数；和分别为角色r的完整混合策略、连续动作策略和离散动作策略；当r＝l时，离散动作策略对应链路级卸载比例决策；当r＝h时，离散动作策略对应带宽分配模式。