基于深度强化学习的层级化边缘智能任务调度方法及装置

本发明涉及移动边缘计算与无人机通信，具体为基于深度强化学习的层级化边缘智能任务调度方法及装置。

背景技术：

1、在无人机辅助的移动边缘服务器系统中，机器人、无人机与边缘服务器通过协同计算，可高效完成环境感知、任务处理与决策执行。该协同计算架构通过整合地面机器人、本地计算单元、空中中继节点以及边缘服务器等多类异构资源，能够显著提升系统的计算效率与环境适应能力，在智能巡检、灾害救援及无人作业等场景中具有广泛应用前景。

2、然而，在实际动态环境中，机器人-无人机-移动边缘服务器协同计算系统仍面临高动态性、高异构性及资源受限等关键挑战，具体表现在：

3、（1）资源分配不均衡问题突出：在实际运行过程中，由于机器人计算能力、任务规模及通信条件的差异，不同节点对计算资源的需求存在显著不均衡。一些任务密集的机器人可能长期处于资源紧张状态，而其他节点资源利用不足。这种不均衡不仅降低系统整体资源利用效率，还可能导致部分节点任务排队严重，增加系统延迟，并引发局部计算瓶颈，影响系统稳定运行。

4、（2）任务调度难以适应动态环境变化：传统任务调度方法通常基于静态或半动态策略，难以适应复杂环境中任务负载与节点状态的快速变化。在实际应用场景中，机器人的移动、任务突发性以及无人机位置变化均会在短时间内改变系统拓扑结构和资源分布。固定或滞后的调度策略难以及时响应这些变化，导致任务分配不合理，从而降低系统的实时性与调度效率。

5、（3）通信与计算耦合关系复杂：在该协同系统中，任务卸载不仅依赖计算资源，还受到通信链路质量的显著影响。无人机作为中继节点，其通信能力直接决定任务传输效率。然而，现有研究往往简化通信模型或忽略通信与计算之间的耦合关系，未能充分考虑链路带宽限制、传输延迟及数据拥塞等因素。这种简化假设在实际环境中会导致调度策略与真实系统表现存在偏差，降低算法的实际可用性。

6、（4）多维资源缺乏协同优化机制：当前大多数任务调度方法主要关注单一资源维度，而忽略了计算、通信及系统负载之间的协同关系。在实际系统中，任务处理性能往往由多种资源共同决定。例如，当大量任务同时卸载至移动边缘服务器时，若未考虑通信链路限制，可能导致数据传输拥堵，从而使计算资源无法充分发挥作用。此外，现有方法普遍缺乏全局优化能力和动态调整机制，难以在复杂环境下实现多资源的协同调度与最优分配。

7、（5）系统性能稳定性与鲁棒性不足：由于任务到达具有随机性且系统状态不断变化，传统调度方法往往仅关注平均性能指标，而忽略最坏情况延迟及系统性能波动。这会导致在高负载或突发情况下系统性能显著下降，影响任务执行的可靠性。在实际应用中，尤其是在实时性要求较高的场景下，性能波动可能带来严重后果，因此需要更加稳定且鲁棒的调度策略。

8、综上所述，现有机器人-无人机-移动边缘服务器协同计算系统在任务调度与资源分配方面仍存在诸多不足，急需一种能够综合考虑多维资源、适应动态环境变化并具备全局优化能力的智能调度方法，以实现系统性能与稳定性的协同提升。

技术实现思路

1、本发明的目的在于提供基于深度强化学习的层级化边缘智能任务调度方法及装置，通过面向机器人-无人机-移动边缘计算服务器协同计算架构，实现多层异构系统中的智能任务卸载与负载均衡，以解决现有无人机辅助移动边缘计算系统中任务调度方法建模能力不足、资源协同优化水平有限以及难以适应动态环境变化的技术问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、第一方面，基于深度强化学习的层级化边缘智能任务调度方法，包括以下步骤：

4、s100、利用无人机的中央调度器确定系统的任务数量与任务信息、机器人的数量以及移动边缘服务器数量、机器人和移动边缘服务器的计算能力、机器人的储能以及无人机的储能；

5、s200、机器人在复杂环境中生成计算密集型感知任务，其中部分任务通过无线链路将任务上传至空中的无人机，无人机作为中继节点将聚合任务进一步转发至移动边缘服务器；

6、s300、构建包含机器人本地负载、无人机中继队列状态及移动边缘服务器计算负载的联合系统状态向量；

7、s400、采用基于ss-ddpg的调度算法，在actor网络中引入自注意力机制以显式建模异构节点间的全局依赖关系，并在critic网络中引入自监督辅助分支以预测系统即时成本；

8、s500、根据actor网络输出的双层动作向量，确定机器人的卸载决策以及无人机将任务分配给各移动边缘计算服务器节点的比例，实现层级化任务调度；

9、s600、根据任务执行产生的时延与能耗反馈，构建包含负载均衡约束与动作平滑性惩罚的奖励函数，持续更新ss-ddpg网络参数，实现动态环境下的自适应优化。

10、优选地，步骤s100中，所述机器人，用于在高探索区域内随机分布并生成感知任务，具备有限的移动计算与通信能力；所述无人机，用于在固定高度悬停，作为空中中继节点负责收集机器人的任务并进行缓存转发，不直接参与计算；所述移动边缘服务器，用于为无人机提供高性能计算服务，处理由无人机转发的计算任务。

11、优选地，步骤s200具体包括以下步骤：

12、s201、将系统服务周期离散化为个等长为的时隙，并将时隙集合记为；其中每只机器人在每个时隙生成泊松数量的任务，任务大小集合记为；

13、s202、无人机在高空运行，能够避开障碍物到达最优中继位置，然后与移动边缘计算节点建立通信链路。因此，我们设定无人机与所有机器人之间建立的通信基于视距(los)通信，其信道采用自由空间路径损耗模型；

14、s203、在任务卸载阶段，机器人选择通过上行链路将任务卸载到无人机，随后无人机再将任务调度到移动边缘计算节点或在本地执行；

15、其中，值为1表示机器人将计算任务卸载到移动边缘服务器执行，而值为0表示机器人选择本地计算。

16、优选地，步骤s202中所述信道采用自由空间路径损耗模型，其信道增益为：；

17、其中，表示机器人与移动边缘服务器k在时隙的瞬时水平位置，其中；表示无人机的水平位置，其中；表示无人机飞行高度固定；表示信道效率因子。

18、优选地，步骤s300中所述联合系统状态向量包括：机器人的任务计算规模与本地累积负载、无人机的中继工作负载、各移动边缘计算服务器节点的计算负载；具体表示为：

19、；

20、其中，和分别表示机器人任务的计算规模和累积本地负载，表示无人机的中继队列负载，表示第k个移动边缘计算服务器节点的计算负载。

21、优选地，步骤s400具体包括以下步骤：

22、s401、在actor网络中引入自注意力机制：

23、将系统状态特征进行嵌入映射，通过计算查询矩阵、键矩阵与值矩阵之间的相关性权重，对各移动边缘计算服务器节点的特征进行加权融合，计算公式为：

24、；

25、其中，s为状态嵌入矩阵，,,为可学习参数矩阵，d为特征维度；该机制使actor网络能够动态学习各计算节点对当前调度决策的重要性；

26、s402、在critic网络中引入自监督辅助分支：

27、所述critic网络包含q值主分支与系统成本预测辅助分支；其中辅助分支通过最小化预测的系统即时成本与实际计算的系统成本之间的均方误差来正则化特征学习，从而提升策略网络在非平稳环境下的训练稳定性。

28、优选地，步骤s402具体包括：

29、自监督critic网络由两个分支组成：

30、主分支估计状态-动作值函数，并结合自注意力，以更好地捕捉联合状态-动作特征；

31、辅助分支通过自监督学习学习系统成本特征，预测目标为：；该分支不直接参与策略更新，而是作为对critic表示的正则化，增强特征泛化和训练稳定性；

32、策略与价值更新：通过最小化一个组合损失函数来更新critic网络，该损失函数包括针对的时间差分td误差和瞬时系统成本预测器的自监督损失；q值分支的td目标定义为：；

33、其中，是折扣因子；是目标critic网络；

34、组合的critic损失函数为：

35、。

36、优选地，步骤s500具体包括以下步骤：

37、s501、由于每个机器人的总计算任务大小不同，令任务大小集表示机器人的每个计算任务的大小，则在时隙，机器人生成的总计算任务大小表示为；

38、s502、令表示机器人在时隙的卸载决策，则当时，计算任务被卸载到无人机；否则，任务在本地处理；

39、给定状态，ss-ddpg智能体输出一个连续动作向量，其中表示卸载倾向，表示连续的mec选择分数。通过以下方式获得归一化的mec偏好：

40、；

41、s503、尽管ss-ddpg在连续动作空间中运行，但任务卸载本质上是离散的。为了解决这种不匹配，通过确定性投影将智能体输出转换为有效的调度决策。首先，将每个连续的卸载倾向映射为一个二元决策：

42、；

43、其中是卸载阈值。然后，如果，则将机器人分配给具有最大归一化偏好的mec服务器：

44、；

45、此投影仅在环境交互和奖励评估期间应用。在网络优化期间，针对连续的智能体输出和计算梯度，这避免了通过不可微的阈值和argmax操作进行反向传播。在实践中，在投影之前添加探索噪声，因此智能体仍可在二元决策边界附近进行探索，并且这种转换不会破坏训练的稳定性。

46、优选地，步骤s600具体包括以下步骤：

47、s601、在执行调度动作之后，系统完成任务卸载，产生相应的计算延迟和能量消耗，得到总计算延迟和时隙处的总能量消耗；

48、定义归一化成本函数为：；

49、其中，、表示归一化后的数据，表示权重参数；

50、进一步考虑到系统性能和调度稳定性，构建包含负载均衡约束与动作平滑性惩罚的瞬时奖励函数：；

51、其中表示包括延迟和能耗的系统成本，表示mec队列负载向量，对mec服务器之间的负载不平衡进行惩罚；这种奖励设计确保调度策略在两级动作空间中保持平稳稳定的任务卸载决策的同时，能同时最小化计算延迟和能耗；

52、s602、通过软更新来更新目标网络：

53、；

54、其中，是软更新系数。

55、第二方面，本技术提供了一种计算设备，包括存储器、处理器以及存储于所述存储器中的计算机程序；所述处理器调用并执行所述计算机程序时，能够完成上述基于深度强化学习的层级化边缘智能任务调度方法中的各步骤。

56、第三方面，本技术提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在处理器上运行时，使所述处理器执行上述基于深度强化学习的层级化边缘智能任务调度方法中的各步骤。

57、第四方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器加载并执行时，用于实现上述基于深度强化学习的层级化边缘智能任务调度方法中的各步骤。

58、与现有技术相比，本发明所达到的有益效果是：

59、（1）实现全局协同任务调度优化：传统方法多采用局部或独立决策策略，缺乏全局协调能力，容易导致资源分配效率低下。本发明基于深度强化学习构建统一决策框架，在“机器人–无人机–移动边缘服务器”多层协同架构中实现任务卸载的全局优化。通过在不同计算节点之间自适应分配任务，有效降低系统整体任务处理时延，并提升系统运行效率。

60、（2）优化任务处理时延与系统能耗：现有方法通常仅关注单一性能指标，难以兼顾时延与能耗。本发明在奖励函数设计中同时引入任务处理时延与能耗指标，对任务执行过程中的本地计算能耗、通信传输能耗及边缘计算开销进行综合建模，实现多目标协同优化。在保证任务及时完成的同时，有效降低系统整体能耗，提高能源利用效率。

61、（3）提升复杂系统状态建模与决策能力：传统方法难以刻画多节点系统中的全局依赖关系。本发明通过引入自注意力机制，对机器人任务负载、无人机调度状态及mec服务器队列信息进行联合建模，能够捕获系统中不同节点之间的关联性，从而提高策略网络对复杂动态环境的感知能力和决策精度。

62、（4）增强算法稳定性与鲁棒性：针对传统强化学习方法在动态环境中训练不稳定的问题，本发明引入自监督学习机制，通过构建辅助优化目标，引导策略关注系统瓶颈及极端情况下的性能表现，从而减少训练震荡，提高收敛稳定性。在任务负载波动较大的情况下，仍能保持较优的调度性能。

63、（5）实现多维资源的协同优化：现有方法往往仅针对单一资源进行优化，难以充分发挥系统整体性能。本发明综合考虑计算资源、通信资源及能耗开销，建立多维资源协同优化机制，在任务卸载决策过程中实现资源的联合调度，有效避免通信拥塞与计算过载问题。

64、（6）具备良好的动态适应能力：相比于静态或规则驱动的调度方法，本发明基于强化学习框架，能够通过与环境持续交互动态更新策略。当任务到达率、节点负载或系统结构发生变化时，能够快速调整任务分配策略，保持系统在复杂动态环境下的高效运行。

65、综上，本发明综合考虑任务处理时延与系统能耗，在多层异构协同计算环境中实现计算、通信等多维资源的联合优化，通过自注意力与自监督增强机制，实现任务调度策略的动态自适应与全局优化，从而显著提升系统资源利用效率与负载均衡能力，满足复杂动态场景下对低时延与低能耗的应用需求。