一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法

摘要: 本发明涉及无人机组网通信与边缘计算,具体涉及一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法。背景技术:1、无人机集群以分布式协作形式承载着大量边缘...
一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法

本发明涉及无人机组网通信与边缘计算,具体涉及一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法。

背景技术:

1、无人机集群以分布式协作形式承载着大量边缘计算任务,并在灾害救援、环境监测和复杂地理侦察等多个领域得到广泛应用。然而,随着突发任务数据量的指数级增长,单一无人机的算力扩展速度远远跟不上计算需求的增长,导致集群边缘计算网络呈现资源受限和局部高负载的状态。因此,利用智能计算卸载与资源调度技术实现异构算力的弹性分配具有重要的研究意义。

2、现有的基于深度强化学习的无人机集群调度技术通过迭代聚合无人机网络中的状态信息,学习集群中节点和链路的特征嵌入表示,使得智能体能够学习到其局部的负载信息和整个集群的算力分布结构。基于深度强化学习的方法往往采用类似“状态感知-动作决策”的架构,将神经网络结构作为感知编码器,生成包含任务需求和全局资源的融合状态表示,在获得更新后的全局状态表示后,还需要使用评价网络对备选调度动作进行评分,并且计算当前批次训练的时序差分损失值,利用反向传播更新神经网络层的训练参数,通过多次环境交互训练完成最优调度策略的学习。基于跨层优化的方法更是结合了应用层需求和网络层状态,以便于在聚合状态信息的过程中选择性地保留重要的通信瓶颈信息。

3、然而现有的方法通常存在两个问题:感知模块在聚合关键邻域状态信息时没有考虑到底层时变的物理信道衰落与异构通信连接,以及决策模块缺乏基于物理红线的先验约束机制,很难在输出卸载指令时精准剔除因无线电接收灵敏度或路由跳数受限而导致的物理不可达节点,极易引发盲目卸载与网络死锁,使得多无人机协同调度模型的收敛稳定性与全局调度效果还有待提升。

技术实现思路

1、本发明所要解决的技术问题是:提出一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法,弥补现有方法没有考虑到异构网络物理层约束和难以同时兼顾多目标优化的缺陷,使其更好地完成无人机集群资源调度任务。

2、本发明解决上述技术问题采用的技术方案是:

3、一种基于跨层感知与先验动作掩码的多无人机强化学习协同调度方法,包括以下步骤:

4、s1、通过跨层数据交互接口对待调度的多无人机异构集群进行跨层特征提取与分布式状态同步,获得表征全网负载与通信拓扑的全局初始复合状态表示;

5、s2、使用先验掩码机制,根据底层无线电信号衰落模型、接收灵敏度阈值以及路由协议限制,实时计算源无人机节点与集群内其余候选目标无人机节点之间的物理连通性,生成动态的先验动作掩码矩阵;

6、s3、决策过滤模块将无人机异构集群的原始动作空间与先验动作掩码矩阵进行哈达玛积聚合,将物理不可达或路由受限的目标无人机节点选取概率强制置为零,生成安全可行的候选决策动作子集;

7、s4、将经过掩码过滤的有效复合观测状态与候选决策动作子集联合馈入深度强化学习的评价网络,提取状态与动作的多维交互特征,并输出候选动作的期望价值评估;随后系统执行该调度动作,并利用兼顾时延、能耗与丢包惩罚的多目标联合奖励函数,计算获取该动作的多目标联合评分;

8、s5、损失函数计算强化学习模型的时序差分损失值,并基于损失值通过梯度下降法训练调度模型,优化网络参数,获得训练好的调度模型;

9、s6、将完成训练的调度模型用于实际的边缘计算卸载任务,将源无人机的并发任务与候选节点组成候选调度方案,然后通过推断网络计算所有候选方案的得分,最终选择得分最高的作为卸载目标并驱动底层物理网卡与协议栈完成路由建链。

10、进一步的,所述跨层特征包括无人机本地应用层任务特征和本地硬件属性;所述分布式状态同步具体为:将源无人机的跨层特征与其邻居集合的异构信息在特征维度进行融合拼接,构建表征局部邻域异构连接关系的复合观测状态向量。

11、进一步的,所述先验动作掩码矩阵具体构建如下:

12、基于当前获取的3d坐标,计算源无人机节点与候选目标无人机节点之间的欧氏距离,基于自由空间路径损耗或对数距离路径损耗模型,预测源无人机节点发送至候选目标无人机的接收信号强度;

13、给定一个底层网卡硬件解码所需的最低接收灵敏度阈值以及网络层路由协议容许的最大跳数限制,使用表示源无人机节点到候选目标无人机节点之间的实际路由跳数,定义掩码指示函数对连通性进行判定,当且时链路连通,目标无人机节点的先验动作掩码值,否则,表示物理不可达。

14、进一步的,所述候选决策动作子集具体构建过程如下:

15、假设深度强化学习网络输出的原始各无人机节点调度概率分布为,将其与生成的掩码向量进行哈达玛积聚合映射操作,过滤无效动作;

16、在剔除不可达节点信息时,加入掩码保底约束机制,更新后的动作选择空间表示为:

17、

18、其中表示源无人机节点在本地处理此任务。

19、进一步的,所述多目标联合评分具体计算如下:

20、计算动作执行带来的端到端总时延代价,涵盖源节点队列等待时延、无线传输时延与目标无人机节点处理时延;

21、计算动作执行带来的系统总能耗代价,涵盖源节点的通信发送能耗与目标节点的处理器计算能耗;

22、多目标联合评分如下:

23、

24、其中,、、为可学习的归一化权重分配系数,表示针对链路断开或队列溢出施加的极端常量惩罚。

25、进一步的,所述s5具体如下:

26、s51、采用多智能体深度确定性策略梯度算法,将调度模型分为负责打分的评价网络和负责做决定的策略网络;在训练阶段,收集所有无人机的局部状态、动作、多目标联合评分以及下一时刻状态,将这些信息合并为全局状态和全局动作,并存入统一的经验回放池中;

27、s52、训练中心化评价网络:从经验回放池中抽取一批数据,利用贝尔曼方程计算未来的期望收益;

28、s53、采用小批量的经验回放策略对模型进行训练,计算当前网络预测值与目标值的所有候选动作的误差,采用均方误差损失函数训练调度模型,通过反复交替训练评价网络和策略网络,直到模型收敛,得到每个无人机最优的本地调度策略。

29、本发明的有益效果是:

30、1)针对大多数现有基于强化学习的无人机调度模型忽略跨层交互的问题,本发明通过打通仿真引擎的交互接口,使得高频的时变物理信道状态、三维拓扑与应用层队列深度等高维状态向量能够无延迟地聚合与流转。这种跨层感知能力打破了底层通信与上层决策的数据壁垒,大幅增强了系统对复杂山地或动态受限环境的感知精度。

31、2)针对模型在多目标刚性约束下极易陷入局部最优或产生死锁的问题,本发明创造性地引入了先验动作掩码机制与阶梯塑形的多目标奖励函数。在动作输出前精准剔除物理不可达节点,彻底规避了传统算法中盲目卸载引发的网络拥塞与链路断裂;同时多目标奖励函数有效平衡了极低响应时间与高效资源利用率之间的矛盾,显著提升了集群协同的鲁棒性。