一种基于强化学习的异构无人机数据摆渡路径规划方法

摘要: 本发明属于无人机集群协同控制领域,特别涉及基于强化学习的异构无人机数据摆渡路径规划方法。背景技术:1、近年来,随着无人机通信、低轨卫星通信和深度强化学习(dee...
一种基于强化学习的异构无人机数据摆渡路径规划方法

本发明属于无人机集群协同控制领域,特别涉及基于强化学习的异构无人机数据摆渡路径规划方法。

背景技术:

1、近年来,随着无人机通信、低轨卫星通信和深度强化学习(deep reinforcementlearning,drl)等技术的发展,空天地一体化通信网络在应急通信、偏远地区通信和基础设施稀缺区域数据传输等场景中得到了广泛关注。无人机具有部署灵活、机动性强和成本较低等优点,能够在地面通信设施难以覆盖或受损的区域中,为地面用户提供临时数据采集服务。低轨卫星网络具有覆盖范围广和回传能力强等特点,能够为无人机采集的数据提供远距离传输通道。因此,将无人机与低轨卫星结合,构建面向地面用户的数据摆渡通信系统,具有重要的应用价值。

2、在无人机数据摆渡系统中,不同无人机通常承担不同任务。采集无人机主要负责从地面用户处采集时延敏感数据,并将数据暂存在机载缓存中;中继无人机主要负责接近携带缓存数据的采集无人机,并将其数据转发至卫星回传网络。由于采集无人机和中继无人机在通信对象、飞行高度、任务目标和决策需求上均存在差异,传统同构无人机路径规划方法难以有效描述这种异构协同关系。

3、现有无人机数据采集和中继转发方法多采用启发式优化、聚类划分、轨迹规划或传统强化学习等方式进行求解。这些方法在特定场景下能够获得一定效果,但通常假设无人机角色一致、任务需求静态或通信资源充足,难以适应地面用户需求动态刷新、无人机缓存容量受限、链路质量随位置变化以及多类无人机协同转发等复杂场景。同时,普通深度强化学习方法通常将不同类型实体的观测信息直接拼接为统一向量,难以区分地面用户、采集无人机和中继无人机之间的不同语义关系,导致策略学习效率较低,泛化能力不足。

4、多智能体深度强化学习(multi-agent deep reinforcement learning,madrl)能够通过多个智能体与环境的交互学习协同决策策略,适用于动态不确定环境下的无人机集群控制。然而,在异构无人机数据摆渡任务中,若所有无人机共享同一策略网络,容易产生动作对称问题,使多个无人机执行相似行为,造成重复服务、局部聚集或中继资源利用不均。注意力机制虽然能够提升对多实体环境的表征能力,但现有注意力方法通常未显式区分不同实体类型,难以充分刻画采集无人机和中继无人机在数据采集、缓存卸载和中继会合过程中的角色差异。因此,如何设计一种能够感知无人机角色、区分多类实体语义并兼顾数据采集效率、信息时效性和安全飞行约束的智能路径规划方法,仍是亟待解决的问题。

技术实现思路

1、本发明的目的是针对异构无人机数据摆渡路径规划与中继转发决策问题,提出一种基于强化学习的异构无人机数据摆渡路径规划方法,旨在提高空天地一体化通信场景下地面用户数据采集效率、缓存转发效率和服务时效性。为了实现该目的,本发明所采用的步骤是:

2、步骤1:搭建异构无人机数据摆渡系统架构,该系统架构由地面用户、采集无人机、中继无人机、卫星回传网络和智能决策模型五部分组成,其中,地面用户产生时延敏感数据,采集无人机用于采集地面用户数据并进行缓存,中继无人机用于接收采集无人机缓存数据并转发至卫星回传网络,智能决策模型用于生成各无人机的路径规划与协同控制决策。

3、步骤2:建立异构无人机数据摆渡任务的系统模型;将任务区域划分为二维水平区域,并将任务执行过程离散为多个时间步;设任务区域为离散时间集合为则有:

4、a={(x,y)|0≤x≤xmax,0≤y≤ymax,t=0,1,...,tmax-1} (1)

5、其中,xmax和ymax分别表示任务区域的长度和宽度,t表示任务时间步数,tmax表示最大任务时间步数,每个时间步长度为δt,x和y表示二维水平任务区域中的平面坐标。

6、设采集无人机集合为中继无人机集合为全部无人机集合为对于角色为κ的无人机i,其集合为其中κ∈c,r,其三维位置qi(t)和水平位置pi(t)分别表示为:

7、

8、其中,c表示采集无人机角色,r表示中继无人机角色,hκ表示角色为κ的无人机飞行高度,hc表示采集无人机飞行高度,hr表示中继无人机飞行高度,xi(t)和yi(t)分别表示无人机i在时间步t的水平坐标;通过设置hc≠hr,使采集无人机和中继无人机位于不同高度层,以反映二者在数据采集和中继转发任务中的角色差异。

9、在每个时间步,无人机根据智能决策模型输出的连续动作生成水平速度指令;设无人机i在时间步t的速度指令为当前水平速度为vi(t),最大加速度为则其加速度更新为:

10、

11、其中,δt表示单个时间步的持续时间,表示未经约束的期望加速度,ai(t)表示经过加速度约束后的实际加速度。

12、进一步,根据受限加速度更新无人机速度和位置:

13、

14、其中,表示无人机i的最大水平速度;通过上述运动模型,能够避免无人机速度发生不符合物理约束的瞬时突变。

15、步骤3:建立通信链路模型和数据缓存模型;设地面用户集合为地面用户m在时间步t的位置为sm(t)=[xm(t),ym(t),0]t;采集无人机i与地面用户m之间的数据采集链路距离,以及中继无人机j与采集无人机i之间的数据中继链路距离分别为:

16、

17、其中,表示采集无人机到地面用户的三维距离,表示中继无人机到采集无人机的三维距离;若则采集无人机i与地面用户m之间满足数据采集距离条件;若则中继无人机j与采集无人机i之间满足数据中继距离条件;其中,rcg和rrc分别表示数据采集链路和数据中继链路的最大通信距离。

18、对于任一距离为的无线链路,采用距离相关的视距信道增益模型,链路增益g(t)及链路传输速率rχ(t)为:

19、

20、其中,β0表示参考距离处的信道增益,α表示路径损耗指数,bχ表示链路类型χ所分配的总带宽,nχ(t)表示同一发射无人机在时间步t同时服务的链路数量,ptx表示发射功率,n0表示噪声功率谱密度,χ=cg表示采集无人机至地面用户链路,χ=rc表示中继无人机至采集无人机链路,表示通用无线链路距离。

21、设表示采集无人机i与地面用户m之间的数据采集关联指示变量,表示中继无人机j与采集无人机i之间的数据中继关联指示变量;地面用户m在时间步t的剩余数据量为bm(t),采集无人机i的缓存数据量为bi(t),其最大缓存容量为采集无人机i从地面用户m采集的数据量为:

22、

23、其中,ci,m(t)表示在一个时间步内由地面用户m传输至采集无人机i的数据量,表示采集无人机i与地面用户m之间的数据采集速率。

24、采集无人机i在时间步t向中继无人机卸载的数据量表示为:

25、

26、其中,表示采集无人机i在该时间步完成的缓存卸载数据量,表示中继无人机j与采集无人机i之间的数据中继速率。

27、进一步,地面用户剩余数据量和采集无人机缓存量按照下式更新:

28、

29、其中,当bm(t+1)=0时,地面用户m的当前数据需求被视为完成服务,并进入冷却或刷新状态;当冷却结束后,该地面用户重新产生新的数据需求。

30、步骤4:建立异构无人机数据摆渡路径规划优化目标,该任务的目标是在满足无人机运动约束、通信距离约束、链路关联约束和缓存容量约束的条件下,使采集无人机采集更多地面用户数据,使中继无人机转发更多缓存数据,并降低地面用户数据年龄,设表示时间步t处于活跃状态的地面用户集合,ηm(t)表示地面用户m的数据年龄,ci,m(t)表示时间步t内采集无人机i从地面用户m采集的数据量,表示时间步t内采集无人机i向中继无人机卸载的缓存数据量,则优化目标表示为:

31、

32、其中,π表示所有无人机的轨迹控制决策集合,λc表示数据采集权重,λr表示缓存转发权重,λa表示平均数据年龄惩罚权重,λm表示最大数据年龄惩罚权重,tmax表示任务执行的最大离散时间步数,t表示离散时间步索引,表示采集无人机集合,m表示地面用户集合,i表示采集无人机索引,m表示地面用户索引,该目标函数同时考虑吞吐量、缓存卸载能力、平均信息时效性和最差用户等待时间。

33、步骤5:将异构无人机数据摆渡路径规划问题建模为分散式部分可观测马尔可夫决策过程,该过程表示为其中表示全局状态空间,表示联合动作空间,表示状态转移函数,表示奖励函数,表示观测函数,γ表示折扣因子,环境全局状态包括全部无人机的位置和速度、地面用户剩余数据量、地面用户数据年龄、地面用户活动状态以及采集无人机缓存状态,每个无人机仅根据自身局部观测独立输出连续二维动作:

34、

35、其中,ai(t)表示智能决策模型输出的归一化动作,表示由动作映射得到的速度指令,ai,x(t)和ai,y(t)分别表示归一化动作在x方向和y方向上的分量,表示无人机i的最大水平速度,链路关联不作为智能体动作直接输出,而是根据通信距离、信道增益、缓存状态和带宽共享规则自动确定。

36、步骤6:在matd3(multi-agent twin delayed deep deterministic policygradient)算法的基础上,提出一种基于强化学习的异构无人机数据摆渡路径规划方法,hrma-matd3(heterogeneous relational multi-stream attention enhanced matd3),以提升总体数据摆渡传输率并降低端到端延迟,该算法首先构建基于角色感知多流注意力的策略网络,对于每个无人机,将其观测信息按照实体类型划分为地面用户流、采集无人机流和中继无人机流,对于任一语义流,将该流中的实体特征与可学习类型嵌入uρ进行拼接,并通过独立编码器得到实体嵌入:

37、

38、其中,表示语义流ρ中实体e的编码特征,表示该语义流对应的特征编码网络,ρ表示语义流类型索引,满足ρ∈gu,c,r,其中gu,c和r分别表示地面用户流、采集无人机流和中继无人机流;e表示语义流中的实体索引,表示语义流ρ中实体e的输入特征,uρ表示语义流ρ对应的可学习类型嵌入,表示实体特征与类型嵌入的拼接结果。

39、为区分采集无人机和中继无人机的任务职责,在每个无人机的自身状态xi后引入角色编码ei,并生成注意力查询向量:

40、

41、其中,ei用于表征无人机i的角色类型,fq(·)表示查询向量生成网络,xi表示无人机i的自身状态特征,通过角色编码,使参数共享策略网络能够为采集无人机和中继无人机形成差异化决策行为。

42、进一步,对每一类语义流分别采用多头缩放点积注意力机制,对于语义流ρ的第h个注意力头,其注意力权重和上下文向量分别为:

43、

44、其中,表示无人机i对实体e的注意力权重,表示语义流ρ中第h个注意力头输出的上下文向量,和分别表示查询、键和值向量,dh表示单个注意力头的特征维度,表示无人机i在语义流ρ下可观测的实体集合,e′表示注意力权重归一化求和过程中的实体索引。

45、将各注意力头输出拼接后得到语义流上下文特征,并由共享策略网络输出无人机动作:

46、

47、其中,h表示注意力头数量,表示输出投影矩阵,fπ(·)表示策略网络,表示语义流ρ对应的上下文特征,tanh(·)用于将动作约束在[-1,1]范围内,通过该结构,采集无人机能够重点关注高数据年龄、高剩余数据量或距离较近的地面用户,同时感知可用于缓存卸载的中继无人机;中继无人机能够重点关注缓存量较高、距离较近或更需要中继服务的采集无人机。

48、步骤7:构建面向数据摆渡任务的混合奖励函数,该奖励函数由数据流奖励、连接奖励、优先级引导奖励、安全惩罚和人工势场奖励组成,用于引导采集无人机在“采集地面用户数据”和“寻找中继无人机卸载缓存”之间切换,并引导中继无人机主动靠近携带缓存数据的采集无人机,对于无人机i,其在时间步t获得的总奖励函数表示为:

49、ri(t)=ωfriflow(t)+ωlrilink(t)+ωpripri(t)-ωsrisafe(t)+ωφ(φi(t)-φi(t-1))(16)

50、其中,riflow(t)表示数据流奖励,用于鼓励采集无人机采集数据或中继无人机转发数据;rilink(t)表示连接奖励,用于鼓励有效通信链路建立;ripri(t)表示优先级引导奖励,根据地面用户数据年龄、目标距离和采集无人机缓存占用率确定优先服务目标;risafe(t)表示安全惩罚,用于约束无人机边界越界和同类无人机过度接近;φi(t)-φi(t-1)表示人工势场变化项,用于鼓励无人机向有效目标接近并避免同类无人机聚集;ωf、ωl、ωp、ωs和ωφ分别表示对应奖励项的权重。

51、步骤8:采用集中训练、分散执行的多智能体强化学习框架训练智能决策模型,在训练阶段,评价网络能够利用联合观测和联合动作评估策略质量;在执行阶段,每个无人机仅依据自身局部观测、语义流注意力特征和角色编码独立输出运动动作,设uθ表示共享策略网络,和表示无人机i对应的两个集中式评价网络,对经验回放池中采样得到的转移样本(ot,ut,rt,ot+1),目标动作和目标值计算为:

52、

53、其中,θ′表示目标策略网络参数,表示目标评价网络参数,∈表示截断高斯噪声,γ表示折扣因子,ot表示时间步t的联合观测,ut表示时间步t的联合动作,ri,t表示无人机i在时间步t获得的奖励,ot+1表示下一时间步的联合观测,表示加入截断高斯噪声后的目标动作,表示两个目标评价网络输出取较小值后得到的目标评价值,yi表示无人机i对应的目标q值,l表示评价网络编号,且l=1或l=2,通过两个评价网络取较小值,能够降低评价网络的过估计风险。

54、评价网络损失函数表示为:

55、

56、策略网络按照延迟更新方式进行优化,其损失函数表示为:

57、

58、其中,n表示无人机智能体数量,u-i,t表示除无人机i之外其他无人机的动作集合,oi,t表示无人机i在时间步t的局部观测,通过集中训练和分散执行相结合的方式,本发明在训练阶段利用全局信息提高策略学习稳定性,在执行阶段保持无人机分布式自主决策能力。