一种低轨卫星波束切换调度与资源分配方法及装置

摘要: 本发明涉及低轨卫星通信、跳波束技术及无线资源管理,特别是指一种低轨卫星波束切换调度与资源分配方法和装置。背景技术:1、随着移动通信技术向6g演进,非地面网络(n...
一种低轨卫星波束切换调度与资源分配方法及装置

本发明涉及低轨卫星通信、跳波束技术及无线资源管理,特别是指一种低轨卫星波束切换调度与资源分配方法和装置。

背景技术:

1、随着移动通信技术向6g演进,非地面网络(non-terrestrial network,ntn)为构建全球无缝覆盖与泛在连接提供了重要技术支撑。在基于ntn架构的星地融合网络(integrated satellite-terrestrial network,istn)中,多颗leo卫星需通过星间协作并利用跳波束(beam hopping,bh)技术实现对多个地面小区的按需覆盖。在应对时空高频变化的业务需求时,波束频繁切换带来了高昂信令开销与服务连续性下降问题,无节制波束跳变会加重网络负担,影响系统运行的稳定性;全频复用条件下相邻小区易产生同频干扰,会导致通信质量急剧恶化,制约了吞吐量的提升。因此,如何在干扰抑制、业务时延和资源受限等多重约束下,实现多卫星波束切换调度与功率分配的协同优化,是低轨卫星资源管理中亟待解决的关键问题。

技术实现思路

1、为了解决现有技术存在的传统调度策略中因波束盲目跳变导致的leo卫星通信中波束频繁切换难;以及leo卫星通信中波束频繁切换引发高信令开销、同频干扰严重及星上资源受限的技术问题,本发明实施例提供了一种低轨卫星波束切换调度与资源分配方法及装置。所述技术方案如下:

2、一方面,提供了一种低轨卫星波束切换调度与资源分配方法,该方法由低轨卫星波束切换调度与资源分配设备实现,该方法包括:

3、s1:在多leo卫星协同跳波束系统中,计算得到系统总吞吐量、系统业务状态、小区邻接矩阵、切换开销和时延公平性;

4、s2:采用联合优化模型,将所述系统总吞吐量和所述切换开销作为优化目标,结合波束激活约束、功率约束、干扰约束和时延约束构建优化问题,得到波束切换调度与功率分配联合优化问题;并对所述小区邻接矩阵与单位矩阵合并后进行归一化处理,得到归一化图传播矩阵;

5、s3:进行网络初始化,得到actor策略网络和共享的critic价值网络;将所述归一化图传播矩阵和所述系统业务状态作为输入,通过多层图卷积网络进行邻域信息聚合,并通过全连接神经网络进行非线性映射,得到波束切换调度动作、功率分配动作以及全局状态价值估计;

6、s4:基于所述actor策略网络定义的当前策略在环境中进行交互采样,并按照包含系统吞吐量、切换开销和时延公平性的奖励函数计算得到联合奖励;将一个训练周期内的交互轨迹按时序输入在线轨迹缓冲区,得到存储的交互轨迹信息;

7、s5:采用所述critic价值网络对全局状态进行价值估计,并基于所述存储的交互轨迹信息计算得到优势函数;根据所述存储的交互轨迹信息计算得到目标回报;将所述优势函数输入actor策略网络损失函数,采用ppo的剪切策略目标计算得到策略网络损失函数;通过所述critic价值网络输出的状态价值估计与所述目标回报之间的均方误差定义价值网络损失函数;

8、s6:采用所述价值网络损失函数和所述策略网络损失函数,分别对所述critic价值网络和所述actor策略网络进行训练,并根据预设的收敛条件重复执行训练过程直至策略收敛,得到最终的actor策略网络和critic价值网络;采用所述最终的actor策略网络进行在线推理部署,得到实时波束切换调度决策。

9、优选地,所述s1的在多leo卫星协同跳波束系统中,计算得到系统总吞吐量、系统业务状态、小区邻接矩阵、切换开销和时延公平性,包括:

10、s11:在多leo卫星协同跳波束系统中,通过星间链路协同的若干颗leo卫星为预设数量的地面小区提供服务,首先接收基带信号和同频干扰,根据所述基带信号和所述同频干扰,采用信干噪比模型进行计算,得到信干噪比;所述基带信号由波束发射功率、信道增益、发送信号及加性高斯白噪声共同决定,所述同频干扰包括由波束引起的星内干扰和来自其他leo卫星波束的星间干扰;

11、s12:将每个小区的到达业务,输入对应队列进行存储,得到系统业务状态;所述系统业务状态包括以所有小区队列中存储的业务量;

12、s13:通过小区间是否相邻及其距离来描述相邻小区之间存在的同频干扰关系,得到小区邻接矩阵;所述小区邻接矩阵包括表示地面小区的节点集合和表示相邻小区之间存在的同频干扰关系的边集合;

13、s14:采用所述信干噪比,进行信道容量计算,得到系统总吞吐量;所述系统总吞吐量包括各小区在对应时隙中的吞吐量;

14、s15:根据相邻时隙之间更换服务波束的地面小区数,经过波束服务切换开销模型计算,得到切换开销,所述切换开销的计算是基于开始/停止服务的小区数量和相邻时隙均有服务的情况下更换卫星的小区数量,所述切换开销包括星内切换和星间切换;

15、s16:采用各小区每个数据包在对应时隙中的平均延迟,进行时延公平性计算,得到时延公平性;所述平均延迟由所述系统业务状态和所述系统总吞吐量联合计算得出;所述时延公平性用于表达小区之间的最大平均时延差。

16、优选地,所述s2的采用联合优化模型,将所述系统总吞吐量和所述切换开销作为优化目标,结合波束激活约束、功率约束、干扰约束和时延约束构建优化问题,得到波束切换调度与功率分配联合优化问题;并对所述小区邻接矩阵与单位矩阵合并后进行归一化处理,得到归一化图传播矩阵,包括:

17、s21:采用联合优化模型,确定波束切换调度与功率分配的优化目标,得到多目标函数;所述多目标函数包括基于所述系统总吞吐量的系统吞吐量最大化和基于所述切换开销的波束服务切换开销最小化;

18、s22:采用所述多目标函数,结合波束激活约束、功率约束、干扰约束和时延约束构建优化问题,得到波束切换调度与功率分配联合优化问题;所述波束激活约束为卫星可激活波束数量限制;所述功率约束为所有激活波束的发射功率之和不高于系统总功率阈值,所述干扰约束为相邻小区不能在同一时隙被同频波束服务;所述时延约束为当前时隙的系统时延公平性不大于系统的最大时延公平性阈值;

19、s23:对所述小区邻接矩阵与单位矩阵合并后进行归一化处理,得到归一化图传播矩阵。

20、优选地,所述s3的进行网络初始化,得到actor策略网络和共享的critic价值网络;将所述归一化图传播矩阵和所述系统业务状态作为输入,通过多层图卷积网络进行邻域信息聚合,并通过全连接神经网络进行非线性映射,得到波束切换调度动作、功率分配动作以及全局状态价值估计,包括:

21、s31:将多leo卫星协同跳波束系统中的每一颗卫星建模为一个独立决策智能体,进行网络初始化,得到actor策略网络和共享的critic价值网络;所述actor策略网络为每颗卫星分别初始化,用于根据卫星局部观测输出波束切换调度动作和功率分配动作;所述critic价值网络为所有智能体共享初始化,用于根据全局图状态输出状态价值估计;

22、s32:采用一个在所述actor策略网络和所述critic价值网络中加入的图编码器,以所述归一化图传播矩阵和所述系统业务状态为输入,通过多层图卷积网络进行邻域信息聚合,得到小区节点特征拓扑聚合;所述图编码器包括在每层图卷积后引入的用于保留上一层节点表示并增强特征传播稳定性的残差连接,所述邻域信息聚合包括根据各层输入节点表示,经过节点自身特征映射参数矩阵处理和邻居聚合特征映射参数矩阵处理,得到经relu激活函数激活的节点表示;所述节点表示与残差项聚合后生成下一层节点表示;

23、s33:将所述小区节点特征拓扑聚合结果,输入全连接神经网络进行非线性映射,得到波束切换调度动作、功率分配动作以及全局状态价值估计。

24、优选地,所述s4的基于所述actor策略网络定义的当前策略在环境中进行交互采样,并按照包含系统吞吐量、切换开销和时延公平性的奖励函数计算得到联合奖励;将一个训练周期内的交互轨迹按时序输入在线轨迹缓冲区,得到存储的交互轨迹信息,包括:

25、s41:基于所述actor策略网络定义的当前策略,在环境中进行交互采样,得到联合动作;所述联合动作由所有卫星的局部动作共同组成,所述局部动作为每个卫星智能体在每个时隙内根据自身局部图观测独立生成;

26、s42:结合覆盖约束和所述相邻小区同频干扰约束对所述联合动作进行处理,得到经过约束处理的动作;

27、s43:将所述经过约束处理的动作,结合波束激活约束、功率约束、干扰约束和时延约束进行处理,完成链路容量计算和业务队列更新,得到共享奖励反馈和下一时刻全局图特征;

28、s44:采用奖励函数和共享奖励反馈,进行计算,得到每个时隙的联合奖励;所述联合奖励包括系统吞吐量、切换开销和时延公平性,所述奖励函数用于表征系统吞吐量收益、波束服务切换开销和时延公平性惩罚,所述时延公平性惩罚项用于限定时延公平性不超过时延阈值;

29、s45:将一个训练周期内的交互轨迹,按时序输入在线轨迹缓冲区,得到存储的交互轨迹信息;所述存储的交互轨迹信息包括局部观测、全局图特征、波束切换调度动作、功率分配动作、旧策略对数概率、联合奖励和下一时刻全局图特征。

30、优选地,所述s5的采用所述critic价值网络对全局状态进行价值估计,并基于所述存储的交互轨迹信息计算得到优势函数;根据所述存储的交互轨迹信息计算得到目标回报;将所述优势函数输入actor策略网络损失函数,采用ppo的剪切策略目标计算得到策略网络损失函数;通过所述critic价值网络输出的状态价值估计与所述目标回报之间的均方误差定义价值网络损失函数,包括:

31、s51:根据广义优势估计gae,采用所述critic价值网络对全局状态进行价值估计,并结合最后时刻的价值及所述存储的交互轨迹信息,进行计算,得到优势函数;所述优势函数用于衡量当前动作相对于状态平均行为的优劣;

32、s52:采用ppo的剪切策略目标,将所述优势函数输入actor策略网络损失函数,得到策略网络损失函数;所述策略网络损失函数包括当前策略与旧策略在同一动作上的概率比和剪切函数,所述剪切函数通过剪切系数控制策略更新幅度;

33、s53:根据所述存储的交互轨迹信息中的折扣奖励和价值函数,进行计算,得到目标回报;

34、s54:通过所述critic价值网络输出的状态价值估计与所述目标回报之间的均方误差,定义价值网络损失函数。

35、优选地,所述s6的采用所述价值网络损失函数和所述策略网络损失函数,分别对所述critic价值网络和所述actor策略网络进行训练,并根据预设的收敛条件重复执行训练过程直至策略收敛,得到最终的actor策略网络和critic价值网络;采用所述最终的actor策略网络进行在线推理部署,得到实时波束切换调度决策,包括:

36、s61:采用所述价值网络损失函数,通过最小化均方误差,进行所述critic价值网络的训练,得到更新后的critic价值网络;

37、s62:采用所述策略网络损失函数,并采用梯度裁剪对各actor策略网络进行多轮更新,以提高训练稳定性,得到更新后的actor策略网络;

38、s63:根据预设的收敛条件,重复执行存储的交互轨迹信息的收集、价值估计和策略网络更新的训练过程,直至策略收敛,得到最终的actor策略网络和critic价值网络;

39、s64:采用所述最终的actor策略网络,进行在线推理部署,得到实时波束切换调度决策;所述在线推理部署包括在每个时隙将当前系统业务状态和归一化图传播矩阵输入所述最终的actor策略网络,由网络前向计算输出波束切换调度动作和功率分配动作,经可行化处理后对多leo卫星协同跳波束系统进行在线实时波束切换调度。

40、另一方面,提供了一种低轨卫星波束切换调度与资源分配装置,该装置应用于低轨卫星波束切换调度与资源分配方法,该装置包括:

41、多leo卫星系统模块:用于在多leo卫星协同跳波束系统中,计算得到系统总吞吐量、系统业务状态、小区邻接矩阵、切换开销和时延公平性;

42、联合优化模块:用于采用联合优化模型,将所述系统总吞吐量和所述切换开销作为优化目标,结合波束激活约束、功率约束、干扰约束和时延约束构建优化问题,得到波束切换调度与功率分配联合优化问题;并对所述小区邻接矩阵与单位矩阵合并后进行归一化处理,得到归一化图传播矩阵;

43、网络初始化模块:用于进行网络初始化,得到actor策略网络和共享的critic价值网络;将所述归一化图传播矩阵和所述系统业务状态作为输入,通过多层图卷积网络进行邻域信息聚合,并通过全连接神经网络进行非线性映射,得到波束切换调度动作、功率分配动作以及全局状态价值估计;

44、交互采样模块:用于基于所述actor策略网络定义的当前策略在环境中进行交互采样,并按照包含系统吞吐量、切换开销和时延公平性的奖励函数计算得到联合奖励;将一个训练周期内的交互轨迹按时序输入在线轨迹缓冲区,得到存储的交互轨迹信息,

45、奖励函数表示为:

46、

47、其中,表示系统吞吐量,表示波束切换开销,表示时延公平性惩罚;

48、损失函数模块:用于采用所述critic价值网络对全局状态进行价值估计,并基于所述存储的交互轨迹信息计算得到优势函数;根据所述存储的交互轨迹信息计算得到目标回报;将所述优势函数输入actor策略网络损失函数,采用ppo的剪切策略目标计算得到策略网络损失函数;通过所述critic价值网络输出的状态价值估计与所述目标回报之间的均方误差定义价值网络损失函数;

49、推理部署模块:用于采用所述价值网络损失函数和所述策略网络损失函数,分别对所述critic价值网络和所述actor策略网络进行训练,并根据预设的收敛条件重复执行训练过程直至策略收敛,得到最终的actor策略网络和critic价值网络;采用所述最终的actor策略网络进行在线推理部署,得到实时波束切换调度决策。

50、另一方面,提供一种低轨卫星波束切换调度与资源分配设备,所述低轨卫星波束切换调度与资源分配设备包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上述低轨卫星波束切换调度与资源分配方法中的任一项所述的方法。

51、本发明实施例提供的技术方案带来的有益效果至少包括:

52、面向低轨卫星协同跳波束场景联合优化波束切换调度与功率分配,针对传统调度策略中因波束盲目跳变导致的频繁切换难题,通过在无线资源管理中引入切换开销约束,降低星上处理与星地链路的信令负荷。引入地面小区邻接关系构建干扰拓扑,并结合多智能体协同决策机制,有效抑制星内、星间干扰。