一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法及系统

本发明涉及卫星通信，具体涉及一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法及系统。

背景技术：

1、随着低轨（leo）卫星星座的快速发展，卫星通信已成为实现无缝全球覆盖和6g网络的重要组成部分。然而，地面业务需求在时空分布上极不均匀，传统固定波束分配方式易导致严重的资源错配：热点区域卫星负载过饱和，而稀疏区域资源大量闲置。跳波束（beamhopping, bh）技术凭借其在时域、频域和空域的高度灵活性，被广泛认为是解决该挑战的关键技术。

2、尽管单星跳波束研究已取得丰硕成果，但在多星重叠覆盖的密集星座场景下，现有跳波束策略大多聚焦于单星容量优化，忽略了多星重叠区域内的业务分担与协作，导致卫星负载严重失衡。此外，当leo卫星与地球静止轨道（geo）卫星共享频谱时，高密度leo波束会对高优先级geo用户造成严重的共频干扰。传统卫星通信中地面用户仅能由当前可见的单颗卫星提供服务，业务无法跨越边界。若借助激光或毫米波星间链路（isl），热点卫星可将缓存数据实时转发至负载较轻的相邻卫星，由后者代为向地面小区下发，从而在物理上打破单星服务单一区域的刚性绑定。

3、现有基于深度强化学习（drl）的调度方法大多采用集中式架构或将卫星视为独立智能体。集中式架构的动作空间随卫星数量指数增长，难以扩展；独立多智能体架构缺乏对空间动态拓扑变化的感知能力，无法有效融合邻居卫星的局部状态，导致星间流量协作盲目，全网负载难以达到真正的稳态均衡。

技术实现思路

1、本发明的目的在于，提出一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法及系统，实现星间动态拓扑感知与协同决策，在满足geo干扰约束的前提下，达成全网负载均衡与系统吞吐量最大化。

2、根据本公开实施例的第一个方面，提供了一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法，包括以下步骤：

3、构建多卫星协作低轨卫星通信系统模型，所述系统包含s颗低轨leo卫星，采用跳波束技术为k个地面小区提供服务；建立卫星与地面小区之间的信道增益模型、信号干扰噪声比模型以及低轨leo卫星对地球静止轨道geo卫星的共频干扰约束模型；

4、将所述s颗低轨leo卫星及其星间链路建模为动态无向图g(t)＝(v，e(t))，其中节点集合v表示所有低轨leo卫星，边集合e(t)表示满足激光星间链路通信约束且地面覆盖区域存在交集的卫星之间的连接关系；

5、提取每个卫星节点的局部特征向量，所述局部特征向量包括：卫星对各覆盖小区的队列状态向量、当前确定的各小区下行速率向量以及针对geo地面站的干扰评估标量；

6、通过图注意力网络gat层对所述动态无向图进行特征聚合，获得各卫星节点的隐藏层特征表示，所述隐藏层特征表示通过聚合该卫星自身及所有一跳邻居节点的特征得到，注意力系数通过softmax归一化的leakyrelu激活函数得到；

7、将各卫星节点的隐藏层特征表示拼接，构建全局网络状态表示；

8、基于actor网络将各卫星的全局状态表示映射为连续动作矩阵，所述动作矩阵对应各卫星对其覆盖区域内缓存数据向相邻卫星的卸载比例；

9、设计多目标奖励函数，用于引导卫星智能体在最大化吞吐量的同时实现负载均衡；

10、基于最大效用启发式策略进行动态波束激活，根据效用值对各卫星的可激活波束进行优先级排序，在硬件资源约束下激活最优波束集合；

11、各卫星根据所述动作矩阵执行负载卸载决策，并通过所述动态波束激活策略完成跳波束资源调度。

12、在其中一个实施例中，所述信道增益模型为：

13、

14、其中，为卫星发射天线在偏轴角处的增益，为地面接收天线增益，为自由空间传播损耗：

15、

16、其中，为卫星s与小区k之间的距离，为载波频率，c为光速；

17、所述卫星发射天线在偏轴角处的增益采用第一类贝塞尔函数近似表示为：

18、

19、其中，表示第一类n阶贝塞尔函数，u与波束宽度和偏轴角相关。

20、在其中一个实施例中，所述信号干扰噪声比模型为：

21、

22、其中，∈{0,1}为在时刻t低轨leo卫星s对小区k的波束激活状态，为在时刻t低轨leo卫星s向地面小区k发射信号的发射功率，表示低轨leo卫星s的发射信号到达地面小区k的接收功率；为加性高斯白噪声功率，为卫星集合，为所有地面小区的集合，为在时刻t低轨leo卫星j对地面小区n的波束激活状态，为在时刻t低轨leo卫星j与地面小区k之间的信道增益，为在时刻t低轨leo卫星j向地面小区n发射信号的发射功率；表示低轨leo卫星j的发射信号到达地面小区k的接收功率；

23、所述共频干扰约束模型为：

24、

25、其中，为在时刻t所有低轨leo卫星的发射信号对第k个geo地面站方向产生的聚合干扰功率，为在时刻t低轨leo卫星s对地面小区n的波束激活状态，为在时刻t低轨leo卫星s向地面小区n发射信号的发射功率，为预设干扰功率阈值。

26、在其中一个实施例中，所述隐藏层特征表示表示为：

27、

28、其中，}为卫星s的邻居节点与自身的并集，为图注意力网络层的可学习共享权重矩阵，将输入特征从维映射到维特征空间，(t) 为在时刻t卫星s对邻居卫星j的注意力系数，σ为激活函数；在时刻t卫星节点j的输入局部特征向量；

29、所述注意力系数(t)为：

30、

31、其中，为可学习的注意力向量，为对卫星s的所有邻居

32、j进行softmax归一化，leakyrelu为带泄露修正线性单元激活函数，为卫星s的输入特征经权重矩阵变换后的高维特征表示，为卫星j的输入特征经权重矩阵变换后的高维特征表示。

33、在其中一个实施例中，所述多目标奖励函数为：

34、

35、其中， 为低轨leo卫星s在时刻t+1的负载指标，定义为该卫星所分配的所有覆盖地面小区的聚合队列长度，为低轨leo卫星s覆盖的地面小区集合std( )为标准差函数，为系统吞吐量，ω1,ω2,ω3为权重系数。

36、在其中一个实施例中，所述最大效用启发式策略的效用函数为：

37、

38、其中，为低轨leo卫星s对地面小区k的当前队列长度，队列越长且信道条件越好的小区获得越高的调度优先级；为信号干扰噪声比，为低轨leo卫星s指向地面小区k的波束对geo地面站产生的共频干扰，为预设干扰功率阈值，i为指示函数，η1为平衡因子，优选的η1∈[0.5,0.6]；根据所述效用值对各卫星的可激活波束进行优先级排序，在硬件资源约束下激活最优波束集合；

39、所述硬件资源约束包括：

40、波束激活约束，且 ，其中np为单颗低轨leo卫星可同时激活的最大波束数；

41、功率约束， ，其中和分别为单颗低轨leo卫星的最小和最大总发射功率。

42、在其中一个实施例中，还包括队列更新过程：每个低轨leo卫星维护k个逻辑队列，队列状态更新方式为：

43、

44、其中，为时隙长度，为地面小区k的瞬时传输速率，为信道带宽，为新到达业务量，为通过星间链路从相邻卫星转移的业务量；当为正时表示业务量移出至其他卫星，为负时表示从其他卫星接收任务。

45、根据本公开实施例的第二个方面，提供了一种基于图注意力多智能体强化学习的多星协作跳波束资源调度系统，包括：

46、系统建模模块，构建多卫星协作低轨卫星通信系统模型，所述系统包含s颗低轨leo卫星，采用跳波束技术为k个地面小区提供服务；建立卫星与地面小区之间的信道增益模型、信号干扰噪声比模型以及低轨leo卫星对地球静止轨道geo卫星的共频干扰约束模型；

47、动态图构建模块，将所述s颗低轨leo卫星及其星间链路建模为动态无向图g(t)＝(v，e(t))，其中节点集合v表示所有低轨leo卫星，边集合e(t)表示满足激光星间链路通信约束且地面覆盖区域存在交集的卫星之间的连接关系；

48、局部特征提取模块，提取每个卫星节点的局部特征向量，所述局部特征向量包括：卫星对各覆盖小区的队列状态向量、当前确定的各小区下行速率向量以及针对geo地面站的干扰评估标量；

49、图注意力特征聚合模块，通过图注意力网络gat层对所述动态无向图进行特征聚合，获得各卫星节点的隐藏层特征表示，所述隐藏层特征表示通过聚合该卫星自身及所有一跳邻居节点的特征得到，注意力系数通过softmax归一化的leakyrelu激活函数得到；

50、全局状态构建模块，将各卫星节点的隐藏层特征表示拼接，构建全局网络状态表示；

51、动作决策模块，基于actor网络将各卫星的全局状态表示映射为连续动作矩阵，所述动作矩阵对应各卫星对其覆盖区域内缓存数据向相邻卫星的卸载比例；

52、奖励函数设计模块，设计多目标奖励函数，用于引导卫星智能体在最大化吞吐量的同时实现负载均衡；

53、波束激活模块，基于最大效用启发式策略进行动态波束激活，根据效用值对各卫星的可激活波束进行优先级排序，在硬件资源约束下激活最优波束集合；

54、调度执行模块，各卫星根据所述动作矩阵执行负载卸载决策，并通过所述动态波束激活策略完成跳波束资源调度。

55、根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法。

56、根据本公开实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于图注意力多智能体强化学习的多星协作跳波束资源调度方法。

57、本发明采用的以上技术方案，与现有技术相比，具有的优点是：

58、1.本发明通过引入图注意力网络对多卫星动态拓扑结构进行建模，利用注意力机制自适应计算星间特征聚合权重，有效捕捉了星间复杂的空间关联关系。该机制一方面通过聚合特征动态识别出业务过饱和的热点卫星，另一方面使拥塞卫星精准感知周围一跳邻居的剩余承载力与干扰状态，解决了传统方法难以处理动态变化的星间拓扑结构的问题，显著提升了全局网络状态表示的准确性，为后续星间流量卸载比例的精确决策提供了关键的状态表征支持。

59、2.本发明设计了多目标奖励函数，通过负载标准差惩罚项、负载总和惩罚项和系统吞吐量奖励项的联合优化，引导卫星智能体在最大化系统吞吐量的同时实现网络负载均衡。其中，负载标准差惩罚项驱使全网卫星负载分布趋于均匀，有效缓解了热点区域的拥塞问题；负载总和惩罚项降低了平均排队延迟；吞吐量奖励项保障了系统的整体传输效率。

60、3.本发明在效用函数中引入geo干扰惩罚项，并设置严格的干扰阈值约束，当波束对geo地面站的干扰超过预设阈值时施加严厉惩罚，确保leo卫星跳波束操作对geo系统的共频干扰始终低于预设阈值，实现了对高优先级高轨卫星用户的有效保护，为频谱共享场景下的多星协作提供了可靠的干扰管理机制。

61、4.本发明通过将多星协作跳波束调度问题分解为星间负载卸载决策与波束激活决策两个子问题，星间卸载比例连续动作矩阵直接确定，波束激活由最大效用启发式策略独立完成，避免了联合优化带来的高维动作空间爆炸问题。同时，在线执行阶段仅涉及图注意力网络的特征聚合与前馈矩阵乘法运算， 执行时间保持在2.5～4.0毫秒范围内，满足动态卫星资源调度的实时性要求。