一种深度强化学习的高低轨卫星动态分流方法及系统与流程

本发明涉及卫星分流，具体而言，涉及一种深度强化学习的高低轨卫星动态分流方法及系统。

背景技术：

1、随着卫星通信网络的快速发展，高低轨卫星协同组网已成为构建全球无缝覆盖、空天地一体化信息网络的重要技术路径。

2、现有技术中，公告号为cn121887263a的文件公开了“一种基于混合强化学习的低轨卫星网络任务调度方法”，通过多因素动态加权排序策略对任务进行优先级排序，构建包含节点资源状态、任务特性和历史性能的多维特征向量，采用a2c强化学习架构实现调度决策优化。本发明能够在动态变化的卫星网络环境中，使系统根据实时负载智能调整调度重心，有效提高任务成功率，特别在高负载时更倾向于保障高优先级任务，降低平均任务延迟并优化卫星能量消耗。

3、公告号为cn121308819a的文件公开了“一种基于多智能体强化学习的分段式卫星路由方法及系统”，步骤1，获取卫星网络结构数据，构建静态拓扑模型；步骤2，基于静态拓扑模型对卫星网络进行分簇；步骤3，基于分簇结果，获取最优边缘节点，制定簇间路由策略；步骤4，基于静态拓扑模型对每颗卫星分别构建卫星智能网络，得到对应的卫星状态信息；步骤5，基于最优边缘节点和卫星状态信息，制定簇内路由策略。

4、综上，现有技术虽然通过分簇与分段路由降低了星上计算复杂度，并利用混合强化学习结合启发式策略提升了任务调度效率，能够根据实时负载智能调整调度重心，有效提高任务成功率、降低平均延迟并优化卫星能量消耗，同时通过基于纬度的动态分簇与多路径重路由增强了路由稳定性；但是现有技术存在决策架构中心化导致终端自主能力缺失、端到端决策时延高且抗干扰能力弱的问题，且资源分配粒度粗糙，仅以带宽或时延单一指标分流，缺乏业务优先级与链路多维状态的联合优化，易造成资源错配，同时决策仅基于瞬时状态，缺乏对低轨链路时变趋势的预判，过顶期间频繁切换引发业务抖动，最后优化目标固定，无法根据电磁干扰动态调整保障侧重，极端环境下核心业务可靠性不足。

技术实现思路

1、本发明的目的是提供一种深度强化学习的高低轨卫星动态分流方法及系统，来解决上述背景技术所提出的问题。

2、本发明通过以下技术方案实现：

3、第一方面，一种深度强化学习的高低轨卫星动态分流方法，包括：

4、实时采集高轨卫星链路与低轨卫星链路的瞬时基础参数，同时获取当前待调度的各业务数据流的优先级标签与实时流量需求；

5、调取预设周期内的历史链路状态序列，通过轻量化时序预测模型生成未来多个决策周期的高低轨链路状态预测序列，将实时状态参数与状态预测序列拼接，构成深度强化学习模型的输入状态集合；

6、深度强化学习模型根据当前链路的电磁干扰等级动态调整各业务流的优先级权重，输出各业务流在高低轨链路上的流量分配比例，形成路由策略矩阵，并依据路由策略矩阵执行业务分流调度；

7、对比当前周期与上一周期的路由策略矩阵差异度，结合预设的平滑约束规则对分流策略进行校验后落地执行，并将本轮传输过程中的链路状态与业务传输结果存入历史数据集。

8、优选的，所述动态调整各业务流的优先级权重包括：

9、

10、式中，为第i条业务流在当前电磁干扰等级下的动态优先级权重，为当前决策周期归一化后的电磁干扰等级，为第i条业务流的基准优先级权重，为第i条业务流的权重调整系数。

11、优选的，还包括计算单条业务流的多维qos效用值，作为整体效用评估的基础计算单元：

12、

13、式中，为第i条业务流的多维qos效用值，为第i条业务流实际获得的传输带宽，为第i条业务流实际获得的往返时延，为第i条业务流实际获得的误码率，为第i类业务的带宽达标阈值，为第i类业务的时延容忍阈值，为带宽收益维度的效用系数，为时延损失维度的效用系数，为误码损失维度的效用系数。

14、优选的，所述深度强化学习模型为深度q网络模型，基于所述深度q网络模型进行价值迭代与最优策略推理：

15、

16、式中，为状态s下执行动作a的最优动作价值，为当前状态，为当前动作，为下一时刻状态，为下一时刻可选动作，为状态s下执行动作a获得的即时奖励，为折扣因子，为全部可选动作集合，为q 函数贝尔曼方程。

17、优选的，所述各业务数据流的优先级标签划分为三级，包括对应应急控制指令的最高优先级、对应视频传输的次高优先级以及对应传感器遥测数据的普通优先级；链路状态参数由终端侧的信道感知模块按固定决策周期采样获取，采样周期与决策周期保持一致。

18、优选的，所述对比当前周期与上一周期的路由策略矩阵差异度包括：

19、调取上一决策周期最终落地执行的路由策略矩阵，与当前深度强化学习模型输出的初始路由策略矩阵进行逐元素差值计算，范数量化两个矩阵的整体差异程度，将计算得到的差异值与预设的平滑阈值进行比对；

20、若差异值未超出阈值，则判定当前策略符合平滑约束要求，进行执行；若差异值超出阈值，则按照业务优先级从低到高的顺序，逐次压缩普通优先级业务与次高优先级业务的分配比例变动幅度。

21、优选的，还包括即时奖励的量化计算，包括：

22、

23、式中，为当前决策周期在状态下执行动作获得的即时奖励，为当前决策周期的状态，为当前决策周期的路由策略矩阵，为上一决策周期的路由策略矩阵，为策略切换惩罚系数，为当前状态下执行当前策略的系统总qos效用值。

24、优选的，还包括将本轮决策对应的完整输入状态集合、校验后的最终路由策略矩阵、计算得到的即时奖励值，以及本决策周期结束后统计得到的高低轨链路实际传输带宽、往返时延、误码率与各类业务的实际送达率等真实传输结果，根据统一时间戳进行关联封装后写入本地历史数据集。

25、优选的，还包括基于本地历史数据集对深度q网络模型进行离线迭代训练，按时序顺序抽取历史决策样本代入价值迭代流程更新网络权重，逐步优化模型在不同电磁干扰等级与链路时变场景下的决策精度与平稳性，训练过程保留模型的整体决策框架不变，仅更新网络内部参数，训练收敛后的模型替换原有模型。

26、第二方面，本发明还提供了一种深度强化学习的高低轨卫星动态分流系统，用于执行上述的一种深度强化学习的高低轨卫星动态分流方法，包括：

27、数据处理模块，被配置为实时采集高轨卫星链路与低轨卫星链路的瞬时基础参数，同时获取当前待调度的各业务数据流的优先级标签与实时流量需求；调取预设周期内的历史链路状态序列，通过轻量化时序预测模型生成未来多个决策周期的高低轨链路状态预测序列，将实时状态参数与状态预测序列拼接，构成深度强化学习模型的输入状态集合；深度强化学习模型根据当前链路的电磁干扰等级动态调整各业务流的优先级权重，输出各业务流在高低轨链路上的流量分配比例，形成路由策略矩阵，并依据路由策略矩阵执行业务分流调度；

28、执行判断模块，被配置为对比当前周期与上一周期的路由策略矩阵差异度，结合预设的平滑约束规则对分流策略进行校验后落地执行，并将本轮传输过程中的链路状态与业务传输结果存入历史数据集。

29、本发明的技术方案至少具有如下优点和有益效果：

30、本发明通过终端侧边缘智能决策架构与深度强化学习基础决策的结合，能够将分流决策下沉至终端本地，减少对地面管控中心与星上处理节点的依赖，大幅降低端到端决策时延并有效避免管控链路中断导致的策略瘫痪风险；在此基础上，通过链路时变预判前置引导，使模型具备前瞻规划能力，能够依据链路变化趋势提前调整分流策略，显著减少低轨过顶期间的频繁切换，保障业务传输的连续性。

31、同时，通过优先级权重自适应调整，实现优化目标随电磁环境动态变化，在强干扰场景下优先保障核心业务，在常态下提升整体资源利用率，实现差异化服务质量的精细保障；

32、此外，通过策略切换平滑约束，从优化根源上抑制策略震荡，进一步降低业务时延抖动，能够在复杂电磁环境下实现精细化、自适应、高平稳的动态分流，提升了终端通信的整体效能与核心业务的可靠性。