巨型星座分布式任务调度优化方法与流程

本发明涉及多卫星规划调度，尤其涉及一种巨型星座分布式任务调度优化方法、系统、计算机可读存储介质及计算机设备。

背景技术：

1、随着全球通信需求的不断增长，传统地面网络已难以满足日益复杂的应用场景，尤其是在偏远地区、海洋及空中等特殊环境下的网络覆盖需求。卫星互联网技术迅速崛起，成为全球网络连接的重要补充方式。巨型混合星座，即由低轨卫星（leo）、中轨卫星（meo）以及高轨卫星（geo）协同组成的网络，因其具有广覆盖、低延迟和高可靠性的特点，正在成为未来通信发展的重要方向。

2、在巨型星座系统中，任务调度和资源管理是关键问题之一。由于卫星节点分布广泛、资源有限且动态变化，传统的调度算法面临诸多挑战，难以有效满足系统的实时性与资源利用效率要求。现有的任务调度方法多采用集中式架构，如经典启发式算法（遗传算法、蚁群算法等）或基于整数规划的集中式求解。这些方法在小规模或复杂度相对较低的系统中效果较好，但当应用于巨型星座时，便暴露出诸多不足。随着卫星数量和任务量的增长，集中式方法需要综合考量所有卫星与资源的全局信息，导致计算量呈指数级上升，从而带来计算开销过大和实时性难以满足的问题。此外，集中式调度的决策依赖于大量信息的汇总与回传，容易引发任务响应延迟过高的现象。在扩容时，集中式架构也难以平滑过渡，一旦中心节点出现故障或过载，系统的整体调度将面临较大风险，缺乏足够的容错与扩展能力。

3、近年来，深度强化学习（drl）因其自适应学习能力和决策优化能力，逐渐成为解决复杂调度问题的有力工具。然而，现有的drl模型在面对复杂的卫星网络环境时，仍存在训练效率低、泛化能力不足等问题，难以直接应用于巨型星座的分布式任务调度。

4、因此，亟需一种能够有效应对巨型星座任务调度挑战的新方法，以提升任务调度的效率和资源利用的优化程度。

技术实现思路

1、为了解决现有技术问题，本发明提出了一种巨型星座分布式任务调度优化方法、装置、计算机可读存储介质及计算机设备，通过创新的深度强化学习算法和高效的分布式架构设计，实现了高效、智能且可靠的巨型星座任务调度。

2、为了实现上述技术效果，第一方面，本发明提供了一种巨型星座分布式任务调度优化方法，包括有：

3、步骤s1：初始化评估网络、策略网络和目标网络的参数，并定义一个用于将低维连续潜变量映射至离散卫星编号的映射函数，以及初始化一个由多个粒子组成的粒子集，其中每个所述粒子代表一调度决策在连续空间中的位置；

4、步骤s2：收集当前调度环境的状态信息，所述状态信息包括当前任务的任务特征、卫星星座实时的卫星资源状态特征以及反映历史调度情况的时序上下文特征；

5、步骤s3：对所述任务特征、所述卫星资源状态特征以及所述时序上下文特征进行融合处理，得到融合特征，并根据所述融合特征和所述策略网络，生成一个用于指导所述粒子集优化的决策分布；

6、步骤s4：基于所述决策分布，通过粒子优化算法更新所述粒子集中各所述粒子的位置，并通过所述映射函数将更新后的粒子位置映射为对应的卫星编号，作为任务调度动作；

7、步骤s5：执行所述任务调度动作，观察执行后产生的调度结果和奖励，并将包含当前状态、执行动作、所述奖励和下一状态的转移元组存储至样本集；

8、步骤s6：从所述样本集中随机抽取所述转移元组，基于所述目标网络计算各所述调度决策的目标值，并根据所述目标值更新调整所述评估网络的参数；根据各个所述调度决策的优势和策略的多样性约束更新所述策略网络的参数；以及按照预设比例将所述评估网络的参数融入所述目标网络的参数中，使得所述目标网络逐渐接近所述评估网络；

9、步骤s7：判断是否满足预设的迭代停止条件，若是则输出训练完成的策略网络；否则重复执行步骤s2至s6，直到满足预设的迭代停止条件，输出训练完成的策略网络，用于对实际卫星任务进行调度。

10、进一步地，所述步骤s1中，定义的所述映射函数为：

11、

12、其中，为连续潜变量，其维度

d满足，

n为卫星总数；为可学习投影矩阵，用于将所述连续潜变量

x映射至卫星特征空间，为偏置项。

13、进一步地，所述状态信息由所述任务特征、卫星资源状态特征以及时序上下文特征拼接构成，其中，所述任务特征由表示任务优先级的优先级向量、归一化后的资源需求向量以及类型嵌入向量拼接而成；所述卫星资源状态特征由反映集群平均利用率的资源利用率向量、反映节点间负载差异的负载均衡度向量以及标识各卫星实时通信能力的通信窗口向量拼接而成；所述时序上下文特征由记录历史调度动作的调度历史序列、记录历史调度结果的成功率序列以及记录历史资源利用变化趋势的资源时序窗口序列拼接而成。

14、进一步地，所述对所述任务特征、所述卫星资源状态特征以及所述时序上下文特征进行融合处理，得到融合特征，具体包括：

15、通过时序特征提取模块对所述时序上下文特征进行编码，得到捕获了长程依赖关系的时序特征向量；

16、通过静态特征门控模块基于所述任务特征和所述卫星资源状态特征，生成用于控制信息流动的门控向量；所述门控向量基于以下公式计算：其中，为激活函数，为可学习参数矩阵，为所述任务特征，为所述卫星资源状态特征；

17、通过动态加权融合模块根据所述门控向量，对所述时序特征向量与由所述任务特征和所述卫星资源状态特征构成的静态特征进行加权融合，得到融合特征；其中，所述融合特征基于以下公式计算：；其中，表示逐元素乘法，m为多层感知机，为所述时序特征向量。

18、进一步地，所述决策分布是由一基分布和所述策略网络的输出结合构造而成的分段连续分布，其表示为：

19、

20、其中，为所述基分布，为所述策略网络的输出。

21、进一步地，所述步骤s4中，所述粒子优化算法的计算公式为：

22、；

23、其中，为学习率，为可微替代分布，为用于维持粒子多样性的正定核函数，为用于纠正分布偏差的重要性权重，为梯度运算，为所述粒子集中第i个粒子在连续空间中的位置向量。

24、进一步地，所述步骤s5中观察到的所述奖励由一个多目标奖励函数计算得到，所述多目标奖励函数表示为：

25、；

26、其中，为各子奖励的权重系数，为基于任务优先级和调度成功率计算的任务调度奖励，为基于卫星资源利用率与资源碎片率计算的资源优化奖励，为基于资源利用率标准差计算的负载均衡奖励，为基于任务等待时间和失败情况计算的实时延迟惩罚。

27、进一步地，所述任务调度奖励基于以下公式计算：

28、；其中，

n为任务总数，表示任务是否被调度的指示函数，为任务优先级向量，和分别为优先级和成功调度的奖励系数，为任务成功指示函数；

29、所述资源优化奖励基于以下公式计算：

30、；其中，为卫星的资源综合利用率，为资源碎片惩罚系数，为卫星的资源碎片率；

31、所述负载均衡奖励基于以下公式计算：；其中，为资源类型的集群利用率标准差，为平滑项；

32、所述实时延迟惩罚基于以下公式计算：

33、；其中，为任务的等待时间，为任务执行时长，为等待时间惩罚系数，为失败惩罚基准系数，为指数惩罚增长系数，为任务失败指示函数。

34、进一步地，所述步骤s6中，根据所述目标值更新调整所述评估网络的参数，包括：

35、所述评估网络采用独立参数化的双q网络结构，以时间差分误差的均方误差作为损失函数，通过最小化双q网络的损失之和来更新参数，其中用于计算所述均方误差的目标值由所述目标网络计算得出，其计算方式为：；

36、其中，为即时奖励，为折扣因子，为所述目标网络的输出，为下一状态，为在下一状态下的调度动作；

37、根据各个所述调度决策的优势和策略的多样性约束更新所述策略网络的参数，包括：

38、所述策略网络通过最小化组合损失函数来更新参数，所述组合损失函数由策略梯度项和熵正则化项加权求和构成，表示为：

39、；

40、其中，表示在状态s下采用动作z的概率，为优势函数，用于衡量在状态s下采取动作z的相对优势，表示策略的熵，为用于平滑探索与利用的权重系数。

41、进一步地，步骤s7中，所述迭代停止条件为：

42、连续

n次迭代的平均奖励变化小于预设的收敛阈值；或者

43、当前迭代轮次达到预设的最大迭代轮次。

44、第二方面，本发明还提供了一种巨型星座分布式任务调度优化系统，包括有：

45、初始化模块，用于初始化评估网络、策略网络和目标网络的参数，并定义一个用于将低维连续潜变量映射至离散卫星编号的映射函数，以及初始化一个由多个粒子组成的粒子集，其中每个所述粒子代表一调度决策在连续空间中的位置；

46、获取模块，用于收集当前调度环境的状态信息，所述状态信息包括当前任务的任务特征、卫星星座实时的卫星资源状态特征以及反映历史调度情况的时序上下文特征；

47、融合生成模块，用于对所述任务特征、所述卫星资源状态特征以及所述时序上下文特征进行融合处理，得到融合特征，并根据所述融合特征和所述策略网络，生成一个用于指导所述粒子集优化的决策分布；

48、更新与映射模块，用于基于所述决策分布，通过粒子优化算法更新所述粒子集中各所述粒子的位置，并通过所述映射函数将更新后的粒子位置映射为对应的卫星编号，作为任务调度动作；

49、执行模块，用于执行所述任务调度动作，观察执行后产生的调度结果和奖励，并将包含当前状态、执行动作、所述奖励和下一状态的转移元组存储至样本集；

50、训练与参数更新模块，用于从所述样本集中随机抽取所述转移元组，基于所述目标网络计算各所述调度决策的目标值，并根据所述目标值更新调整所述评估网络的参数；根据各个所述调度决策的优势和策略的多样性约束更新所述策略网络的参数；以及按照预设比例将所述评估网络的参数融入所述目标网络的参数中，使得所述目标网络逐渐接近所述评估网络；

51、输出模块，用于判断是否满足预设的迭代停止条件，若是则输出训练完成的策略网络；否则返回所述获取模块重复执行，直到满足预设的迭代停止条件，输出训练完成的策略网络，用于对实际卫星任务进行调度。

52、第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

53、第四方面，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中所述方法的步骤。

54、与现有技术相比，本发明至少包括以下有益效果：

55、本发明通过引入高效的时序特征编码器和先进的策略探索机制，能够精准地捕获历史状态信息以及动态环境的变化。这种能力使得算法在面对复杂多变的卫星网络环境时，能够迅速做出适应性的调整，从而显著提升对动态环境的适应能力。这种高效的适应性对于卫星网络这种高度动态的系统尤为重要，因为卫星的轨道位置、通信链路状态以及任务需求都在不断变化。

56、本发明设计了一种综合考虑任务成功率、资源利用率、负载均衡和实时延迟的多目标奖励函数。这种多目标奖励函数的设计，使得算法能够在多个关键性能指标之间实现良好的平衡。在实际应用中，任务成功率直接影响到卫星网络的服务质量，资源利用率关系到系统的整体效率，负载均衡则确保了系统的稳定运行，而实时延迟则影响到用户体验。通过这种多目标优化，算法能够在一个综合的框架下，同时优化这些关键指标，从而实现更优的任务调度策略。

57、本发明还通过动态奖励函数调整策略，进一步增强了算法的鲁棒性和稳定性。在实际的卫星网络环境中，可能会遇到各种不确定性和干扰，例如通信链路的中断、卫星故障等。通过动态奖励函数，算法能够在训练过程中模拟这些不确定性，从而提高在实际运行中的抗干扰能力。同时，动态奖励函数能够根据环境的变化实时调整奖励信号，使得算法能够更好地适应不同的场景，进一步优化调度策略。