基于流式作业调度的异构超算并行任务分配方法及系统与流程

本发明涉及异构超算系统并行任务调度，具体而言，涉及一种基于流式作业调度的异构超算并行任务分配方法及系统。

背景技术：

1、随着科学计算与工程仿真等领域的问题规模不断扩大，异构超算系统已成为支撑大规模并行计算任务的主流计算平台。在这类系统中，不同类型的计算节点在运算能力和访存特性等方面存在显著差异，同时并行任务流内部往往具有复杂的数据依赖关系。现有的任务调度方法多采用静态资源分配策略，在任务提交时即确定资源分配方案并维持至任务完成，难以根据任务执行过程中的实际资源消耗情况和节点负载变化进行动态调整。此外，现有方法在面对资源消耗预估值与实际值之间的偏差时，缺乏有效的反馈修正机制，导致调度策略难以持续适配实际运行环境。上述因素共同制约了异构超算系统的资源利用效率和作业完成性能。

技术实现思路

1、鉴于上述问题，本发明提供一种基于流式作业调度的异构超算并行任务分配方法，所述方法包括：

2、获取待调度的并行任务流，解析所述并行任务流中各任务间的数据依赖关系，构建任务依赖有向图，并采集各任务的预估资源消耗元数据；

3、基于所述任务依赖有向图和所述预估资源消耗元数据，采用预演策略生成n个可行分配方案，n≥2，每个所述可行分配方案包含各任务与异构计算节点间的映射关系以及各计算节点的资源分配策略，将所有所述可行分配方案存入备选方案池；

4、将所述备选方案池中的n个可行分配方案同时下发至n组独立的计算节点并行执行，监控各组计算节点的执行进度，将最先在关键路径上达到预设进度阈值的方案激活为主方案，其余方案终止或降级为侧翼缓冲任务；

5、在所述主方案激活后，各组计算节点按照当前连通性指数动态调节主作业通道任务与侧翼蓄滞池任务的计算资源分配比例，所述连通性指数基于计算节点的实时负载、主通道任务积压量及侧翼蓄滞池水位动态调整；

6、在任务执行过程中，实时采集各任务的实际资源消耗数据，将所述实际资源消耗数据与所述预估资源消耗元数据逐任务比对，生成各任务在其所分配计算节点类型上的个体偏差签名；

7、将所述个体偏差签名回注至对应计算节点的侧翼蓄滞池水位调节器，更新该计算节点的蓄滞比控制参数；当任务的实际执行延迟沿所述任务依赖有向图的边向后继任务传播时，计算偏差传播系数并修正所述预演策略中对应路径的权重参数；

8、定期对所有累积的个体偏差签名进行聚类分析，识别偏差模式并标记不可信预测组合，将所述不可信预测组合对应的计算节点类型从后续预演策略的候选资源池中剔除；

9、以修正后的路径权重参数和剔除后的候选资源池更新所述预演策略，用于下一轮并行任务流的调度决策。

10、此外，本发明还提供一种基于流式作业调度的异构超算并行任务分配系统，该系统用于存储并执行上述方法。

11、基于以上内容，本申请所提供的基于流式作业调度的异构超算并行任务分配方法，通过预演策略生成多个具有资源分配保守度梯度的可行分配方案并并行执行，将择优过程从静态预测转变为基于实际执行进度的动态选择，有效克服了单一静态分配方案在面对资源需求不确定性时因预估偏差而导致性能下降的问题。

12、其次，个体偏差签名回注机制使各计算节点能够根据任务实际资源消耗与预估值的偏差，实时调整蓄滞比控制参数，实现了节点级资源分配策略的自适应优化；而定期聚类分析则从全局视角识别不可信预测组合，修正预演策略中的预估数据和候选资源池，使得调度策略在持续运行中不断逼近实际计算环境的最优适配状态，显著提升了预演策略的预测准确性和调度决策的可靠性。

13、此外，连通性指数驱动的动态资源分配机制使各计算节点能够根据主通道任务积压、侧翼蓄滞池水位和实时负载的变化自主调节主作业通道与侧翼任务的计算资源比例，在保障关键路径任务执行效率的同时最大限度地利用闲置计算资源；预警路径替换机制通过偏差传播系数的实时计算提前识别存在延迟风险的路径，并从侧翼蓄滞池中选取互补性片段进行替换，有效遏制了单个任务的执行延迟沿任务依赖关系向整个任务流的扩散。

14、本申请所构建的完整的闭环反馈体系使得异构超算系统的调度策略具备了自感知、自调整和自优化的能力，在核反应堆设计计算等具有大规模并行计算需求且任务间存在复杂依赖关系的科学计算场景中，能够有效缩短并行任务流的整体完成时间，提高异构计算节点的资源利用率，降低因预估偏差导致的调度失配风险。

1.一种基于流式作业调度的异构超算并行任务分配方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述采用预演策略生成n个可行分配方案，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述候选节点序列中的节点选择进行差异化调整，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述备选方案池中的n个可行分配方案同时下发至n组独立的计算节点并行执行，监控各组计算节点的执行进度，将最先在关键路径上达到预设进度阈值的方案激活为主方案，包括：

5.根据权利要求1所述的方法，其特征在于，所述定期对所有累积的个体偏差签名进行聚类分析以标记不可信预测组合，包括：

6.根据权利要求1所述的方法，其特征在于，所述当任务的实际执行延迟沿所述任务依赖有向图的边向后继任务传播时计算偏差传播系数并修正所述预演策略中对应路径的权重参数，包括：

7.根据权利要求6所述的方法，其特征在于，当任意路径被标记为当前预警路径时，还触发如下替换操作：

8.根据权利要求1所述的方法，其特征在于，所述各组计算节点按照当前连通性指数动态调节主作业通道任务与侧翼蓄滞池任务的计算资源分配比例，包括：

9.根据权利要求1所述的方法，其特征在于，所述将所述个体偏差签名回注至对应计算节点的侧翼蓄滞池水位调节器以更新蓄滞比控制参数，包括：

10.一种基于流式作业调度的异构超算并行任务分配系统，其特征在于，包括：一个或多个处理器；机器可读存储介质，与所述处理器连接，用于存储所述处理器的可执行指令；当所述可执行指令被所述一个或多个处理器执行时，使得所述系统执行如权利要求1至9中任一项所述的基于流式作业调度的异构超算并行任务分配方法。