一种计算服务编排方法、电子设备及超节点服务器与流程

本申请涉及计算机，尤其涉及一种计算服务编排方法、电子设备及超节点服务器。

背景技术：

1、算力网络（computing power network，cpn）是以算为中心、网为根基、智为引擎的新型信息基础设施，可实现计算、网络与存储资源的本地融合，通过统一编排、动态协作，为预训练语言模型（如，大型语言模型（large language model，llm））智能计算场景下的模型服务提供可靠支撑。

2、随着预训练语言模型异构性的不断增强及工作负载波动性的持续加大，相关技术中基于静态配置和非自适应业务流程的cpn架构适应性有限，难以实现智能的、自进化的优化。例如，相关技术中的cpn架构以面向资源或面向任务的单维编排优化为主，导致无法兼顾预训练语言模型服务的适应性，并且计算与存储耦合效率低，影响吞吐量与动态调度效率，难以适配llm规模化部署的高性能需求。

技术实现思路

1、本申请提供了一种计算服务编排方法、电子设备及超节点服务器，以至少解决相关技术中无法兼顾预训练语言模型服务的适应性，影响吞吐量与动态调度效率，难以适配llm规模化部署的高性能需求的问题。

2、本申请提供了一种计算服务编排方法，包括：

3、根据服务作业请求确定各个待调度任务；

4、对于每个待调度任务，根据待调度任务的任务资源需求和任务粒度调度需求，结合集群中每个节点分别对应的节点资源状态信息，确定与待调度任务对应的目标节点；

5、通过目标节点运行待调度任务，并将待调度任务运行过程中产生的数据缓存至相应的缓存节点上。

6、本申请还提供了一种计算服务编排装置，包括：

7、第一确定模块，用于根据服务作业请求确定各个待调度任务；

8、第二确定模块，用于对于每个待调度任务，根据待调度任务的任务资源需求和任务粒度调度需求，结合集群中每个节点分别对应的节点资源状态信息，确定与待调度任务对应的目标节点；

9、运行模块，用于通过目标节点运行待调度任务，并将待调度任务运行过程中产生的数据缓存至相应的缓存节点上。

10、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种计算服务编排方法的步骤。

11、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种计算服务编排方法的步骤。

12、本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种计算服务编排方法的步骤。

13、本申请还提供了一种超节点服务器，包括：存储器和多个通过互连协议连接的计算节点；

14、存储器中存储有计算机程序，计算机程序被至少一个计算节点执行时，使超节点服务器实现如上述的计算服务编排方法。

15、由上述技术方案可以看出，本申请的有益效果在于：

16、本申请实施例提供了一种计算服务编排方法，包括：根据服务作业请求确定各个待调度任务；对于每个待调度任务，根据待调度任务的任务资源需求和任务粒度调度需求，结合集群中每个节点分别对应的节点资源状态信息，确定与待调度任务对应的目标节点；通过目标节点运行待调度任务，并将待调度任务运行过程中产生的数据缓存至相应的缓存节点上。

17、通过本申请，由于在获取到服务作业请求后可以根据该服务作业请求确定出各个待调度任务，并且针对每一个待调度任务，确定出与待调度任务对应的任务资源需求和任务粒度调度需求，然后进一步结合集群中每个节点的节点资源状态信息，确定出与每一个待调度任务各自对应的目标节点，从而将一个服务作业请求放置在多个目标节点上运行，并且对于待调度任务运行过程中产生的数据，将这些数据缓存至对应的缓存节点上。本申请在进行计算服务编排时，从任务和资源多个维度进行编排，并且通过目标节点进行任务计算，通过缓存节点进行数据存储，不仅可以更好地兼顾预训练语言模型的服务适应性，而且还可以提高吞吐量与动态调度效率，从而满足预训练语言模型规模化部署的高性能需求。

18、此外，本申请还针对计算服务编排方法提供了相应的实现电子设备及超节点服务器，进一步使得所述方法更具有实用性，所述电子设备具有相应的优点。

1.一种计算服务编排方法，其特征在于，包括：

2.根据权利要求1所述的计算服务编排方法，其特征在于，根据所述待调度任务的任务资源需求和任务粒度调度需求，结合集群中每个节点分别对应的节点资源状态信息，确定与所述待调度任务对应的目标节点，包括：

3.根据权利要求2所述的计算服务编排方法，其特征在于，从所述候选节点组合中确定出满足所述任务资源需求、所述计算粒度需求和所述混合粒度需求的目标节点，包括：

4.根据权利要求3所述的计算服务编排方法，其特征在于，所述预设评分函数为基于计算匹配度、通信成本、数据亲和等级、任务优先级惩罚参数以及资源碎片化影响参数中的至少两种建立的。

5.根据权利要求2所述的计算服务编排方法，其特征在于，所述节点资源状态信息包括：节点计算资源、节点网络状态以及节点存储信息与数据位置信息中的一种或多种的组合。

6.根据权利要求2所述的计算服务编排方法，其特征在于，从所述候选节点组合中确定出满足所述任务资源需求、所述计算粒度需求和所述混合粒度需求的目标节点，包括：

7.根据权利要求6所述的计算服务编排方法，其特征在于，从各个所述第一节点中确定出计算能力最强的节点作为目标节点，包括：

8.根据权利要求1至7任意一项所述的计算服务编排方法，其特征在于，将所述待调度任务运行过程中产生的数据缓存至相应的缓存节点上，包括：

9.根据权利要求8所述的计算服务编排方法，其特征在于，还包括：

10.一种电子设备，其特征在于，包括：

11.一种超节点服务器，其特征在于，包括：存储器和多个通过互连协议连接的计算节点；