一种异构算力集群跨节点任务迁移与资源复用方法与流程

本发明涉及计算机系统资源管理，具体涉及一种异构算力集群跨节点任务迁移与资源复用方法。

背景技术：

1、随着人工智能计算、高性能计算及云边协同计算的发展，计算集群中逐渐引入cpu、gpu、fpga、dpu、智能网卡及专用加速器等多种类型的异构算力资源。不同类型资源在计算方式、存储访问、通信接口、驱动管理及调度粒度等方面存在差异，集群管理系统通常需要根据任务资源需求、节点负载状态及资源可用情况，对任务进行调度、迁移或重新部署。

2、现有异构算力集群中的任务迁移通常采用容器迁移、虚拟机迁移、进程检查点恢复或设备上下文迁移等方式。上述方式能够保存部分运行状态并恢复任务执行，但对于同时依赖多个异构资源协同工作的任务，迁移过程中仍需处理多个资源之间的调用关系、数据交换关系及资源依赖关系。若上述关联关系在迁移过程中不能得到有效保持，迁移后容易出现资源引用失效、通信关系变化、同步异常或任务恢复失败等问题。此外，现有资源管理方式主要依据资源类型、资源总量或节点负载进行资源调度，通常缺乏对任务所依赖资源能力及其关联关系的统一描述。任务迁移完成后，源节点释放的资源一般仅作为普通可用资源重新参与调度，后续具有相似资源需求的任务仍需重新进行资源匹配和关联关系建立，增加了资源管理和迁移处理开销。

3、因此，在异构算力集群环境下，如何在任务迁移过程中保持任务与异构资源之间的关联关系，并提高迁移后资源再次利用效率，是现有技术需要进一步解决的问题。

技术实现思路

1、本申请提供了一种异构算力集群跨节点任务迁移与资源复用方法，旨在解决现有任务迁移过程中异构资源能力难以统一映射、任务与资源之间引用关系难以准确恢复、关联资源约束易丢失以及迁移后资源复用效率较低的问题，提高任务跨节点迁移的连续性和资源重构准确性，并降低后续任务迁移过程中的资源识别、绑定判断和重构开销。

2、本申请公开了一种异构算力集群跨节点任务迁移与资源复用方法，包括：

3、获取源节点资源对象信息以及资源对象之间的通信链路信息，根据资源对象的功能接口信息、资源管理粒度以及资源单元之间的分配依赖关系、调度依赖关系或释放依赖关系，确定能够独立执行或整体执行分配、调度和释放的功能单元，并根据所述功能单元生成源端资源能力切片集合；

4、获取待迁移任务对应的运行状态数据，根据所述运行状态数据中的资源标识信息，在所述源端资源能力切片集合中确定待迁移任务关联的资源能力切片，并建立任务能力切片集合；根据所述任务能力切片集合以及所述运行状态数据中记录的资源调用过程、资源访问过程和资源等待过程，构建包括调用关系、数据交换关系和资源依赖关系的能力关联约束图，并为所述能力关联约束图中的有向边配置用于表征调用频率、带宽需求或同步延迟需求的边约束属性；

5、根据所述能力关联约束图中任务能力切片节点之间的连通关系以及调用关系对应有向边的调用频率参数，确定待绑定候选子图；根据所述待绑定候选子图中的资源依赖关系及基于所述源节点资源对象之间的通信链路信息确定的物理通信路径，确定满足绑定条件的能力绑定单元；将所述待绑定候选子图中的各有向边及其边约束属性关联至所述能力绑定单元，并在存在共享通信节点时，将所述共享通信节点的节点标识和/或当前配置参数作为绑定约束信息关联至所述能力绑定单元；

6、获取候选目标节点的资源对象信息及通信链路信息，采用与生成源端资源能力切片集合相同的处理方式生成目标资源能力切片集合，根据所述任务能力切片集合及所述能力绑定单元确定迁移对象集合，并为所述迁移对象集合匹配目标资源能力切片；在所述迁移对象集合完成目标资源能力切片匹配时，将对应的候选目标节点确定为目标节点，在所述迁移对象集合包括能力绑定单元时，根据所述能力绑定单元的运行关联关系、边约束属性及绑定约束信息生成运行时物理镜像，并构建对应的目标端能力绑定单元；根据所述目标资源能力切片及所述目标端能力绑定单元建立迁移对象映射关系，并在生成有所述运行时物理镜像时结合所述运行时物理镜像，生成目标能力重构方案；

7、根据所述目标能力重构方案在目标节点执行能力重构迁移，并在生成有所述运行时物理镜像的情况下依据所述运行时物理镜像恢复目标端能力绑定单元的运行上下文；依据所述迁移对象映射关系，更新所述任务能力切片中的能力引用标识，以恢复待迁移任务运行，在确认待迁移任务于目标节点正常运行后，解除所述任务能力切片与源端资源能力切片之间的引用关系，更新目标资源能力切片的占用状态及源端资源能力切片的可复用状态，并在生成有所述运行时物理镜像的情况下生成可复用的能力结构模板，以支持后续待迁移任务的资源能力切片复用。

8、本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

9、1)通过将异构算力资源划分为资源能力切片，并记录能力类型、资源管理信息和资源关联关系，使不同类型异构资源能够按照统一能力描述方式参与任务迁移和资源调度，提高异构资源管理一致性。

10、2)通过根据待迁移任务运行状态生成任务能力切片，并构建能力关联约束图，明确任务能力切片之间的调用关系、数据交换关系和资源依赖关系，降低迁移过程中资源关联关系丢失导致的恢复异常风险。

11、3)通过基于能力关联约束图确定能力绑定单元，将满足关联约束的任务能力切片作为整体迁移对象，使目标节点能够依据绑定关系恢复对应资源承载关系和通信约束关系，提高迁移后运行连续性。

12、4)通过生成目标能力重构方案，并依据所述方案恢复运行时物理镜像、更新能力引用标识和恢复执行上下文，使任务能够在目标节点重新建立与异构资源之间的能力引用关系，提高迁移恢复一致性。

13、5)通过释放源端资源能力切片并生成能力结构模板，使后续待迁移任务能够复用可用资源能力切片和已形成的能力结构，减少重复资源识别、绑定判断和重构过程，提高异构算力集群资源复用效率。

14、综上，本申请能够实现异构算力集群中任务迁移过程的资源能力统一描述、关联约束保持、目标能力重构以及迁移后资源复用，提高任务迁移可靠性和资源利用效率。

1.一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，该方法包括：

2.根据权利要求1所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，根据所述功能单元生成源端资源能力切片集合，包括：

3.根据权利要求2所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，所述资源能力切片至少包括能力类型标识、能力参数、资源关联标识及切片粒度标识，其中：

4.根据权利要求2所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，构建包括调用关系、数据交换关系和资源依赖关系的能力关联约束图，包括：

5.根据权利要求4所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，构建能力关联约束图，还包括：

6.根据权利要求5所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，确定满足绑定条件的能力绑定单元，包括：

7.根据权利要求6所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，生成目标能力重构方案，包括：

8.根据权利要求7所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，根据所述目标能力重构方案在目标节点执行能力重构迁移，并在生成有所述运行时物理镜像的情况下依据所述运行时物理镜像恢复目标端能力绑定单元的运行上下文，包括：

9.根据权利要求8所述的一种异构算力集群跨节点任务迁移与资源复用方法，其特征在于，以支持后续待迁移任务的资源能力切片复用，包括：