一种异构算力资源统一管控调度系统的制作方法

本发明属于异构计算资源调度，具体涉及一种异构算力资源统一管控调度系统。

背景技术：

1、随着大规模语言模型和多模态模型的广泛应用，ai推理服务对异构算力资源（gpu、cpu、fpga与dcu等）的调度管理提出了更高要求。

2、现有异构算力调度系统通常基于任务的硬件资源需求（例如cpu核数、显存容量、浮点运算能力）进行资源分配和负载均衡，其调度决策依据主要来源于资源监控数据和历史负载统计，此类方案在多模型混合部署场景下存在以下不足：第一，不同推理请求在逻辑复杂度、上下文依赖长度、结果确定性要求等方面存在显著差异，这些差异直接影响了模型推理的计算路径、资源消耗和执行质量，但现有调度系统缺乏从请求文本中提取上述语义特征的手段，导致调度决策与请求的实际执行需求脱节；第二，传统sla以响应时间、吞吐量等系统性能指标为约束目标，而在ai推理场景中，用户实际关注的是推理结果的准确性、逻辑一致性等语义质量，当调度系统无法感知语义质量劣化时，即便sla在系统性能层面满足要求，用户体验仍可能无法得到保障；第三，当已分配节点因资源竞争或硬件差异导致推理输出质量下降时，系统难以在任务依赖关系的约束下将问题子任务迁移至合适节点，也难以在迁移后避免反复执行失败导致的算力浪费。

3、因此，亟需一种能够感知推理请求语义特征、以输出质量为保障目标、具备精细化迁移恢复能力的异构算力资源调度系统。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种异构算力资源统一管控调度系统，用于解决现有调度系统难以感知推理请求的语义差异、也难以衡量推理输出的语义质量以及缺乏输出质量驱动的精细化迁移恢复机制的技术问题。

2、为解决上述问题，本发明提供了一种异构算力资源统一管控调度系统，包括以下模块：

3、语义解析模块：用于接收推理请求，通过轻量级语义路由器实时提取请求的认知复杂度特征，包括上下文长度需求、逻辑推理深度与结果确定性要求；

4、算力链路编排模块：用于根据所述认知复杂度特征将推理任务拆解为具有依赖关系的子任务序列，并为各子任务匹配对应的目标算力类型，所述算力链路编排模块通过动态负载均衡将各子任务分配至异构资源池中的对应节点，并依据所述依赖关系形成全局资源分配方案；

5、sla语义保障模块：用于接收所述认知复杂度特征以定义语义级sla承诺，所述语义级sla承诺包含推理准确性损失阈值和逻辑连贯性得分阈值；

6、在任务执行过程中，所述sla语义保障模块采集各子任务的实际输出，并将逻辑连贯性得分和推理准确性损失值分别与对应的sla阈值进行比较，当任一阈值不满足时，sla语义保障模块向算力链路编排模块发送迁移指令；

7、算力链路编排模块接收到迁移指令后，将待迁移子任务重新分配至新的节点，并由sla语义保障模块在新节点执行完毕后再次采集输出质量进行判定，跨节点迁移或模型切换过程中，异构资源池通过缓存一致性开销抑制机制和异步通信机制维持任务状态同步，并通过显存泄露检测与内存碎片抑制策略回收异常节点资源。

8、优选的，所述语义解析模块中，通过轻量级语义路由器实时提取请求的认知复杂度特征，所述：

9、将推理请求输入至基于transformer编码器构建的语义编码器，所述语义编码器经面向认知复杂度特征提取任务进行端到端训练后部署，输出包含上下文语义向量的编码表示及注意力权重矩阵；

10、通过统计所述注意力权重矩阵中各输入token被关注次数的分布跨度值，以所述分布跨度值除以输入token总数所得比值作为上下文长度需求；

11、以预设逻辑连接词集合匹配所述推理请求，统计匹配数量占输入token总数的比值作为逻辑连接词密度，解析所述推理请求中各条件从句的嵌套层数，以最大嵌套层数作为所述条件从句递归深度；将所述逻辑连接词密度与所述递归深度的加权和作为逻辑推理深度；

12、将所述推理请求对应的输出词汇概率分布输入熵计算函数，获得概率分布熵值；以所述概率分布熵值的倒数作为结果确定性要求。

13、优选的，所述算力链路编排模块中，根据所述认知复杂度特征将推理任务拆解为具有依赖关系的子任务序列，包括：

14、获取推理请求对应的目标大模型的结构配置文件，所述结构配置文件包含所述目标大模型的若干模态处理分支以及各分支内部的子模块及层间连接关系；

15、根据所述认知复杂度特征中的逻辑推理深度值，计算概率阈值，其中，为预设缩放系数，为逻辑推理深度值；

16、沿所述目标大模型执行所述推理请求时的前向传播路径，以目标大模型的各模态处理分支为一级切分边界，将推理任务切分为若干模态级子任务，针对每个模态级子任务，以所述子模块及层间连接关系为二级切分边界，遍历所述模态级子任务所包含的各子模块在所述前向传播路径中的激活概率值，剔除所述激活概率值＜概率阈值的子模块，将保留下来的连续子模块序列作为所述推理任务的原子级子任务；

17、提取各原子级子任务的输入张量集合与输出张量集合，对于第个原子级子任务和第个原子级子任务，当且时，判定第个原子级子任务为第个原子级子任务的前置依赖任务；当且时，判定第个原子级子任务与第个原子级子任务之间无依赖关系，两者可并行执行；遍历所有原子级子任务对，生成以各原子级子任务为顶点、以所述前置依赖关系为有向边的依赖有向图。

18、优选的，所述算力链路编排模块中，为各子任务匹配对应的目标算力类型，包括：

19、获取异构资源池中各节点的基准性能向量，所述基准性能向量包含各节点在浮点运算、整型运算、矩阵乘加运算和逻辑分支运算四个维度下的单位时间吞吐量；

20、对于任一原子级子任务，提取所述原子级子任务所对应子模块的计算特征向量，包含所述子模块在所述四个维度下的计算量占比；

21、将所述计算特征向量与各节点的基准性能向量进行点积运算，获得所述原子级子任务在各节点上的预估执行效率评分；

22、以认知复杂度特征中的结果确定性要求值作为权重系数，将各节点上的所述预估执行效率评分乘以所述权重系数后，选取乘积最大的节点所对应的算力类型作为所述原子级子任务的目标算力类型。

23、优选的，所述算力链路编排模块通过动态负载均衡将各子任务分配至异构资源池中的对应节点，包括：

24、实时采集异构资源池中各节点的瞬时负载状态向量，所述瞬时负载状态向量包含各类型资源的当前占用率及各节点的当前任务并发数；

25、对于任一已选定目标算力类型的原子级子任务，从所述异构资源池中筛选出各类型资源占用率均小于预设占用阈值的节点，构成候选节点集合；

26、若所述候选节点集合为空，则计算各节点的资源占用率向量的l2范数以及所述资源占用率向量与所述原子级子任务的计算特征向量之间的余弦相似度，以所述l2范数的相反数与所述余弦相似度的加权和作为所述节点的匹配度评分，按照匹配度评分从大到小的顺序将所有节点排序，将排序前n位的节点加入所述候选节点集合，直至所述候选节点集合非空，其中，n为预设扩展系数；

27、从所述候选节点集合中，选取当前任务并发数最小的节点作为分配目标；若存在多个并发数相同的节点，则以各节点的资源占用率向量的l2范数作为负载评分，选取负载评分最小的节点作为分配目标。优选的，所述：

28、优选的，所述算力链路编排模块中，根据所述依赖关系形成全局资源分配方案，包括：

29、以各原子级子任务为顶点、所述依赖有向图中的有向边为约束，构建所述推理任务对应的任务执行有向无环图；

30、对所述任务执行有向无环图进行关键路径分析，计算从任一顶点至出口顶点的最长路径长度作为所述顶点的关键路径长度；

31、按照各顶点的关键路径长度从大到小的顺序，对所述任务执行有向无环图中的各顶点进行拓扑排序，生成各原子级子任务的执行优先级序列；

32、根据各原子级子任务的分配结果及所述执行优先级序列，生成包含各原子级子任务与目标节点的绑定关系、各原子级子任务的执行优先级及跨节点数据传输路径的全局资源分配方案。

33、优选的，所述sla语义保障模块中，定义语义级sla承诺，包括：

34、根据认知复杂度特征中的各维度特征值分别与各自对应的预设阈值进行比较，根据比较结果确定所述语义级sla承诺中的逻辑连贯性得分阈值和推理准确性损失阈值；

35、将逻辑推理深度值与预设深度阈值进行比较，当所述逻辑推理深度值大于所述预设深度阈值时，将所述逻辑连贯性得分阈值设定为第一连贯性阈值，否则设定为第二连贯性阈值；将结果确定性要求值与预设确定性阈值进行比较，当所述结果确定性要求值小于所述预设确定性阈值时，将所述推理准确性损失阈值设定为第一损失阈值，否则设定为第二损失阈值；将上下文长度需求值与预设长度阈值进行比较，当所述上下文长度需求值大于所述预设长度阈值时，将所述逻辑连贯性得分阈值上调第一修正量，并将所述推理准确性损失阈值下调第二修正量。

36、优选的，所述sla语义保障模块中，采集各子任务的实际输出并触发跨节点迁移或模型切换，包括：

37、在各原子级子任务执行完毕后，调用部署于所述原子级子任务所对应执行节点内的输出质量评估器，所述输出质量评估器包含语义相似度计算子模块和逻辑一致性检测子模块；

38、所述语义相似度计算子模块将所述原子级子任务的实际输出序列与预设参考输出序列分别输入至预训练的语义匹配模型，获取所述语义匹配模型输出的语义相似度分数，以1减去所述语义相似度分数所得差值作为推理准确性损失值，其中，预设参考输出序列的获取方式为：对于具有标准答案的推理请求，从知识库中检索标准答案作为预设参考输出序列；对于不具备标准答案的推理请求，通过多次采样生成多个输出样本，以所述多个输出样本之间的平均语义相似度作为推理准确性损失值；

39、所述逻辑一致性检测子模块对所述实际输出序列分别进行事实一致性评分、推理链条完整性评分和结论自洽性评分，以三项评分的加权和作为逻辑连贯性得分；

40、当检测到所述逻辑连贯性得分小于所述逻辑连贯性得分阈值或所述推理准确性损失值大于所述推理准确性损失阈值时，所述sla语义保障模块向所述算力链路编排模块发送迁移指令，所述迁移指令携带待迁移原子级子任务标识和当前执行阶段状态标识；

41、算力链路编排模块接收到所述迁移指令后，查询依赖有向图中以所述待迁移原子级子任务为前置依赖的所有下游原子级子任务，暂停所述下游原子级子任务的执行，所述待迁移原子级子任务从当前分配节点解绑，按照获取异构资源池中各节点的瞬时负载状态向量、筛选候选节点集合、选取当前任务并发数最小的节点作为分配目标的方式，将所述待迁移原子级子任务重新分配至新的节点；

42、将所述待迁移原子级子任务重新分配至新的节点后，所述算力链路编排模块获取所述新的节点的资源占用率向量与所述待迁移原子级子任务的计算特征向量之间的欧氏距离，当所述欧氏距离大于预设距离阈值时，sla语义保障模块直接触发模型切换，将当前推理请求路由至备用模型执行引擎；当所述欧氏距离小于或等于所述预设距离阈值时，所述待迁移原子级子任务在所述新的节点上执行完毕后再次采集输出质量，若仍无法满足所述语义级sla承诺，所述sla语义保障模块触发模型切换。

43、本发明的有益效果：

44、本发明通过语义解析模块从推理请求中实时提取认知复杂度特征，使调度系统的决策依据从硬件资源规格扩展至请求的语义层面，解决了现有调度系统无法感知请求差异的问题，实现了调度粒度随请求认知复杂度的动态适配；

45、本发明通过sla语义保障模块将服务等级承诺从响应时间、吞吐量等系统性能指标扩展至推理准确性损失和逻辑连贯性得分等语义质量指标，并通过多维联动的阈值设定机制使sla承诺与请求的实际质量需求相匹配，解决了现有sla无法衡量推理语义质量的问题；

46、本发明通过在任务拆解中引入两级动态切分机制，根据逻辑推理深度动态调整概率阈值进而控制子模块的保留粒度，使高复杂度请求保留完整推理链路以保障质量、低复杂度请求剔除冗余子模块以提升效率，实现了精度与效率的按需平衡；

47、本发明通过在迁移触发后首先通过欧氏距离预判新节点与子任务的匹配度，仅在匹配度足够时才在新节点执行，执行后若仍不达标再切换备用模型；在匹配度不足时直接切换备用模型，不再进行执行尝试，实现了通过匹配度预判过滤掉不适合的节点，避免了在多个节点间反复尝试执行造成的算力浪费，缩短了质量劣化场景下的恢复时间。