预填充与解码分离调度方法及设备与流程

本申请涉及人工智能与分布式计算，尤其涉及预填充与解码分离调度方法及设备。

背景技术：

1、随着大语言模型（large language model，llm）的快速发展，基于llm的推理服务已广泛应用于各类业务场景。llm推理过程通常包括预填充（prefill）阶段和解码（decode）阶段，为提高计算资源利用效率，预填充与解码分离（prefill-decode disaggregation，pd分离）部署已成为主流架构。在预填充与解码分离架构下，常见的调度方案主要包括：静态分池方案，将图形处理器（graphics processing unit，gpu）集群物理划分为预填充（prefill）资源池和解码（decode）资源池，实现计算阶段的硬件隔离；动态负载调度方案，基于gpu利用率、任务队列长度等系统指标动态调整任务分配；优先级调度方案，依据词元（token）长度、任务提交时间等维度确定任务的处理优先级。

2、目前，现有技术提出了一些改进方案。例如，基于请求特征的分类调度方案，该方案接收推理请求，根据输入数据的时序特征或长度特征将推理请求分类为预填充密集型或解码密集型，然后按照固定映射规则将任务调度到对应的推理实例类型上；以及基于模型推理置信度的解码优化方案，该方案在llm生成每个词元时，从最终层向前扫描寻找预测熵最低的层，从该层输出结果而非总是从最终层输出，以规避对齐训练对模型输出的影响。

3、然而，上述基于请求特征的分类调度方案，虽然能够根据请求特征进行分类调度，但其调度决策是基于确定性规则的固定映射，并未考虑分类结果本身的可靠性。当面对训练分布之外的长尾任务时，特征预测可能产生错误分类，例如将计算量巨大的任务误判为轻量任务，而调度系统无条件信任该分类结果并据此执行固定调度策略，将导致任务被分配至不匹配的计算节点，引发节点过载、服务超时甚至系统崩溃。尤其面对如金融量化分析等数据形态多样、任务计算复杂度差异悬殊且对服务等级协议（service levelagreement，sla）具有严苛要求的业务场景时，长尾任务预测失效所引发的调度失准与系统稳定性问题更为突出。另外，上述基于模型推理置信度的解码优化方案中，虽然使用了预测熵作为置信度指标，但其置信度表征的是模型对生成词元的确定性，用于选择模型的解码层以提升输出质量，属于模型推理领域的技术手段。该方案不涉及分布式调度决策，也未提供对调度系统自身预测可靠性的评估机制。综上，现有技术在预填充与解码分离调度中，缺乏对调度系统自身预测结果可靠性的评估与应对机制，面对长尾任务时存在预测失效导致调度决策失准、进而引发系统稳定性下降的问题。

技术实现思路

1、鉴于此，本申请实施例提供了预填充与解码分离调度方法及设备，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本申请的提供了一种预填充与解码分离调度方法，包括：

3、获取推理任务的预填充阶段计算负载预估值对应的预测置信度c；

4、将所述预测置信度c与至少一个预设阈值进行比较，以从多个候选调度策略中确定目标调度策略；其中，所述候选调度策略包括以保障任务执行稳定性为目标的第一调度策略以及以优化任务执行性能为目标的第二调度策略；

5、根据所述目标调度策略，确定用于执行所述推理任务的预填充阶段的第一计算节点以及用于执行所述推理任务的解码阶段的第二计算节点。

6、本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的预填充与解码分离调度方法。

7、本申请提供的预填充与解码分离调度方法，获取推理任务的预填充阶段计算负载预估值对应的预测置信度，并将该预测置信度与至少一个预设阈值进行比较以从多个候选调度策略中确定目标调度策略，能够使得调度系统在预测任务的计算负载时，同步获得对自身预测可靠性的量化评估，而非无条件信任预测结果。以保障任务执行稳定性为目标的第一调度策略和以优化任务执行性能为目标的第二调度策略的引入，能够使调度决策根据预测置信度的高低在不同策略间弹性切换，当预测置信度较低时优先保障任务执行的稳定性以避免因错误预测导致节点过载或服务超时，当预测置信度较高时优先优化任务执行性能以提升资源利用效率。根据所选定的目标调度策略分别确定用于执行预填充阶段和解码阶段的计算节点，能够将调度决策落实为具体的计算资源分配，使得任务的执行路径与当前的预测可靠程度相匹配，从而提高分布式推理系统在不可预测负载下的调度可靠性与服务韧性。

8、尤其适用于金融量化分析等数据形态多样、任务计算复杂度差异悬殊且对服务等级协议具有严苛要求的业务场景，能够使得调度系统在面对金融场景中常见的十亿级股权穿透分析、tb级高频逐笔成交数据流等长尾重型任务时，自动通过置信度评估识别预测模型对任务复杂度判断的不可靠性，并切换至以保障稳定性为优先的防御性调度模式，将任务分配至高算力节点本地执行全流程计算，以避免因长尾任务预测失效而引发的调度失准与系统稳定性下降，有助于在保障金融级服务等级协议的前提下提升异构计算集群的资源利用效率。

1.一种预填充与解码分离调度方法，其特征在于，包括：

2.根据权利要求1所述的预填充与解码分离调度方法，其特征在于，所述获取推理任务的预填充阶段计算负载预估值对应的预测置信度c，包括：

3.根据权利要求1所述的预填充与解码分离调度方法，其特征在于，所述候选调度策略还包括：以兼顾任务执行稳定性与任务执行性能为目标的第三调度策略；所述预设阈值包括第一阈值和第二阈值；

4.根据权利要求3所述的预填充与解码分离调度方法，其特征在于，所述根据所述目标调度策略，确定用于执行所述推理任务的预填充阶段的第一计算节点以及用于执行所述推理任务的解码阶段的第二计算节点，包括：

5.根据权利要求4所述的预填充与解码分离调度方法，其特征在于，所述健康度通过所述当前负载率、所述任务队列长度、所述处理器工作温度和所述历史响应延迟抖动计算得到；

6.根据权利要求4所述的预填充与解码分离调度方法，其特征在于，所述综合评分基于所述推理任务在节点对下的预估端到端完成时间、资源占用成本以及负载均衡惩罚项确定；其中，所述预估端到端完成时间基于所述预填充阶段计算负载预估值确定；所述资源占用成本基于所述迁移成本确定；

7.根据权利要求4所述的预填充与解码分离调度方法，其特征在于，所述迁移成本根据待迁移的键值缓存数据量、所述第一计算节点与所述目标节点之间的可用网络带宽以及序列化与反序列化开销所对应的固定开销值计算得到；

8.根据权利要求1所述的预填充与解码分离调度方法，其特征在于，在所述获取推理任务的预填充阶段计算负载预估值对应的预测置信度c之前，还包括：

9.根据权利要求5至7任一项所述的预填充与解码分离调度方法，其特征在于，还包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的预填充与解码分离调度方法。