面向分布式软件架构的异构算力推理调度方法及系统

本发明涉及分布式计算资源调度，特别是涉及面向分布式软件架构的异构算力推理调度方法及系统。

背景技术：

1、随着人工智能推理应用在边缘计算、智能驾驶、工业物联网等领域的广泛部署，分布式软件架构已成为支撑大规模ai服务的关键基础设施。在异构算力环境下高效调度推理任务，是保障实时性敏感应用（如自动驾驶决策、工业质检）服务质量的核心环节，也是分布式系统优化的重点和难点。

2、传统分布式推理调度采用固定阈值进行时延监控，无法拆解时延的不同特征组成，不能有效辨别各类时延异常的产生原因，大幅降低调度决策精准性；传统多流协同采用批处理式时序对齐模式，依赖完整时延序列完成运算，存在明显处理滞后问题，难以适配实时推理应用需求；此外，传统调度策略长期保持静态固化形态，缺失动态闭环调节能力，无法适配设备状态与网络环境的动态变化，调度运行效能易持续劣化。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种面向分布式软件架构的异构算力推理调度方法及系统，以达到提升时延特征解析精度、降低多流协同延迟、增强调度策略动态适应性的技术效果。

2、第一方面，本技术提供了面向分布式软件架构的异构算力推理调度方法，该方法包括：

3、通过时延分量分离模型对节点上报的实时推理时延序列进行时延分量分离，得到抖动分量置信区间和衰减分量趋势系数；

4、基于抖动分量置信区间和衰减分量趋势系数，对多路推理流进行增量式时序对齐，生成多流时序偏移量表；

5、基于多流时序偏移量表实施闭环调度决策，得到节点级调度指令集；

6、执行节点级调度指令集后采集新时延数据，对时延分量分离模型进行参数更新。

7、在一实施例中，基于多流时序偏移量表实施闭环调度决策，得到节点级调度指令集，包括：

8、对多流时序偏移量表进行同步误差聚合，得到全局同步误差熵；

9、基于全局同步误差熵进行比例控制转换，生成资源配额调整量；

10、基于全局同步误差熵进行积分控制转换，生成迁移目标节点标识符；

11、基于全局同步误差熵进行微分控制转换，生成缓冲区配置参数；

12、监测资源配额调整量、迁移目标节点标识符和缓冲区配置参数的变化率，得到控制信号变化率；

13、当控制信号变化率超过预设阈值时，执行稳定性保护，得到保守调度标志位；

14、组合资源配额调整量、迁移目标节点标识符、缓冲区配置参数和保守调度标志位，生成节点级调度指令集。

15、在一实施例中，基于全局同步误差熵进行微分控制转换，生成缓冲区配置参数，包括：

16、对全局同步误差熵进行时间窗微分计算，得到瞬时变化梯度；

17、基于瞬时变化梯度进行抖动模式识别，生成抖动模式分类标识；

18、根据抖动模式分类标识索引预设缓冲策略库，得到缓冲策略模板；

19、基于瞬时变化梯度调整缓冲策略模板的参数，生成缓冲参数集合；

20、组合缓冲策略模板和缓冲参数集合，生成缓冲区配置参数。

21、在一实施例中，当控制信号变化率超过预设阈值时，执行稳定性保护，得到保守调度标志位，包括：

22、对控制信号变化率进行多级阈值比较，得到超限等级标识；

23、基于超限等级标识选择保护策略模板，生成策略选择向量；

24、根据策略选择向量执行指令冻结操作，得到冻结状态记录；

25、基于冻结状态记录生成历史状态回滚点，得到回滚基准快照；

26、组合超限等级标识、策略选择向量和回滚基准快照，生成保守调度标志位。

27、在一实施例中，基于抖动分量置信区间和衰减分量趋势系数，对多路推理流进行增量式时序对齐，生成多流时序偏移量表，包括：

28、对预设流优先级标签执行基准锚点选择，得到基准锚点推理流；

29、基于基准锚点推理流建立基准虚拟时间轴；

30、当任一路推理流产生新数据点时，对衰减分量趋势系数进行惩罚权重调整，生成动态规整权重；

31、基于抖动分量置信区间进行路径边界限定，得到受限路径空间；

32、对动态规整权重和受限路径空间进行增量式路径计算，得到路径代价矩阵；

33、基于路径代价矩阵和基准虚拟时间轴进行时序偏移计算，生成多流时序偏移量表。

34、在一实施例中，执行节点级调度指令集后采集新时延数据，对时延分量分离模型进行参数更新，包括：

35、执行节点级调度指令集，生成指令执行状态记录；

36、基于指令执行状态记录采集新时延数据，得到新时延数据集；

37、识别指令执行状态记录中的迁移指令节点，对相关节点进行衰减基线重置，生成重置后的衰减分量序列；

38、识别指令执行状态记录中的缓冲区注入节点，对相关节点进行时延补偿，生成补偿后的时延观测值；

39、使用新时延数据集、重置后的衰减分量序列和补偿后的时延观测值更新时延分量分离模型，生成更新后的时延分量分离模型。

40、第二方面，本技术还提供面向分布式软件架构的异构算力推理调度系统，该系统包括：

41、时延分离模块，用于通过时延分量分离模型对节点上报的实时推理时延序列进行时延分量分离，得到抖动分量置信区间和衰减分量趋势系数；

42、时序对齐模块，用于基于抖动分量置信区间和衰减分量趋势系数，对多路推理流进行增量式时序对齐，生成多流时序偏移量表；

43、调度决策模块，用于基于多流时序偏移量表实施闭环调度决策，得到节点级调度指令集；

44、反馈更新模块，用于执行节点级调度指令集后采集新时延数据，对时延分量分离模型进行参数更新。

45、第三方面，本技术还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现本技术第一方面中任一方法的步骤。

46、第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本技术第一方面中任一方法的步骤。

47、本技术提供一种面向分布式软件架构的异构算力推理调度方法及系统，通过时延分量分离模型对节点上报的实时推理时延序列进行精细化分量拆分，获取抖动分量置信区间和衰减分量趋势系数，使时延构成特征得到更全面的捕捉与解析，进而有效提升时延特征解析精度。在此基础上，依托上述两类关键参数对多路推理流进行增量式时序对齐操作，摒弃了传统依赖完整时延序列的批处理式运算模式，显著减少了多流协同过程中的冗余计算环节，从而合理降低多流协同延迟，同步生成具备高准确性的多流时序偏移量表。

48、以多流时序偏移量表为核心依据，进一步实施闭环调度决策并输出节点级调度指令集。在调度指令执行完毕后，系统采集新的时延数据，将其反向用于时延分量分离模型的参数迭代更新，构建起“特征拆分-时序对齐-调度执行-模型优化”的动态循环机制。该循环持续强化模型对异构算力环境动态变化的感知与适配能力，进而稳步增强调度策略的动态适应性，确保调度方案能够随环境变化持续优化调整。