一种智能模组算力调度与管理系统及方法与流程

本发明涉及算力资源管理与分布式计算，具体涉及一种智能模组算力调度与管理系统及方法。

背景技术：

1、在数字经济蓬勃发展的时代，算力已跃升为核心生产力，渗透到社会的各行各业。随着人工智能与物联网技术的深度融合，智能模组（computing power module, cpm）作为一种新型算力基础设施，融合了异构计算、边缘感知、分布式协同等关键要素。它通过对分散部署于各类终端设备的cpu、gpu、npu等异构算力资源的统一抽象、感知、调度与管理，能够将上层应用的计算请求精准调度至最优的模组节点执行，在保障业务服务质量的前提下，大幅提高全网模组算力利用率，实现分布式算力的全局优化调度。

2、在智能模组算力网络中，由于不同厂商模组的指令集架构各异，计算任务需经多跳节点协同处理，任务分配缺乏对异构算力特性的感知，导致计算效率低下；算力资源接入依赖初始静态配置，无法适配不同场景下模组动态加入与退出的算力需求；传统中心化调度架构仅支持单一控制节点下发决策，导致单点故障风险高且调度延迟随模组规模增大而急剧上升。在进行工业视觉检测时，需要多模组协同推理，传统调度方案仅支持固定任务分配，无法应对产线突发的高并发检测需求，多租户共享模组算力时，无法根据任务优先级，有效匹配异构算力资源，导致关键检测任务积压。在进行多模态智能交互时，需要跨模组大带宽协同处理，现有调度机制仅支持预设路径转发，无法根据模组实时负载动态调整任务分配，多模组协同推理时，中间结果传输延迟不可控，导致交互响应延迟。在进行分布式数据分析时，需多模组共享算力资源池，但若资源池无法动态感知各模组的实时算力余量并进行弹性调整，导致部分模组算力长期闲置、部分模组算力严重不足，无法满足用户的实时计算需求。

技术实现思路

1、本发明的目的在于提供一种智能模组算力调度与管理系统及方法，以解决现有技术中智能模组算力资源碎片化、异构协同困难、中心化调度单点故障及动态适应性不足等问题。

2、本发明解决上述技术问题的技术方案如下：

3、一种智能模组算力调度与管理方法，包括：

4、步骤s1，各智能模组采集本地的多维资源状态参数，根据所述多维资源状态参数生成各智能模组的算力特征向量，并周期性更新所述算力特征向量；

5、步骤s2，各智能模组之间通过分布式广播与心跳机制实现相互发现与资源注册，各智能模组在本地维护动态更新的邻居资源目录；

6、步骤s3，接收计算任务，对所述计算任务进行语义解析与计算图分解，将所述计算任务划分为多个细粒度推理单元；

7、步骤s4，采用基于分布式共识协议的调度机制，在各智能模组之间协同制定任务分配方案；

8、步骤s5，各目标模组根据所述任务分配方案并行执行分配的推理单元，执行结果经聚合后返回；

9、步骤s6，实时监测各智能模组的负载状态，当检测到负载不满足预设均衡条件时，自动触发任务迁移；

10、步骤s7，监测各智能模组的运行状态，当检测到模组故障或性能劣化时，自动执行故障隔离与任务重分配。

11、进一步方案：步骤s1具体包括：

12、各智能模组通过调用操作系统内核接口采集本地的多维资源状态参数，所述多维资源状态参数包括：cpu核心数及当前利用率、gpu型号及当前利用率、npu型号及当前利用率、内存总容量及剩余容量、网络接口带宽及当前传输延迟、当前功耗及当前温度；

13、各智能模组基于采集的所述多维资源状态参数，生成标准化的算力特征向量：

14、

15、其中，为第i个智能模组的唯一标识，为第i个智能模组的算力等级，为第i个智能模组的计算特性向量，为第i个智能模组的当前可用算力百分比，为第i个智能模组的能耗系数，为第i个智能模组的通信延迟等级；

16、所述算力等级的确定方式为：

17、

18、其中，为第i个智能模组的整数运算能力归一化值，为第i个智能模组的浮点运算能力归一化值，为第i个智能模组的张量运算能力归一化值，、、为对应的权重系数，且；

19、各智能模组采用滑动时间窗机制对所述算力特征向量进行周期性更新。

20、进一步方案：步骤s2具体包括：

21、任一智能模组加入算力网络时，通过本地网络接口发送加入宣告报文，所述加入宣告报文包含该智能模组的唯一标识及算力特征向量的摘要信息；

22、已在线模组接收到所述加入宣告报文后，将新模组信息加入本地邻居资源目录，并向所述新模组回复确认报文，同时将自身的资源信息同步至所述新模组；

23、各智能模组以固定周期theartbeat向邻居模组发送心跳报文，所述心跳报文包含该智能模组的存活状态及算力特征向量的增量更新信息；

24、任一智能模组在连续nmiss个心跳周期内未收到邻居模组的心跳报文时，将该邻居模组从本地邻居资源目录中标记为离线状态。

25、进一步方案：步骤s3具体包括：

26、接收上层应用提交的计算任务请求，所述计算任务请求包含任务类型标识、输入数据、最低算力阈值qmin及最大容忍延迟dmax；

27、对所述计算任务进行语义解析，识别所述计算任务的计算图结构，所述计算图结构由多个操作节点及操作节点之间的数据依赖关系构成；

28、依据各操作节点的计算复杂度、数据依赖关系及内存占用需求，将所述计算任务划分为m个细粒度推理单元u1,u2,…,um，并为每个推理单元uj标注所需的最低算力等级与最大容忍延迟，其中j=1,2,…,m。

29、进一步方案：步骤s4具体包括：

30、发起调度的智能模组通过本地邻居资源目录获取当前可用模组列表及每个可用模组的实时算力特征向量；

31、各候选模组基于本地资源状态构造本地成本矩阵，所述本地成本矩阵的元素costj,k表示将第j个推理单元分配至第k个候选模组执行的预期代价，j=1,2,…,m，k=1,2,…,k，k为候选模组总数；

32、所述预期代价costj,k的计算方式为：

33、

34、其中，为第j个推理单元在第k个候选模组上的预估计算时间，为第j个推理单元与第k个候选模组之间的预估通信时间，为第j个推理单元在第k个候选模组上执行的预估能耗，为预设最大允许能耗，、、为对应的权重系数，且；

35、各智能模组通过分布式共识协议选举产生临时协调节点；

36、所述临时协调节点收集各候选模组的本地成本矩阵，合并生成全局成本矩阵；

37、所述临时协调节点运行调度优化算法求解全局最优匹配方案，所述调度优化算法的目标函数为：

38、

39、约束条件为：

40、

41、

42、

43、

44、其中，为决策变量，=1表示将第j个推理单元分配至第k个候选模组，=0表示不分配，为第k个候选模组的当前可用算力等级；

45、所述临时协调节点将所述全局最优匹配方案作为共识日志条目发起共识投票，在获得超过半数的候选模组确认后广播提交，各模组接收到提交消息后原子更新本地调度表；

46、当所述临时协调节点发生心跳超时或提交超时时，自动触发重新选举，基于最近稳定快照重启匹配流程。

47、进一步方案：所述调度优化算法为加权匈牙利算法，求解方式为：

48、构造增广成本矩阵

49、

50、其中为预设惩罚值，；

51、对所述增广成本矩阵执行匈牙利算法，寻找使得最小的置换π，其中为第j个推理单元分配的模组序号。

52、进一步方案：所述调度优化算法为遗传算法，求解方式为：

53、初始化种群，其中每个个体表示一种匹配方案，npop为预设种群规模；

54、定义适应度函数fitness(s)为：

55、其中，为匹配方案s中的决策变量值，为匹配方案s违反约束条件的次数，μ为预设惩罚系数；

56、对当前种群执行选择操作、交叉操作和变异操作生成下一代种群，重复执行直至达到预设最大迭代次数gmax，输出适应度最高的个体作为所述全局最优匹配方案。

57、进一步方案：步骤s5具体包括：

58、各目标模组接收到分配的推理单元后，在本地执行计算任务；

59、各目标模组在执行过程中使用任务专属的会话密钥对中间计算结果进行加密传输；

60、各目标模组完成计算后将执行结果返回至发起模组或指定的结果聚合节点；

61、所述结果聚合节点收集所有推理单元的执行结果，按照所述计算图结构的数据依赖关系进行合并与后处理，生成最终计算结果并返回。

62、进一步方案：步骤s6具体包括：

63、动态监测各智能模组的实时负载率与任务队列长度，i为智能模组序号；

64、所述实时负载率的计算方式为：

65、

66、其中，为第i个智能模组的cpu利用率，为第i个智能模组的gpu利用率，为第i个智能模组的npu利用率，为第i个智能模组的内存利用率，、、、为对应的权重系数，且；

67、当检测到第i个智能模组的实时负载率超过预设高负载阈值，或任务队列长度超过预设队列长度阈值时，触发负载均衡流程；

68、触发负载均衡流程的源模组向邻居模组广播任务迁移请求，各邻居模组根据自身剩余算力及当前任务队列长度计算迁移意愿值：

69、

70、其中，为第k个邻居模组的剩余算力，为第k个邻居模组的当前任务队列长度，为第i个模组与第k个邻居模组之间的通信延迟，、、为对应的权重系数，且；

71、所述源模组选择迁移意愿值最大的目标模组，将积压任务或新到达任务的部分推理单元迁移至所述目标模组执行；

72、当所述源模组的实时负载率降至预设低负载阈值以下时，停止任务迁移。

73、进一步方案：步骤s7具体包括：

74、在各智能模组的数据流经路径上部署检测探针，所述检测探针在报文头中嵌入诊断标记；

75、各智能模组识别所述诊断标记后，在本地维护的诊断时间戳表中记录通过时刻，并将所述诊断标记与模组自身的硬件计数器值进行关联，生成逐跳时延与丢包指示的原始数据；

76、当检测到第i个智能模组满足以下任一异常条件时，将该模组标记为异常状态，并从邻居资源目录中暂时隔离：

77、异常条件1：连续次响应超时；

78、异常条件2：连续丢包率超过预设丢包率阈值；

79、异常条件3：算力特征向量中的当前可用算力百分比低于预设可用算力阈值且持续时间超过预设时间阈值；

80、自动触发被标记为异常状态的模组上未完成任务的重新调度，将受影响的任务分配至其他可用模组执行；

81、被标记为异常状态的模组恢复正常后，重新执行步骤s2的注册流程，重新加入算力网络；

82、在本地性能优化建议库中记录异常特征向量与修复策略的映射关系，当相同异常特征再次出现时，调用所述映射关系提前下发预修复指令。

83、一种智能模组算力调度与管理系统，包括：

84、模组算力画像模块，部署于每个智能模组本地，用于采集本地的多维资源状态参数，生成各智能模组的算力特征向量，并周期性更新所述算力特征向量；

85、分布式资源发现与注册模块，用于实现各智能模组之间的相互发现与资源注册，各智能模组在本地维护动态更新的邻居资源目录；

86、任务分解与协同执行模块，用于接收计算任务，对所述计算任务进行语义解析与计算图分解，将所述计算任务划分为多个细粒度推理单元；

87、去中心化调度决策模块，用于采用基于分布式共识协议的调度机制，在各智能模组之间协同制定任务分配方案；

88、动态资源弹性调度模块，用于实时监测各智能模组的负载状态，当检测到负载不满足预设均衡条件时，自动触发任务迁移；

89、安全隔离与可信执行模块，用于为各计算任务分配独立的会话密钥与执行上下文，对模组间传输的数据进行端到端加密；

90、智能运维与自愈模块，用于监测各智能模组的运行状态，当检测到模组故障或性能劣化时，自动执行故障隔离与任务重分配。

91、一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的智能模组算力调度与管理方法的步骤。

92、一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的智能模组算力调度与管理方法的步骤。

93、本发明具有以下有益效果：

94、本发明通过分布式资源发现与动态负载均衡机制，将分散在各智能模组的闲置算力汇聚为统一的算力资源池，实现算力资源的按需调度与充分利用，大幅提升了模组算力资源的整体利用率；通过采用基于raft等分布式共识协议的去中心化调度架构，使得任一模组失效均不影响整个算力网络的正常运行，消除了传统中心化调度方案的单点故障风险，系统具备天然的高可用性与容错能力；同时，调度决策在模组间协同完成，无需与远端中心节点频繁通信，有效降低了调度延迟与通信开销，尤其适用于对延迟敏感的实时边缘计算场景。

95、本发明并结合任务分解技术将复杂计算任务拆分为适配不同模组算力特性的细粒度推理单元，实现了异构模组间的算力协同与优势互补；通过基于实时负载监测的任务动态迁移机制，有效解决了模组算力资源碎片化与利用不均的问题，且新模组通过简单的广播宣告即可加入算力网络，无需复杂的中心配置，系统规模可随模组数量自然增长；此外，通过任务级会话密钥与端到端加密传输，在无中心信任锚点的分布式模组网络中保障了多租户的数据隔离与计算安全，确保不同租户的计算任务在共享模组资源时互不干扰、数据互不可见。