人工智能控制与算力数据协同方法及系统与流程

本发明涉及人工智能控制，尤其涉及人工智能控制与算力数据协同方法及系统。

背景技术：

1、在人工智能计算任务调度领域，常规做法是采用基于资源监控与任务队列的调度机制。任务提交时以算力资源需求量、数据存储需求量与优先级参数进行描述，调度系统对照分布式环境中各节点的处理器负载、内存占用、磁盘读写速率等硬件监控指标，利用启发式规则或约束规划方法完成节点分配。任务内部包含的计算操作、数据访问操作与通信操作在调度维度上未被显式区隔，调度器依赖有向无环图表达任务间的执行次序，按关键路径长度或最早完成时间等目标函数生成执行计划，并配合周期性心跳机制持续调整任务到节点的映射关系。

2、常规做法的问题在于任务描述与资源描述处于不同抽象层级。任务提交参数侧重硬件资源数量，无法反映特定任务在执行阶段对计算资源、数据资源与网络资源的差异化消耗特征，资源供需之间的匹配精度仅停留在总量均衡层面。当数据处理规模增大或计算逻辑复杂化时，粗粒度匹配导致的资源闲置与局部过载并存，任务执行效率随并发规模扩大而明显下降。

3、常规做法的问题体现在调度决策对运行环境动态变化的适应能力不足。常规调度依赖周期采样的资源状态快照，数据资源的物理位置分布与节点的动态供给能力变化难以被及时纳入路径规划，跨节点数据传输路径的选择基于加载时刻的网络状态判定，对任务执行过程中出现的资源配置波动反应滞后。节点故障或数据迁移引发的结构变化需要经历整个调度周期的等待才能获得修正，整体资源利用率与任务完成时限的保障能力因此受限。

技术实现思路

1、本发明实施例提供人工智能控制与算力数据协同方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，提供人工智能控制与算力数据协同方法，包括：

3、对人工智能计算任务的执行逻辑进行语义提取,得到任务语义结构；

4、对分布式环境的资源全景视图中的算力资源与数据资源进行能力语义标注,得到资源语义结构；

5、在所述任务语义结构与所述资源语义结构之间建立跨语义空间的对齐映射关系;

6、基于所述对齐映射关系,将所述人工智能计算任务的计算密集型操作映射为算力需求节点,将数据密集型操作映射为数据需求节点,将通信密集型操作映射为传输需求边,并根据所述资源全景视图中算力资源的动态供给能力与数据资源的存储位置分布,在所述算力需求节点与算力资源之间建立算力供给关联边,在所述数据需求节点与数据资源之间建立数据供给关联边,形成融合任务需求与资源供给的算力数据协同图;

7、依据所述任务语义结构中计算密集型操作与数据密集型操作之间的执行时序依赖关系,识别所述算力数据协同图中存在数据供给瓶颈的约束子图,并针对所述约束子图中的所述传输需求边进行路径代价评估,生成包含算力节点分配序列、数据节点访问序列与跨节点传输路径的协同执行路径。

8、对人工智能计算任务的执行逻辑进行语义提取,得到任务语义结构，包括：

9、对所述人工智能计算任务的执行逻辑进行操作序列解析,识别所述执行逻辑中涉及的操作单元及所述操作单元之间的调用依赖关系;

10、基于所述操作单元的计算负载特征与数据访问特征,对所述操作单元进行操作类型划分;

11、根据所述操作单元的计算负载特征中运算指令占比与内存访问指令占比的相对强度关系,将所述运算指令占比高于所述内存访问指令占比的操作单元标记为计算密集型操作,将所述内存访问指令占比高于所述运算指令占比的操作单元标记为数据密集型操作;

12、基于所述调用依赖关系识别位于不同操作单元之间的数据传递路径,并根据所述数据传递路径上的数据传输量与所述操作单元内部的数据访问量的比值关系,将所述数据传输量与所述数据访问量的比值超过预设通信密集度阈值的数据传递路径对应的操作标记为通信密集型操作;

13、将所述计算密集型操作、所述数据密集型操作与所述通信密集型操作按照所述调用依赖关系进行拓扑排列,构建所述任务语义结构。

14、对分布式环境的资源全景视图中的算力资源与数据资源进行能力语义标注,得到资源语义结构，包括：

15、基于所述算力资源的处理器架构信息与并行处理能力信息，生成所述算力资源的计算能力特征向量;基于所述数据资源的存储介质类型信息与数据吞吐速率信息，生成所述数据资源的存储能力特征向量;基于所述分布式环境中节点间的网络拓扑连接关系与链路带宽信息，生成跨节点传输能力特征向量;

16、将所述计算能力特征向量投影至预设计算能力语义空间,通过所述计算能力特征向量在所述计算能力语义空间中的分布位置确定所述算力资源的计算能力标签;

17、基于所述存储能力特征向量与预设存储能力基准集的相似度匹配关系,从所述存储能力基准集中选取相似度最高的基准项对应的标签作为所述数据资源的存储能力标签;

18、根据所述传输能力特征向量中链路带宽分量与网络延迟分量的加权组合值,通过预设传输能力分级规则确定跨节点传输的传输能力标签;

19、将所述算力资源对应的计算能力标签、所述数据资源对应的存储能力标签与跨节点连接对应的传输能力标签进行关联组织,构建所述资源语义结构。

20、在所述任务语义结构与所述资源语义结构之间建立跨语义空间的对齐映射关系，包括：

21、从所述任务语义结构中提取所述计算密集型操作、所述数据密集型操作与所述通信密集型操作之间的调用依赖关系，构建任务执行依赖图；

22、从所述资源语义结构中提取所述算力资源、所述数据资源与跨节点传输路径之间的拓扑连接关系，构建资源拓扑连接图；

23、识别所述任务执行依赖图中具有强连通特性的操作子图集合，并提取所述操作子图集合中每个操作子图的拓扑不变量；

24、识别所述资源拓扑连接图中具有同构供给能力的资源子图集合，并提取所述资源子图集合中每个资源子图的结构签名；

25、基于图同构判定准则，计算所述拓扑不变量与所述结构签名之间的结构相似度，根据所述结构相似度在所述操作子图与所述资源子图之间建立子图级映射关系；

26、将所述子图级映射关系中的所述操作子图内部操作节点与所述资源子图内部资源节点按照所述拓扑不变量与所述结构签名的局部对应关系进行映射，生成所述跨语义空间的对齐映射关系。

27、根据所述资源全景视图中算力资源的动态供给能力与数据资源的存储位置分布,在所述算力需求节点与算力资源之间建立算力供给关联边，包括：

28、从所述资源全景视图中获取所述算力资源在当前时刻的负载状态信息与所述数据资源的物理分布位置信息；

29、基于所述负载状态信息，计算所述算力资源的剩余处理能力与可分配时间窗口，将所述剩余处理能力与所述可分配时间窗口作为所述算力资源的动态供给能力；

30、根据所述算力需求节点的计算负载需求量与所述算力资源的动态供给能力之间的匹配关系，在满足所述计算负载需求量小于或等于所述剩余处理能力的约束条件下，在所述算力需求节点与所述算力资源之间建立算力供给关联边，并为所述算力供给关联边标注供给容量权重，所述供给容量权重表征所述算力资源对所述算力需求节点的可分配处理能力。

31、在所述数据需求节点与数据资源之间建立数据供给关联边,形成融合任务需求与资源供给的算力数据协同图，包括：

32、基于所述物理分布位置信息，计算所述数据资源与所述数据需求节点之间的网络距离与数据传输延迟，根据所述网络距离与所述数据传输延迟构建数据可达性评估指标；

33、在所述数据可达性评估指标满足预设可达性阈值的条件下，在所述数据需求节点与所述数据资源之间建立数据供给关联边，并为所述数据供给关联边标注访问代价权重，所述访问代价权重表征所述数据需求节点访问所述数据资源所需的时间开销；

34、将所述算力需求节点、所述数据需求节点、所述传输需求边、所述算力供给关联边与所述数据供给关联边进行图结构组织，构建所述算力数据协同图。

35、依据所述任务语义结构中计算密集型操作与数据密集型操作之间的执行时序依赖关系,识别所述算力数据协同图中存在数据供给瓶颈的约束子图,并针对所述约束子图中的所述传输需求边进行路径代价评估,生成包含算力节点分配序列、数据节点访问序列与跨节点传输路径的协同执行路径，包括：

36、遍历所述算力数据协同图，统计每个所述数据需求节点关联的所述数据供给关联边的数量，将所述数据供给关联边的数量小于所述数据需求节点所需数据资源数量的所述数据需求节点标记为瓶颈节点，提取所述瓶颈节点及邻接所述算力需求节点与邻接所述传输需求边，形成所述约束子图；

37、获取所述约束子图中的每条所述传输需求边连接的源算力需求节点与目标算力需求节点，根据源算力需求节点与目标算力需求节点各自关联的所述算力供给关联边，确定源算力需求节点与目标算力需求节点的候选算力资源集合，计算所述候选算力资源集合中算力资源之间的网络传输代价，并与所述传输需求边的数据传输量加权组合，生成所述传输需求边的路径代价评估值；

38、依据所述执行时序依赖关系中的前驱后继关系，按照所述路径代价评估值的升序排列所述约束子图中的所述算力需求节点与所述数据需求节点，生成所述算力节点分配序列与所述数据节点访问序列；

39、根据所述算力节点分配序列与所述数据节点访问序列中相邻节点之间的所述网络传输代价，构建所述跨节点传输路径，形成所述协同执行路径。

40、本发明实施例的第二方面，提供一种人工智能控制与算力数据协同系统，包括：

41、语义提取单元，用于对人工智能计算任务的执行逻辑进行语义提取,得到任务语义结构；

42、资源标注单元，用于对分布式环境的资源全景视图中的算力资源与数据资源进行能力语义标注,得到资源语义结构；

43、对齐映射单元，用于在所述任务语义结构与所述资源语义结构之间建立跨语义空间的对齐映射关系；

44、协同图单元，用于基于所述对齐映射关系,将所述人工智能计算任务的计算密集型操作映射为算力需求节点,将数据密集型操作映射为数据需求节点,将通信密集型操作映射为传输需求边,并根据所述资源全景视图中算力资源的动态供给能力与数据资源的存储位置分布,在所述算力需求节点与算力资源之间建立算力供给关联边,在所述数据需求节点与数据资源之间建立数据供给关联边,形成融合任务需求与资源供给的算力数据协同图；

45、路径生成单元，用于依据所述任务语义结构中计算密集型操作与数据密集型操作之间的执行时序依赖关系,识别所述算力数据协同图中存在数据供给瓶颈的约束子图,并针对所述约束子图中的所述传输需求边进行路径代价评估,生成包含算力节点分配序列、数据节点访问序列与跨节点传输路径的协同执行路径。

46、本发明实施例的第三方面，提供一种电子设备，包括：

47、处理器；

48、用于存储处理器可执行指令的存储器；

49、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

50、本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

51、本技术的有益效果如下：

52、利用语义提取与能力语义标注，将人工智能任务与分布式资源统一到可比较的语义空间，跨语义空间的对齐映射消除了任务描述与资源能力之间的语义鸿沟，使得计算密集型、数据密集型和通信密集型操作能够被精准识别和定位，从源头上提高任务与资源匹配的准确性，为后续协同调度奠定可靠基础。

53、在任务语义结构与资源语义结构之间建立动态映射，形成算力数据协同图，该图实时融合算力资源的动态供给能力与数据资源的存储位置分布，使调度决策能够感知资源状态的瞬时变化，有效规避算力空闲或数据热点造成的等待，提升资源负载均衡度，增强系统在复杂分布式环境下的适应能力。

54、针对协同图中存在数据供给瓶颈的约束子图进行识别和路径代价评估，生成包含算力节点分配序列、数据节点访问序列与跨节点传输路径的协同执行路径，此过程优先消除数据传输瓶颈，减少跨节点数据搬移次数，缩短关键路径长度，进而降低任务整体执行时延，提升算力利用效率。