一种基于时空图卷积的光算融合网络动态调度方法及相关装置与流程

摘要: 本技术涉及网络资源调度,尤其涉及一种基于时空图卷积的光算融合网络动态调度方法及相关装置。背景技术:1、随着人工智能大模型训练、分布式计算等数据密集型应用的快速发...
一种基于时空图卷积的光算融合网络动态调度方法及相关装置与流程

本技术涉及网络资源调度,尤其涉及一种基于时空图卷积的光算融合网络动态调度方法及相关装置。

背景技术:

1、随着人工智能大模型训练、分布式计算等数据密集型应用的快速发展,算力需求呈现指数级增长。传统光网络与算力资源的独立管理模式已经难以满足新兴业务对低延迟、高带宽、高能效的严苛要求。在此背景下,光算融合网络(optical-computingintegrated network)应运而生,旨在通过光电协同与算网融合,实现计算任务与网络传输的联合优化。

2、然而,现有光算融合网络动态调度技术仍存在以下不足:调度模式被动滞后、时空关联性利用不足、光电协同调度脱节、算网资源管理分离等问题,因此,亟需一种能够实现光算融合网络智能、高效、实时动态调度的新技术方案。

技术实现思路

1、为了解决上述问题,本技术实施例提供了一种基于时空图卷积的光算融合网络动态调度方法及相关装置,能够解决上述技术问题中的至少一种。

2、根据本技术实施例的一方面,提出了一种基于时空图卷积的光算融合网络动态调度方法,所述方法包括:

3、构建光算融合网络的统一资源图谱,所述统一资源图谱通过在多个历史时间窗口中对所述光算融合网络的各个节点进行多维状态数据采集得到;

4、通过预训练的时空图卷积网络模型对所述统一资源图谱进行时空特征提取与融合,得到各个所述节点在下一时间窗口内的预测状态,所述预测状态包括预测时延分布、预测流量负载以及预测资源需求量;

5、建立与所述预测时延分布、所述预测流量负载以及所述预测资源需求量相关的多维联合优化目标函数;

6、确定各个所述节点的概率分数,所述概率分数用于表征节点作为最优调度路径中间节点的置信度;

7、根据各个所述节点的概率分数对所述统一资源图谱进行剪枝,得到剪枝后的候选子图;

8、采用启发式搜索算法,根据所述多维联合优化目标函数在所述候选子图上求解得到所述最优调度路径;

9、根据所述最优调度路径生成所述光算融合网络的光层与电层协同调度指令,以根据所述光层与电层协同调度指令进行光电资源协同调度。

10、在上述方案中,所述构建光算融合网络的统一资源图谱,包括:

11、获取所述光算融合网络的拓扑结构信息,所述拓扑结构信息包括各个所述节点的位置以及各个所述节点之间的物理连接关系;

12、根据各个所述节点的位置以及各个所述节点之间的物理连接关系构建原始图结构;

13、在每一历史时间窗口内,采集各个所述节点的多维状态数据,所述多维状态数据包括光路状态参数、计算资源参数以及在所述历史时间窗口内的业务流量数据;

14、将各个所述历史时间窗口所采集得到的各个所述节点的多维状态数据与所述原始图结构融合,得到所述统一资源图谱。

15、在上述方案中,所述时空图卷积网络模型包括空间特征提取模块与时间特征提取模块,所述通过预训练的时空图卷积网络模型对所述统一资源图谱进行时空特征提取与融合,得到各个所述节点在下一时间窗口内的预测状态,包括:

16、通过所述空间特征提取模块提取所述统一资源图谱中各个所述节点组成的邻接矩阵以及各个所述节点的多维状态数据组成的节点特征矩阵;

17、针对每一节点,将所述节点自身的多维状态数据以及与所述节点相邻的各个邻居节点的多维状态数据进行聚合,得到所述节点的聚合空间特征;

18、通过所述时间特征提取模块,沿时间维度对各个所述历史时间窗口采集得到的多维状态数据进行空间特征提取,得到用于表征所述光算融合网络随时间演化的动态规律的各个所述节点的时间特征;

19、针对每一节点,将所述节点的聚合空间特征和所述节点的时间特征进行融合,得到所述节点在下一时间窗口的预测状态。

20、在上述方案中,建立与所述预测时延分布、所述预测流量负载以及所述预测资源需求量相关的多维联合优化目标函数,包括:

21、根据所述预测时延分布确定端到端传输时延值,并构建与所述端到端传输时延值对应的时延权重;

22、根据所述预测流量负载确定带宽资源利用效率值,并构建与所述带宽资源利用效率值对应的带宽权重;

23、根据所述预测资源需求量确定算力-任务匹配度,并构建与所述算力-任务匹配度对应的算力权重;

24、确定目标路径上的所有节点与链路的能耗总和,并构建与所述能耗总和对应的能耗权重,所述目标路径为任意多个节点连接所组成的路径;

25、根据所述端到端传输时延值、所述时延权重、所述带宽资源利用效率值、所述带宽权重、所述算力-任务匹配度、所述算力权重、所述能耗总和、所述能耗权重构建所述多维联合优化目标函数。

26、在上述方案中,所述根据各个所述节点的概率分数对所述统一资源图谱进行剪枝,得到剪枝后的候选子图,包括:

27、针对每一节点,若所述节点的概率分数低于预设的概率阈值,则从所述统一资源图谱当中将所述节点剔除;

28、将未进行剔除处理的各个节点作为保留节点,根据各个所述保留节点确定所述剪枝后的候选子图;

29、其中,所述保留节点的数量与预设的节点保留阈值之间的差值小于预设差值,所述预设的节点保留阈值为所述概率阈值与所述统一资源图谱的节点总数量的乘积。

30、在上述方案中,所述采用启发式搜索算法,根据所述多维联合优化目标函数在所述候选子图上求解得到所述最优调度路径,包括:

31、针对每一业务需求,确定所述业务需求中的源节点以及目的节点,根据所述源节点和所述目的节点生成多个候选路径;

32、根据所述多维联合优化目标函数的所述端到端传输时延值、所述时延权重、所述带宽资源利用效率值、所述带宽权重、所述算力-任务匹配度、所述算力权重、所述能耗总和、所述能耗权重构建针对各个所述候选路径的统一约束条件;

33、构建所述启发式搜索算法针对候选路径的代价约束条件;

34、采用所述启发式搜索算法,并根据所述统一约束条件和所述代价约束条件在各个所述候选路径中进行寻优,求解得到所述最优调度路径,所述最优调度路径满足所述统一约束条件和所述代价约束条件。

35、在上述方案中,所述根据所述最优调度路径生成所述光算融合网络的光层与电层协同调度指令,包括:

36、若所述业务需求属于大容量长距离传输的业务类型,则生成端到端光通道的光层调度指令,以根据所述光层调度指令来通过光层当中的端到端光通道对所述业务需求进行数据传输,所述大容量长距离传输的业务类型用于表征所述业务需求中的源节点与目的节点之间的物理距离大于预设距离阈值或所述业务需求中的带宽需求值大于第一预设带宽需求阈值;

37、若所述业务需求属于需要灵活调度与细粒度交换的业务类型,则生成电分组转发路径的电层调度指令,以根据所述电层调度指令来通过电层的电分组转发路径进行数据传输,所述需要灵活调度与细粒度交换的业务类型用于表征所述业务需求中的带宽需求值小于第二预设带宽需求阈值;

38、若所述业务需求属于混合业务场景的业务类型,则生成光通道与电分组转发的协同调度指令,以根据所述协同调度指令动态调整所述多维联合优化目标函数当中的时延权重、带宽权重、算力权重以及能耗权重,以此根据动态调整后的时延权重、带宽权重、算力权重以及能耗权重确定出光层承载比例与电层承载比例,以根据所述光层承载比例与所述电层承载比例进行数据传输;

39、其中,所述属于混合业务场景的业务类型用于表征所述业务需求包括至少两种业务需求类型,所述业务需求类型包括时延敏感型、计算密集型、大流量型、均衡型。

40、根据本技术实施例的一方面,提出了一种基于时空图卷积的光算融合网络动态调度装置,所述装置包括:

41、构建单元,用于构建光算融合网络的统一资源图谱,所述统一资源图谱通过在多个历史时间窗口中对所述光算融合网络的各个节点进行多维状态数据采集得到;

42、特征提取单元,用于通过预训练的时空图卷积网络模型对所述统一资源图谱进行时空特征提取与融合,得到各个所述节点在下一时间窗口内的预测状态,所述预测状态包括预测时延分布、预测流量负载以及预测资源需求量;

43、函数建立单元,用于建立与所述预测时延分布、所述预测流量负载以及所述预测资源需求量相关的多维联合优化目标函数;

44、确定单元,用于确定各个所述节点的概率分数,所述概率分数用于表征节点作为最优调度路径中间节点的置信度;

45、剪枝单元,用于根据各个所述节点的概率分数对所述统一资源图谱进行剪枝,得到剪枝后的候选子图;

46、求解单元,用于采用启发式搜索算法,根据所述多维联合优化目标函数在所述候选子图上求解得到所述最优调度路径;

47、调度单元,用于根据所述最优调度路径生成所述光算融合网络的光层与电层协同调度指令,以根据所述光层与电层协同调度指令进行光电资源协同调度。

48、根据本技术实施例的一方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的基于时空图卷积的光算融合网络动态调度方法。

49、根据本技术实施例的一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被电子设备的处理器读取并执行,使得所述电子设备执行如上所述的基于时空图卷积的光算融合网络动态调度方法。

50、本技术的有益效果:本技术通过预训练的时空图卷积网络模型来对统一资源图谱进行时空特征提取与融合,得到各个节点在下一时间窗口的预测状态,以此构建多维联合优化目标函数。同时,通过各个节点的概率分数来对同一资源图谱进行剪枝,采用启发式搜索算法结合多维联合优化目标函数在所述候选子图上求解得到所述最优调度路径,通过最优调度路径生成光算融合网络的光层与电层协同调度指令,以此根据光层与电层协同调度指令进行光电资源协同调度。本技术能够实现光算融合网络的智能、高效、实时动态调度。