一种数据任务迁移的路径与带宽协同分配方法及系统与流程

摘要: 本发明涉及网络资源分配,具体涉及一种数据任务迁移的路径与带宽协同分配方法及系统。背景技术:1、在分布式计算与广域网络深度融合的架构下,电算网协同调度技术已成为支...
一种数据任务迁移的路径与带宽协同分配方法及系统与流程

本发明涉及网络资源分配,具体涉及一种数据任务迁移的路径与带宽协同分配方法及系统。

背景技术:

1、在分布式计算与广域网络深度融合的架构下,电算网协同调度技术已成为支撑跨数据中心算力服务与业务互联的核心基础。针对多源异构算力节点之间的数据流转需求,现有的网络调度系统普遍部署了数据任务迁移机制,以实现跨域资源的统筹利用。在执行此类数据迁移任务时,调度系统的核心管控操作主要依托于路径选择与带宽配置来实现网络侧的资源供给。常规的调度策略通常基于已知的静态网络拓扑,利用最短路径优先或基础流量工程算法计算出源节点至目的节点的数据传输路由,随后再根据业务标签或任务描述文件向底层网络设备下发带宽预留指令。这种基础的资源管控机制在常规网络环境下,建立起了数据流在物理设备层面的端到端连接,维持了基本的数据转发与算网互通。

2、然而,现有技术在处理数据任务迁移时,通常将路径选择与带宽分配作为两个独立的阶段进行决策,缺乏深度的协同映射机制。传统的资源分配往往在静态规划出最优路径后,再盲目进行底层带宽的请求。这种割裂的决策模式忽略了网络中可用带宽的动态分布特性,当大量突发性迁移任务被集中路由至局部路径时,不仅极易导致链路过载引发严重拥塞,还会强行抢占底层资源,挤占既有核心业务的保障带宽并触发服务等级协议违约。同时,由于选路与带宽调节缺乏联动,系统无法在可用带宽衰减时灵活调度全局剩余资源,直接导致数据实际传输速率劣化,频繁造成迁移任务超时失败。

技术实现思路

1、本发明的目的在于提供一种数据任务迁移的路径与带宽协同分配方法及系统,解决背景技术中的问题:

2、本发明的目的可以通过以下技术方案实现:

3、一种数据任务迁移的路径与带宽协同分配方法,包括:

4、s1:提取输入端数据迁移任务的迁移数据量、截止时间及业务优先级参数,建立数据迁移任务的初始带宽需求特征向量;

5、s2:融合初始带宽需求特征向量与网络链路的既有业务占用状态,剔除受限链路并生成满足保护约束的候选传输路径集合;

6、s3:提取候选传输路径集合的剩余容量、时延、拥塞风险及服务定价特征,构建路径与带宽的联合协同映射矩阵;

7、s4:求解联合协同映射矩阵生成全局协同分配结果,解析全局协同分配结果的目标迁移路径与传输带宽分配配额;

8、s5:将数据迁移任务按传输带宽分配配额注入目标迁移路径进行传输操作,实时连续采集目标迁移路径的网络状态变异参量;

9、s6:根据网络状态变异参量触发增量重规划指令,基于最新网络快照数据迭代修正目标迁移路径与传输带宽分配配额。

10、作为本发明进一步的方案:所述步骤s1中,所述提取输入端数据迁移任务的迁移数据量、截止时间及业务优先级参数,建立数据迁移任务的初始带宽需求特征向量的过程为:

11、拦截输入端的数据迁移任务请求,解析数据迁移任务请求的描述文件,提取迁移数据量、截止时间及业务优先级参数的初始数值;

12、将迁移数据量、截止时间及业务优先级参数的初始数值输入量纲消除函数,转换生成处在相同度量空间内的标准化数值;

13、按照预设的维度排列顺序,将标准化数值进行线性串联拼接处理,建立数据迁移任务的初始带宽需求特征向量。

14、作为本发明进一步的方案:所述步骤s2中,所述融合初始带宽需求特征向量与网络链路的既有业务占用状态,剔除受限链路并生成满足保护约束的候选传输路径集合的过程为:

15、根据初始带宽需求特征向量解析出数据迁移任务的预期带宽需求数值;提取网络链路的既有业务占用状态,将既有业务占用状态与预期带宽需求数值进行加法运算,生成各条网络链路的预测总负载数值;

16、将预测总负载数值与保护约束参数比对,把预测总负载数值大于保护约束参数的网络链路标记为受限链路并执行剔除操作;

17、搜索剔除受限链路后的剩余网络链路,提取节点间的全部连通分支,将全部连通分支合并生成满足保护约束的候选传输路径集合。

18、作为本发明进一步的方案:所述步骤s3中,所述提取候选传输路径集合的剩余容量、时延、拥塞风险及服务定价特征,构建路径与带宽的联合协同映射矩阵的过程为:

19、遍历候选传输路径集合的拓扑结构,采集对应路径的剩余容量、时延、拥塞风险及服务定价特征,生成特征原始数据集;

20、将特征原始数据集输入数据归一化模型执行无量纲化运算,转换生成具有统一度量尺度的标准路径特征参量序列;

21、提取离散带宽分配向量,将候选传输路径集合设定为矩阵行维度,离散带宽分配向量设定为列维度,建立协同映射矩阵骨架;

22、将标准路径特征参量序列依据维度关系写入协同映射矩阵骨架的坐标节点,构建路径与带宽的联合协同映射矩阵。

23、作为本发明进一步的方案:所述步骤s4中,所述求解联合协同映射矩阵生成全局协同分配结果,解析全局协同分配结果的目标迁移路径与传输带宽分配配额的过程为:

24、建立以迁移代价极小值为收敛约束的目标函数,将目标函数与联合协同映射矩阵输入寻优算法模型执行解算处理;

25、触发寻优算法模型在可行解空间内执行迭代收敛运算,提取满足目标函数的离散最优解,将离散最优解组合生成全局协同分配结果;

26、调用解析组件读取全局协同分配结果,对全局协同分配结果的数据结构执行逆向解码,分离出表征路由走向的位置索引向量;

27、将位置索引向量映射至候选传输路径集合,锁定对应的目标迁移路径,提取全局协同分配结果携带的传输带宽分配配额。

28、作为本发明进一步的方案:所述步骤s5中,所述将数据迁移任务按传输带宽分配配额注入目标迁移路径进行传输操作,实时连续采集目标迁移路径的网络状态变异参量的过程为:

29、按照传输带宽分配配额设定端口速率,将数据迁移任务切分为报文,按设定的端口速率把报文注入目标迁移路径执行传输操作;

30、基于执行传输操作的目标迁移路径开启遥测探针,实时连续捕获沿途节点的运行快照,提取运行快照携带的基础链路特征;

31、比对相邻时序的基础链路特征,解析目标迁移路径的带宽波动值与时延突增值,将波动值与突增值拼接生成网络状态变异参量。

32、作为本发明进一步的方案:所述步骤s6中,所述根据网络状态变异参量触发增量重规划指令,基于最新网络快照数据迭代修正目标迁移路径与传输带宽分配配额的过程为:

33、将网络状态变异参量输入比较器,判定网络状态变异参量超出预设边界时,触发增量重规划指令,同时提取全网的最新网络快照数据;

34、根据增量重规划指令,将最新网络快照数据注入联合协同映射矩阵更新链路参数,重新解算并迭代修正目标迁移路径与传输带宽分配配额。

35、一种数据任务迁移的路径与带宽协同分配系统,包括:

36、需求构建模块,用于提取输入端数据迁移任务的迁移数据量、截止时间及业务优先级参数,建立数据迁移任务的初始带宽需求特征向量;

37、路径筛选模块,用于融合初始带宽需求特征向量与网络链路的既有业务占用状态,剔除受限链路并生成满足保护约束的候选传输路径集合;

38、矩阵构建模块,用于提取候选传输路径集合的剩余容量、时延、拥塞风险及服务定价特征,构建路径与带宽的联合协同映射矩阵;

39、协同分配模块,用于求解联合协同映射矩阵生成全局协同分配结果,解析全局协同分配结果的目标迁移路径与传输带宽分配配额;

40、传输采集模块,用于将数据迁移任务按传输带宽分配配额注入目标迁移路径进行传输操作,实时连续采集目标迁移路径的网络状态变异参量;

41、增量规划模块,用于根据网络状态变异参量触发增量重规划指令,基于最新网络快照数据迭代修正目标迁移路径与传输带宽分配配额。

42、一种电子设备,包括存储器以及处理器,述存储器中存储可在所述处理器上运行的计算机程序,所述处理器上执行程序时实现如上所述的一种数据任务迁移的路径与带宽协同分配方法中的步骤。

43、一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的一种数据任务迁移的路径与带宽协同分配方法中的步骤。

44、本发明的有益效果:

45、首先,本发明通过构建路径与带宽的联合协同映射矩阵,打破了传统选路与带宽分配相割裂的决策模式,实现了网络底层资源的深度协同与全局最优调度。具体而言,在分配初期,本方案将初始带宽需求特征向量与链路的既有业务占用状态相融合并剔除受限链路,确立了严格的既有业务保护约束,从根本上避免了大量突发性任务强行抢占资源而触发的服务等级协议违约。随后,综合剩余容量、时延及拥塞风险等特征进行联合矩阵求解,一步到位地输出目标迁移路径与传输带宽分配配额。这种“联调联配”机制摒弃了静态选路后的盲目带宽请求,有效规避了突发任务集中路由至局部路径引发的链路过载与严重拥塞。

46、其次,本发明建立了一种基于网络状态变异闭环反馈的动态增量重规划机制,显著提升了可用带宽衰减场景下的传输稳定性与任务成功率。系统在任务注入传输后,实时连续采集网络状态变异参量,赋予了选路与带宽调节高度的动态联动能力。当网络环境恶化或可用带宽发生衰减时,本方案能够即时触发增量重规划指令,并利用最新网络快照数据迭代修正路径与配额。这种微秒或毫秒级的自适应重平衡操作,确保了系统能够灵活调度全局剩余资源进行补偿,有效遏制了数据传输速率的劣化趋势,解决了传统机制下因拥塞拥堵频繁造成的迁移任务超时失败问题。