一种跨区域智算网络的资源协同调度方法与流程

摘要: 本发明涉及算力网络调度,具体涉及一种跨区域智算网络的资源协同调度方法。背景技术:1、随着人工智能与大模型训练业务的发展,单一数据中心的算力难以满足海量计算需求,...
一种跨区域智算网络的资源协同调度方法与流程

本发明涉及算力网络调度,具体涉及一种跨区域智算网络的资源协同调度方法。

背景技术:

1、随着人工智能与大模型训练业务的发展,单一数据中心的算力难以满足海量计算需求,跨区域的智算网络逐渐普及。跨区域智算网络旨在通过广域网将地理位置分散的异构算力枢纽连接起来,形成一体化的算网基础设施,为分布的终端业务提供计算服务。

2、在现有的跨区域智算网络中,通常采用集中式的控制架构来执行资源协同调度。中心控制器通过带外管理网络定期向各个底层网络设备与算力节点发送软件轮询信令,收集全网的网络链路延迟信息以及各数据中心的算力任务队列负载状态;随后,中心控制器基于周期性汇总的全局状态数据运行算网统筹算法,计算出任务流的目的算力节点与网络传输路径,并向下游的数据面交换设备下发转发规则,指导底层网络报文向目标算力节点传输。

3、然而,这种依赖中心控制器软件轮询的调度机制在面对高并发的智算业务时存在缺陷。一方面,广域网跨度大,控制器周期性轮询不可避免地在网络中产生庞大的信令开销,占用业务带宽;另一方面,受限于软件轮询周期的客观存在,数据面设备在执行报文匹配与转发动作时,其依赖的算力队列深度与网络延迟处于未校准的历史状态。状态更新的滞后性导致底层网络无法及时感知资源拥塞,引发算力资源的调度失配,进而降低了算网资源匹配决策的准确性。

技术实现思路

1、为解决上述背景技术提出的问题,本发明提供一种跨区域智算网络的资源协同调度方法,由智算边缘节点、可编程数据面网关以及目标智算节点构成的跨区域算网原生调度系统执行,所述方法包括:

2、步骤s100,可编程数据面网关构建并维护局部算网状态空间,接收相邻节点发送的带内网络遥测报文,提取所述带内网络遥测报文携带的网络链路延迟量化值以及下游目标智算节点的任务队列深度量化值并存储,形成算网可用度哈希表;

3、步骤s200,智算边缘节点生成携带算网意图的源路由报文,将本地智算业务的资源约束条件编码为定长特征位结构,写入ipv6报文的分段路由扩展头内的自定义类型-长度-值字段中;

4、步骤s300,可编程数据面网关接收所述携带算网意图的源路由报文,执行硬件级状态匹配与联合代价评估,提取所述定长特征位结构并转化为流水线元数据,读取当前有效链路延迟量化值与有效算力队列深度,根据预配置的网络拥塞权重系数与算力负载权重系数,执行无符号整型的乘加运算计算备选网络路径与目标智算节点组合的复合代价值;

5、步骤s400,匹配-动作流水线判断各备选路径的复合代价值是否小于预设的资源枯竭临界值,当局部算网状态空间内存在小于资源枯竭临界值的复合代价值时,触发常规重定向动作,覆写所述源路由报文的目的ipv6地址将数据流偏转至产生最小复合代价值的目标智算节点;当所有的备选路径的复合代价值均大于或等于所述资源枯竭临界值时,触发意图降级动作,修改所述分段路由扩展头中的算力精度标识位,基于降级后的新约束条件重新匹配次优的目标智算节点,覆写路由地址完成数据包转发。

6、优选的,所述可编程数据面网关构建并维护局部算网状态空间,形成算网可用度哈希表,包括:在静态随机存取存储器中分配连续内存块配置为所述算网可用度哈希表,设定所述算网可用度哈希表的键值为备选网络路径标识与下游目标智算节点标识的二进制组合;协议解析引擎提取出所述链路延迟量化值、任务队列深度量化值、备选网络路径标识以及下游目标智算节点标识,转化为所述匹配-动作流水线可识别的元数据;算术逻辑单元利用所述元数据中的备选网络路径标识与下游目标智算节点标识调用硬件哈希函数模块计算哈希索引定位至对应的物理地址,覆写所述算网可用度哈希表数据域中的原始链路延迟记录值与原始算力队列记录值,并截取硬件时钟信号将状态更新时间戳覆写为当前时钟信号的绝对值。

7、优选的,所述读取当前有效链路延迟量化值与有效算力队列深度,包括基于报文事件触发机制执行时间衰减补偿计算:当业务报文进入匹配-动作流水线时,算术逻辑单元获取硬件时钟发生器生成的触发时间戳并读取所述状态更新时间戳;调用内置的硬件减法器执行无符号整数减法运算,输出自上一次状态刷新以来的时间差值;调用内置的硬件乘法器将预配置的网络状态硬件衰减系数与所述时间差值相乘输出网络状态补偿量,将预配置的算力状态硬件衰减系数与所述时间差值相乘输出算力状态补偿量;调用内置的硬件加法器从所述原始链路延迟记录值中加上所述网络状态补偿量,并从所述原始算力队列记录值中加上所述算力状态补偿量,利用内置的硬件比较器执行取最小值饱和截断操作,以防止数值超出设定的上限值,输出经过衰减补偿计算后的当前有效链路延迟量化值与当前有效算力队列深度。

8、优选的,所述智算边缘节点将本地智算业务的资源约束条件编码为定长特征位结构,写入ipv6报文的分段路由扩展头内的自定义类型-长度-值字段中,包括:数据包封装引擎在所述分段路由扩展头内分配所述自定义类型-长度-值字段,将长度位配置为绝对固定数值;在所述自定义类型-长度-值字段的值域内部划分固定的两个比特位作为算力精度标识位,将算力精度需求转化为对应的比特组合以指示不同位数的整型计算精度需求或浮点计算精度需求;在所述值域内部继续划分连续的八个比特位作为最大容忍延迟标志位,以及划分单个独立比特位作为任务分片标识位以指示单体大任务或流式小分片任务;将所述算力精度标识位、最大容忍延迟标志位与任务分片标识位按预设的物理内存对齐顺序拼接形成所述定长特征位结构并写入。

9、优选的,所述提取定长特征位结构并转化为流水线元数据,包括:协议解析引擎内部配置基于有限状态机硬件实现的解析图实体,在读取下一报头字段的值指示路由扩展头时,所述解析图实体跳转至分段路由扩展头解析节点;锁定目标自定义类型-长度-值字段的内存起始地址,基于硬编码的固定绝对地址差值执行位切片读取操作,截取所述算力精度标识位、最大容忍延迟标志位以及任务分片标识位;将截取到的标识位和标志位并行写入用户自定义元数据总线,转化为所述流水线元数据同步推送至所述匹配-动作流水线。

10、优选的,所述执行无符号整型的乘加运算计算备选网络路径与目标智算节点组合的复合代价值,包括:算术逻辑单元调用内置的整数乘加器,接收所述当前有效链路延迟量化值与权重寄存器输出的网络拥塞权重系数执行乘法运算生成网络代价分量,接收当前有效算力队列深度与权重寄存器输出的算力负载权重系数执行乘法运算生成算力代价分量;调用内置的硬件加法器将所述网络代价分量与所述算力代价分量作为输入执行整数加法运算,输出所述算网复合代价值;调用内置的硬件比较器阵列将所述算网复合代价值与资源枯竭临界值并行比对,当存在小于所述资源枯竭临界值的算网复合代价值时,触发内置的多路复用器筛选出数值最小的算网复合代价值锁定为最优重定向目标。

11、优选的,所述所有的备选路径的复合代价值均大于或等于所述资源枯竭临界值时,触发意图降级动作,修改所述分段路由扩展头中的算力精度标识位,包括:所述匹配-动作流水线中止常规重定向动作,触发意图降级分支指示动作执行单元调用内部集成的位操作逻辑门电路;所述位操作逻辑门电路基于预设的物理位偏移量寻址,向指定的比特物理地址发送反转电平信号,将所述算力精度标识位中指示高精度计算的比特组合强制覆写为指示低精度整型计算的比特组合;检测所述流水线元数据中的任务分片标识位,向所述任务分片标识位所在的物理存储单元注入高电平信号将底层电平值翻转,使得当前数据负载被折叠并降级为流式小分片任务。

12、优选的,所述可编程数据面网关预先在静态随机存取存储器中分配连续内存块初始化为长度固定的连续位数组,并将全部比特位初始电平状态配置为数值零,以构建任务级布隆过滤器;所述触发意图降级动作后,还包括调用所述任务级布隆过滤器记录意图降级动作轨迹的步骤: 协议解析引擎提取所述源路由报文中的任务唯一标识与算力约束语义特征按预设内存位宽拼接形成防环特征元数据;算术逻辑单元调用内部集成的硬件哈希计算器簇利用物理逻辑门并行读取防环特征元数据执行循环移位与异或运算,输出多个独立的无符号整型哈希结果;调用内置的硬件取模逻辑单元将所述独立的无符号整型哈希结果对所述连续位数组的固定长度值执行取模运算生成多个数组物理索引值,并将对应物理索引位置的比特位电平状态由数值零翻转为数值一。

13、优选的,所述触发意图降级动作前,还包括调用算术逻辑单元执行防环状态前置读取操作以进行调度环路判定:通过所述硬件取模逻辑单元将无符号整型哈希结果转换为指向连续位数组的多个数组物理索引值,生成读内存控制信号,并行输出对应物理索引位置的多个比特位电平状态;调用内置的硬件逻辑与门电路接收多个比特位电平状态执行布尔与运算;当布尔与运算的输出结果为高电平时,表征多个比特位电平状态均为数值一,判定当前智算业务疑似发生调度环路震荡。

14、优选的,所述判定当前智算业务疑似发生调度环路震荡后,还包括触发协议回退动作分支的步骤:匹配-动作流水线中止意图降级分支,触发所述协议回退动作分支指示动作执行单元调用底层报头剥离指令;在物理载荷层面直接丢弃源路由报文中的分段路由扩展头结构数据,并修改外层基本头的载荷长度字段,使得所述源路由报文退化为标准 ipv6数据报文,抹除算网意图语义特征;调用内部配置的逃生路由覆写单元读取默认路由寄存器,将标准ipv6数据报文的目的ip地址强制覆写为全局默认主控算力节点的物理ip地址,并送交出端口调度队列进行发送,以由所述全局默认主控算力节点执行集中式托底调度。

15、本发明采用上述技术方案,能够带来如下有益效果:

16、1、通过在可编程数据面网关的静态随机存取存储器中构建局部状态空间,并在报文进入流水线时由算术逻辑单元的硬件减法器、硬件乘法器、硬件加法器及硬件比较器联动执行时间戳差值计算、补偿累加与截断处理以进行衰减补偿,实现了在不依赖控制器软件轮询的条件下对网络延迟与算力队列深度的实时校准,有效降低了广域网信令开销并避免了状态陈旧导致的调度失配,保障了算网资源匹配决策的准确性。

17、2、通过在源路由报文的分段路由扩展头内分配长度固定的自定义类型-长度-值字段以承载定长特征位结构,并在局部复合代价值超出临界值时利用匹配动作流水线的位操作逻辑门电路对算力精度标识位与任务分片标识位执行底层硬件电平级的位翻转覆写,实现了在不改变报文物理长度的前提下对算力约束语义的快速主动调整,降低了因网络拥塞丢包引发的智算任务重传频率。

18、3、通过调用硬件哈希计算器簇与硬件取模逻辑单元基于连续位数组构建任务级布隆过滤器,并在触发降级前调用硬件逻辑与门电路执行布尔与运算以判定调度环路震荡状态,配合动作执行单元在判定疑似发生环路震荡时调用逃生路由覆写单元剥离分段路由扩展头并将报文强制导向默认主控节点,实现了对重定向行为的硬件级防环拦截,保障了跨区域算网原生调度系统在高负载状态下的整体稳定性。