一种基于联邦学习的跨域网络资源AI协同调度方法及系统与流程

摘要: 本发明涉及边缘计算,尤其涉及一种基于联邦学习的跨域网络资源ai协同调度方法及系统。背景技术:1、随着5g/6g通信技术与物联网应用的深度融合,网络边缘侧部署了大...
一种基于联邦学习的跨域网络资源AI协同调度方法及系统与流程

本发明涉及边缘计算,尤其涉及一种基于联邦学习的跨域网络资源ai协同调度方法及系统。

背景技术:

1、随着5g/6g通信技术与物联网应用的深度融合,网络边缘侧部署了大量的异构计算节点(如基站侧服务器、边缘网关、智能终端等),跨域网络资源协同调度已成为支撑智能计算任务高效执行的关键技术之一。传统的集中式资源调度架构依赖中心控制器获取全局资源状态信息并统一下发调度决策,在单一管理域内能够实现较好的负载均衡效果。然而,随着算力网络概念的兴起与云边端协同计算范式的普及,网络资源呈现出跨地域分布、异构性强、动态变化显著等特征,传统集中式调度架构面临可扩展性瓶颈与单点故障风险。近年来,联邦学习作为一种分布式机器学习范式,允许多个参与方在不共享原始数据的前提下协同训练全局模型,已在边缘智能、隐私计算等领域展现出广阔的应用前景。与此同时,基于ai的负载预测技术被逐步引入网络资源管理领域,通过对节点cpu、内存、带宽等多维资源使用序列进行建模,实现对资源负载趋势的前瞻性预判,为调度决策提供数据支撑。

2、然而,现有跨域网络资源调度技术仍存在若干亟待克服的不足。例如,多数调度方案依赖节点的瞬时资源状态(如当前cpu利用率、剩余带宽等)作为调度依据,缺乏对未来负载变化趋势的感知能力,导致调度决策具有显著的滞后性,当节点当前资源充裕但即将进入繁忙周期时,任务仍可能被调度至该节点,引发后续的执行延迟甚至失败;且存在现有联邦学习框架在跨域调度场景下的应用多聚焦于模型训练的加速与通信优化,尚未充分解决如何利用联邦聚合机制实现多节点负载趋势的协同感知与调度决策的闭环优化等问题。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例,在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有跨域网络资源调度技术存在的问题,提出了本发明。

3、为解决上述技术问题,本发明提供如下技术方案:一种基于联邦学习的跨域网络资源ai协同调度方法,其特征在于:包括:各边缘节点通过联邦聚合生成负载变化趋势标识,并获取资源承兑率累计值及当前实时负载余量值;响应于协同调度请求,根据所述负载变化趋势标识筛选趋于空闲的边缘节点生成时间适宜池,若为空则补入预测空闲时刻最早的节点;根据所述当前实时负载余量值对所述时间适宜池内的节点进行阈值剔除生成有效候选池,空池时逐级松弛阈值直至非空,非空时根据所述资源承兑率累计值与所述当前实时负载余量值计算综合调度优先指数以确定目标边缘节点;向所述目标边缘节点下发目标任务,根据任务执行结果对所述资源承兑率累计值进行奖惩更新,并每经预设周期数对所有累计值统一施加衰减。

4、作为本发明所述的一种优选方案,其中:所述各边缘节点通过联邦聚合生成负载变化趋势标识包括:各边缘节点根据本地存储的历史负载记录训练本地ai负载预测模型,将各所述本地ai负载预测模型的模型参数发送至中心服务器进行联邦聚合;所述中心服务器将聚合后的模型参数回传至各边缘节点;各边缘节点根据所述聚合后的模型参数对未来连续时隙的负载值进行预测,根据预测结果生成所述负载变化趋势标识。

5、作为本发明所述的一种优选方案,其中:根据所述负载变化趋势标识筛选趋于空闲的边缘节点生成时间适宜池包括:根据所述负载变化趋势标识对边缘节点进行初筛,生成初始候选池;当所述初始候选池非空时,将所述初始候选池记为所述时间适宜池;当所述初始候选池为空时,预测各边缘节点在未来连续时隙的负载值,将负载值首次低于预设空闲判定阈值的时隙记为所述预测空闲时刻,选取所述预测空闲时刻最小的边缘节点补入所述时间适宜池,并将对应边缘节点标记为兜底候选节点。

6、作为本发明所述的一种优选方案,其中:根据所述当前实时负载余量值对所述时间适宜池内的节点进行阈值剔除生成有效候选池包括:获取所述时间适宜池内各边缘节点的所述资源承兑率累计值及所述当前实时负载余量值,分别进行归一化处理,得到标准化承兑率指数和标准化负载余量指数;以预设余量阈值为判定值,剔除所述当前实时负载余量值低于所述预设余量阈值的边缘节点,生成所述有效候选池。

7、作为本发明所述的一种优选方案,其中:所述空池时逐级松弛阈值直至非空包括:当所述有效候选池为空时,将所述预设余量阈值按照预设步长向下逐级松弛,每松弛一级后重新执行阈值剔除操作;松弛至系统预设的最低保障阈值后,若所述有效候选池非空,则将当前有效候选池作为最终的有效候选池。

8、作为本发明所述的一种优选方案,其中:所述松弛至系统预设的最低保障阈值后,还包括:若所述有效候选池仍为空,则将所述时间适宜池中当前实时负载余量值最大的边缘节点确定为目标边缘节点,并标记为紧急候选节点。

9、作为本发明所述的一种优选方案,其中:所述确定目标边缘节点包括:根据所述标准化承兑率指数和所述标准化负载余量指数进行加权求和,计算各边缘节点的所述综合调度优先指数;根据所述综合调度优先指数由高至低对所述有效候选池内的边缘节点进行排序,将排序首位的边缘节点确定为所述目标边缘节点。

10、作为本发明所述的一种优选方案,其中:对所述资源承兑率累计值进行奖惩更新包括:记录所述目标边缘节点对所述目标任务的稳定供给时长;若所述目标任务执行成功,将所述稳定供给时长累加至所述资源承兑率累计值;若所述目标任务执行失败,将所述实际执行时长与预设标准执行时长的差值绝对值从所述资源承兑率累计值中扣减。

11、作为本发明所述的一种优选方案,其中:所述每经预设周期数对所有累计值统一施加衰减包括:预设周期数及衰减系数均为预设值,所述衰减系数为小于1的正数;每完成所述预设周期数次调度任务后,将全部边缘节点的所述资源承兑率累计值统一乘以所述衰减系数;新注册边缘节点的所述资源承兑率累计值初始设为当前全部边缘节点的中位值。

12、本发明还提供一种基于联邦学习的跨域网络资源ai协同调度系统,包括:联邦状态感知模块,各边缘节点通过联邦聚合生成负载变化趋势标识,并获取资源承兑率累计值及当前实时负载余量值;时间适宜池生成模块,响应于协同调度请求,根据所述负载变化趋势标识筛选趋于空闲的边缘节点生成时间适宜池,若为空则补入预测空闲时刻最早的节点;候选池择优选定模块,根据所述当前实时负载余量值对所述时间适宜池内的节点进行阈值剔除生成有效候选池,空池时逐级松弛阈值直至非空,非空时根据所述资源承兑率累计值与所述当前实时负载余量值计算综合调度优先指数以确定目标边缘节点;反馈奖惩衰减模块,向所述目标边缘节点下发目标任务,根据任务执行结果对所述资源承兑率累计值进行奖惩更新,并每经预设周期数对所有累计值统一施加衰减。

13、本发明的有益效果:本发明有效克服了传统资源调度方法依赖瞬时状态信息所导致的决策滞后性缺陷,通过联邦聚合机制使各边缘节点在原始负载数据不出本地的前提下协同训练ai预测模型,既实现了对节点未来负载变化趋势的前瞻性预判,又保障了跨域网络环境下多源数据的安全隐私。在此基础上,本发明构建了时间适宜性初筛-资源充裕性复选-综合优先级排序的三级调度决策链路,通过兜底候选节点和逐级松弛阈值的双重容错机制显著提升了调度策略在全局资源紧张或极端满载场景下的鲁棒性。

14、同时,本发明根据资源承兑率累计值对边缘节点的历史任务执行质量进行量化跟踪,结合任务成功时的正向激励、失败时的惩罚扣减以及周期性全局衰减,形成了信用评价的动态闭环更新机制,既能够持续筛选稳定可靠的节点参与调度,又为新注册节点创造了公平的竞争环境,从而在整体上大幅提升了跨域网络资源调度的前瞻性、安全性、鲁棒性与长期均衡性。