一种知识驱动的算力网络多智能体任务卸载优化方法

本发明涉及算力网络与移动边缘计算，尤其涉及一种知识驱动的算力网络多智能体任务卸载优化方法。

背景技术：

1、随着5g技术的规模化部署与6g技术的深入研发，增强现实、智能制造、工业物联网等计算密集型与时延敏感型业务快速增长，这类业务对服务时延、计算资源与传输可靠性提出了严苛的服务质量要求，给算力与电池容量受限的用户设备带来了巨大的挑战。为解决这一问题，算力网络技术应运而生，其通过深度融合分布式计算资源与网络传输资源，实现算力的泛在部署与灵活调度，成为支撑下一代移动通信网络业务的核心架构。

2、移动边缘计算作为算力网络的核心使能技术，通过在无线接入网边缘部署边缘服务器，将云计算能力下沉至用户侧，大幅缩短了业务数据的传输路径，有效降低了服务端到端时延。然而，在多用户、多节点的算力网络场景中，高效的任务卸载决策仍面临着核心难题。用户的移动性、任务到达的随机性、多用户同步的卸载请求，极易导致边缘节点出现严重的资源竞争与排队拥塞，造成业务处理超时，违反服务的严格截止期约束。

3、深度强化学习技术因具备强大的动态环境决策能力，被广泛应用于移动边缘计算场景下的任务卸载问题求解。但现有基于深度强化学习的任务卸载方案主要分为两类，均存在显著的技术缺陷。第一类为集中式深度强化学习方案，该类方案通过单智能体采集所有用户的全局状态，输出联合卸载决策。但随着接入用户设备数量的增长，系统的状态-动作空间会出现组合爆炸，导致严重的可扩展性不足，计算开销急剧上升，无法适配大规模用户接入的算力网络场景。

4、第二类为分布式多智能体深度强化学习方案，该类方案通过在每个用户设备上部署独立的智能体，实现本地卸载决策的分布式生成，具备天然的可扩展性优势。但由于各智能体仅能获取本地观测信息，缺乏对算力网络全局状态的认知，决策行为存在短视性，多个智能体往往会同时选择“表面空闲”的同一台边缘服务器进行任务卸载，引发严重的“羊群效应”，造成特定节点的突发拥塞，导致系统整体性能次优与资源的严重浪费。

5、为解决全局协同与分布式可扩展性之间的矛盾，知识定义网络范式被提出。与传统软件定义网络依赖的集中式被动管控模式不同，知识定义网络引入了专用的知识平面，通过机器学习技术从网络运行数据中提取可落地的洞察信息，生成网络状态的预测性知识，实现基于未来网络状态的主动资源调度，突破了传统控制器的时延瓶颈。但现有基于知识定义网络的算力网络调度方案，尚未将全局流量预测知识与分布式多智能体卸载决策进行深度融合，无法从根本上解决多智能体决策的羊群效应问题。

6、此外，现有任务卸载方案的优化目标大多仅考虑时延与能耗的线性加权，设计的用户体验质量模型无法精准捕捉时延敏感型任务的紧急程度。对于接近截止期的任务，线性加权的代价函数无法实现指数级的惩罚约束，导致智能体无法优先保障任务的成功执行，在高负载场景下任务完成率大幅下降，无法满足算力网络中时延敏感型业务的高可靠执行需求。

7、综上，现有算力网络任务卸载技术存在集中式方案可扩展性不足、分布式多智能体方案羊群效应显著、全局协同能力弱、用户体验质量模型无法适配任务紧急度动态变化的缺陷；现有方案未针对算力网络多节点分布式负载数据的时序特征做深度挖掘与高效处理，无法实现全局网络状态的精准感知与预判，是导致分布式智能体决策协同性不足的核心根源，亟需一种兼顾可扩展性与全局优化能力的任务卸载优化方法。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足，提供一种知识驱动的算力网络多智能体任务卸载优化方法，以解决现有技术中集中式深度强化学习方案可扩展性不足、分布式多智能体方案因局部视野限制缺乏协同导致羊群效应、系统性能次优的问题，同时通过动态紧急感知的qoe模型实现时延敏感型任务的高可靠执行，有效缓解网络拥塞，提升系统可扩展性，降低高负载场景下的服务时延，实现动态算力网络环境中整体qoe的持续最大化。

2、为解决上述技术问题，本发明所采取的技术方案是：

3、一种知识驱动的算力网络多智能体任务卸载优化方法，包括以下步骤：

4、步骤1：搭建基于知识定义网络kdn范式的算力网络分层架构；将算力网络系统功能逻辑解耦为四个相互独立又协同交互的平面，即数据平面、控制平面、管理平面与知识平面，建立集中式全局认知与分布式本地决策相结合的混合算力网络任务卸载体系；

5、所述数据平面作为基础设施层，由算力网络中的用户设备ue、基站侧的多个边缘服务器es以及连接它们的物理传输链路组成，负责执行实质的计算任务与底层的数据转发；同时，持续采集网络运行状态统计数据，将边缘服务器实时负载遥测数据上报至知识平面；

6、所述控制平面作为分布式决策层，由部署在各个用户设备ue上的n个独立智能体组成，每个智能体接收自身本地观测信息与知识平面广播的全局流量预测结果，基于融合后的状态信息独立生成本地任务卸载决策；

7、所述管理平面作为宏观编排层，与控制平面并行运行，负责整个算力网络的长期配置管理、安全策略管控以及网络功能编排，保障控制平面的分布式决策与系统整体优化目标一致；

8、所述知识平面作为集中式分析层，部署于算力网络基站侧，用于维护整个算力网络系统的全局视图，负责接收并处理数据平面上报的原始遥测数据，提取其中的有效信息，完成历史全局负载序列的数据清洗与聚合，并基于深度学习模型对未来的网络流量状态进行预测，将生成的全局网络状态预测知识广播至控制平面内的所有分布式智能体，实现算力网络全场景负载时序数据的端到端处理，为分布式智能体提供精准的全局网络状态预判知识；

9、步骤2：构建算力网络任务卸载系统模型，包括任务模型、通信开销模型、计算开销模型，并基于任务截止期紧急程度设计动态紧急感知的体验质量qoe模型，以qoe最大化为核心建立任务卸载优化目标函数与约束条件；

10、步骤3：基于知识平面的全局流量预测与控制平面的分布式多智能体深度强化学习决策，设计kq-net算力网络任务卸载优化方案，通过集中式流量预测生成全局先验知识，引导分布式智能体完成本地任务卸载决策，实现算力网络全局qoe的长期最大化。

11、进一步地，所述步骤2中构建的算力网络任务卸载系统模型，具体如下：

12、首先进行系统场景定义，算力网络场景中包含m个边缘服务器，构成集合={1,2,…,m}，同时包含n个用户设备，构成集合={1,2,…,n}；边缘服务器部署于基站侧，通过高速光纤链路实现互联互通；将时间维度离散为持续时长为τ的时隙，时隙序列表示为t∈{1,…,t}；每个用户设备在每个时隙内生成计算任务，并选择本地执行或卸载至其中一个边缘服务器执行，为每个用户设备n定义卸载决策变量，其中表示任务在本地设备执行，表示任务卸载至第m个边缘服务器执行；同时定义卸载指示变量，如下所示：

13、；

14、其中，当卸载指示变量时，表示当前时隙用户设备n执行任务卸载操作；当时，表示当前时隙用户设备n选择在本地执行任务；表示指示函数，当括号内的条件成立时取值为1，否则取值为0；

15、s21、任务模型，将每个时隙内用户设备生成的计算任务通过三元组进行标准化表征，用户设备n在时隙t生成的计算任务特征集合如下式所示：

16、；

17、其中，为任务原始数据量，单位为比特；为任务所需的处理密度，单位为周期/比特，表征处理单位数据量所需的cpu时钟周期数；为任务的严格执行截止期，单位为时隙；任务的到达过程服从概率为λ的随机伯努利序列，即在每个时隙内，用户设备有λ的概率生成一个计算任务，有1-λ的概率不生成任务；

18、s22、通信开销模型，当用户设备n将任务卸载至边缘服务器m时，基于香农公式计算可实现的上行传输速率，并基于传输速率计算任务卸载的传输延迟与传输能耗；

19、s23、计算开销模型，分为本地计算开销与边缘计算开销两部分，分别对应任务本地执行与卸载执行的计算资源消耗与时延消耗。

20、进一步地，所述步骤s22中，在时隙t内，用户设备n向边缘服务器m卸载任务时的上行传输速率计算公式如下：

21、；

22、其中，b为频谱带宽，单位为hz；为用户设备的发射功率，单位为w；为时隙t内用户设备n与边缘服务器m之间的无线信道状态；为环境噪声方差，单位为w；

23、任务卸载的传输延迟为任务数据量除以上行传输速率，公式如下：

24、；

25、其中，为时隙t内用户设备n向边缘服务器m卸载任务的传输延迟，单位为s；

26、任务卸载的传输能耗为发射功率与传输延迟的乘积，公式如下：

27、；

28、其中，为时隙t内用户设备n向边缘服务器m卸载任务的传输能耗，单位为j。

29、进一步地，所述步骤s23具体如下：

30、s231、本地计算开销，当任务在用户设备本地执行时，基于本地cpu频率计算本地执行延迟与本地计算能耗，计算公式如下：

31、本地执行延迟：

32、；

33、其中，为时隙t内用户设备n本地执行任务的处理延迟，单位为s；为用户设备本地cpu的运行频率，单位为hz；

34、本地计算能耗，基于cpu能耗的立方定律进行计算，公式如下：

35、；

36、其中，为时隙t内用户设备n本地执行任务的计算能耗，单位为j；为硬件相关的开关电容系数，为大于0的常数；

37、s232、边缘计算开销，当任务卸载至边缘服务器m执行时，采用动态处理器共享模型，基于边缘服务器总计算能力与实时负载计算分配给用户设备n的有效处理速率，并基于有效处理速率计算边缘处理延迟、边缘计算能耗与用户设备待机能耗，具体如下：

38、首先计算边缘服务器分配给用户设备n的有效处理速率，公式如下：

39、；

40、其中，为时隙t内边缘服务器m分配给用户设备n的有效cpu处理频率，单位为hz；fm为边缘服务器m的总计算能力，单位为hz；为时隙t内边缘服务器m的实时负载，即当前正在等待处理与正在处理的任务总数；

41、基于有效处理速率计算边缘处理延迟，公式如下：

42、；

43、其中，为时隙t内边缘服务器m处理用户设备n卸载任务的处理延迟，单位为s；

44、边缘计算能耗计算，公式如下：

45、；

46、其中，为时隙t内边缘服务器m处理用户设备n卸载任务的计算能耗，单位为j；为边缘服务器m的运行功率，单位为w；

47、用户设备待机能耗计算，在边缘服务器处理任务期间，用户设备处于待机状态，其待机能耗公式如下：

48、；

49、其中，为时隙t内用户设备n的待机能耗，单位为j；为用户设备的待机功率，单位为w；

50、s233、任务总执行开销计算，基于上述本地计算与边缘计算的开销模型，计算任务的总执行延迟与总能耗，计算公式如下：

51、总执行延迟：

52、；

53、其中，为时隙t内用户设备n的任务总执行延迟，单位为s；

54、总能耗：

55、；

56、其中，为时隙t内用户设备n执行任务的总能耗，单位为j。

57、进一步地，所述步骤s2中的动态紧急感知的体验质量qoe模型，具体如下：

58、首先定义任务的归一化时延指标，表征任务执行时延与截止期的比值，公式如下：

59、；

60、其中，为任务的归一化时延指标，其值越小，代表任务执行的时延性能越好；当>1时，代表任务执行超时，判定为执行失败；

61、引入非线性动态惩罚项，对接近截止期的任务进行指数级惩罚，强化智能体对任务紧急程度的感知能力，惩罚项计算公式为：

62、；

63、其中，为非线性动态惩罚项；

64、基于任务执行结果、时延、能耗构建单时隙单用户的qoe计算模型，公式为：

65、；

66、其中，为任务成功执行指示变量，当时，，代表任务在截止期内成功执行；否则，代表任务执行失败；为时延权重系数，取值范围为[0,1]；1-为能耗权重系数；为参考能耗基准值，用于对能耗指标进行归一化处理；为非线性惩罚项权重系数，取值大于0；为任务执行失败的惩罚值，取值大于0；

67、以长期系统平均qoe最大化为核心，构建优化目标函数p1，公式为：

68、；

69、其中，a为所有用户设备在全时隙内的卸载决策集合，优化目标为在整个时间周期内，实现系统所有用户的长期平均qoe最大化；

70、为上述优化目标函数设置如下约束条件：

71、c1: ；

72、c2: ；

73、c3: ；

74、其中，各约束的具体含义与执行规则如下：

75、约束c1为卸载决策约束，限定每个用户设备在每个时隙仅能选择本地执行、或卸载至其中一个边缘服务器执行，不可同时向多个边缘服务器卸载同一任务，确保卸载决策的唯一性；

76、约束c2为任务截止期约束，限定任务的总执行延迟不得超过其最大允许执行截止期，若超出则判定任务执行失败，触发qoe模型中的失败惩罚；

77、约束c3为设备能耗约束，限定用户设备执行任务的总能耗不得超过其单时隙最大可用能耗上限，保障用户设备的续航能力，避免因任务执行导致设备电量耗尽。

78、进一步地，所述步骤s3中知识平面的全局流量预测，具体采用门控循环单元gru网络实现，步骤如下：

79、s311、数据聚合；知识平面接收数据平面上报的各时隙边缘服务器实时负载向量，构建长度为k的历史全局负载序列，作为gru网络的输入；其中，k为历史序列的滑动窗口长度，为正整数；

80、s312、流量预测；通过gru网络的更新门与重置门处理历史负载序列，更新隐藏状态，将最终隐藏状态ht输入全连接层，输出下一时隙的边缘服务器负载预测向量，计算公式为：

81、；

82、其中，为预测得到的下一时隙边缘服务器负载向量；为全连接层权重矩阵；为全连接层偏置项；为线性整流激活函数，用于引入非线性变换；

83、s313、知识广播；将预测得到的未来负载向量作为全局知识，广播至控制平面的所有n个分布式智能体，为本地决策提供全局网络状态的先验信息，使各智能体能够提前感知未来的网络拥塞热点。

84、进一步地，所述步骤s3中控制平面的分布式多智能体深度强化学习决策中，将每个用户设备的任务卸载决策过程建模为马尔可夫决策过程（markov decision process,mdp），通过四元组表征，具体如下：

85、s321、状态空间s，将知识平面提供的全局预测信息融入本地观测，构建用户设备n在时隙t的状态向量，具体如下：

86、；

87、其中，为本地任务数据量，表征当前待处理任务的规模；为本地计算队列长度，表征本地设备的计算负载积压情况；为传输队列长度，表征本地设备的传输任务积压情况；

88、s322、动作空间a，为离散动作空间，用户设备n在时隙t的动作，其中0表示任务本地执行，1～m分别表示卸载至对应编号的边缘服务器执行，动作空间的维度与边缘服务器的数量+1保持一致；

89、s323、奖励函数r，将用户设备n在时隙t的瞬时奖励设置为当前时隙的qoe值，即，智能体的优化目标为最大化预期折扣累计收益，公式为：

90、；

91、其中，∈[0,1]为折扣因子，用于表征未来奖励的当前价值，折扣因子越接近1，代表智能体越关注长期收益；折扣因子越接近0，代表智能体越关注短期即时收益。

92、进一步地，所述步骤s3中，控制平面的每个分布式智能体均采用双深度q网络double dqn实现决策优化，具体训练过程如下：

93、s331、网络初始化；为每个智能体n维护两套深度神经网络，分别为在线网络与目标网络，其中为在线网络参数，为目标网络参数；初始化经验回放缓冲区，设置缓冲区容量、训练批次大小、探索率、软更新系数、折扣因子及学习率超参数；

94、s332、经验采集；在每个时隙t，智能体n基于-贪婪策略选择动作，平衡探索与利用；系统执行该动作后，转移至新的状态，并向智能体返回瞬时奖励；将状态转移元组存储至本地经验回放缓冲区中；

95、其中，-贪婪策略的执行规则为：在[0,1]范围内生成随机数，若随机数小于探索率，则随机选择一个动作进行探索；若随机数大于等于探索率，则选择在线网络输出的q值最大的动作进行利用；

96、s333、网络更新；训练过程中从经验回放缓冲区中随机采样小批量数据，通过最小化均方误差mse损失函数更新在线网络参数；采用double dqn规则计算目标值，公式为：

97、；

98、其中，动作由在线网络参数选择，动作价值由目标网络参数评估；

99、s334、目标网络软更新；采用软更新策略周期性更新目标网络参数，使目标网络平滑跟踪在线网络的参数变化，更新公式为：

100、；

101、其中，为软更新系数，取值范围为(0,1)。

102、进一步地，所述步骤s3中设计的kq-net算力网络任务卸载优化方案，通过架构解耦实现低复杂度与高可扩展性，具体如下：

103、集中式知识平面的gru网络计算复杂度为，每个时隙仅在基站侧执行一次；控制平面的每个分布式智能体运行轻量级多层感知机mlp网络，计算复杂度为，其中l为网络层数，nneu为隐藏层神经元数量，n个智能体在用户设备侧并行运行，单设备计算开销保持恒定且低量级。

104、进一步地，所述步骤s3中kq-net算力网络任务卸载优化方案的完整执行流程如下：

105、s341、初始化：初始化集中式kdn预测模型参数；初始化n个ddqn智能体的在线网络与目标网络参数；初始化每个智能体的经验回放缓冲区；设置最大训练轮次、每轮最大时隙数t；

106、s342、开启训练轮次，从1到循环执行每一轮训练，每轮开始时重置算力网络环境，在每一轮训练中，从1到t循环执行每个时隙的操作，直至完成所有训练轮次的所有时隙的执行，输出收敛后的kq-net任务卸载优化模型；每个时隙的操作具体包括：

107、s3421、全局预测：集中式kdn预测模型基于历史负载序列，通过gru网络预测下一时隙全局负载向量；

108、s3422、知识广播：将预测得到的广播至所有n个分布式智能体；

109、s3423、本地决策：每个用户设备n融合本地观测信息与全局预测信息，构建状态向量，基于-贪婪策略选择卸载动作；

110、s3424、任务执行：所有用户设备同步执行卸载决策，更新边缘服务器实时负载，基于qoe模型计算每个智能体的瞬时奖励；

111、s3425、模型更新：通过预测值与实际负载值的均方误差损失，更新集中式kdn预测模型参数；每个智能体将状态转移元组存储至经验回放缓冲区，从缓冲区采样小批量数据，基于double dqn规则更新本地网络参数。

112、采用上述技术方案所产生的有益效果在于：本发明提供的知识驱动的算力网络多智能体任务卸载优化方法，解决了现有算力网络任务卸载技术中集中式深度强化学习方案可扩展性不足、分布式多智能体方案因局部视野限制缺乏协同引发羊群效应、系统性能次优的核心问题，有效提升了任务完成率，降低了高负载场景下的平均服务时延，实现了动态算力网络环境中系统整体qoe的持续最大化；基于知识定义网络范式的集中式全局认知与分布式本地决策融合架构，从根本上缓解了分布式多智能体决策的羊群效应，显著提升了算力网络在大规模用户接入场景下的运行性能与可扩展性。具有显著且突出的系统性能改进效果，具体如下：

113、（1）彻底克服分布式决策的羊群效应与极速提升的并发协同性，本发明通过对分布式智能体进行全局知识先验广播，有效抑制了海量终端设备向少数表现良好的边缘节点集中发送排队请求的无序乱象。由于各个智能体能够提前预判网络流量走向并自主选择绕开即将陷入过载的节点，系统内部的排队冲突大幅消减，实现了隐式但高效的多端点并发协同。

114、（2）显著拔高的业务任务完成率：在面对并发请求密集、计算资源相对紧张的重度高负载测试场景下，相较于采用传统线性成本函数的各类现有基准方案往往出现大规模超时拒绝服务（任务完成率断崖式跌落至谷底），本发明由于深度应用了非线性动态紧急感知约束模型，依然能够保持稳健的处理节奏，使得整体系统的任务按期完成率相较现有基准方案实现了超过15%的大幅度提升。具体而言，即便在接入用户设备数量多达100个的极端高负载场景下，本发明的任务按期完成率依然能够维持在60%以上的稳健水平，远超传统基准算法，极大增强了系统服务的高可靠性保障底线。

115、（3）有效压缩的高负载平均服务时延：通过智能调配将任务引导至实际空闲概率更高的边缘服务器或留在算力富余的本地执行，本发明有效避免了数据包在特定热门节点排队缓冲区中的漫长滞留，大幅度降低了重度网络拥塞交通状态下整体算力网络服务群的平均端到端响应时延。实验表明，在100个设备高并发的重度拥塞场景下，本发明可将系统的平均服务时延控制在0.73秒左右，相较于独立多智能体深度强化学习方案（ddqn）与全部边缘卸载方案，时延分别降低了约5%和12%。

116、（4）稳定攀升的全局整体用户体验质量（qoe）：综合了执行耗时优化、硬件能耗削减以及任务成功率红线的全新评价得分体系表明，本发明在各种不同的用户密度阶梯与网络流量压力场景下，均能持续、稳定地保持全网整体体验质量得分的绝对领先水平。特别是在中、重度网络拥塞场景下，本发明所带来的整体qoe表现相较于传统多智能体基准方案，取得了33%至44%的显著相对提升，实现了算力网络运营综合效能的长期最大化。

117、（5）卓越的大规模系统可扩展性突破：本发明的算力网络运行架构将最为消耗算力和计算内存的历史时序数据挖掘与神经网络预测任务剥离至算力充沛的基站侧进行统一处理，而将实际的动作选取执行逻辑保留在终端设备以极低开销轻量化执行。这一创新机制使得本发明方法在面对接入用户设备数量呈百倍扩大时，单设备的计算负载与决策延迟依旧能够保持稳定恒定，呈现出极佳的横向设备规模可扩展性与工程落地潜力。