一种5G移动边缘计算环境中多智能体协同计算卸载方法

一种5g移动边缘计算环境中多智能体协同计算卸载方法
技术领域
1.本发明属于计算卸载策略领域，具体涉及一种5g移动边缘计算环境中多智能体协同计算卸载方法。


背景技术：

2.随着移动智能设备的普及以及5g等无线通信技术的发展，涌现出许多具有低延迟要求的计算密集型应用，如自动驾驶、增强现实、虚拟现实和视频流分析等。传统的云计算无法满足这些应用对低延迟的需求，而移动边缘计算(mobile edge computing，mec)是5g架构中很有前景的计算范式，它可以与云计算协同工作，将工作负载从移动终端迁移到距离很近的mec服务器或者中心云，从而为用户移动设备提供计算，提高用户的体验质量(quality of experience，qoe)。但是，如何结合云计算的强大算力和mec的近距离优势，为用户提供高质量体验，使应用执行时延最小成为一个急需解决的问题。


技术实现要素：

3.本发明的目的在于提供5g移动边缘计算环境中多智能体协同计算卸载方法，以克服现有技术的不足，本发明有效结合云计算的强大算力和mec的近距离优势，为用户提供高质量体验，使应用执行时延最小。
4.一种5g移动边缘计算环境中多智能体协同计算卸载方法，包括以下步骤：
5.s1，初始化mec环境中设备、5g网络和光纤网络的参数，基于初始化参数采集移动设备任务队列信息、需要计算的任务信息、设备与基站的网络信息；
6.s2，根据采集的信息计算，若需要计算的任务信息为本地计算，则将该任务加入移动设备的本地任务队列；若为计算卸载，则将该任务传输到相连基站的mec服务器；若传输至mec服务器计算，则将计算任务传输到附近基站的mec服务器，并将任务加入该服务器的任务队列；若为云计算，则将计算任务传输到云服务器计算，实现多智能体协同计算卸载。
7.优选的，根据初始化参数建立时隙模型，基于时隙模型进行通信和计算卸载。
8.优选的，采用正交频分复用方法为不同设备分配不同的子信道。
9.优选的，在第t个时隙时，移动设备un与mec服务器em之间无线信道的信道增益h
n,m
(t)通过公式(3)计算：
[0010][0011]
式中：β
n，m
(t)表示第t个时隙un与em之间服从瑞利分布的信道衰落因子，其概率分布函数为fb(β)，ad表示em相连基站的雷达增益，c0表示真空中的光速，fc表示em相连基站的载波频率，d
n，m
(t)表示第t个时隙un与em之间的距离，de表示路径损耗指数。
[0012]
优选的，根据shannon公式和公式(3)，在第t个时隙时，移动设备un与mec服务器em之间的传输速率通过公式(4)计算：
[0013][0014]
式中：b表示un与em之间的信道带宽，p0表示移动设备un的传输功率，n0表示高斯白噪音功率。
[0015]
优选的，根据采集的信息计算，以计算时延最小为优化目标进行任务分配。
[0016]
优选的，在第t个时隙时，设移动设备un的本地任务队列如公式(6)所示：
[0017][0018]
式中：表示当前时隙开始时本地队列的任务数量，表示当前时隙开始时本地队列需要计算的总cpu周期数，在t＝0时，即队列中没有任务；
[0019]
在第t 1个时隙时，若计算任务dn(t)在本地执行，本地队列的总cpu周期数通过公式(7)计算：
[0020][0021]
若dn(t)没有在本地执行，本地队列的总cpu周期数通过公式(8)计算：
[0022][0023]
本地队列的任务数量与t时间内计算完的任务个数有关，但每个任务的周期数各不相同；
[0024]
设移动设备un在第t个时隙内完成个任务，若任务在本地执行，那么下一时隙开始时本地队列任务数量通过公式(9)计算：
[0025][0026]
若任务没有在本地执行，那么通过公式(10)计算：
[0027][0028]
若移动设备un第t个时隙时的计算任务dn(t)在设备本地执行，则该任务将加入到本地队列中，其执行时延通过公式(11)计算：
[0029][0030]
优选的，在第t个时隙时，与设mec服务器em的任务队列如公式(12)所示：
[0031][0032]
式中：表示当前时隙开始时mec服务器队列的任务数量，表示当前时隙开始时mec服务器队列需要计算的总cpu周期数；在t＝0时，
[0033]
优选的，若移动设备un第t个时隙时的计算任务dn(t)在与其相连基站附近某个基站的mec服务器em′
执行，则该任务将加入到mec服务器em′
的任务队列中，队列下一时隙总cpu周期数和任务数量通过公式(13)、(14)、(15)和(16)计算，任务执行时延通过公式(18)计算：
[0034][0035]
优选的，有限资源约束下最小化整个mec系统所有任务的长期计算时延问题表示为公式(21)：
[0036][0037][0038]
式中：a(t)表示第t个时隙时所有移动设备计算任务执行位置的集合，d表示基站的覆盖半径，约束条件c1确保计算任务只能计算一次，约束条件c2确保所有用户移动设备都在基站覆盖范围内活动，在移动设备超出基站最大服务距离后由另一个基站继续提供服务。
[0039]
与现有技术相比，本发明具有以下有益的技术效果：
[0040]
本发明一种5g移动边缘计算环境中多智能体协同计算卸载方法，通过初始化mec环境中设备、5g网络和光纤网络的参数，基于初始化参数采集移动设备任务队列信息、需要计算的任务信息、设备与基站的网络信息；根据采集的信息计算，若需要计算的任务信息为本地计算，则将该任务加入移动设备的本地任务队列；若为计算卸载，则将该任务传输到相连基站的mec服务器；若传输至mec服务器计算，则将计算任务传输到附近基站的mec服务器，并将任务加入该服务器的任务队列；若为云计算，则将计算任务传输到云服务器计算，实现多智能体协同计算卸载，本发明云计算的强大算力和mec的近距离优势，为用户提供高质量体验，使应用执行时延最小。
[0041]
进一步的，采用正交频分复用方法为不同设备分配不同的子信道，减少子信道之间的相互干扰，来保证设备传输需求。
[0042]
进一步的，本发明采用端层、边层和云层多智能体在移动设备信息上，基于时隙模型进行任务计算卸载，有效减少平均任务计算时间，提高了边缘计算的效率。
附图说明
[0043]
图1是本发明实施例中云边端协同的mec系统架构图。
[0044]
图2是本发明实施例中移动设备智能体训练过程图。
[0045]
图3是本发明实施例中mec服务器智能体训练图。
[0046]
图4是本发明实施例中baseline方法对比实验图。
[0047]
图5是本发明实施例中与其他算法实验对比图。
具体实施方式
[0048]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0049]
如图1所示，5g移动边缘计算环境中多智能体协同计算卸载系统，具体包括云层、边层和端层，形成协同的mec系统架构，包括以下内容：
[0050]
云层包括远端的中心云服务器群，其计算、存储能力远大于mec服务器和移动设备，但其与移送设备的距离较远，任务卸载到中心云需要占用较多核心网资源，导致传输时延较长，任务的云计算时间相对可以忽略不记；
[0051]
边层包括基站以及与基站连接的mec服务器，mec服务器计算能力远大于移动设备，任务卸载到mec服务器需要一定的计算时间，但其与移动设备的距离很近，传输时延大小，在信道不好的情况下，才会有比较高的传输时延；
[0052]
端层包括移动设备，移动设备的计算能力最小，但是在网络非常差的情况下，在本地计算获得结果时间才会最短。
[0053]
用户在基站信号覆盖范围内移动，其移动设备运行计算密集且时间敏感型应用；用户的移动设备会在所有基站覆盖范围内移动，这使得移动设备与基站之间的5g无线网络更为多变，设备任务的计算卸载问题也变得更为复杂。
[0054]
在架构中，由许多基站(base stations，bss)无缝覆盖该场景，这些基站通过5g无线通信网络为大量分布在基站范围内的用户的移动设备(mobile devices，mds)提供计算卸载服务，其中各基站之间通过光纤连接。
[0055]
每个基站都部署了mec服务器来提高计算能力，这样基站就能够计算各种任务来满足用户的需求。用户的移动设备会产生计算任务，它可以使用自己的处理器或连接基站的mec服务器处理任务。此外，基站通过高速光纤与核心网相连，进而与中心云(cloud)交换数据，这样移动设备也可以通过基站将任务卸载到中心云计算。
[0056]
使用基于double dqn(ddqn)的深度强化学习方法设计移动设备智能体，其状态空间设计为所获取的信息，动作空间设计为本地计算和计算卸载两种动作，收益函数设计为任务计算时间的负值。若获取的任务信息为本地计算，则将任务加入本地任务队列；若为计算卸载，则将计算任务传输到相连基站的mec服务器。
[0057]
使用基于dueling ddqn(d3qn)的深度强化学习方法设计mec服务器智能体，其状态空间设计为所获取的信息，动作空间设计为本地计算、附近基站mec服务器计算和云计算三种动作，收益函数设计为任务计算时间的负值。若本地计算，则将任务加入本地任务队列；若附近基站mec服务器计算，则将计算任务传输到附近基站的mec服务器，并将任务加入该服务器的任务队列；若云计算，则将计算任务传输到云服务器计算。
[0058]
用户移动设备的集合u如公式(1)所示：
[0059]
u＝{u1，u2，
…
，un，...，un}
ꢀꢀꢀ
(1)
[0060]
式中：un表示第n个移动设备，n表示移动设备个数。
[0061]
mec服务器的集合e如公式(2)所示：
[0062]
e＝{e1，e2
，
...，em，...，em}#(2)
[0063]
式中：em表示第m个mec服务器，m表示服务器个数。
[0064]
本技术建立时隙(time slot)模型，该模型把时间离散化，将其划分为等长时间间隔，这些间隔称之为时隙，其长度记为t，索引表示为t＝0,1,2,
…
。t的大小由信道的相干时
间决定，即信道保持恒定的最大时间差范围。在通信系统中，通信信道可能随时间而改变。由于多普勒效应，这种信道变化在无线通信系统中更为显著。在系统模型中，移动设备与基站之间是通过5g无线网络进行通信的，所以本技术基于信道的相干时间建立了时隙模型。在时隙模型的基础上，下面分别对通信模型和计算模型进行详细介绍。
[0065]
在云、边、端协同的mec系统网络中，主要包含两种通信方式：无线通信和有线通信；边层与端层之间的无线通信，即移动设备与基站的无线通信；边层与边层之间和边层与云层之间的有线通信，即基站与基站之间，基站与中心云之间的有线通信。
[0066]
其中，任意基站em和em′
之间以及基站em与中心云的传输速率分别表示为和两者服从稳定独立的随机过程，其概率分布函数分别为fe(ve)，f
e，c
(v
e，c
)。接下来，对移动设备与基站的无线通信方式进行详细介绍并建模。
[0067]
为了使移动设备计算任务的执行时延最短，本技术以5g技术为基础构建无线通信模型。移动设备每隔t时间就有可能需要计算卸载，把数据传输到基站上，因此，采用正交频分复用(orthogonal frequency division multiplexing，ofdm)技术为不同设备分配不同的子信道，减少子信道之间的相互干扰，来保证设备传输需求。
[0068]
本技术在自由空间路径损失模型的基础上，构建瑞利衰落模型以此仿真城市常见的建筑密集情境下的信道，该情境中，发射端和接收端之间没有直射路径，密集的建筑和其它物体对无线信号进行衰减、反射、折射和衍射。信道在一个时隙内保持稳定，但在不同时隙之间会发生变化。在第t个时隙时，移动设备un与mec服务器em之间无线信道的信道增益h
n，m
(t)通过公式(3)计算：
[0069][0070]
式中：β
n，m
(t)表示第t个时隙un与em之间服从瑞利分布的信道衰落因子，其概率分布函数为fb(β)，ad表示em相连基站的雷达增益，c0表示真空中的光速，fc表示em相连基站的载波频率，d
n，m
(t)表示第t个时隙un与em之间的距离，de表示路径损耗指数。
[0071]
由于基站与其部署的mec服务器距离很近，几乎没有传输时延，本技术将其忽略不计。根据shannon公式和公式(3)，在第t个时隙时，移动设备un与mec服务器em之间的传输速率通过公式(4)计算：
[0072][0073]
式中：b表示un与em之间的信道带宽，p0表示移动设备un的传输功率，n0表示高斯白噪音功率；由于ofdm各个子信道互不干扰，所以信道中的噪声仅有高斯白噪声。
[0074]
在第t个时隙的开始，n个移动设备同时产生n个任务，任务之间相互独立，且每个任务不可分割。由移动设备un生成的计算数据大小表示为sn(t)，用cn(t)表示处理该数据1bit所需的cpu周期数。如果第t个时隙开始时没有数据生成，则sn(t)＝0；sn(t)是un第t-1个时隙生成的数据，这些数据可以从第t个时隙开始处理。因此，为了方便模型的表示，认为sn(t)是在第t个时隙开始时生成的。
[0075]
为简化符号表示，第t个时隙开始时移动设备un生成的计算任务dn(t)如公式(5)所
示：
[0076]dn
(t)：＝{sn(t)，cn(t)}#(5)
[0077]
式中：sn(t)和cn(t)被建模分别服从稳定独立的不同随机过程，其概率分布函数分别为fs(s)，fc(c)。
[0078]
中心云与移动设备和mec服务器的cpu频率(即计算能力)相比，可以看做是无穷大的。因此，本技术将中心云的cpu频率设定为无穷大，将移动设备和mec服务器的cpu频率设定为固定值，分别用为fu和fe表示，其中fe＞＞fu。移动设备和mec服务器的计算能力比较有限，如果任务在移动设备或mec服务器计算，可能无法立即执行。因此，本技术在移动设备和mec服务器中分别设置了任务队列，用于存储待执行的任务，其中队列采取“先进先出”原则。在第t个时隙时，移动设备un的任务队列表示为mec服务器em的任务队列表示为
[0079]
移动设备的计算任务可以在本地设备上执行，也可以卸载到与其相连基站的mec服务器上，亦可卸载到与其相连基站附近基站的mec服务器上，还可卸载到中心云上。不同的计算模式产生的时延不同，接下来对这四种计算模式进行详细分析。
[0080]
本地计算：
[0081]
在第t个时隙时，设移动设备un的本地任务队列如公式(6)所示：
[0082][0083]
式中：表示当前时隙开始时本地队列的任务数量，表示当前时隙开始时本地队列需要计算的总cpu周期数，在t＝0时，即队列中没有任务；
[0084]
在第t 1个时隙时，若计算任务dn(t)在本地执行，本地队列的总cpu周期数通过公式(7)计算：
[0085][0086]
若dn(t)没有在本地执行，本地队列的总cpu周期数通过公式(8)计算：
[0087][0088]
本地队列的任务数量与t时间内计算完的任务个数有关，但每个任务的周期数各不相同；
[0089]
设移动设备un在第t个时隙内完成个任务，若任务在本地执行，那么下一时隙开始时本地队列任务数量通过公式(9)计算：
[0090][0091]
若任务没有在本地执行，那么通过公式(10)计算：
[0092][0093]
若移动设备un第t个时隙时的计算任务dn(t)在设备本地执行，则该任务将加入到本地队列中，其执行时延通过公式(11)计算：
[0094]
[0095]
移动边缘计算(mec)：
[0096]
在第t个时隙时，与公式(6)类似，设mec服务器em的任务队列如公式(12)所示：
[0097][0098]
式中：表示当前时隙开始时mec服务器队列的任务数量，表示当前时隙开始时mec服务器队列需要计算的总cpu周期数；在t＝0时，
[0099]
类比公式(7)、(8)、(9)和(10)，可以得到计算下一时隙开始时mec服务器em任务队列需要计算的总cpu周期数和任务数量，其中用表示em在第t个时隙内完成的任务个数。
[0100]
若任务dn(t)在mec服务器上执行可由公式(13)和(14)分别计算得到队列下一时隙总cpu周期数和任务数量：
[0101][0102][0103]
若任务dn(t)没有在mec服务器上执行可由公式(15)和(16)分别计算得到队列下一时隙总cpu周期数和任务数量：
[0104][0105][0106]
若移动设备un第t个时隙时的计算任务dn(t)在其相连基站的mec服务器em执行，则该任务将加入到mec服务器的任务队列中，其执行时延通过公式(17)计算。由于任务计算后的结果数据相比任务数据很小，所以忽略结果数据传回设备的时间。
[0107][0108]
相邻mec计算：
[0109]
若移动设备un第t个时隙时的计算任务dn(t)在与其相连基站附近某个基站的mec服务器em′
执行，则该任务将加入到mec服务器em′
的任务队列中，队列下一时隙总cpu周期数和任务数量通过公式(13)、(14)、(15)和(16)计算，任务执行时延通过公式(18)计算。
[0110][0111]
云计算：
[0112]
若移动设备un第t个时隙时的计算任务dn(t)在中心云执行，其执行时延通过公式(19)计算。由于中心云计算能力为无穷大，任务的计算时间相比传输时间非常小，所以将其忽略不记。
[0113][0114]
将移动设备un第t个时隙时的计算任务dn(t)的执行位置表示为an(t)，当an(t)＝0
时，表示dn(t)在本地计算；当an(t)＝1时，表示dn(t)在与其相连基站的mec服务器计算；当an(t)＝2时，表示dn(t)在与其相连基站附近某个基站的mec服务器计算；当an(t)＝3时，表示dn(t)在中心云服务器计算。联合公式(11)、(17)、(18)和(19)，计算任务dn(t)的执行时延通过公式(20)计算。
[0115][0116]
式中：表示指示函数，当括号内条件为真时，其函数值为1，否则函数值为0。
[0117]
那么，有限资源约束下最小化整个mec系统所有任务的长期计算时延问题表示为公式(21)：
[0118][0119][0120]
式中：a(t)表示第t个时隙时所有移动设备计算任务执行位置的集合，d表示基站的覆盖半径，约束条件c1确保计算任务只能计算一次，约束条件c2确保所有用户移动设备都在基站覆盖范围内活动，在移动设备超出基站最大服务距离后由另一个基站继续提供服务。
[0121]
如图2所示，移动设备智能体的训练过程，包括以下内容：
[0122]
基于ddqn的移动设备智能体设计用来解决移动设备是否在本地执行计算任务的问题，其状态空间、动作空间和奖励函数的定义如下。
[0123]
状态空间：
[0124]
考虑到移动设备算力有限，不适放置复杂的智能体，本技术最大限度减小状态空间，定义移动设备智能体在第t个时隙的状态如公式(22)所示，其中su表示移动设备智能体的状态空间。智能体根据当前移动设备任务、队列以及与基站em的无线网络的状况就可做出计算卸载决策；由于移动设备智能体部署在移动设备上，智能体很容易获取到当前设备的队列、任务以及与基站em的无线网络信息；
[0125][0126]
式中：dn(t)表示第t个时隙开始时移动设备生成的计算任务，表示移动设备的本地任务队列，v
n，m
(t)表示移动设备与mec服务器之间的传输速率，sn(t)，cn(t)分别表示计算任务的数据大小和处理该数据1bit所需的cpu周期数，分别表示本地队列的任务数量和队列需要计算的总cpu周期数。
[0127]
动作空间：
[0128]
移动设备智能体的目标是将状态空间映射到动作空间，即根据当前的状态选择最优的动作使计算任务执行时延最小。在本技术的mec系统中，移动设备智能体负责在每个时隙决策自己设备是否在本地执行计算任务，第t个时隙智能体的动作用表示，其定义
如公式(23)所示：
[0129][0130]
式中：au表示移动设备智能体的动作空间。表示任务dn(t)在移动设备本地执行，表示将任务dn(t)卸载，由em的智能体进行下一步决策。
[0131]
奖励函数：
[0132]
一般来说，奖励函数与目标问题相关。在本技术考虑的优化问题中，目标是最小化整个mec系统所有任务的长期计算时延，而强化学习是学习“做什么(即如何把当前的情境映射成动作)才能使数值化的收益信号最大化”。因此，奖励函数值需要与目标问题值负相关。结合公式(11)，在第t个时隙，智能体在状态下，采取动作的奖励函数值通过公式(24)计算，其中ru表示移动设备智能体的奖励函数空间：
[0133][0134]
式中：time
n，m
(t)表示任务dn(t)传输到移动设备相连基站的mec服务器em后续的执行时间，其具体的公式计算见mec服务器智能体中的公式(28)。
[0135]
基于ddqn的移动设备智能体单幕(episode)训练过程包含以下步骤，其中，单幕指的是移动设备智能体一次与系统模型交互进行计算卸载的状态、动作和奖励序列。首先，初始化系统模型，当前网络q参数θ和目标网络参数以及经验回放池其次，获取初始状态s0开始迭代训练。在每个时隙中，采用ε-贪心策略选择动作，该策略大部分时间都表现得贪心，偶尔以独立于动作价值的方式从所有动作中等概率随机选择动作，这可以保证在神经网络大致收敛后智能体还能够探索其他的动作，防止陷入局部最优，然后在系统模型中执行动作，获得相应的奖励和下一个状态，并将转移信息存放进经验回放池中，接着智能体从经验回放池中选取批量样本来计算损失函数的梯度，通过梯度下降法反向传播梯度来最小化损失函数；最后，通过不断的迭代训练使当前网络q收敛逼近最优动作价值函数。
[0136]
如图3所示，mec服务器智能体的训练过程，包括以下内容：
[0137]
基于d3qn的mec服务器智能体设计用来解决移动设备任务执行mec计算、相邻mec计算或者云计算三种计算模式中的一种的问题，其状态空间、动作空间和奖励函数的定义如下：
[0138]
状态空间：
[0139]
在第t个时隙移动设备un计算任务到来时，mec服务器智能体em的状态定义如公式(25)所示，其中se表示mec服务器智能体的状态空间。智能体根据移动设备卸载的任务、自己及附近mec服务器队列状况来做出计算卸载决策。由于mec服务器智能体部署在基站的mec服务器上，运营商的基站之间也是互信的，智能体很容易获取到自己及附近mec服务器队列状况。
[0140][0141]
式中：d
n，m
(t)表示第t个时隙开始时移动设备un卸载到mec服务器em的计算任务；表示任务来临时mec服务器em的任务队列；表示任务来临时em附近mec服务器的任务队列，其中表示em附近的mec服务器集合，表示em附近的mec服务器数量；s
n，m
(t)，c
n，m
(t)分别表示计算任务d
n，m
(t)的数据大小和处理该数据1bit所需的cpu周期数；分别表示em任务队列的任务数量和队列需要计算的总cpu周期数；和分别表示em相邻mec服务器任务队列的任务数量集合和队列需要计算的总cpu周期数集合。
[0142]
动作空间：
[0143]
mec服务器智能体的目标是将移动设备卸载的计算任务进一步决策执行位置，即根据当前的状态选择最优的动作使任务执行时延最小。在本技术的mec系统中，mec服务器智能体负责在每个时隙决策计算任务的计算模式，第t个时隙智能体对任务d
n，m
(t)的动作用表示，其定义如公式(26)所示。
[0144][0145]
式中：ae表示mec服务器智能体的动作空间。表示任务d
n，m
(t)在mec服务器本地执行，表示将任务d
n，m
(t)卸载到中心云执行，表示将任务d
n，m
(t)卸载到附近mec服务器执行。
[0146]
奖励函数：
[0147]
类似移动设备智能体，结合公式(17)、(18)和(19)，在第t个时隙，智能体在状态下，采取动作的奖励函数值通过公式(27)计算，其中re表示mec服务器智能体的奖励函数空间：
[0148][0149]
式中：time
n，m
(t)表示任务dn(t)传输到em后续的执行时间，通过公式(28)计算：
[0150][0151]
多智能体协同的计算卸载策略多幕训练过程包含以下步骤。首先，初始化系统模型以及各个网络的参数；其次，开始多幕迭代训练，单幕中每一个移动设备智能体获取当前的初始状态，从初始状态开始单幕训练。其中，如果某一个移动设备智能体将计算任务卸载
到自己相连的mec服务器，那么该mec服务器的智能体开始单幕训练；最后，通过不断的迭代训练学习，使得每个移动设备智能体和mec服务器智能体的当前网络收敛逼近最优动作价值函数，即学习到最优卸载策略，使得整个mec系统所有任务的计算时延最小。
[0152]
实施例：
[0153]
如图4所示，是baseline对比实验图，形象的展示了本方法和baseline方法的对比关系。baseline方法包含移动设备仅本地计算、仅计算卸载和随机卸载三个方法，本方法相比baseline方法分别减少了46.6％、2.7％、21.4％的平均任务计算时间，其中在单幕中本方法相比baseline方法分别减少了49.1％、9.8％、23.6％的平均任务计算时间。
[0154]
如图5所示，是与其他算法的对比实验图，形象的展示了本方法和其他算法的对比关系。端层多智能体方法指的是在移动设备使用ddqn设计智能体，该智能体决策任务计算云、边、端三层的位置；边层单智能体方法指的是在边层用户d3qn设计智能体，该智能体决策任务计算云边端三层的位置。本方法相比端层多智能体方法和边层单智能体方法分别减少了6.6％、40.8％的平均任务计算时间，其中在单幕中本方法相比端层多智能体方法和边层单智能体方法分别减少了12.4％、48.5％的平均任务计算时间。
[0155]
本发明公开5g移动边缘计算环境中多智能体协同的计算卸载方法，有效克服现有技术的不足，结合云计算的强大算力和mec的近距离优势，为用户提供高质量体验，使应用执行时延最小。本发明从5g移动边缘计算的实际环境出发，对用户需求进行公式化描述，采用基于ddqn的移动设备智能体和基于d3qn的mec服务器智能体两类深度强化学习智能体，构建了一个多智能体协同的方法，为用户执行计算密集的时间敏感型应用提升了qoe。