一种基于车路云协同的联合计算迁移和资源分配方法与流程

技术特征：
1.一种基于车路云协同的联合计算迁移和资源分配方法，其特征在于，包括步骤如下：步骤(1)构建了基于车
‑
路
‑
云协同的车载网络模型，车辆具有独特的无线接入模式即车辆可以接入云或者移动边缘设备；步骤(2)建立包括n个用户迁移j个任务的联合计算迁移和资源分配模型；步骤(3)每辆车迁移任务时获取周边移动边缘设备的资源集合μ
m
，数据中心云服务器的资源集合σ
c
，以及任务信息t
n,j
；步骤(4)采用分布式的资源分配方法，在考虑每条计算迁移链路服务质量要求的情况下，以合理高效的计算迁移和资源分配达到系统时延最小化为目标构建深度强化学习模型；步骤(5)考虑连续动作空间中的联合优化问题，利用包含深度学习拟合，软更新，回放机制三个方面的ddpg算法优化深度强化学习模型；步骤(6)根据优化后的深度强化学习模型，得到最优车用户无线接入方式，发射功率和信道分配策略。2.根据权利要求1所述的一种基于车路云协同的联合计算迁移和资源分配方法，其特征在于，所述步骤(4)中，包括如下具体步骤：步骤(4.1)、具体地定义状态空间s为与计算迁移和资源分配有关的信息，包括每个mec的资源集合μ
m
，数据中心云服务器的资源集合σ
c
，需要执行任务的相关信息t
n,j
，即：s
t
＝{μ
m
,σ
c
,t
n,j
}μ
m
＝{q
m
,r
m
,f
m
,e
m
}，其中q
m
表示mec服务器的最大计算资源，r
m
表示mec服务器最大可用存储容量，f
m
表示mec服务器的计算能力，e
m
表示mec服务器cpu每运转一周消耗的能量；σ
c
＝{f
c
,e
c
}，f
c
表示中心云服务器的计算能力，e
c
表示中心云服务器cpu每运转一周消耗的能量；在这里中心云服务器拥有足够的存储资源及计算资源保证任务可以被正常执行；t
n,j
＝{d
n,j
,t
n,j
,c
n,j
,q
n,j
,n∈n,j∈j}，d
n,j
表示用户n要迁移的任务j的大小,t
n,j
表示用户n对任务j的最大可容忍时延,c
n,j
示用户n完成任务j所需的cpu周期数；q
n,j
表示用户n要计算任务j所需的计算资源；将每辆车视为智能体，每次车基于当前状态s
t
∈s选择无线接入方式，子信道和发射功率；步骤(4.2)、定义动作空间a为无线接入方式，发射功率和选择的信道，表示为：无线接入方式λ：每辆车有m 1种任务迁移决策，令λ
n
＝{0，1,2,...,m}，λ
n
＝{1,2,...,m}表示车辆n选择将其计算任务迁移到路边单元m上的边缘服务器执行，而λ
n
＝0是车辆n决定将其计算任务迁移到数据中心云服务器上执行；子信道c：选择mec进行任务迁移，在路边单元的可用带宽下有i个子信道可以选择，i＝{1,2,...,i}；选择数据中心云服务器进行任务迁移，在宏蜂窝的可用带宽下有k个子信道可以选择k＝{1,2,...,k}；传输功率p：车辆n在上传j任务时选择不同的发射功率,但受到其设置的最大发射功率的限制；
步骤(4.3)、定义奖励函数r，联合计算迁移和资源分配的目标是车选择无线接入方式、子信道和发射功率，在满足每条计算迁移链路服务质量要求的情况下，以合理高效的计算迁移和资源分配达到系统时延最小化为目标；因此奖励函数可以表示为：为了获得长期的良好回报，应同时考虑眼前的回报和未来的回报；因此，强化学习的主要目标是找到一种策略来最大化预期的累积折扣回报，其中β∈[0,1]是折扣因子；步骤(4.4)、依据建立好的s，a和r，在q学习的基础上建立深度强化学习模型，评估函数q(s
t
,a
t
)表示从状态s
t
执行动作a
t
后产生的折扣奖励，q值更新函数为：其中r
t
为即时奖励函数，γ为折扣因子，s
t
为车在t时刻的获取的移动边缘服务器、云服务器和现有任务状态信息，s
t 1
表示车在执行a
t
后的状态，a为动作a
t
构成的动作空间。

技术总结
本发明公开了一种基于车路云协同的联合计算迁移和资源分配方法，移动边缘设备部署在路侧，利用深度强化学习优化策略获得最优的车用户无线接入方式、信道分配和发射功率联合优化策略，车用户通过选择合适的无线接入方式、发射功率和信道，在满足计算迁移链路服务质量要求下，最小化系统时延。本发明使用深度确定性策略梯度算法可以有效解决车选择无线接入方式、用户信道分配和功率选择的联合优化问题，可以在一系列连续动作空间的优化中表现稳定。定。定。


技术研发人员：王书墨 柴新越 彭昱捷 王合伟 宋晓勤 程梦倩 陈权
受保护的技术使用者：南京航空航天大学
技术研发日：2021.06.15
技术公布日：2021/10/23