一种基于分层强化学习的车联网边缘计算任务卸载方法与流程

1.本发明属于车联网边缘计算技术领域，具体涉及基于分层强化学习的车联网边缘计算任务卸载方法。


背景技术：

2.随着车联网的不断发展，辅助驾驶、增强现实和图像处理等应用已逐步在车载设备中部署，以提升车内人员的驾驶体验[1]。这些应用通常具有两大特点：计算资源需求大和实时性要求高。然而，车载设备计算资源有限且能量供应有限，往往无法满足这些应用的需求[2]。
[0003]
通过引入具有强大运算能力的云服务器，移动云计算(mobile cloud computing，mcc)被视为能够解决以上所述问题的有效方式[3]。为了获取充足的计算资源和节约能量消耗，车载设备可以选择将计算密集型任务卸载至云服务器中执行。尽管移动云计算能带来丰富的计算资源，但是车载设备和云服务器之间过远的物理距离将带来较长的数据传输时延，而这恰与任务的实时性要求相悖。
[0004]
为了处理移动云计算的时延问题，研究人员提出了移动边缘计算(mobileedge computing，mec)的概念[4]。在移动边缘计算中，拥有高运算能力的服务器不再位于遥远的云端，而是设置于离用户端更近的边缘网络中。通过结合车联网和移动边缘计算，车联网边缘计算(vehicular edge computing，vec)将边缘服务器部署于道路两旁的基站中，以大幅降低数据传输时延和保证数据连接的稳定性[5]。车联网边缘计算中的任务卸载问题也成为学界的研究热点。文献[6]提出了一种基于博弈论的任务卸载算法，同时证明了多车辆任务卸载问题中纳什均衡的存在。文献[7]构建了以最小化车辆和边缘服务器的损耗和为目标的双边优化问题，并基于李雅普诺夫优化提出了相应的任务卸载和资源分配策略。文献[8]考虑到车辆的移动性，提出了“直接上传
‑
接替传输”的组合卸载方式，以大幅降低任务的处理时延和传输效率。然而，车联网边缘计算中仍存在一些关键问题未得到解决：
[0005]
(1)具有任务关联性的应用。前述工作均只考虑处理单个应用的计算资源和实时性需求，但依靠动态分割技术[9]，单个应用可被分解为具有执行先后顺序的多个子任务。在不破坏子任务执行关联性的前提下，如何有效处理该类应用仍具有较大挑战；
[0006]
(2)系统损失函数。前述工作的优化目标仅考虑了任务处理时延和能量消耗，而未考虑边缘计算服务费用[6
‑
8]。设计一种任务卸载策略以平衡时延
‑
能量
‑
费用是十分必要的；
[0007]
(3)计算复杂度。车联网边缘计算中任务卸载问题往往被构造为非线性混合整数问题，具有np难的特征且无法在多项式时间内解决[10]。而过长的求解时间对于实时性要求高的任务无法接受，因此设计一种不牺牲性能且能快速求解的任务卸载算法非常重要。


技术实现要素：

[0008]
本发明的目的在于提供一种自适应的任务卸载和资源分配联合策略，从而实现降
低系统损失函数的基于分层强化学习的车联网边缘计算任务卸载策略。
[0009]
本发明提供的基于分层强化学习的车联网边缘计算任务卸载方法，首先将车联网边缘计算网络中的任务卸载问题建模为以最小化时延
‑
能耗
‑
费用联合损失函数为目标的优化问题，其中优化参数为任务执行顺序、计算决策、本地资源分配和传输功率控制；接着，提出了深度分层任务卸载策略，以端到端的方式解决该非线性混合整数规划；将具有任务关联性的应用以有向无环图的形式表示，并利用图神经网络提取蕴含在子任务中的高维信息，同时利用分层强化学习算法处理包含两个离散动作和两个连续动作的混合动作空间。仿真实验以真实采集的车辆速度作为数据集，实验结果表明相比于启发式算法，本发明提出的算法在多种环境参数下均能大幅度降低系统损失函数。
[0010]
本发明提供的基于分层强化学习的车联网边缘计算任务卸载方法，具体步骤如下。
[0011]
(一)首先，对车联网边缘计算进行数学建模，具体包括：
[0012]
车联网边缘计算系统模型中包含m个基站和一辆汽车，边缘服务器部署于基站中；各基站均匀分布于道路两旁，且拥有相同的覆盖范围r，各基站仅能与其覆盖范围内的车载设备建立连接；汽车以动态变化的速度v行驶于道路中；
[0013]
使用动态分割技术，将车载设备中的计算密集型应用分解为n个具有执行先后顺序的子任务，并以有向无环图g＝(v,e)表示，各节点i∈v代表一个任务，各有向边e(i,j)∈e代表任务i和任务j的处理顺序，即任务j需要在任务i处理完成后才能执行；
[0014]
问题的优化目标为最小化时延
‑
能量
‑
费用联合损失函数，定义为任务的处理时延、能量消耗和服务费用的加权和；基于任务的计算决策k
i
(若k
i
＝0表示任务本地执行，反之若k
i
＝1表示任务本地执行)，可以得到任务i的处理时延t
i
、能量消耗e
i
和服务费用c
i
分别为：
[0015][0016][0017][0018]
其中，和分别为任务i的本地处理时延和边缘处理时延，和分别为任务i的本地能量消耗和边缘能量消耗，代表任务i的边缘服务费用。由此，所有任务的损失函数和u为：
[0019][0020]
其中，0≤β1，β2,β3≤1表示加权系数。
[0021]
为了最小化系统损失函数u，需要联合优化任务卸载和资源分配策略；问题的优化参数分别为任务的执行顺序计算决策本地计算cpu频率和边缘计算传输功率于是，车联网边缘计算任务卸载问题建模为以下非线性混合整数规划：
[0022][0023]
s.t.c1:y
i
∈{0,1,
…
,n}
[0024]
c2:k
i
∈{0,1}
[0025][0026]
c4:0≤p
i
≤p
max
[0027][0028]
其中，约束c1限制任务编号的取值，约束c2限制任务计算决策为本地执行或者边缘执行之一，约束c3和约束c4限制本地cpu频率和传输功率的取值范围，约束c5限制任务的执行先后顺序；该非线性混合整数规划问题为非凸且np难，优化变量包含两个整数参数向量和以及两个连续参数和
[0029]
(二)其次，利用图神经网络提取有向无环图特征，具体包括：
[0030]
图神经网络为图注意力网络，由两层隐含层组成，并以relu(rectifiedlinearunit)作为激活函数；图神经网络的输入为节点特征矢量集其中f表示各节点特征的特征维数，n为节点特征矢量集h中分量的个数；在隐含层中，各节点输入信息通过共享的线性转换矩阵转变为高维特征，其中，f
′
表示各节点新生成的高维特征的特征维数；此外，通过引入注意力机制在隐含层中，将不同相邻节赋予不同的重要性程度；以相邻节点对的高维特征作为输入，计算得到注意力系数e
ij
，代表节点j的特征对于节点i的重要性程度，即：
[0031][0032]
得到节点i所有相邻节点对包括节点i本身的注意力系数e
ij
后，对其进行归一化操作；具体是通过引入softmax函数，得到归一化注意力系数e
′
ij
：
[0033][0034]
其中，表示节点i的相邻节点集合；
[0035]
为了更好的特征提取效果，引入多头注意力机制，即独立进行k次注意力操作a
k
后将其结果进行联立,最终得到的输出特征，其计算式为：
[0036][0037]
其中||表示联立操作，k表示注意力头数，e
′
ijk
和w
k
分别表示第k次注意力才做的归一化注意力系数和权重矩阵；通过上述操作，节点的特征维度由f上升为kf
′
。
[0038]
(三)然后，定义分层动作空间和强化学习建模，具体包括：
[0039]
智能体的动作空间为分层结构，具体分为以下三部分：
[0040]
(1)任务序号：车载设备需要决定任务处理的先后顺序，并不违背任务关联性；
[0041]
(2)计算决策：车载设备需要决定任务为本地执行或者边缘执行；
[0042]
(3)连续参数选择：若车载设备决定任务为本地执行，则需要确定cpu频率的分配；若车载设备决定任务为边缘执行，则需要确定传输功率；
[0043]
于是，问题的动作空间a可以表述为：
[0044]
a＝{a
d
,a
c
}＝{(y
i
,k
i
＝0,f
i
)∪(y
i
，k
i
＝1，p
i
)}
[0045]
其中，a
d
代表离散动作集，a
c
代表连续动作集；定义智能体在时刻t选取的动作为a
t
＝(y
t
，k
t
，f
t
，p
t
)，相应的状态动作值函数为q(s
t
，a
t
)，其中，其中，又此，得出本问题下的最优贝尔曼方程：
[0046][0047]
其中，r
t
为单步奖励，γ为折扣因子；
[0048]
车联网边缘计算任务卸载问题可建模为马尔可夫决策过程，其中各元素的物理意义如下：
[0049]
(1)状态空间：包含任务状态和环境状态两部分；其中任务状态为有向无环图中各任务的初始信息其中di
i
和do
i
分别为任务的输出和输出数据量，c
i
为任务的计算资源消耗，e
i
代表任务完成情况；环境状态包括车辆与当前连接基站起始点间的距离d
t
，剩余未完成的任务数n
t
，以及车辆前10秒的速度
[0050]
(2)动作空间：为分层结构，共四个动作，包含两个离散动作和两个连续动作，分别为任务序号y
t
，计算决策k
t
，本地分配cpu频率f
t
和传输功率p
t
；
[0051]
(3)奖励函数：由于本问题的优化目标为最小化任务的时延
‑
能量
‑
费用联合损失函数，因此定义奖励为执行完任务后获得的处理时延、能量消耗和服务费用的加权和u
t
＝β1t
i
β2e
i
β3c
i
。
[0052]
(四)最后，设计深度分层任务卸载算法流程，具体包括：
[0053]
智能体(即车载设备)的决策系统由图注意力网络和分层动作决策网络构成，以实现状态信息和分层动作空间的映射；
[0054]
首先，初始化图注意力网络q
g
(s，a；θ
g
)，分层动作决策网络q
p
(s，a；θ
p
)及其目标网络q
′
p
(s，a；θ
′
p
)，其中θ
′
p
＝θ
p
，同时初始化经验回放池(replay buffer)d，以存储环境转移信息；
[0055]
在训练过程中，对于每个决策时刻t，智能体已完成上一个任务task
t
‑1，并准备执行新的任务task
t
；此时，智能体观测到任务状态和环境状态将其输入图注意力网络中进行特征提取，并最终得出各任务的q值的估计；其中估计q值最大的任务设为当前时刻t将处理的任务task
t
，同时确定了任务序号y
t
的选择；
[0056]
接着，将该任务的特征信息和环境信息作为分层动作决策网络的输入，并最终得到分层动作的选择a
t
＝{(y
t
，k
t
＝0，f
t
)∪(y
t
，k
t
＝1，p
t
)}和相应q值q
p
(s
t
，a
t
；θ
p
)；为了充分探索动作空间，离散动作y
t
和k
t
的决定将依照∈
‑
贪婪策略，连续动作f
t
和p
t
的决定将遵循ou过程；待分层动作a
t
确定后，若计算决策k
t
＝0，则任务task
t
将以cpu频率f
t
本地执行；若
计算决策k
t
＝1，则任务task
t
将以传输功率p
t
上传至边缘服务器执行；之后，环境状态将转变为s
t 1
，并反馈给智能体t时刻的单步奖励r
t
；智能体将环境转变(s
t
，a
t
，s
t 1
，r
t
)储存至经验回放池d中；
[0057]
在参数更新过程中，智能体从经验回放池d中随机采样出批量训练数据(s
j
，a
j
，s
j 1
，r
j
)；对于图注意力网络和分层动作决策网络，目标值z
j
均设为单步奖励r
j
与目标网络输出v值之和，即：
[0058]
z
j
＝r
j
γv
′
(s
j
)
[0059]
其中，γ为折扣因子；为了使网络估计q值逼近目标值，损失函数设为目标值z
j
和当前网络输出q值的均方差，即：
[0060][0061][0062]
最后，以最小化损失函数为目标，对各网络参数进行梯度下降更新，即：
[0063][0064]
其中，α
g
和α
p
分别为图注意力网络和分层动作决策网络的学习率，τ为目标网络更新率。
[0065]
本发明提出的基于分层强化学习的车联网边缘计算任务卸载方法，可以动态调整任务卸载和资源分配，以达到本地计算和边缘计算的平衡。以真实环境中采取的汽车行驶速度作为数据集进行仿真实验，实验结果表明，相比于启发式算法，本发明提出的算法在不同的环境参数下均能带来更低的联合损失函数和更优的性能表现。
附图说明
[0066]
图1为车联网边缘计算系统模型。
[0067]
图2为任务有向无环图。
[0068]
图3为图注意力网络结构。
[0069]
图4为真实环境中采集的车辆速度轨迹。
[0070]
图5为系统损失函数与信道带宽的关系。
[0071]
图6为系统损失函数与基站覆盖范围的关系。
具体实施方式
[0072]
设实施例的参数
[0073]
仿真环境：python；
[0074]
仿真平台：如图1所示；
[0075]
奖励折扣因子：0.99；
[0076]
图注意力网络的学习率：0.001；
[0077]
分层动作决策网络的学习率：0.01。
[0078]
基于分层强化学习的车联网边缘计算任务卸载方法，具体步骤为：
vehicular technology magazine,2017,12(2):36
‑
44.
[0096]
[9]yang l,cao j,cheng h,et al.multi
‑
user computation partitioning for latency sensitive mobile cloud applications[j].ieee transactions on computers,2014,64(8):2253
‑
2266.
[0097]
[10]dinh t q,tang j,la q d,et al.offloading in mobile edge computing:task allocation and computational frequency scaling[j].ieee transactions on communications,2017,65(8):3571
‑
3584.
[0098]
[11]kipf t n,welling m.semi
‑
supervised classification with graph convolutional networks[j].arxiv preprint arxiv:1609.02907,2016.。