1.本发明涉及车联网的
技术领域：
：，尤其涉及到一种基于能耗与时延加权的任务卸载方法。
背景技术：
：：2.随着物联网、人工智能和虚拟现实等技术的发展，高能耗的计算密集型业务不断增长，计算密集型应用和资源受限的移动计算系统之间的冲突给未来移动业务的发展带来了前所未有的挑战。为了应对这一挑战，通常采用的是移动云计算技术(mobilecloudcomputing,mcc)，将移动终端上的计算任务卸载到资源丰富的远端云完成。然而，传统的mcc方法具有通过广域网的数据传输引起的长延迟和低可靠性的缺点。3.近些年，可以在移动用户附近提供云计算能力的移动边缘计算(mobileedgecomputing,mec)被提议作为5g的关键技术之一。将用户的计算任务卸载到邻近的mec服务器，即移动边缘计算卸载，被认为是解决上述挑战的一个有前途的解决方案。与传统的mcc方案相比，边缘计算可以实现更低的延迟和更高的可靠性，已经成为研究热点。4.而随着道路上车辆的激增，需要大量的计算资源来满足用户的计算需求，车辆的激增也伴随着有不少有闲置计算资源可以利用。对于车辆来说，车辆利用边缘计算进行任务卸载的主要优化问题是：(1)减少任务计算时延。即如何合理的分配资源比例使得车辆产生的任务到车辆接受到任务的回馈这一过程的时间最小。(2)减少能量的消耗。即车辆进行任务卸载这一过程中，所消耗的能量要最小。5.目前已存在的车辆任务卸载策略有：6.1.《一种最小化时延多边缘节点卸载均衡策略研究》通过软件定义网络(softwaredefinednetwork，sdn)监控网络中的数据流量，调控热点区域的数据以多跳的方式卸载到周边的节点执行计算任务，实现热点区域降热减少执行任务时延的目的，同时，提出了基于量子粒子群算法的边缘节点卸载算法和一种基于启发式算法的边缘节点负载均衡算法来求解此问题。7.2.《基于多智能体元强化学习的车联网协同服务缓存和计算卸载》通过研究多路侧单元(rsu)协同合作进行面向车辆应用的服务缓存和任务调度，并将其建模为一个混合整数非线性规划问题，目标是最小化车联网系统的服务时延。为了降低求解优化问题的难度，首先提出一种双层的多rsu协同缓存框架将问题进行解耦，外层采用多智能体元强化学习方法，在每个本地智能体进行决策学习的同时，采用长短期记忆网络作为元智能体来平衡本地决策并加速学习过程，从而得到最优的rsu缓存策略；内层采用拉格朗日乘子法求解最佳协同卸载策略，实现rsu间的任务分配。8.3.《一种基于遗传算法的多站点协同计算卸载算法》提出了一种基于遗传算法的多站点协同计算卸载算法gamcco。该算法将应用程序抽象为任务依赖关系图模型,分析各任务之间的依赖关系,将多站点协同计算卸载的问题建模为代价模型,并利用遗传算法寻找最小代价的卸载方案。9.但上述的方案存在如下不足：10.1)该方案没有考虑能耗；2)采用的长短期记忆网络需要大量的数据训练并且训练过程耗时；3)运用了遗传算法，这类启发式算法容易陷入局部最优解，从而忽略了全局最优解。技术实现要素：11.本发明的目的在于克服现有技术的不足，提供一种基于能耗与时延加权的任务卸载方法。12.为实现上述目的，本发明所提供的技术方案为：13.一种基于能耗与时延加权的任务卸载方法，将道路中计算资源空闲的协作车辆的计算资源释放出来，为任务车辆提供计算服务，包括以下步骤：14.s1、根据任务车辆与协作车辆之间的通信以及任务车辆与部署在十字交叉路口边的路边单元上配置的mec服务器之间的通信，构建系统模型，得到目标函数；15.s2、判断任务车辆解决其自身任务的时间是否超过最大容忍时延，若是，则通过自身本地计算即可，否则，进入步骤s3；16.s3、根据步骤s1构建的系统模型和得到的目标函数，将任务分配过程决策问题转换马尔科夫决策过程；17.s4、根据步骤s3转换得到的马尔科夫决策过程，在此过程上，运用dqn算法解决马尔科夫决策过程中的策略选择问题，从而得到最优的卸载节点，即为任务车辆提供计算服务的节点。18.进一步地，所述步骤s1包括：19.s1‑1、进行场景建模分析，包括将卸载模式分为车辆对车辆的v2v卸载模式和mec卸载模式；20.s1‑2、对系统模型构建数学模型。21.进一步地，所述步骤s1‑2具体包括：22.v2v卸载模式：23.v2v卸载模式中，假设每辆任务车辆均能找到最优的协作车辆与之成卸载对，根据香农公式，任务车辆与协作车辆之间的传输速率为：[0024][0025]式(1)中，ωv2v为带宽，pi为传输功率，为信道增益，n0为噪声；[0026]v2v卸载模式中，时延包括数据上传的时间以及数据在协作车辆计算的时间，由于任务经过处理后的数据小，因此忽略其回传时间；[0027]传输过程的时延与能量消耗分别如下所示：[0028][0029][0030]式(2)中，di为任务的数据大小，为任务的数据大小，表示最大容忍时延内不能解决其自身任务的任务车辆的集合；[0031]协作车辆计算时延与能量消耗为：[0032][0033][0034]式(3)中，bi代表计算一个bit大小数据所需要的cpu圈数，fj为协作车辆的计算能力，pj为协作车辆的功率消耗，μ为能量参数；[0035]所以v2v卸载模式下总的时延与总的能耗为：[0036][0037][0038]综合考虑时延与能量的开销，在v2v卸载模式下总的代价函数为：[0039][0040]式(5)中，α为时延与能耗的权重因子，α越接近1，意味着越注重时延，反之则为注重能耗；[0041]mec卸载模式：[0042]当任务车辆选择mec卸载模式时，任务车辆通过蜂窝网与路边单元进行通信，与在路边单元上部署的mec服务器通信；[0043]根据香农公式，任务车辆与mec服务器之间的传输速率为：[0044][0045]式(6)中，ωmec为带宽；[0046]那么在mec卸载模式中时延与能耗由任务上传至mec服务器和mec服务器计算两部分构成；[0047]任务上传部分的时延和能耗分别表示如下：[0048][0049][0050]mec服务器计算的时延与能耗分别表示如下：[0051][0052]式(8)中，fmec为mec服务器的计算能力：[0053][0054]所以mec卸载模式下总的时延与能耗表示为：[0055][0056][0057]综合考虑时延与能量的开销，所以在mec卸载模式下总的代价函数为：[0058][0059]式(11)中，α为时延与能耗的权重因子；α越接近1，意味着越注重时延，反之则为注重能耗；[0060]那么整个任务的代价函数为：[0061][0062]式(12)中，β＝{0，1}为卸载决策参数，如果任务车辆选择v2v卸载模式卸载，则β＝0，反之，则β＝1；[0063]到代价函数后，目标函数变成如下所示：[0064][0065][0066]式(13)中，c1表示约束条件，其意义为无论是v2v卸载模式计算还是mec卸载模式计算均不能超过任务的最大容忍时延。[0067]进一步地，，所述步骤s3中，将任务分配过程决策问题转换马尔科夫决策过程，具体包括：[0068]任务车辆在进行任务卸载的时候，其任务不断被卸载到mec服务器或协作车辆上，系统的状态由当前任务的数据大小、任务复杂度、最大容忍时延和车辆与卸载点之间的通信状态构成，在每个时隙上，其状态空间表示为：[0069]st＝{ti，v2v1，v2v2，...，v2vj，mec1，mec2，...，mecm}ꢀꢀ(14)[0070]式(14)中，ti：为任务类型，v2v1，v2v2，...，v2vj为车辆进行v2v卸载模式下的通信状态，mec1，mec2，...，mecm为车辆进行mec卸载模式下的额通信状态；[0071]而动作空间由可以选择的卸载点构成，动作空间表示为：[0072]at＝{v1，v2，，...，vj，m1，m2，...，mm}ꢀꢀ(15)[0073]式(15)中，v1，v2，，...，vj为协作车辆，m1，m2，...，mm为mec服务器；[0074]任务车辆依据一个策略，选择其中一个最优的卸载节点，也就是从at选择一个动作来执行当前任务；[0075]奖励函数设为s为当前状态，a为动作，将奖励函数设置为负的总代价函数，为了让整个过程的奖励最大，也就是总代价函数越小；[0076]卸载策略π代表着车辆在状态空间st下采取动作的依据；策略的优劣通过基于策略的价值函数来评判，价值函数分为：状态价值函数和行为价值函数；[0077]其中，[0078]状态价值函数：[0079]行为价值函数：qπ(s，a)＝e(gt|st＝s，at＝a)；[0080]通过be||man方程，状态价值函数转换为：[0081][0082]式(16)中，s为当前状态，r(s)为当前状态下的奖励函数，γ为折扣因子γ∈[0，1]，s′为下个状态，p(s′|s)为当前状态转移到下一状态的转移概率，v(s′)为下一状态的价值；[0083]通过be||man方程，可看出当前状态的价值等于到达当前状态的奖励加上下一状态的价值。[0084]进一步地，所述步骤s4中，运用dqn算法解决马尔科夫决策过程中的策略选择问题，具体包括：[0085]令行为价值函数按照如下的公式来更新：[0086][0087]式(17)中，r为奖励函数，为学习速率，q(s，a)为当前的行为价值函数，q*(s，a)为更新后的行为价值函数；[0088]通过(17)式使得最佳的策略能获得最佳的行为价值函数，策略为选取下一个状态中能获得最大行为价值函数值的动作作为最佳动作；[0089]在dqn算法中，运用神经网络来拟合q值，在每个时隙，输入当前的状况信息给已经训练好的模型，便可得到q值以及对应的动作，即对应的卸载节点；并且利用ε‑贪婪探索算法，以ε概率去探索新的卸载节点，以1‑ε概率按照当前的q值更新公式来选择卸载节点。[0090]与现有技术相比，本方案原理及优点如下：[0091]1)本方案考虑到了道路上有闲置计算资源的车辆(协作车辆)，并充分发挥了他们的作用，释放出这些闲置计算资源能够有效的减少任务车辆的计算时延，缓解了任务车辆与mec服务器的计算压力。[0092]2)本方案在求取卸载节点的过程中运用了dqn算法，由于车辆的状态是高维的，普通的q‑table将会受维度限制，dqn算法能不受维度限制。由于高纬度，运用深度神经网络将会避免陷入局部最优解，从而解决启发式算法陷入局部最优解的问题。附图说明[0093]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0094]图1为本发明一种基于能耗与时延加权的任务卸载方法的原理流程图；[0095]图2为本发明中涉及到的系统模型示意图。具体实施方式[0096]下面结合具体实施例对本发明作进一步说明：[0097]本实施例所述的一种基于能耗与时延加权的任务卸载方法，将道路中计算资源空闲的协作车辆的计算资源释放出来，为任务车辆提供计算服务。[0098]如图1所示，具体包括以下步骤：[0099]s1、根据任务车辆与协作车辆之间的通信以及任务车辆与部署在十字交叉路口边的路边单元上配置的mec服务器之间的通信，构建系统模型，得到目标函数；[0100]本步骤中，包括：[0101]s1‑1、进行场景建模分析：[0102]系统模型如图2所示，考虑的场景为十字交叉路口，道路上部署了路边单元(roadsideunit，rsu)，rsu上配置了mec服务器，记为m＝{m1，m2，...，mm}。道路上计算资源闲置车辆，也就是协作车辆，可以提供计算服务，协作车辆记为v＝{v1，v2，，...，vj}，任务车辆有n辆。本实施例将时间进行离散化，将时间分为时间段，定义时间集合为t＝{1，2，3，...}。[0103]假设在每个时间块里面车辆的状态信息不发生改变，以及每个任务车辆的任务类型都为ti＝(di，bi，τi)，其中di代表任务的数据大小，单位为bit，bi代表计算一个bit大小数据所需要的cpu圈数，单位为cycle/bit，τi代表任务的最大容忍时延，单位为s。[0104]将任务车辆分为两组，[0105]其中一组是dibi/fi≤τi，其中fi为当前任务车辆的计算能力，在这组就是当前任务车辆的计算任务能够在自身的车辆解决，不超过最大容忍时延，即不需要进行任务卸载，本实施例将这一类任务车辆记为一个集合l＝{1，2，...，i}。[0106]另外一组便是dibi/fi＞τi，也就是说当前任务车辆的计算任务在最大容忍时延内不能得到解决，需要将任务卸载，本实施例将这一类车辆记为一个集合[0107]在集合里面的任务，有两种卸载模式，分别为车辆对车辆(vehicletovehicle，v2v)模式和mec卸载模式，定义卸载决策参数β＝{0，1}，如果任务车辆选择v2v模式卸载，则β＝0，反之，则β＝1。[0108]s1‑2、对系统模型构建数学模型，具体包括：[0109]v2v卸载模式：[0110]v2v卸载模式中，假设每辆任务车辆均能找到最优的协作车辆与之成卸载对，根据香农公式，任务车辆与协作车辆之间的传输速率为：[0111][0112]式(1)中，ωv2v为带宽，pi为传输功率，为信道增益，n0为噪声；[0113]v2v卸载模式中，时延包括数据上传的时间以及数据在协作车辆计算的时间，由于任务经过处理后的数据小，因此忽略其回传时间；[0114]传输过程的时延与能量消耗分别如下所示：[0115][0116][0117]式(2)中，di为任务的数据大小，为任务的数据大小，表示最大容忍时延内不能解决其自身任务的任务车辆的集合；[0118]协作车辆计算时延与能量消耗为：[0119][0120][0121]式(3)中，bi代表计算一个bit大小数据所需要的cpu圈数，fj为协作车辆的计算能力，pj为协作车辆的功率消耗，pj＝μ(fj)2，μ为能量参数；[0122]所以v2v卸载模式下总的时延与总的能耗为：[0123][0124][0125]综合考虑时延与能量的开销，在v2v卸载模式下总的代价函数为：[0126][0127]式(5)中，α为时延与能耗的权重因子，α越接近1，意味着越注重时延，反之则为注重能耗；[0128]mec卸载模式：[0129]当任务车辆选择mec卸载模式时，任务车辆通过蜂窝网与路边单元进行通信，与在路边单元上部署的mec服务器通信；[0130]根据香农公式，任务车辆与mec服务器之间的传输速率为：[0131][0132]式(6)中，ωmec为带宽；[0133]那么在mec卸载模式中时延与能耗由任务上传至mec服务器和mec服务器计算两部分构成；[0134]任务上传部分的时延和能耗分别表示如下：[0135][0136][0137]mec服务器计算的时延与能耗分别表示如下：[0138][0139]式(8)中，fmec为mec服务器的计算能力：[0140][0141]所以mec卸载模式下总的时延与能耗表示为：[0142][0143][0144]综合考虑时延与能量的开销，所以在mec卸载模式下总的代价函数为：[0145][0146]式(11)中，α为时延与能耗的权重因子；α越接近1，意味着越注重时延，反之则为注重能耗；[0147]那么整个任务的代价函数为：[0148][0149]式(12)中，β＝{0，1}为卸载决策参数，如果任务车辆选择v2v卸载模式卸载，则β＝0，反之，则β＝1；[0150]到代价函数后，目标函数变成如下所示：[0151][0152][0153]式(13)中，c1表示约束条件，其意义为无论是v2v卸载模式计算还是mec卸载模式计算均不能超过任务的最大容忍时延。[0154]s2、判断任务车辆解决其自身任务的时间是否超过最大容忍时延，若是，则通过自身本地计算即可，否则，进入步骤s3；[0155]本步骤相当于将能在内完成任务的任务车辆放在集合l中，将不能在最大容忍时延内完成任务的任务车辆放在集合内，然后对集合中的任务车辆拉入步骤s3和s4，作进一步地处理。[0156]s3、根据步骤s1构建的系统模型和得到的目标函数，将任务分配过程决策问题转换马尔科夫决策过程，具体包括：[0157]任务车辆在进行任务卸载的时候，其任务不断被卸载到mec服务器或协作车辆上，系统的状态由当前任务的数据大小、任务复杂度、最大容忍时延和车辆与卸载点之间的通信状态构成，在每个时隙上，其状态空间表示为：[0158]st＝{ti’v2v1，v2v2，...，v2vj，mec1，mec2，...，mecm}ꢀꢀ(14)[0159]式(14)中，ti为任务类型，v2v1，v2v2，...，v2vj为车辆进行v2v卸载模式下的通信状态，mec1，mec2，...，mecm为车辆进行mec卸载模式下的额通信状态；[0160]而动作空间由可以选择的卸载点构成，动作空间表示为：[0161]at＝{v1，v2，，...，vj，m1，m2，...，mm}ꢀꢀ(15)[0162]式(15)中，v1，v2，，...，vj为协作车辆，m1，m2，...，mm为mec服务器；[0163]任务车辆依据一个策略，选择其中一个最优的卸载节点，也就是从at选择一个动作来执行当前任务；[0164]奖励函数设为s为当前状态，a为动作，将奖励函数设置为负的总代价函数，为了让整个过程的奖励最大，也就是总代价函数越小；[0165]卸载策略π代表着车辆在状态空间st下采取动作的依据；策略的优劣通过基于策略的价值函数来评判，价值函数分为：状态价值函数和行为价值函数；[0166]其中，[0167]状态价值函数：(其意义为在状态s下所有动作能够获得的期望奖励)[0168]行为价值函数：qπ(s，a)＝e(gt|st＝s，at＝a)(其意义为在状态s下采取动作a能够获得的奖励)[0169]通过be||man方程，状态价值函数转换为：[0170][0171]式(16)中，s为当前状态，r(s)为当前状态下的奖励函数，γ为折扣因子γ∈[0，1]，s′为下个状态，p(s′|s)为当前状态转移到下一状态的转移概率，v(s′)为下一状态的价值；[0172]通过be||man方程，可看出当前状态的价值等于到达当前状态的奖励加上下一状态的价值。[0173]s4、根据步骤s3转换得到的马尔科夫决策过程，在此过程上，运用dqn算法解决马尔科夫决策过程中的策略选择问题，从而得到最优的卸载节点，即为任务车辆提供计算服务的节点。[0174]本步骤为本实施例的最后一个步骤，具体如下：[0175]令行为价值函数按照如下的公式来更新：[0176][0177]式(17)中，r为奖励函数，为学习速率，q(s，a)为当前的行为价值函数，q*(s，a)为更新后的行为价值函数；[0178]通过(17)式使得最佳的策略能获得最佳的行为价值函数，策略为选取下一个状态中能获得最大行为价值函数值的动作作为最佳动作；[0179]在dqn算法中，运用神经网络来拟合q值，在每个时隙，输入当前的状况信息给已经训练好的模型，便可得到q值以及对应的动作，即对应的卸载节点；并且利用ε‑贪婪探索算法，以ε概率去探索新的卸载节点，以1‑ε概率按照当前的q值更新公式来选择卸载节点。[0180]以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。当前第1页12当前第1页12
技术领域：
：，尤其涉及到一种基于能耗与时延加权的任务卸载方法。
背景技术：
：：2.随着物联网、人工智能和虚拟现实等技术的发展，高能耗的计算密集型业务不断增长，计算密集型应用和资源受限的移动计算系统之间的冲突给未来移动业务的发展带来了前所未有的挑战。为了应对这一挑战，通常采用的是移动云计算技术(mobilecloudcomputing,mcc)，将移动终端上的计算任务卸载到资源丰富的远端云完成。然而，传统的mcc方法具有通过广域网的数据传输引起的长延迟和低可靠性的缺点。3.近些年，可以在移动用户附近提供云计算能力的移动边缘计算(mobileedgecomputing,mec)被提议作为5g的关键技术之一。将用户的计算任务卸载到邻近的mec服务器，即移动边缘计算卸载，被认为是解决上述挑战的一个有前途的解决方案。与传统的mcc方案相比，边缘计算可以实现更低的延迟和更高的可靠性，已经成为研究热点。4.而随着道路上车辆的激增，需要大量的计算资源来满足用户的计算需求，车辆的激增也伴随着有不少有闲置计算资源可以利用。对于车辆来说，车辆利用边缘计算进行任务卸载的主要优化问题是：(1)减少任务计算时延。即如何合理的分配资源比例使得车辆产生的任务到车辆接受到任务的回馈这一过程的时间最小。(2)减少能量的消耗。即车辆进行任务卸载这一过程中，所消耗的能量要最小。5.目前已存在的车辆任务卸载策略有：6.1.《一种最小化时延多边缘节点卸载均衡策略研究》通过软件定义网络(softwaredefinednetwork，sdn)监控网络中的数据流量，调控热点区域的数据以多跳的方式卸载到周边的节点执行计算任务，实现热点区域降热减少执行任务时延的目的，同时，提出了基于量子粒子群算法的边缘节点卸载算法和一种基于启发式算法的边缘节点负载均衡算法来求解此问题。7.2.《基于多智能体元强化学习的车联网协同服务缓存和计算卸载》通过研究多路侧单元(rsu)协同合作进行面向车辆应用的服务缓存和任务调度，并将其建模为一个混合整数非线性规划问题，目标是最小化车联网系统的服务时延。为了降低求解优化问题的难度，首先提出一种双层的多rsu协同缓存框架将问题进行解耦，外层采用多智能体元强化学习方法，在每个本地智能体进行决策学习的同时，采用长短期记忆网络作为元智能体来平衡本地决策并加速学习过程，从而得到最优的rsu缓存策略；内层采用拉格朗日乘子法求解最佳协同卸载策略，实现rsu间的任务分配。8.3.《一种基于遗传算法的多站点协同计算卸载算法》提出了一种基于遗传算法的多站点协同计算卸载算法gamcco。该算法将应用程序抽象为任务依赖关系图模型,分析各任务之间的依赖关系,将多站点协同计算卸载的问题建模为代价模型,并利用遗传算法寻找最小代价的卸载方案。9.但上述的方案存在如下不足：10.1)该方案没有考虑能耗；2)采用的长短期记忆网络需要大量的数据训练并且训练过程耗时；3)运用了遗传算法，这类启发式算法容易陷入局部最优解，从而忽略了全局最优解。技术实现要素：11.本发明的目的在于克服现有技术的不足，提供一种基于能耗与时延加权的任务卸载方法。12.为实现上述目的，本发明所提供的技术方案为：13.一种基于能耗与时延加权的任务卸载方法，将道路中计算资源空闲的协作车辆的计算资源释放出来，为任务车辆提供计算服务，包括以下步骤：14.s1、根据任务车辆与协作车辆之间的通信以及任务车辆与部署在十字交叉路口边的路边单元上配置的mec服务器之间的通信，构建系统模型，得到目标函数；15.s2、判断任务车辆解决其自身任务的时间是否超过最大容忍时延，若是，则通过自身本地计算即可，否则，进入步骤s3；16.s3、根据步骤s1构建的系统模型和得到的目标函数，将任务分配过程决策问题转换马尔科夫决策过程；17.s4、根据步骤s3转换得到的马尔科夫决策过程，在此过程上，运用dqn算法解决马尔科夫决策过程中的策略选择问题，从而得到最优的卸载节点，即为任务车辆提供计算服务的节点。18.进一步地，所述步骤s1包括：19.s1‑1、进行场景建模分析，包括将卸载模式分为车辆对车辆的v2v卸载模式和mec卸载模式；20.s1‑2、对系统模型构建数学模型。21.进一步地，所述步骤s1‑2具体包括：22.v2v卸载模式：23.v2v卸载模式中，假设每辆任务车辆均能找到最优的协作车辆与之成卸载对，根据香农公式，任务车辆与协作车辆之间的传输速率为：[0024][0025]式(1)中，ωv2v为带宽，pi为传输功率，为信道增益，n0为噪声；[0026]v2v卸载模式中，时延包括数据上传的时间以及数据在协作车辆计算的时间，由于任务经过处理后的数据小，因此忽略其回传时间；[0027]传输过程的时延与能量消耗分别如下所示：[0028][0029][0030]式(2)中，di为任务的数据大小，为任务的数据大小，表示最大容忍时延内不能解决其自身任务的任务车辆的集合；[0031]协作车辆计算时延与能量消耗为：[0032][0033][0034]式(3)中，bi代表计算一个bit大小数据所需要的cpu圈数，fj为协作车辆的计算能力，pj为协作车辆的功率消耗，μ为能量参数；[0035]所以v2v卸载模式下总的时延与总的能耗为：[0036][0037][0038]综合考虑时延与能量的开销，在v2v卸载模式下总的代价函数为：[0039][0040]式(5)中，α为时延与能耗的权重因子，α越接近1，意味着越注重时延，反之则为注重能耗；[0041]mec卸载模式：[0042]当任务车辆选择mec卸载模式时，任务车辆通过蜂窝网与路边单元进行通信，与在路边单元上部署的mec服务器通信；[0043]根据香农公式，任务车辆与mec服务器之间的传输速率为：[0044][0045]式(6)中，ωmec为带宽；[0046]那么在mec卸载模式中时延与能耗由任务上传至mec服务器和mec服务器计算两部分构成；[0047]任务上传部分的时延和能耗分别表示如下：[0048][0049][0050]mec服务器计算的时延与能耗分别表示如下：[0051][0052]式(8)中，fmec为mec服务器的计算能力：[0053][0054]所以mec卸载模式下总的时延与能耗表示为：[0055][0056][0057]综合考虑时延与能量的开销，所以在mec卸载模式下总的代价函数为：[0058][0059]式(11)中，α为时延与能耗的权重因子；α越接近1，意味着越注重时延，反之则为注重能耗；[0060]那么整个任务的代价函数为：[0061][0062]式(12)中，β＝{0，1}为卸载决策参数，如果任务车辆选择v2v卸载模式卸载，则β＝0，反之，则β＝1；[0063]到代价函数后，目标函数变成如下所示：[0064][0065][0066]式(13)中，c1表示约束条件，其意义为无论是v2v卸载模式计算还是mec卸载模式计算均不能超过任务的最大容忍时延。[0067]进一步地，，所述步骤s3中，将任务分配过程决策问题转换马尔科夫决策过程，具体包括：[0068]任务车辆在进行任务卸载的时候，其任务不断被卸载到mec服务器或协作车辆上，系统的状态由当前任务的数据大小、任务复杂度、最大容忍时延和车辆与卸载点之间的通信状态构成，在每个时隙上，其状态空间表示为：[0069]st＝{ti，v2v1，v2v2，...，v2vj，mec1，mec2，...，mecm}ꢀꢀ(14)[0070]式(14)中，ti：为任务类型，v2v1，v2v2，...，v2vj为车辆进行v2v卸载模式下的通信状态，mec1，mec2，...，mecm为车辆进行mec卸载模式下的额通信状态；[0071]而动作空间由可以选择的卸载点构成，动作空间表示为：[0072]at＝{v1，v2，，...，vj，m1，m2，...，mm}ꢀꢀ(15)[0073]式(15)中，v1，v2，，...，vj为协作车辆，m1，m2，...，mm为mec服务器；[0074]任务车辆依据一个策略，选择其中一个最优的卸载节点，也就是从at选择一个动作来执行当前任务；[0075]奖励函数设为s为当前状态，a为动作，将奖励函数设置为负的总代价函数，为了让整个过程的奖励最大，也就是总代价函数越小；[0076]卸载策略π代表着车辆在状态空间st下采取动作的依据；策略的优劣通过基于策略的价值函数来评判，价值函数分为：状态价值函数和行为价值函数；[0077]其中，[0078]状态价值函数：[0079]行为价值函数：qπ(s，a)＝e(gt|st＝s，at＝a)；[0080]通过be||man方程，状态价值函数转换为：[0081][0082]式(16)中，s为当前状态，r(s)为当前状态下的奖励函数，γ为折扣因子γ∈[0，1]，s′为下个状态，p(s′|s)为当前状态转移到下一状态的转移概率，v(s′)为下一状态的价值；[0083]通过be||man方程，可看出当前状态的价值等于到达当前状态的奖励加上下一状态的价值。[0084]进一步地，所述步骤s4中，运用dqn算法解决马尔科夫决策过程中的策略选择问题，具体包括：[0085]令行为价值函数按照如下的公式来更新：[0086][0087]式(17)中，r为奖励函数，为学习速率，q(s，a)为当前的行为价值函数，q*(s，a)为更新后的行为价值函数；[0088]通过(17)式使得最佳的策略能获得最佳的行为价值函数，策略为选取下一个状态中能获得最大行为价值函数值的动作作为最佳动作；[0089]在dqn算法中，运用神经网络来拟合q值，在每个时隙，输入当前的状况信息给已经训练好的模型，便可得到q值以及对应的动作，即对应的卸载节点；并且利用ε‑贪婪探索算法，以ε概率去探索新的卸载节点，以1‑ε概率按照当前的q值更新公式来选择卸载节点。[0090]与现有技术相比，本方案原理及优点如下：[0091]1)本方案考虑到了道路上有闲置计算资源的车辆(协作车辆)，并充分发挥了他们的作用，释放出这些闲置计算资源能够有效的减少任务车辆的计算时延，缓解了任务车辆与mec服务器的计算压力。[0092]2)本方案在求取卸载节点的过程中运用了dqn算法，由于车辆的状态是高维的，普通的q‑table将会受维度限制，dqn算法能不受维度限制。由于高纬度，运用深度神经网络将会避免陷入局部最优解，从而解决启发式算法陷入局部最优解的问题。附图说明[0093]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0094]图1为本发明一种基于能耗与时延加权的任务卸载方法的原理流程图；[0095]图2为本发明中涉及到的系统模型示意图。具体实施方式[0096]下面结合具体实施例对本发明作进一步说明：[0097]本实施例所述的一种基于能耗与时延加权的任务卸载方法，将道路中计算资源空闲的协作车辆的计算资源释放出来，为任务车辆提供计算服务。[0098]如图1所示，具体包括以下步骤：[0099]s1、根据任务车辆与协作车辆之间的通信以及任务车辆与部署在十字交叉路口边的路边单元上配置的mec服务器之间的通信，构建系统模型，得到目标函数；[0100]本步骤中，包括：[0101]s1‑1、进行场景建模分析：[0102]系统模型如图2所示，考虑的场景为十字交叉路口，道路上部署了路边单元(roadsideunit，rsu)，rsu上配置了mec服务器，记为m＝{m1，m2，...，mm}。道路上计算资源闲置车辆，也就是协作车辆，可以提供计算服务，协作车辆记为v＝{v1，v2，，...，vj}，任务车辆有n辆。本实施例将时间进行离散化，将时间分为时间段，定义时间集合为t＝{1，2，3，...}。[0103]假设在每个时间块里面车辆的状态信息不发生改变，以及每个任务车辆的任务类型都为ti＝(di，bi，τi)，其中di代表任务的数据大小，单位为bit，bi代表计算一个bit大小数据所需要的cpu圈数，单位为cycle/bit，τi代表任务的最大容忍时延，单位为s。[0104]将任务车辆分为两组，[0105]其中一组是dibi/fi≤τi，其中fi为当前任务车辆的计算能力，在这组就是当前任务车辆的计算任务能够在自身的车辆解决，不超过最大容忍时延，即不需要进行任务卸载，本实施例将这一类任务车辆记为一个集合l＝{1，2，...，i}。[0106]另外一组便是dibi/fi＞τi，也就是说当前任务车辆的计算任务在最大容忍时延内不能得到解决，需要将任务卸载，本实施例将这一类车辆记为一个集合[0107]在集合里面的任务，有两种卸载模式，分别为车辆对车辆(vehicletovehicle，v2v)模式和mec卸载模式，定义卸载决策参数β＝{0，1}，如果任务车辆选择v2v模式卸载，则β＝0，反之，则β＝1。[0108]s1‑2、对系统模型构建数学模型，具体包括：[0109]v2v卸载模式：[0110]v2v卸载模式中，假设每辆任务车辆均能找到最优的协作车辆与之成卸载对，根据香农公式，任务车辆与协作车辆之间的传输速率为：[0111][0112]式(1)中，ωv2v为带宽，pi为传输功率，为信道增益，n0为噪声；[0113]v2v卸载模式中，时延包括数据上传的时间以及数据在协作车辆计算的时间，由于任务经过处理后的数据小，因此忽略其回传时间；[0114]传输过程的时延与能量消耗分别如下所示：[0115][0116][0117]式(2)中，di为任务的数据大小，为任务的数据大小，表示最大容忍时延内不能解决其自身任务的任务车辆的集合；[0118]协作车辆计算时延与能量消耗为：[0119][0120][0121]式(3)中，bi代表计算一个bit大小数据所需要的cpu圈数，fj为协作车辆的计算能力，pj为协作车辆的功率消耗，pj＝μ(fj)2，μ为能量参数；[0122]所以v2v卸载模式下总的时延与总的能耗为：[0123][0124][0125]综合考虑时延与能量的开销，在v2v卸载模式下总的代价函数为：[0126][0127]式(5)中，α为时延与能耗的权重因子，α越接近1，意味着越注重时延，反之则为注重能耗；[0128]mec卸载模式：[0129]当任务车辆选择mec卸载模式时，任务车辆通过蜂窝网与路边单元进行通信，与在路边单元上部署的mec服务器通信；[0130]根据香农公式，任务车辆与mec服务器之间的传输速率为：[0131][0132]式(6)中，ωmec为带宽；[0133]那么在mec卸载模式中时延与能耗由任务上传至mec服务器和mec服务器计算两部分构成；[0134]任务上传部分的时延和能耗分别表示如下：[0135][0136][0137]mec服务器计算的时延与能耗分别表示如下：[0138][0139]式(8)中，fmec为mec服务器的计算能力：[0140][0141]所以mec卸载模式下总的时延与能耗表示为：[0142][0143][0144]综合考虑时延与能量的开销，所以在mec卸载模式下总的代价函数为：[0145][0146]式(11)中，α为时延与能耗的权重因子；α越接近1，意味着越注重时延，反之则为注重能耗；[0147]那么整个任务的代价函数为：[0148][0149]式(12)中，β＝{0，1}为卸载决策参数，如果任务车辆选择v2v卸载模式卸载，则β＝0，反之，则β＝1；[0150]到代价函数后，目标函数变成如下所示：[0151][0152][0153]式(13)中，c1表示约束条件，其意义为无论是v2v卸载模式计算还是mec卸载模式计算均不能超过任务的最大容忍时延。[0154]s2、判断任务车辆解决其自身任务的时间是否超过最大容忍时延，若是，则通过自身本地计算即可，否则，进入步骤s3；[0155]本步骤相当于将能在内完成任务的任务车辆放在集合l中，将不能在最大容忍时延内完成任务的任务车辆放在集合内，然后对集合中的任务车辆拉入步骤s3和s4，作进一步地处理。[0156]s3、根据步骤s1构建的系统模型和得到的目标函数，将任务分配过程决策问题转换马尔科夫决策过程，具体包括：[0157]任务车辆在进行任务卸载的时候，其任务不断被卸载到mec服务器或协作车辆上，系统的状态由当前任务的数据大小、任务复杂度、最大容忍时延和车辆与卸载点之间的通信状态构成，在每个时隙上，其状态空间表示为：[0158]st＝{ti’v2v1，v2v2，...，v2vj，mec1，mec2，...，mecm}ꢀꢀ(14)[0159]式(14)中，ti为任务类型，v2v1，v2v2，...，v2vj为车辆进行v2v卸载模式下的通信状态，mec1，mec2，...，mecm为车辆进行mec卸载模式下的额通信状态；[0160]而动作空间由可以选择的卸载点构成，动作空间表示为：[0161]at＝{v1，v2，，...，vj，m1，m2，...，mm}ꢀꢀ(15)[0162]式(15)中，v1，v2，，...，vj为协作车辆，m1，m2，...，mm为mec服务器；[0163]任务车辆依据一个策略，选择其中一个最优的卸载节点，也就是从at选择一个动作来执行当前任务；[0164]奖励函数设为s为当前状态，a为动作，将奖励函数设置为负的总代价函数，为了让整个过程的奖励最大，也就是总代价函数越小；[0165]卸载策略π代表着车辆在状态空间st下采取动作的依据；策略的优劣通过基于策略的价值函数来评判，价值函数分为：状态价值函数和行为价值函数；[0166]其中，[0167]状态价值函数：(其意义为在状态s下所有动作能够获得的期望奖励)[0168]行为价值函数：qπ(s，a)＝e(gt|st＝s，at＝a)(其意义为在状态s下采取动作a能够获得的奖励)[0169]通过be||man方程，状态价值函数转换为：[0170][0171]式(16)中，s为当前状态，r(s)为当前状态下的奖励函数，γ为折扣因子γ∈[0，1]，s′为下个状态，p(s′|s)为当前状态转移到下一状态的转移概率，v(s′)为下一状态的价值；[0172]通过be||man方程，可看出当前状态的价值等于到达当前状态的奖励加上下一状态的价值。[0173]s4、根据步骤s3转换得到的马尔科夫决策过程，在此过程上，运用dqn算法解决马尔科夫决策过程中的策略选择问题，从而得到最优的卸载节点，即为任务车辆提供计算服务的节点。[0174]本步骤为本实施例的最后一个步骤，具体如下：[0175]令行为价值函数按照如下的公式来更新：[0176][0177]式(17)中，r为奖励函数，为学习速率，q(s，a)为当前的行为价值函数，q*(s，a)为更新后的行为价值函数；[0178]通过(17)式使得最佳的策略能获得最佳的行为价值函数，策略为选取下一个状态中能获得最大行为价值函数值的动作作为最佳动作；[0179]在dqn算法中，运用神经网络来拟合q值，在每个时隙，输入当前的状况信息给已经训练好的模型，便可得到q值以及对应的动作，即对应的卸载节点；并且利用ε‑贪婪探索算法，以ε概率去探索新的卸载节点，以1‑ε概率按照当前的q值更新公式来选择卸载节点。[0180]以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
