一种道路网络临近检测方法、装置及存储介质

1.本发明涉及车联网技术领域，尤其涉及一种道路网络临近检测方法、装置及存储介质。


背景技术：

2.随着汽车电子化、先进的辅助驾驶技术和人工智能的迅速发展，自动驾驶作为辅助驾驶的高级阶段，有望成为未来解决交通出行的重要途径，已成为世界范围内新的技术研究热点。自动驾驶和辅助驾驶的发展催生了道路网络中的临近检测问题(proximity detection，pd)，主要在车联网(internet of vehicles，iov)下应用。这在确保安全驾驶方面发挥着重要作用。临近检测问题指的是判断两辆车是否在短时间内彼此接近，以及，如果是，判断它们还有多长时间相遇。
3.临近检测问题是一个时间敏感型任务。然而，在实际场景中，考虑到iov的动态性、随机性和时变性，一旦环境发生轻微变化，这些传统的数学方法需要再次迭代，这是非常繁琐和耗时的，且车辆的电池电量和计算能力也对于时延和能耗有着重要的影响。因此，在临近检测问题中如何尽可能降低时延和能耗，是一个很重要的研究方向。
4.并且，从判断临近的标准来看，现有的解决方案大多采用地理空间距离(欧几里得距离或道路网络距离)来判断用户之间的临近关系，但是，仅地理空间上的距离接近并不意味着两个用户会在短时间内相遇，因此临近判定的标准值得进一步商榷。
5.为此，如何提供一种临近判定标准更为科学合理且尽可能降低时延和能耗的的道路网络临近检测方法，是一个亟待解决的问题。


技术实现要素：

6.鉴于此，本发明实施例提供了一种的道路网络临近检测方法、装置及介质，以消除或改善现有技术中存在的一个或更多个缺陷。
7.本发明的一个方面提供了一种道路网络临近检测方法，该方法包括以下步骤：
8.获取当前时刻目标车辆的位置坐标、运动状态，获取当前时刻目标车辆临近检测区域内需临近检测车辆的位置坐标和运动状态；
9.执行临近检测计算任务，包括：分别以计算目标车辆与每一需临近检测车辆之间的时间距离作为临近检测计算任务的子任务，将临近检测计算任务的所有子任务依据计算卸载决策按比例进行计算卸载，以按比例将所有子任务卸载到目标车辆本地、边缘服务器和/或目标车辆周围车辆执行；其中，所述时间距离为两车辆相遇所需的最短时间；所述计算卸载决策为预设的计算卸载决策，或，以计算具备最优的时延和能耗的计算卸载决策为多目标进行深度强化学习以更新的计算卸载决策；
10.依据预设时间临近阈值和目标车辆与每一需临近检测车辆之间的时间距离，确定目标车辆与每一需临近检测车辆的临近状态，当临近检测区域内一车辆与目标车辆的时间距离小于预设时间临近阈值时，判定二者为临近状态；当临近检测区域内一车辆与目标车
辆的时间距离大于等于预设时间临近阈值时，判定二者为非临近状态。
11.在本发明的一些实施例中，所述以计算具备最优的时延和能耗的计算卸载决策为多目标进行深度强化学习以更新的计算卸载决策，为有约束的多目标优化问题，基于解决有约束的多目标优化问题策略对计算卸载决策进行更新，包括：
12.获取在目标车辆本地执行、由目标车辆发送到边缘服务器执行以及由目标车辆发送到周围车辆执行的时延和能耗；
13.按照预设时间间隔动态计算并更新包含目标车辆所处道路网络环境状态参数值的道路网络参数，所述道路网络参数作为目标车辆临近检测计算任务的输入；
14.对临近检测的计算卸载进行建模，将所述有约束的多目标优化问题分成多个子问题，将每个子问题对应一个初始神经网络，基于深度确定性策略梯度算法对所有子问题对应的初始神经网络依次进行训练获得每个子问题对应的最优神经网络，在所述训练过程中相邻的子问题对应的初始神经网络间进行神经网络参数的传递，每个最优神经网络输出一个计算卸载决策，所有子问题对应的最优神经网络输出的计算卸载决策构成一个帕累托最优解集，从而实现对计算卸载决策的更新。
15.在本发明的一些实施例中，所述按照预设时间间隔动态计算并更新道路网络参数的步骤，包括：
16.获取目标车辆所属边缘服务器-路边单元的位置坐标，计算目标车辆与边缘服务器-路边单元的距离；
17.计算目标车辆的临近检测区域的半径；
18.计算目标车辆所属边缘服务器-路边单元的覆盖区域内的车辆数目、目标车辆的临近检测区域内的车辆数目以及目标车辆直接通信范围内的车辆数目；
19.计算目标车辆在所述边缘服务器-路边单元的覆盖区域内的停留时间；
20.计算目标车辆直接通信范围内的每辆车在所述通信范围内的停留时间；
21.计算利用剪枝策略的临近检测计算任务的数据大小和完成临近检测计算任务所需的cpu周期；
22.计算目标车辆与每一需要临近检测车辆沿着道路相遇所需的最短路径长度和最短时间。
23.所述有约束的多目标优化问题包含的时延和能耗的约束包括：
[0024][0025][0026][0027]
c4:t
ob
(t)≤t
ob
(t)
[0028]
c5:e
ob
(t)≤e
ob
(t)
[0029][0030]
c7:t
ob
(t) t
run
(t)≤min{t(u
ob
(t),uj(t))}
[0031]
其中，c1和c2表示任务r
ob
(t)是由目标车辆、边缘服务器和周围车辆协同执行，和分别为计算卸载策略中目标车辆本地、边缘服务器和周围车辆的临近
检测的计算任务的比例。c3表示目标车辆从边缘服务器接收到计算结果时，其仍在路边单元的覆盖范围内，和分别为目标车辆从边缘服务器接收到计算结果的时延和目标车辆停留在路边单元覆盖区域的时间；c4表示完成任务r
ob
(t)所需的时间t
ob
(t)不能超过最大延迟约束t
ob
(t)；c5表示执行任务r
ob
(t)的能耗e
ob
(t)不能超过最大能耗约束e
ob
(t)；c6表示计算卸载到车辆h的计算时间不大于目标车辆和车辆h之间的稳定通信时间c7表示完成任务r
ob
(t)所需的时间t
ob
(t)加上代码执行时间t
run
(t)不能超过时间距离t(u
ob
(t),uj(t))的基于所有的子任务的最小值，其中，j＝{1,2，
…
，q
ob
(t)}，q
ob
(t)为子任务的总数；
[0032]
在所述基于深度确定性策略梯度算法对所有子问题对应的初始神经网络依次进行训练获得每个子问题对应的最优神经网络步骤中，对每个子问题对应的初始神经网络训练包含循环多次的训练步骤，舍弃掉违反约束c3、c4、c5、c6和c7中任一项的训练步骤的结果。
[0033]
在本发明的一些实施例中，所述剪枝策略为减少需临近检测的车辆数目的方法，包括：当临近检测区域内一车辆与目标车辆的时间距离大于预设时间临近阈值与预设剪枝时间长度之和，判定二者在预设剪枝时间长度内不会相互临近，剪去此车辆及对应的子任务，在预设剪枝时间长度内不再对此车辆进行临近检测判断；当临近检测区域内一车辆与目标车辆的时间距离小于预设时间临近阈值与预设剪枝时间长度之和，判定二者在预设剪枝时间长度内相互临近，剪去此车辆及对应的子任务，在预设剪枝时间长度内不再对此车辆进行临近检测判断。
[0034]
所述获取在目标车辆本地执行、由目标车辆发送到边缘服务器执行以及由目标车辆发送到周围车辆执行的时延和能耗的步骤，通过分别建立本地计算模型、边缘计算模型和周围车辆计算模型实现；目标车辆通过从云服务器或边缘服务器获取目标车辆所属边缘服务器-路边单元的覆盖区域内的车辆、目标车辆的临近检测区域内的车辆和目标车辆直接通信范围内的车辆的运动状态、位置信息和可用计算能力。
[0035]
在本发明的一些实施例中，所述本地计算模型的时延包括本地计算时延，通过目标车辆的计算能力、计算卸载数据量和计算卸载决策分配给本地计算模型的比例计算得到；所述本地计算模型的能耗包括本地计算能耗，通过目标车辆的计算能力、计算卸载数据量、计算卸载决策分配给本地计算模型的比例、完成临近检测计算任务所需的cpu周期以及芯片架构的能耗系数计算得到。
[0036]
在本发明的一些实施例中，所述边缘计算模型的时延包括目标车辆通过上行链路将输入数据发送到相应的边缘服务器过程中的传输时延和计算卸载子问题在边缘服务器处的执行时延；所述边缘计算模型的能耗包括目标车辆通过上行链路将输入数据发送到相应的边缘服务器过程中的传输能耗。
[0037]
在本发明的一些实施例中，所述周围车辆计算模型的时延包括目标车辆通过上行链路将输入数据发送到相应周围车辆的传输时延和计算卸载子问题在相应周围车辆处的执行时延；所述周围车辆计算模型的能耗包括目标车辆通过上行链路将输入数据发送到相应周围车辆的传输能耗。
[0038]
本发明的另一方面提供了一种的道路网络临近检测装置，包括处理器和存储器，
所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如上实施例中任一项所述方法的步骤。
[0039]
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中中任一项所述方法的步骤。
[0040]
本发明的道路网络临近检测方法、装置及介质，以时间距离作为判断临近的标准，在保证低时延和低能耗的同时提供更为准确的临近检测方法，提出了车辆边缘计算进行计算卸载的方法，包含三个计算卸载方案，基于车联网，目标车辆的计算任务由其自身、周围的其他车辆和vec服务器共同执行。
[0041]
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
[0042]
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
[0043]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。在附图中：
[0044]
图1为本发明一实施例中道路网络临近检测方法示意图。
[0045]
图2为本发明一实施例中车联网临近检测网络架构。
[0046]
图3为本发明一实施例中基于临近检测网络架构的计算卸载方案示意图。
[0047]
图4为本发明一实施例中三种计算卸载策略对应时延和能耗示意图。
[0048]
图5为本发明一实施例中车辆和边缘服务器位置关系示意图。
[0049]
图6为本发明一实施例中深度强化学习方法分解策略和参数传递策略示意图。
[0050]
图7为本发明一实施例中ddpg网络结构示意图。
[0051]
图8为本发明一实施例中迭代次数对计算卸载时延和能耗影响。
[0052]
图9a为本发明一实施例中子问题数目为10对计算卸载时延和能耗的影响。
[0053]
图9b为本发明一实施例中子问题数目为20对计算卸载时延和能耗的影响。
[0054]
图9c为本发明一实施例中子问题数目为50对计算卸载时延和能耗的影响。
[0055]
图9d为本发明一实施例中子问题数目为100对计算卸载时延和能耗的影响。
[0056]
图10a为本发明一实施例中预设时间临近阈值为2s的影响示意图。
[0057]
图10b为本发明一实施例中预设时间临近阈值为3s的影响示意图。
具体实施方式
[0058]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
[0059]
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大
的其他细节。
[0060]
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0061]
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
[0062]
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
[0063]
在动态道路网络中，每个用户都有自己的移动路径。地理空间上的距离接近并不意味着两个用户会在短时间内相遇，因此现有解决方案所采用的通过地理空间距离判断用户临近的方法存在一定的局限性。因此，本发明引入了时间距离的概念，即两个用户相遇所需的最短时间。以时间距离作为判断临近的标准，在保证低时延和低能耗的同时提供更为准确的临近检测方法。
[0064]
本发明的目的在于，提高用户体验和临近检测的实时性，任务执行产生的时延和能耗是该场景中需要考虑的同等重要的要素，因此将该问题命名为在道路网络临近检测场景下联合优化时延和能耗的问题(the joint optimization of the latency and energy consumption problem in the scenario of proximity detection，jole-pd)，下文简写为jole-pd问题。本发明的jole-pd问题，可看作一个有约束的多目标优化问题(constrained multi-objective optimization problems，cmop)，解决多目标优化问题的算法采用多目标遗传算法(multi-objective evolutionary algorithm，moea)，例如nsga-ii算法，但该此类数学方法一旦面临环境的轻微改变，就要进行繁琐且耗时的迭代。本发明另外采取nsga-ii算法作为对照组，对比本发明的临近检测方法的效率。
[0065]
为克服现有技术存在的问题，本发明采用在分析、预测和判断方面具有显著优势的深度强化学习(deep reinforcement learning，drl)方法。基于深度强化学习方法建立的模型具有很强的泛化能力，当道路网络参数发生变化时，该类模型不需要再训练，从而极大降低计算量，降低时延和能耗，从而更好的适应环境变化，快速地做出有效的任务决策。
[0066]
具体地，本发明将在道路网络临近检测场景下联合优化时延和能耗的问题，转化为一个有约束的多目标优化问题(cmop)，结合深度强化学习方法的深度确定性策略梯度算法(deep deterministic policy gradient，ddpg)设计了ddpg-cmoa方法(deep deterministic policy gradient constrained multi-objective optimization problems)。ddpg-cmoa方法是ddpg算法处理cmop问题的具体应用，是为了在时延和能耗之间找到折衷点，从而获得帕累托最优解，该帕累托最优解具有较好的收敛性和多样性。
[0067]
进一步地，考虑到临近检测属于主要应用于车联网技术领域，本发明还提出了结合车辆边缘计算(vehicle edge computing,vec)进行计算卸载的方法，将计算任务分散以应对计算量较大，共同构成本发明的临近检测体系架构。
[0068]
本发明在车联网/道路网络下进行临近检测，对此，本发明实施例提出了一种临近检测场景下车-路-云协同网络体系结构，基于该体系结构可执行临近检测和计算卸载方案，图2为本发明一实施例中车联网临近检测场景下车-路-云协同网络体系结构示意图，包括用户层、边缘层和云层。用户层主要包含车辆，随着车辆的普及和智能化，用户层拥有丰富的感知、计算和存储资源，通过安装摄像头、雷达、电子地图和全球定位系统，车辆可以掌
握、收集自己的状态信息和周围环境信息，通过车辆对车辆(vehicle to vehicle，v2v)和车辆对基础设施(vehicle to intraface，v2i)的通信方法，车辆可以与其他车辆和路边设备交换和共享数据。边缘层由边缘节点组成，包括vec服务器/边缘服务器和路边单元(roadside units，rsu)。这些节点可以通过v2i通信方式与覆盖区域内的车辆进行通信。与车辆相比，边缘节点拥有相对丰富的计算和存储资源。他们不仅负责车辆数据的收集、分发和处理，还可以将数据上传到云端。路边单元通常用作主要的边缘服务节点，它广泛部署在路边，可以保证用户的低延迟需求。与边缘层相比，云层拥有大量的计算和存储资源。如果车辆和边缘服务器难以有效处理任务，云服务器可以提供必要的资源支持。
[0069]
图1为本发明一实施例中道路网络临近检测方法示意图。该方法包含以下步骤：
[0070]
步骤s100：获取当前时刻目标车辆的位置坐标、运动状态，获取当前时刻目标车辆临近检测区域内需临近检测车辆的位置坐标和运动状态。
[0071]
其中，目标车辆的运动状态包括其速度、方向，由于进行临近检测的时间间隙很短，所以车辆的速度视为匀速，图2中示出了边缘服务器-路边单元及其所述的车联网框架，本发明基于此类型车联网框架运行。
[0072]
在本发明一实施例中，该临近检测区域以目标车辆为中心的固定半径大小的圆形区域，边缘服务器的覆盖范围包含该圆形区域。
[0073]
在本发明又一实施例中，该临近检测区域为以目标车辆为中心的动态半径大小的环形区域，其半径大小为(|v
ob
(t)| |v
max
(t)|)t
ε
，其中，v
ob
(t)为目标车辆的速度，v
max
(t)为道路网络中车辆的最大速度，t
ε
为预设时间临近阈值，边缘服务器的覆盖范围包含该圆形区域。
[0074]
步骤s200：执行临近检测计算任务，包括：分别以计算目标车辆与每一需临近检测车辆之间的时间距离作为临近检测计算任务的子任务，将临近检测计算任务的所有子任务依据计算卸载决策按比例进行计算卸载，以按比例将所有子任务卸载到目标车辆本地、边缘服务器和/或目标车辆周围车辆执行。其中，时间距离为两车辆相遇所需的最短时间。需要说明的是，该计算卸载决策为预设的计算卸载决策，或，以计算具备最优的时延和能耗的计算卸载决策为多目标进行深度强化学习以更新的计算卸载决策。
[0075]
在本发明一实施例中,计算卸载的多个子问题在目标车辆本地执行、由目标车辆发送到边缘服务器执行以及由目标车辆发送到周围车辆执行对应计算卸载的三种策略，即本地执行策略、边缘服务器执行策略和周围车辆执行策略。
[0076]
步骤s300：依据预设时间临近阈值和目标车辆与每一需临近检测车辆之间的时间距离，确定目标车辆与每一需临近检测车辆的临近状态，当临近检测区域内一车辆与目标车辆的时间距离小于预设时间临近阈值时，判定二者为临近状态；当临近检测区域内一车辆与目标车辆的时间距离大于等于预设时间临近阈值时，判定二者为非临近状态。
[0077]
在本发明一实施例中，前述以计算具备最优的时延和能耗的计算卸载决策为多目标进行深度强化学习以更新的计算卸载决策，为有约束的多目标优化问题(即cmop)，基于解决有约束的多目标优化问题策略对计算卸载决策进行更新，，包括：
[0078]
(1)获取在目标车辆本地执行、由目标车辆发送到边缘服务器执行以及由目标车辆发送到周围车辆执行的时延和能耗。
[0079]
其中，有约束的多目标优化问题(即cmop)，是对目标车辆临近检测问题抽象出来
的模型，所要实现的目标为获得具备最优时延和能耗的计算卸载决策。
[0080]
(2)按照预设时间间隔动态计算并更新包含目标车辆所处道路网络环境状态参数值的道路网络参数，所述道路网络参数作为目标车辆临近检测计算任务的输入。
[0081]
为此，本发明一实施例中设计了动态道路网络更新算法，实时动态的更新道路网络参数。
[0082]
在本发明一实施例中，按照预设时间间隔动态计算并更新道路网络参数的步骤，包括：
[0083]
①
获取目标车辆所属边缘服务器-路边单元的位置坐标，计算目标车辆与边缘服务器-路边单元的距离；
[0084]
②
计算目标车辆的临近检测区域的半径；
[0085]
③
计算目标车辆所属边缘服务器-路边单元的覆盖区域内的车辆数目、目标车辆的临近检测区域内的车辆数目以及目标车辆直接通信范围内的车辆数目；
[0086]
④
计算目标车辆在所述边缘服务器-路边单元的覆盖区域内的停留时间；
[0087]
⑤
计算目标车辆直接通信范围内的每辆车在所述通信范围内的停留时间；
[0088]
⑥
计算利用剪枝策略的临近检测计算任务的数据大小和完成临近检测计算任务所需的cpu周期；
[0089]
⑦
计算目标车辆与每一需要临近检测车辆沿着道路相遇所需的最短路径长度和最短时间。
[0090]
(3)对临近检测的计算卸载进行建模，将所述有约束的多目标优化问题分成多个子问题，将每个子问题对应一个初始神经网络，基于深度确定性策略梯度算法对所有子问题对应的初始神经网络依次进行训练获得每个子问题对应的最优神经网络，在所述训练过程中相邻的子问题对应的初始神经网络间进行神经网络参数的传递，每个最优神经网络输出一个计算卸载决策，所有子问题对应的最优神经网络输出的计算卸载决策构成一个帕累托最优解集，从而实现对计算卸载决策的更新。
[0091]
其中，在本发明一实施例中，有约束的多目标优化问题包含的时延和能耗的约束包括：
[0092][0093][0094][0095]
c4:t
ob
(t)≤t
ob
(t)
[0096]
c5:e
ob
(t)≤e
ob
(t)
[0097][0098]
c7:t
ob
(t) t
run
(t)≤min{t(u
ob
(t),uj(t))}
[0099]
其中，c1和c2表示任务r
ob
(t)是由目标车辆、边缘服务器和周围车辆协同执行，和分别为计算卸载策略中目标车辆本地、边缘服务器和周围车辆的临近检测的计算任务的比例。c3表示目标车辆从边缘服务器接收到计算结果时，其仍在路边单元的覆盖范围内，和分别为目标车辆从边缘服务器接收到计算结果的时延和目标
车辆停留在路边单元覆盖区域的时间；c4表示完成任务r
ob
(t)所需的时间t
ob
(t)不能超过最大延迟约束t
ob
(t)；c5表示执行任务r
ob
(t)的能耗e
ob
(t)不能超过最大能耗约束e
ob
(t)；c6表示计算卸载到车辆h的计算时间不大于目标车辆和车辆h之间的稳定通信时间c7表示完成任务r
ob
(t)所需的时间t
ob
(t)加上代码执行时间t
run
(t)不能超过时间距离t(u
ob
(t),uj(t))的基于所有的子任务的最小值，其中，j＝{1,2，
…
，q
ob
(t)}，q
ob
(t)为子任务的总数。
[0100]
在本发明一实施例中，在所述基于深度确定性策略梯度算法对所有子问题对应的初始神经网络依次进行训练获得每个子问题对应的最优神经网络步骤中，对每个子问题对应的初始神经网络训练包含循环多次的训练步骤，舍弃掉违反约束c3、c4、c5、c6和c7中任一项的训练步骤的结果。需要说明的是，对每个初始神经网络，是通过执行多次预设次数的循环来实现训练效果的，但对于每次循环的训练结果(即中间参数)均需满足约束c3、c4、c5、c6和c7，对于不满足的情况，剔除该次循环的训练结果(即中间参数)。
[0101]
需要说明的是，前述剪枝策略为减少需临近检测的车辆数目的方法，剪枝策略的内容包括：当临近检测区域内一车辆与目标车辆的时间距离大于预设时间临近阈值与预设剪枝时间长度之和，判定二者在预设剪枝时间长度内不会相互临近，剪去此车辆及对应的子任务，在预设剪枝时间长度内不再对此车辆进行临近检测判断；当临近检测区域内一车辆与目标车辆的时间距离小于预设时间临近阈值与预设剪枝时间长度之和，判定二者在预设剪枝时间长度内相互临近，剪去此车辆及对应的子任务，在预设剪枝时间长度内不再对此车辆进行临近检测判断。
[0102]
在本发明一实施例中，前述获取在目标车辆本地执行、由目标车辆发送到边缘服务器执行以及由目标车辆发送到周围车辆执行的时延和能耗的步骤，通过分别建立本地计算模型、边缘计算模型和周围车辆计算模型实现。并且，目标车辆通过从云服务器或边缘服务器获取目标车辆所属边缘服务器-路边单元的覆盖区域内的车辆、目标车辆的临近检测区域内的车辆和目标车辆直接通信范围内的车辆的运动状态、位置信息和可用计算能力。
[0103]
其中，对于三种计算模型，计算时延和能耗的方法，具体内容如下：
[0104]
首先，本地计算模型的时延包括本地计算时延，通过目标车辆的计算能力、计算卸载数据量和计算卸载决策分配给本地计算模型的比例计算得到；本地计算模型的能耗包括本地计算能耗，通过目标车辆的计算能力、计算卸载数据量、计算卸载决策分配给本地计算模型的比例、完成临近检测计算任务所需的cpu周期以及芯片架构的能耗系数计算得到。
[0105]
其次，边缘计算模型的时延包括目标车辆通过上行链路将输入数据发送到相应的边缘服务器过程中的传输时延和计算卸载子问题在边缘服务器处的执行时延；边缘计算模型的能耗包括目标车辆通过上行链路将输入数据发送到相应的边缘服务器过程中的传输能耗。
[0106]
然后，周围车辆计算模型的时延包括目标车辆通过上行链路将输入数据发送到相应周围车辆的传输时延和计算卸载子问题在相应周围车辆处的执行时延；周围车辆计算模型的能耗包括目标车辆通过上行链路将输入数据发送到相应周围车辆的传输能耗。
[0107]
下文，将结合一描述整个临近检测方法的实施例，阐述整个发明的内容：
[0108]
图3为本发明一实施例中基于临近检测网络架构的计算卸载方案示意图，是基于
图2的架构所设计的车辆计算卸载方法。图示为道路网络中存在的一些车辆、路边单元、边缘服务器/vec服务器和云服务器。假设路边单元位于十字路口，且其配备了边缘服务器。路边单元的覆盖范围是一个半径为rs的圆圈，包括一些路段和车辆。车辆只能与相应的路边单元建立无线链路，路边单元和边缘服务器之间建立有线连接，相邻路边单元之间的覆盖区域不重叠。道路有两个运动方向，我们用虚线来表示两个方向的子道路。系统时间戳索引可以用t表示，其中t＝{1,2,...}。我们考虑目标车辆任务执行的时延和能耗，表示为目标车辆ob。道路网络中的临近检测是自动驾驶和辅助驾驶的重要应用，可以有效避免车辆之间发生碰撞。路边单元的覆盖范围分为两部分：边缘区域和非边缘区域。假设m是道路网络中的车辆数量，我们分别通过m＝{1,2,...,m}和n＝{1,2,...,g(t)}枚举道路网络中的车辆集和路边单元覆盖区域中的车辆集。在时间t时，假设时间临近阈值为t
ε
，道路网络中车辆的最大速度为v
max
(t)，目标车辆的速度为v
ob
(t)。如图2所示，边界区域是一个环形，宽度为(|v
max
(t)| |v
max
(t)|)t
ε
。对于目标车辆，我们将目标车辆的临近检测区域设置为一个圆形，目标车辆为中心，(|v
ob
(t)| |v
max
(t)|)t
ε
为半径。为了确保临近检测的有效性和准确性，边缘服务器需要采集覆盖区域内车辆的信息并上传到云服务器，包括速度、位置和可用的计算能力。如果目标车辆位于非边缘区域，例如车辆3，则只需要相应的边缘服务器参与，该服务器使用目标车辆的检测区域来选择需要临近检测的车辆。然后，边缘服务器将其信息发送到路边单元，路边单元将这些信息发送到目标车辆。最后，在时间t时，目标车辆生成由许多子任务组成的临近检测任务r
ob
(t)。令q
ob
(t)表示在时间t时目标车辆(不包括自身)检测区域内的车辆数量。子任务的数量等于所选需要检测的车辆数量。相应子任务的数据大小可以描述为d
ob,j
(t)，其中j＝{1,2,...,q
ob
(t)}。因此，任务r
ob
(t)的总数据大小可以表示为：
[0109][0110]
如果目标车辆位于边缘区域，例如车辆1，因为靠近它的一些车辆在其他路边单元的覆盖范围内，它不仅需要相应的边缘服务器，还需要云服务器参与，所述目标车辆的计算卸载需要车联网系统中的边缘服务器和云服务器的协助来实现。云服务器使用目标车辆的检测区域来选择需要临近检测的车辆，并将其信息发送到边缘服务器。接下来的步骤与位于非边缘区域的车辆相同。上面是目标车辆的临近检测任务r
ob
(t)的生成过程，该任务每δt秒生成一次。因此，在时间t，目标车辆的临近检测任务可以用元组{d
ob
(t),c
ob
(t),t
ob
(t),e
ob
(t)}表示。其中d
ob
(t)表示输入数据的大小，c
ob
(t)表示完成任务所需的cpu周期数，t
ob
(t)表示最大延迟约束，e
ob
(t)表示最大能耗约束。c
ob
(t)与d
ob
(t)正相关，可以表示为c
ob
(t)＝βd
ob
(t)，β表示计算复杂度，单位为每比特所需的cpu周期数。
[0111]
图5为本发明一实施例中车辆和边缘服务器位置关系示意图。设(x
vec
,y
vec
)是路边单元和边缘服务器的坐标。则路边单元覆盖区域对应的边界曲线可以表示为：
[0112]
(x-x
vec
)2 (y-y
vec
)2＝r
s2
ꢀꢀꢀꢀꢀ
(2)
[0113]
在时间t，让点u
ob
(t)代表目标车辆在道路网络中的位置，它可以由坐标(x
ob
(t),y
ob
(t))表示。假设目标车辆的速度是v
ob
(t)，以向量表示。由于任务的执行时间非常小，因此在任务执行期间，目标车辆基本上可以被视为匀速直线运动。则目标车辆的
运动路径可以表示为
[0114][0115]
令分别表示路边单元和目标车辆之间的距离，目标车辆和车辆j之间的距离，车辆j为覆盖区域内目标车辆外某一车辆，分别可以表示如下：
[0116][0117][0118]
如图4所示，圆圈表示路边单元和边缘服务器的覆盖区域边界。根据定义，车辆j的位置和速度分别是uj(t)(xj(t),yj(t))，假设车辆ob和车辆j所在的道路的两个端点分别是n
ob
,n
ob
′
和nj,nj′
。车辆之间的网络距离被定义为沿着道路相遇的两个车辆的最短路径长度，表示为d(u
ob
(t),uj(t))。
[0119][0120]
如图4所示，在时间t，车辆1和车辆2之间的网络距离表示为：
[0121][0122]
这里|u1(t)n3|,|n3u2(t)|分别表示点u1(t)和点n3之间的距离、点u2(t)和点n3之间的距离。
[0123]
对于道路网络中的临近检测问题，我们使用时间距离来判断两个车辆是否临近。时间距离是指目标车辆ob和车辆j彼此相遇所需的最短时间，表示为t(u
ob
(t),uj(t))。例如，车辆1和车辆2之间的时间距离是
[0124]
具体而言，当时间距离小于时间临近阈值t
ε
时，我们可以判断目标车辆ob和车辆j临近，表示为t(u
ob
(t),uj(t))＜t
ε
。因此，一些子任务可以不用计算就能判断。我们考虑剪枝策略，以避免重复检测，具体地，剪枝策略的定义如下：
[0125]
1)如果t(u
ob
(t),uj(t))-rδt＞t
ε
，那么u
ob
(t)和uj(t)在r个检测时间内不会相互临近，剪掉此车辆以及相关的枝叶，即在rδt时间内不再对此车辆进行临近检测，该rδt即为预设剪枝时间长度。
[0126]
2)如果t(u
ob
(t),uj(t)) rδt＜t
ε
，那么u
ob
(t)和uj(t)在r个检测时间内相互临近，剪掉此车辆及相关的枝叶，即在rδt时间内不再对此车辆进行临近检测，该rδt即为预设剪枝时间长度。
[0127]
如前述，本发明设计三个计算卸载策略，具体如下：
[0128]
(1)本地执行策略：临近检测的计算任务在目标车辆本地执行，无需计算卸载；
[0129]
(2)边缘服务器执行策略：通过车辆对车辆(vehicle to vehicle，v2v)和车辆对
基础设施(vehicle to infrastructure，v2i)的通信方法，目标车辆将临近检测的计算任务卸载到所对应的路边单元相连的边缘服务器上执行；
[0130]
(3)周围车辆执行策略：通过车辆对车辆(vehicle to vehicle，v2v)的通信方法与周围车辆通信，目标车辆将任务卸载到周围有计算能力的车辆执行。
[0131]
令表示车辆ob的计算卸载策略，分表表示分配给本地执行、边缘服务器执行和周边车辆执行的临近检测的计算任务的比例，需满足的条件还包括：括：表示任务在本地计算的比例，表示任务在边缘服务器计算的比例，表示任务在周围车辆计算的比例。
[0132]
图4为本发明一实施例中三种计算卸载策略对应时延和能耗示意图。车辆的计算任务队列中包含众多的子任务，对子任务有一定的筛选(即剪枝操作)，对于三种计算卸载策略分别示意出了其时延和能耗的情况，下文将对此展开进一步的模型搭建，如下，为三种计算卸载策略所对应模型的搭建过程：
[0133]
(一)本地计算模型
[0134]
令表示目标车辆的计算能力，则在时间t，执行任务r
ob
(t)所需的时间是表示如下：
[0135][0136]
对应的能耗为表示如下：
[0137][0138]
其中κ是与芯片架构相关的能耗系数，表示每个cpu周期的能量消耗。
[0139]
(二)边缘计算模型
[0140]
卸载到服务器过程的时延由三个部分组成：
[0141]
(1)车辆通过上行链路将输入数据发送到相应的路边单元过程中的传输时延；
[0142]
(2)任务在边缘服务器处的执行时延；
[0143]
(3)路边单元通过下行链路将输出结果发送回目标车辆的传输时延。
[0144]
然而，与输入数据相比，任务执行后的输出数据大小非常小，并且下行链路传输速率很高，因此本文中我们不考虑下行链路传输时延。通常，我们不考虑边缘服务器处的执行能耗，这些能耗直接由电网供电。此外，由于路边单元和边缘服务器之间的有线连接，我们也不考虑两者之间的数据传输时间。
[0145]
假设目标车辆和路边单元之间的上传链接是一个平坦快衰落瑞利信道。因此，在时间t，相应的上行链路传输速率是表示如下：
[0146][0147]
其中ws(t)表示路边单元可用的v2i通信资源，p
ob
(t)是目标车辆的传输功率，表示目标车辆和路边单元之间的距离，n0表示高斯白噪声功率，h和ε分别表示通道衰
落因子和上传链路的路径损耗因子。
[0148]
因此，上行链路传输时延和能耗为：
[0149][0150][0151]
边缘服务器执行任务产生的时延为表示如下：
[0152][0153]
其中fs(t)表示边缘服务器可利用的计算资源。
[0154]
综上，计算卸载到边缘服务器产生的时延和能耗表示如下：
[0155][0156][0157]
值得注意的是，当收到计算结果时，目标车辆必须在路边单元的覆盖区域内。在时间t，目标车辆在关联路边单元通信范围内的时间是联合目标车辆的运动路径和路边单元覆盖区域对应的边界曲线可以获得两个交叉点a(xa(t),ya(t))，b(xb(t),yb(t))。因此，可以计算如下：
[0158][0159]
(三)周围车辆计算模型
[0160]
令z
ob
(t)表示目标车辆直接通信范围内的处于空闲状态的车辆数量，我们采用集合h＝{1,2,...,z
ob
(t)}枚举服务车辆。假设是周围某一辅助计算服务车辆h的计算能力。我们将任务分为z
ob
(t)个子任务，子任务大小根据服务车辆的计算能力按比例分配。令表示任务在周围车辆上卸载的比例，表示如下：
[0161][0162]
假设目标车辆ob和车辆h之间的上传链路是一个平坦快衰落瑞利信道，在时间t，相应的上行链路的数据传输速率可以计算如下：
[0163][0164]
[0165]
其中，是目标车辆分配给车辆h的v2v通信资源的比，wv(t)表示车辆可利用的v2v通信资源，是目标车辆和车辆h之间的距离。
[0166]
因此，相应的上行链路传输延迟和能耗可以表示如下：
[0167][0168][0169]
在车辆h执行任务的时延和能耗可以表示如下：
[0170][0171][0172]
与边缘服务器相同，我们忽略下行链路传输时延。对于目标车辆，卸载到车辆h的任务的时延和能耗可以表示如下：
[0173][0174][0175]
综上，计算卸载到周围车辆执行过程的时延和能耗可以表示如下：
[0176][0177][0178]
值得注意的是，计算卸载到车辆h的计算时间必须小于目标车辆和车辆h之间的稳定通信时间。根据定义，车辆h的位置和速度分别是uh(t)(xh(t),yh(t))，假设车辆直接通信范围是rv，目标车辆和车辆h之间的稳定通信时间为可以表示如下：
[0179][0180]
当φ＝-1,时，后车ob和前车h沿同一方向行驶，且前车的速度小于后车的速度；当φ＝1,时，后车ob和前车h沿同一方向行驶，且前车的速度大于后车的速度；当φ＝-1,目标车辆和车辆h位于不同的车道上并朝相反的方向行驶；当φ＝1,时，目标车辆和车辆h在同一车道上，并朝相反方向行驶。
[0181]
基于前述模型，对目标解决的问题p1：基于车联网临近检测场景下目标车辆的计算卸载问题，目标在于寻求时延和能耗的帕累托最优解。为此，本发明将问题p1看作一个有约束的多目标优化问题，具体地，执行任务r
ob
(t)过程中产生的时延和能耗可以表示如下：
[0182][0183]
[0184]
本文的目标是优化目标车辆的计算卸载策略，以减少任务执行过程中产生的时延和能耗。然后，将该问题转化为一个有约束的多目标优化问题，问题p1可以描述如下：
[0185][0186]
约束条件(s.t.)：
[0187][0188][0189][0190]
c4:t
ob
(t)≤t
ob
(t)
[0191]
c5:e
ob
(t)≤e
ob
(t)
[0192][0193]
c7:t
ob
(t) t
run
(t)≤min{t(u
ob
(t),uj(t))}
[0194]
其中，c1和c2表示任务r
ob
(t)是由目标车辆、边缘服务器和周围车辆协同执行，和分别为计算卸载策略中目标车辆本地、边缘服务器和周围车辆的临近检测的计算任务的比例。c3表示目标车辆从边缘服务器接收到计算结果时，其仍在路边单元的覆盖范围内，和分别为目标车辆从边缘服务器接收到计算结果的时延和目标车辆停留在路边单元覆盖区域的时间；c4表示完成任务r
ob
(t)所需的时间t
ob
(t)不能超过最大延迟约束t
ob
(t)；c5表示执行任务r
ob
(t)的能耗e
ob
(t)不能超过最大能耗约束e
ob
(t)；c6表示计算卸载到车辆h的计算时间不大于目标车辆和车辆h之间的稳定通信时间c7表示完成任务r
ob
(t)所需的时间t
ob
(t)加上代码执行时间t
run
(t)不能超过时间距离t(u
ob
(t),uj(t))的基于所有的子任务的最小值，其中，j＝{1,2，
…
，q
ob
(t)}，q
ob
(t)为子任务的总数。
[0195]
至此，临近检测过程模拟的准备工作——模型搭建过程完毕。
[0196]
在本发明实施例中，设计了一种针对cmop问题的基于ddpg算法的ddpg-cmoa方法，以解决问题p1，包括基于ddpg的临近检测算法和动态道路网络参数更新算法，所述临近检测算法用于更新计算卸载决策，所述动态道路网络参数更新算法用于动态更新道路网络参数。
[0197]
算法1：ddpg-cmoa算法(方法)框架，伪代码表达如下：
[0198][0199]
ddpg-cmoa方法主要使用分解策略和参数传输策略来解决问题p1。首先，通过分解策略将问题p1分解为s个子问题，如图5所示。我们采用加权求和方法来构建子问题，通过均匀生成s个权重向量，表达为λi(i∈{1,2,...,s})。这里，其中和分别表示目标函数t
ob
(t)和e
ob
(t)的权重。因此，第i个子问题的目标函数如公式(32)所示：
[0200][0201]
图6为本发明一实施例中深度强化学习方法分解策略和参数传递策略示意图。在训练过程中，我们采用基于邻域的参数传递策略，如图5所示。为了采用ddpg来解决问题p1，第i个子问题被建模成神经网络ni，令表示神经网络ni的初始参数，表示对应完成优化的神经网络的参数。如果每一个子问题都采用传统ddpg方法来解决，会产生大量的训练模型时间，这是不可行的。因此，我们采用基于邻域的参数传递策略联合优化s个子问题。当第一个子问题对应的初始神经网络n1完成训练，已完成优化的神经网络n
1*
的参数传递给第2个子问题对应的初始神经网络n2。通过传输网络参数，按顺序依次进行剩余神经网络的训练。采用该策略可以加速模型的训练过程，使采用ddpg来解决问题p1成为可能。
[0202]
与此同时，由于道路网络环境的参数随着时间的推移而变化，本发明实施例还设计了一种动态道路网络更新算法(dynamic road network update，drnu)，帮助目标车辆更好地接收道路网络的环境信息，这也属于ddpg-cmoa方法的一部分。具体过程为：一开始，目标车辆临近检测区域的半径被计算；然后，路边单元覆盖范围内的车辆数目、目标车辆临近检测区域内的车辆数目、目标车辆直接通信范围内的车辆数目分别被计算；随后，通过公式(16)确定目标车辆在对应路边单元通信范围内的时间，通过公式(28)确定车辆h在目标车辆直接通信范围内稳定通信的时间。除此之外，还要考虑剪枝策略的影响，输入数据的大小和完成任务所需的cpu周期数分别被计算。需要说明的是，该动态道路网络更新算法按照预设频次来执行计算。
[0203]
算法2：动态道路网络更新算法的伪代码表达如下：
[0204][0205]
图7为本发明一实施例中ddpg网络结构示意图，包含ddpg的典型结构行为者网络(actor network)和评价者网络(critic network)，以及基于此的动作、奖励和状态三要素。本发明实施例所提出的基于ddpg的临近检测算法，命名为pdbddpg算法(proximity detection based on ddpg)，pdbddpg算被用来解决临近检测的每个子问题，这属于ddpg-cmoa方法的又一部分，其处理过程如下：
[0206]
对子问题i，首先，第i-1个子问题已完成优化的神经网络的参数传递给第i个子问题初始的神经网络的参数。然后，第i个子问题初始的神经网络被训练成最优的神经网络值得注意的是，我们改善了经典的ddpg算法，使其更适合求解cmop，其主要反映在算法的第12行和第13行中。如果转换不满足约束c
3-c6，它将被遗弃，这可确保缓冲区d中的样本的可用性，这使得该模型能够有效且正确训练。
[0207]
对于第i个子问题，对应的动作、奖励和状态三要素相应的内容表示如下：
[0208]
(1)状态：在时间t，ddpg智能体不仅需要观察道路网络环境，包括边缘服务器可利用的v2i通信资源ws(t)和计算资源fs(t)、路边单元覆盖范围内的车辆数目g(t)、目标车辆和路边单元之间的距离目标车辆和车辆h之间的距离车辆h可利用的计算资源稳定的通信时间还需要目标车辆本身的信息，包括目标车辆的计算资源任务r
ob
(t)＝{d
ob
(t),c
ob
(t),t
ob
(t),e
ob
(t)}、传输功率p
ob
(t)、可利用的v2v通信资源wv(t)。因此，第i个ddpg智能体的状态为：
[0209][0210]
(2)动作：在时间t，根据目前的状态si(t)，智能体确定计算卸载决策ai(t)，表示如下：
[0211][0212]
(3)奖励：本文研究目标是联合优化目标车辆的时延t
ob
(t)和能耗e
ob
(t)，奖励的设定要和目标函数有关。动作ai(t)产生过程已经保证满足约束c1和c2，因此我们只用考虑约束c
3-c6，则第i个智能体的奖励是
[0213][0214]
关于上述发明实施例的模拟仿真的效果，本发明采用多目标遗传算法中最受欢迎的nsga-ii算法来进行比较，以验证本发明所提供的方法的性能。和动作ai(t)的产生相同，该方法种群的产生也满足了约束c1和c2。因此，我们只需要采用可行性法则处理约束c
3-c7。在时间t，约束违反程度cv(t)计算公式如下：
[0215][0216][0217][0218][0219][0220]
[0221][0222]
其中，分别表示c3、c4、c5、c6、c7的约束违反程度，cv(t)表示种群中个体的约束违反程度。
[0223]
算法3：基于ddpg的临近检测算法(ddpg-based proximity detection algorithm，pdbddpg)伪代码表达如下：
[0224][0225]
特别地，算法3伪代码第12-13行表示含义：在基于深度确定性策略梯度算法对所有子问题对应的初始神经网络依次进行训练获得每个子问题对应的最优神经网络步骤中，对每个子问题对应的初始神经网络训练包含循环多次的训练步骤，舍弃掉违反约束c3、c4、c5、c6和c7中任一项的训练步骤的结果。在实际代码逻辑中，每个子问题对应的初始/最优神经网络包含一状态池，该状态池核查约束条件c1-c7中的每一项。虽然有reward的约束，模型在训练过程中还是会产生违反约束的状态，但是对于约束条件c3-c7违反了一点都不行，这样训练的结果更具有针对性。
[0226]
我们比较了ddpg-cmoa方法和nsga-ii方法在不同参数设置下的性能，考虑因素包括考虑迭代次数、子问题的数量和时间临近阈值，表1为本发明实施例的仿真参数，表2为本发明实施例的ddpg网络，包含的行为者(actor)网络和评价者(critic)网络，表3为本发明实施例ddpg网络的超参数。
[0227]
表1本发明实施例的仿真参数
[0228][0229][0230]
表2本发明实施例的ddpg网络
[0231][0232]
表3 ddpg超参数
[0233][0234][0235]
值得注意的是，在不丧失普遍性的情况下，ddpg-cmoa的子问题数量等于nsga-ii种群数量，所有代码都是用python编写。我们采用超体积(hv)和计算时间作为性能评价指标。hv是一个综合度量指标，可以同时度量算法的收敛性和多样性。hv越大，算法的综合性能越好。在该复杂场景中，我们考虑m个车辆，路边单元和边缘服务器。首先，道路网络中所有车辆的位置均匀分布。
[0236]
在仿真设定上，值得注意的是，行为者网络输出的是三维向量，即计算卸载策略。为了确保动作和等于1，我们使用softmax函数来处理输出的动作。此外，如何选择探索噪声的值对于训练模型非常重要，正确的选择可以确保有效地找到最佳解决方案。表4为不同参数下的性能对比，接下来对迭代次数、子问题/子任务数目、时间临近阈值的影响分别进行讨论，并比较nsga-ii方法与本发明ddpg-cmoa方法的性能差异。
[0237]
表4不同参数下的性能对比
[0238][0239]
(一)迭代次数的影响
[0240]
图8为本发明一实施例中迭代次数对计算卸载时延和能耗影响。nsga-ii的最大迭代次数设置为50、100、150。nsga-ii的种群数量为20，ddpg-cmoa的子问题数量也设置为20。假设道路网络中的车辆数量为40，时间临近阈值为2s。
[0241]
如图8所示，ddpg-cmoa方法和nsga-ii可以很好地解决问题p1。与nsga-ii相比，ddpg-cmoa方法具有更好的收敛性和多样性。表4中的hv值也可以证明，通过ddpg-cmoa方法获得的解对应的hv最大。随着迭代次数的增加，nsga-ii获得的解对应的hv先增加后降低。当迭代次数等于100时，相应的hv为0.494，这大于其他两个。此外，大量的迭代可能会导致大量的运行时间。nsga-ii的50次迭代、100次迭代和150次迭代的运行时间分别为3.37秒、6.16秒和9.53秒，而ddpg-cmoa只需要2.23秒。总之，ddpg-cmoa方法的综合性能优于nsga-ii方法。
[0242]
(二)子问题数目的影响
[0243]
图9a、9b、9c、9d分别为本发明一实施例中子问题数目为10、20、50、100对计算卸载时延和能耗的影响。当子问题数分别为10、20、50、100时，车辆相应的时延和能耗。假设道路网络中的车辆数量为40，时间临近阈值为2秒。考虑到第一部分中迭代次数的影响，对于nsga-ii方法，将其设置为100。
[0244]
通过增加子问题的数量，ddpg-cmoa方法和nsga-ii获得的解对应的hv分别从0.502增加到0.557和从0.378增加到0.524。两种算法得到的hv值之间的差距逐渐减小，但是ddpg-cmoa方法得到的hv值还是大于nsga-ii方法得到的hv值。与nsga-ii相比，ddpg-cmoa方法具有更好的收敛性和多样性。
[0245]
此外，大量的子问题可能会导致大量的运行时间。nsga-ii的10个子问题、20个子问题、50个子问题和100个子问题的运行时间分别为2.9秒、6.16秒、22.70秒和97.31秒，而ddpg-cmoa只需要2.03秒、2.23秒、2.86秒和3.95秒。随着子问题数量的增加，nsga-ii的计算时间迅速增加，这比我们的方法大得多。总的来说，实验结果清楚地表明了ddpg-cmoa方法在解决这个问题上的有效性。
[0246]
(三)时间临近阈值的影响
[0247]
图10a为本发明一实施例中预设时间临近阈值为2s的影响示意图，图10b为本发明一实施例中预设时间临近阈值为3s的影响示意图，显示了当时间临近阈值分别为2s和3s时，车辆相应的时延和能耗。令道路网络中的车辆数量为40。种群大小和子问题数量设置为50，迭代次数设置为100。值得注意的是，对于ddpg-cmoa方法，实验结果表明训练后的模型具有一定的泛化能力。虽然该模型是在t
ε
＝2s时训练的，但是t
ε
＝3s时仍能表现出良好的性能。相比而言，nsga-ii作为基于迭代的求解器，在时间临近阈值从2秒变为3秒时，nsga-ii需要再次迭代，从而导致运行时间过长。如表4所示，与nsga-ii相比，ddpg-cmoa方法运行时间要低得多。此外，与nsga-ii相比，ddpg-cmoa方法得到的解对应的hv更高。
[0248]
综合如上三个因素的性能比较，结合考不同参数下的性能评估，ddpg-cmoa方法需要的运行时间要少得多，得到的解具有更好的收敛性和多样性。并且训练后的模型具有一定的泛化能力，能够更好地应对环境的变化。
[0249]
本发明以时间距离作为判断临近的标准，在保证低时延和低能耗的同时提供了更为准确的临近检测方法，同时提出了车辆边缘计算进行计算卸载的方法，包含三种计算卸载方案，基于车联网(参照本发明实施例中提出的车-路-云协同网络框架)，目标车辆的计算任务由其自身、周围的其他车辆和边缘服务器共同执行。将在道路网络临近检测场景下联合优化时延和能耗的问题，特别是计算卸载决策的选择，看作一个有约束的多目标优化问题，并使用深度强化学习的方法，设计了ddpg-cmoa方法，在时延和能耗之间找到折衷点，从而获得帕累托最优解，该帕累托最优解具有较好的收敛性和多样性，基于深度强化学习在分析、判断、预测和控制方面的优势，它们可以部署在网络的各个层次，便于在复杂环境中实现灵活的计算卸载和资源分配。
[0250]
特别地，将本发明设计的ddpg-cmoa方法与传统的nsga-ii方法进行比较，本发明提供的方法运行时间短，泛化能力强，所得解具有更好的收敛性和多样性。
[0251]
与上述方法相应地，本发明还提供了一种道路网络临近检测装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
[0252]
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现如前所述方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0253]
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还
是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
[0254]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0255]
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
[0256]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。