一种多无人机协作边缘计算方法

1.本发明属于多无人机移动边缘计算领域，涉及一种多无人机协作进行任务计算的方法。


背景技术：

2.无人机与移动边缘计算行业正随着第五代移动通信领域的普及而飞速发展。与从同时，无人机携带边缘计算服务器，支持车联网的相关应用起了工业界的广泛关注。
3.传统车联网的任务直接卸载到无人机上，进行任务计算与结果交付。这可能会导致有些无人机上的边缘计算服务器排队任务多，执行效率低，有些无人机上的边缘计算服务器没有计算任务，服务器因闲置而导致资源浪费，并且车联网计算任务对计算的时延极其敏感。为了解决上述问题，急需一种多无人机协作进行车辆任务计算，以降低车联网计算任务的时延并提升边缘计算服务器的资源使用效率


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种多无人机协作边缘计算方法。多无人机通过组网，构建一个分布式计算系统；采用使用深度确定性策略梯度算法确定每个车辆计算任务的卸载无人机与交付无人机；采用二分查找算法将每个计算任务划分为不同大小的子任务，并交付给其他的无人机进行计算。
5.为达到上述目的，本发明提供如下技术方案：
6.一种多无人机协作边缘计算方法，该方法包括以下步骤：
7.s1：无人机相互之间建立通信链路；
8.s2：初始化边缘计算服务器的cpu频率周期和存储；
9.s3：构建任务计算服务延迟和严苛任务失败惩罚的加权和的优化模型；
10.s4：基于优化模型，根据车辆的位置和服务器的状况采用深度确定性策略梯度算法确定各个任务卸载的无人机；
11.s5：车辆将计算任务卸载到相应的无人机上；
12.s6：各个无人机利用二分搜索算法将计算任务划分为不同比例大小的子任务；
13.s7：各个无人机将子任务卸载到其他无人机上，并开始计算服务；
14.s8：各个无人机判断边缘计算服务器上的任务是否计算完成，若计算任务完成执行s8，否则，执行s6；
15.s9：基于车辆的位置和方向角采用深度确定性略梯度算法确定各个任务的交付无人机；
16.s10：各无人机交付任务计算结果给车辆。
17.可选的，所述s1中，无人机携带计算服务器，且无人机的总数目为n个，每个无人机的编号为n；无人机上的边缘计算服务器上具备相同大小的中央处理器周期频率缓存
18.可选的，所述s2中，优化步骤包括以下步骤：
19.s21：设所有无人机覆盖下的车辆的数目为u个，每个车辆的编号为u，每个车辆计算任务可以表征为其中为车辆在t时隙所需要的cpu计算周期数，为车辆在t时隙所需要的缓存资源大小，也为任务的数据量大小，表示该任务的服务质量qos需求，当时表示该任务为低优先级的计算任务，当时表示该任务为高优先级的计算任务；
20.s22：车辆u的将计算任务卸载到无人机n上，其任务卸载的传输延迟为：其中代表车辆u将计算任务卸载至无人机n上，当则不卸载，r
u,n
为车辆u与无人机n之间的传输速率；
21.s23：无人机将任务划分为不同大小的子任务，并将各个子任务卸载给其他无人机，其任务卸载的传输延迟为其中为划分为无人机n'的任务比例大小；
22.s24：车辆u的各个子任务卸载到无人机n上，无人机上的边缘计算服务器计算时延为：其中为无人机n边缘计算服务器分给该任务的cpu周期频率；
23.s25：车辆u的任务的总的服务延迟为
24.s23：为了保证任务被正确接收并成功交付，定义其惩罚函数为：
25.s24：建立优化模型：其中t是系统的运行总时间，χ为任务计算卸载服务失败时的单位惩罚。
26.可选的，所述s4中，深度确定性策略梯度算法包含四个神经网络；其中两个网络为评价网络，在训练神经网络时更新权值；另外两个网络为目标网络，在训练神经网络时定期从评价网络中替换权值；对于评价网络与目标网络，分别采用演员神经网络与评论家神经网络对最优策略和q值进行评价。
27.可选的，所述s5中，深度确定性策略梯度算法的状态空间为:各个车辆任务的数据量大小，即每个车辆的速度与方向角{u
t,speed
,u
t,angle
}；边缘服务器完成之前时间段内卸载任务的延迟
28.深度确定性策略梯度算法的动作空间为：对于车辆u，任务的卸载无人机与结果交
付无人机，即
29.深度确定性策略梯度算法的成本模型为：全体车辆u的任务计算服务延迟和严苛任务失败惩罚的加权和，即：其中χ为任务计算卸载服务失败时的单位惩罚因子。
30.可选的，所述s4中，深度确定性策略梯度算法为了得到长期的期望收益，其状态s的价值函数v为：其中γ
t
是与时间相关的的折现因子；通过最小化每个状态的价值函数，即得到最优的卸载π
*
，即：
[0031][0032]
可选的，所述s4中，深度确定性策略梯度算法包括以下步骤：
[0033]
s41：设置算法的迭代次数；
[0034]
s42：初始化环境以及初始的状态；
[0035]
s43：选择一个动作察下一个状态s
t 1
和成本c(s
t
,a
t
)；
[0036]
s44：将(s
t
,a
t
,s
t 1
)存放至经验回放缓冲区；若缓冲区已满，则删除最旧的(s
t
,a
t
,s
t 1
)元素；
[0037]
s45：评价网络和目标网络的评论家神经网络都对权利要求5中的价值函数进行近似，并计算损失函数l，即：l(θq)＝e[(y
t-q(s
t
,a
t
|θq))2]，其中q(s
t
,a
t
|θq)表示的是由评价网络近似得到的q函数，y
t
的值由目标网络近似的值函数得到，为y
t
＝c(s
t
,a
t
) γq(s
t 1
,μ'(s
t 1
|θ
μ'
)|θ
q'
)；
[0038]
s46：通过最小化步骤s45中的损失函数l，更新评价网络中评论家神经网络的权重；
[0039]
s47：根据中的抽样策略梯度更新评价网络中演员的权重；
[0040]
s48：判断是否到达迭代次数，达到则输出深度确定性策略梯度算法的网络，否则继续步骤s43-s48。
[0041]
可选的，所述s6中，二分搜索算法包括以下步骤：
[0042]
s61：从第一个无人机开始，测量该无人机与其他无人机之间的距离，并将距离表缓存至自己的内存中，计算该无人机与其他无人机之间的距离和；
[0043]
s62：从第一个无人机开始，将每个无人机收到的任务划分为等大小的两个子问题；
[0044]
s63：从第一个无人机开始，将第一份子任务保存在本地的缓存区中，第二份子任务根据其他无人机的距离与距离和之比进行划分成不同大小的子问题；
[0045]
s64：将不同的子问题卸载给步骤s63中相应的无人机上。
[0046]
本发明的有益效果在于：本发明通过引入分布式无人机协作计算架构，能够克服
传统的单边缘计算无人机处理任务慢的问题，同时引入任务划分机制，能够有效考虑各个无人机之间的距离，将任务进行合理卸载以降低任务传输时延。
[0047]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0048]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0049]
图1为多无人机分布式计算流程图；
[0050]
图2为多无人机分布式计算系统架构图；
[0051]
图3为多无人机协助计算交付示意图；
[0052]
图4为深度确定性策略模型示意图。
具体实施方式
[0053]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0054]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0055]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0056]
如图1和图2所示，一种多无人机协作边缘计算法方法，包括以下步骤：
[0057]
s1：无人机相互之间建立通信链路；
[0058]
s2：初始化边缘计算服务器的cpu频率周期和存储；
[0059]
s3：构建任务计算服务延迟和严苛任务失败惩罚的加权和的优化模型；
[0060]
s4：基于s3的优化模型，根据车辆的位置和服务器的状况采用深度确定性策略梯度算法确定各个任务卸载的无人机；
[0061]
s5：车辆将计算任务卸载到相应的无人机上；
[0062]
s6：各个无人机利用二分搜索算法将计算任务划分为不同比例大小的子任务；
[0063]
s7：各个无人机将子任务卸载到其他无人机上，并开始计算服务；
[0064]
s8：各个无人机判断边缘计算服务器上的任务是否计算完成，若计算任务完成执行步骤s8，否则，执行步骤s6；
[0065]
s9：基于车辆的位置和方向角采用深度确定性略梯度算法确定各个任务的交付无人机；
[0066]
s10：各无人机交付任务计算结果给车辆
[0067]
多无人机边缘计算方法包括三部分流程。
[0068]
第一部分为任务卸载过程对应于计算方案的s1-s5；
[0069]
第二部分为计算过程，对应于计算方案的s6-s8，具体过程如下：
[0070]
11)从第一个无人机开始，测量该无人机与其他无人机之间的距离，并将距离表缓存至自己的内存中，计算该无人机与其他无人机之间的距离和；
[0071]
12)从第一个无人机开始，将每个无人机收到的任务划分为等大小的两个子问题；
[0072]
13)从第一个无人机开始，将第一份子任务保存在本地的缓存区中，第二份子任务根据其他无人机的距离与距离和之比进行划分成不同大小的子问题；
[0073]
14)将不同的子问题卸载给步骤s63中相应的无人机上。
[0074]
第三部分为结果交付过程，对应于计算方案的s9-s10。
[0075]
如图3与图4所示，整个协助计算交付流程的具体过程如下：
[0076]
21)从车辆中观察得到深度确定性梯度的系统状态；
[0077]
22)在得到状态s
t
后，可以通过权利要求6的深度确定性策略算法计算得到最优的边缘服务器卸载策略；
[0078]
23)卸载完成后，根据第二部分的11)-14)得到相应的无人机之间的任务划分比例；
[0079]
24)计算完成后，从车辆中观察得到深度确定性梯度的系统状态；
[0080]
25)得到状态s
t
后，可以通过权利要求6的深度确定性策略算法计算得到最优的边缘服务器交付策略；
[0081]
图4采用了四个神经网络。其中两个网络为评价网络，在训练神经网络时更新权值；另外两个网络为目标网络，在训练神经网络时定期从评价网络中替换权值。对于评价网络与目标网络，分别采用演员两种神经网络与评论家对最优策略和q值进行评价。评价网络和目标评论家网络的权值分别为θq和θ
q'
，评价网络和目标演员网络的权值分别为θ
μ
和θ
μ'
。
[0082]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。