基于无人机集群的边缘网络自适应部署方法

1.本发明属于通信技术领域，具体涉及一种基于无人机集群的边缘网络自适应部署方法。


背景技术：

2.无人机作为下一代网络的重要组成部分，在应对复杂场景下的应急通信问题具有显著优势。当地面网络设施遭受破坏或出现故障时，可利用无人机快速建立低空边缘网络平台，有效地为地面移动用户提供必要的通信与计算服务。由于地面移动用户的分布与任务卸载请求具有明显的动态时变特征，低空无人机网络的资源部署也应具备自适应动态调整的能力。近年来，机器学习技术迅速发展，为解决无人机的移动性问题提供了新的途径。机器学习算法能够根据无人机当前的用户分布，无人机自身位置信息自适应巡航，有效解决无人机的路径规划问题。
3.本发明针对地面网络设施受损或故障，导致边缘网络资源缺失的问题，提出一种面向地面移动用户的无人机边缘节点自适应部署方法。根据各无人机的有效覆盖范围、地面用户位置分布以及任务卸载需求，采用深度强化学习方法自适应规划无人机集群的巡航轨迹，并动态调整用户的卸载任务调度，最大化巡航过程中的用户连通性和机载资源利用率，有效降低平均任务卸载时延。


技术实现要素：

4.本发明旨在解决以上现有技术的问题。提出一种基于无人机集群的边缘网络自适应部署方法。本发明的技术方案如下：
5.一种基于无人机集群的边缘网络自适应部署方法，其具体包括以下步骤：
6.101、设立无人机集群i＝{i}，地面用户集j＝{j}，i、j分别表示无人机i和用户j，将无人机集群巡航时间离散为时隙，设立时隙变量k，构造无人机集群与用户状态向量sk、无人机集群动作向量ak、无人机集群动作收益函数rk，其中，sk，ak，rk均随时隙数k的增加发生相应的转移和变化，初始化时隙变量k＝0；
7.102、在无人机集群控制智能体中，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括无人机集群巡航动作发生模块、无人机集群动作评估模块、无人机集群动作扰动模块、环境参数采集模块、无人机集群机载资源分配与任务卸载调度模块、无人机集群动作收益模块、经验样本存储池、样本集随机抽样模块；
8.103、令k＝k 1，如果无人机集群i在连续n个时隙内未发生三维坐标位置变化，跳转到步骤106，否则，根据每架无人机i的有效覆盖范围及剩余可用计算资源，确定每架无人机i的用户对象集ji，从而获得无人机集群i的用户对象集{ji}，通过无人机集群机载资源分配与任务卸载调度模块，获得用户集j的任务卸载决策变量集其中为k时隙用户j卸载到无人机i的任务量，跳转到104；
9.104、根据执行用户任务卸载，通过无人机集群动作收益模块获得相应的收益rk，通过无人机集群巡航动作发生模块和无人机集群动作扰动模块获得k时隙无人机集群三维动作向量ak，根据k时隙无人机集群与用户状态向量sk和无人机集群三维动作向量ak计算获得s
k 1
，将[sk,ak,rk,s
k 1
]存入经验样本存储池；
[0010]
105、通过样本集随机抽样模块从经验样本存储池中获得随机样本集x，并将x分别输入无人机集群巡航动作发生模块、无人机集群动作评估模块进行学习训练，跳转到103；
[0011]
106、算法结束。
[0012]
进一步的，所述步骤101中构造k时隙无人机集群与用户状态向量sk、无人机集群三维动作向量ak、无人机集群动作收益函数rk，分别如公式(1)、(2)、(3)所示：
[0013][0014][0015][0016]
公式(1)中，表示无人机i在时隙k的三维坐标位置，表示用户j在时隙k的二维坐标位置；公式(2)中，表示无人机i在k时隙的水平运动方向，表示无人机i在k时隙的垂直运动距离；公式(3)中，ω表示无人机动作奖励函数权重因子，ω∈(0,1)，表示用户j在k时隙能够进行任务卸载，否则，如公式(4)所示，表示k时隙用户j的平均单位任务时延，如公式(5)所示：
[0017][0018][0019]
公式(4)中，表示用户j与无人机i的连接状态，若用户j在k时隙将任务卸载到无人机i执行，则否则公式(5)中，δt表示时隙大小，ξ表示时隙，ξ∈[1,k]。
[0020]
进一步的，所述步骤102中基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括无人机集群巡航动作发生模块、无人机集群动作评估模块、无人机集群动作扰动模块、环境参数采集模块、无人机集群机载资源分配与任务卸载调度模块、无人机集群动作收益模块、经验样本存储池、样本集随机抽样模块，具体包括：
[0021]
无人机集群巡航动作发生模块包含主网络π(sk|θ
π
)和目标网络π
′
(sk|θ
π
′
)，通过将无人机集群与用户状态sk输入π(sk|θ
π
)，并将π(sk|θ
π
)的输出导入无人机集群动作扰动模
块，获得无人机集群三维动作向量ak；无人机集群动作扰动模块用于无人机集群对周边空域的随机性探索；无人机集群动作评估模块包含主网络和以及目标网络和用于生成在无人机集群与用户状态sk下执行无人机集群三维动作ak的动作评估值q；其中，π(sk|θ
π
)，π
′
(sk|θ
π
′
)，)，均为神经网络，分别包含若干层隐藏层，每层隐藏层包含若干个神经元，θ
π
，θ
π
′
，为相应神经网络结构参数；目标网络π
′
(sk|θ
π
′
)、目标网络和分别用于增强主网络π(sk|θ
π
)、主网络和在训练过程的稳定性；
[0022]
环境参数采集模块用于收集地面用户的二维坐标位置用户的任务卸载请求、无人机集群的三维坐标位置和无人机集群的剩余可用计算资源；无人机集群机载资源分配与任务卸载调度模块用于生成k时隙用户卸载策略，获得任务卸载决策变量集无人机集群动作收益模块用于在完成k时隙的卸载任务后，生成无人机集群i在k时隙的动作收益值rk；无人机集群i执行ak动作后，无人机集群与用户状态由sk转移到s
k 1
；经验样本存储池中增加k时隙经验样本[sk,ak,rk,s
k 1
]；样本集随机抽样模块通过从经验样本存储池中随机抽取相同数量样本，用于无人机集群巡航动作发生模块和无人机集群动作评估模块的学习训练。
[0023]
进一步的，所述步骤103中确定每架无人机i的用户对象集ji，从而获得无人机集群i的用户对象集{ji}，通过无人机集群机载资源分配与任务卸载调度模块，获得用户集j的任务卸载决策变量集的方法如下：
[0024]
1)将j中所有用户j放入集合v中，根据对集合v降序排列；
[0025]
2)如果依次针对v中的每一个用户j，根据用户j可接入的无人机剩余可用计算资源和用户j所需的计算资源，通过多属性排序法分配无人机i的计算资源给用户j，令把v中用户j移入无人机i的用户对象集ji，并根据降序排列，跳转到2)，否则，跳转到3)；
[0026]
3)对集合i中的无人机，依次为ji中的每个用户j分配最小单位计算资源并更新直到得到用户j的计算资源分配集合并根据用户j的任务卸载时延，计算用户j卸载到无人机i的任务量最终得到用户集j的任务卸载决策变量集
[0027]
进一步的，所述步骤2)中根据多属性排序法分配无人机i的计算资源给用户j的方法，具体包括：
[0028]
首先根据对集合i中的无人机降序排列，再根据对相同的无人机降序排列，最后根据对与均相同的无人机升序排列，选择排序中的第一个无人机i并分配计算资源给用户j，其中，为无人机i与用户j的距离，计算资源的计算方式如公式(6)、(7)所示：
[0029][0030][0031]
公式(6)中fi表示无人机i的计算资源总量，ρ表示无人机i的用户对象集ji中除用户j之外的其他用户，ρ∈(j
i-j)；公式(7)中u表示任务单元大小，τj表示用户j的平均单位任务容忍时延，表示用户j的任务复杂度，表示k时隙用户j到无人机i上行传输速率，η表示时隙，η∈[1,k-1]。
[0032]
进一步的，所述步骤3)中用户j卸载到无人机i的任务量的计算方法如公式(8)所示：
[0033][0034]
进一步的，所述步骤3)中用户j的任务卸载时延如公式(9)所示：
[0035][0036]
公式(9)中，表示k时隙用户j卸载到无人机i的任务卸载时延，表示k时隙用户j卸载任务到无人机i的传输时延，如公式(10)所示；表示用户j卸载任务到无人机i的卸载任务计算时延，如公式(11)所示；
[0037][0038][0039]
公式(10)中，表示k时隙用户j到无人机i的上行传输速率，如公式(12)所示：
[0040][0041]
公式(12)中，w为用户信道带宽，pj为用户发射功率，σ2为噪声功率，表示k时隙用户j到无人机i的通信信道增益。
[0042]
进一步的，所述步骤104中通过无人机集群巡航动作发生模块和无人机集群动作扰动模块获得k时隙无人机集群三维动作向量ak，根据k时隙无人机集群与用户状态向量sk和无人机集群三维动作向量ak计算获得s
k 1
具体包括：
[0043]
将k时隙无人机集群与用户状态向量输入无人机集群巡航动作发生模块，并经由无人机集群动作扰动模块得到无人机集群三维动作向量计算获得其中，l为k时隙无人机i的水平移动距离。
[0044]
进一步的，所述步骤105中无人机集群巡航动作发生模块、无人机集群动作评估模块学习训练方法为：
[0045]
对无人机集群动作评估模块中的主网络其网络参数采用最速下降法进行更新，如公式(13)所示，其中，表示和
[0046][0047]
其中为的学习率，损失函数如公式(14)所示：
[0048][0049]
其中，a
′
k 1
＝a
k 1
ε，ε～clip(n(0,σ),-κ,κ)，clip(
·
)表示修剪函数，n表示均值为0，方差为σ的高斯噪声，κ表示修剪参数，γ表示折扣因子，x表示通过样本集随机抽样模块从经验样本存储池中获得随机样本集x＝{xk}，xk＝[sk,ak,rk,s
k 1
]；
[0050]
巡航动作发生模块中π(sk|θ
π
)网络参数θ
π
更新如公式(15)所示：
[0051][0052]
其中μ
π
为π(sk|θ
π
)的学习率，π(sk|θ
π
)的策略梯度如公式(16)所示：
[0053][0054]
目标网络和π
′
(sk|θ
π
′
)中网络参数和θ
π
′
的更新分别如公式(17)、(18)所示，其中，表示和更新因子
[0055][0056][0057]
本发明的优点及有益效果如下：
[0058]
本发明针对地面网络设施受损或故障，导致边缘网络资源缺失的问题，提出一种面向地面移动用户的无人机边缘节点自适应部署方法。现有解决方案通常根据当前用户分布最优化目标位置，通过最短路径巡航完成低空无人机网络的部署，忽略了地面移动用户分布及任务卸载请求的动态时变特征，易造成网络服务质量不稳定，资源利用率下降的问题。本发明根据无人机的有效覆盖范围、地面用户的实时位置分布与任务卸载需求，采用深度强化学习方法自适应规划无人机集群的巡航轨迹，动态调整用户的卸载任务调度，最大化巡航过程中的用户连通性和机载资源利用率，并有效降低平均任务卸载时延。
附图说明
[0059]
图1是本发明提供优选实施例一种基于无人机集群的边缘网络自适应部署方法流程图。
具体实施方式
[0060]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅是本发明的一部分实施例。
[0061]
本发明解决上述技术问题的技术方案是：
[0062]
本发明内容所涉及的概念和模型如下：
[0063]
1.系统模型：
[0064]
假设边缘网络小区内用户随机分布，地面网络设施受损或故障，边缘网络资源缺失。小区内配置多架无人机辅助边缘节点，可为其有效覆盖范围内的用户提供任务卸载服务，采用深度强化学习方法自适应规划无人机集群的巡航轨迹，并动态调整用户的卸载任务调度，最大化巡航过程中的用户连通性和机载资源利用率，有效降低平均任务卸载时延。
[0065]
2.本发明内容所涉及的其他符号说明如下：
[0066]
sk：系统状态向量
[0067]ak
：无人机集群动作向量
[0068]rk
：收益函数
[0069]
π(sk|θ
π
)：无人机集群动作策略网络
[0070]
无人机集群状态-动作值网络
[0071]
θ：神经网络结构参数
[0072]
用户j在k时隙平均单位任务时延
[0073]
用户j在k时隙是否被服务
[0074]
无人机i在时隙k为用户j分配的计算资源
[0075]
用户j在k时隙卸载到无人机i任务单元数
[0076]
无人机i在k时隙的水平移动方向
[0077]
无人机i在k时隙的垂直移动距离
[0078]
用户j在k时隙与无人机i的连接状态
[0079]
表示k时隙用户j卸载到无人机i的任务卸载时延
[0080]
表示k时隙用户j卸载任务到无人机i的传输时延
[0081]
表示用户j卸载任务到无人机i的卸载任务计算时延
[0082]fi
：无人机i的计算资源总量
[0083]
表示k时隙用户j到无人机i的上行传输速率
[0084]
w：用户信道带宽
[0085]
pj：用户j发射功率
[0086]
σ2：噪声功率
[0087]
表示k时隙用户j到无人机i的通信信道增益
[0088]
本发明的技术方案说明如下：
[0089]
1、任务卸载时延
[0090]
用户j的任务卸载时延如公式(1)所示：
[0091][0092]
公式(1)中，表示k时隙用户j卸载到无人机i的任务卸载时延，表示k时隙用户j卸载任务到无人机i的传输时延，如公式(2)所示；表示用户j卸载任务到无人机i的卸载任务计算时延，如公式(3)所示。
[0093][0094][0095]
其中，表示用户j与无人机i的连接状态，若用户j在k时隙将任务卸载到无人机i执行，则否则u表示任务单元大小，表示k时隙用户j卸载到无人机i的任务量，表示k时隙无人机i为用户j分配的计算资源，表示用户j的任务复杂度，表示k时隙用户j到无人机i的上行传输速率，如公式(4)所示：
[0096][0097]
公式(4)中，w为用户信道带宽，pj为用户发射功率，σ2为噪声功率，表示k时隙用户j到无人机i的通信信道增益。
[0098]
2、mdp模型的状态向量、动作向量、收益函数
[0099]
k时隙无人机集群与用户状态向量sk、无人机集群动作向量ak、无人机集群动作收益函数rk，分别如公式(5)、(6)、(7)所示：
[0100][0101][0102][0103]
公式(5)中，表示无人机i在时隙k的三维坐标位置，表示用户j在时隙k的二维坐标位置，i表示无人机集合，j表示用户集合，公式(6)中，表示无人机i在k时隙的水平运动方向，表示无人机i在k时隙的垂直运动距离。公式(7)中，ω表示无人机动作奖励函数权重因子，ω∈(0,1)，表示用户j在k时隙被无人机i服务，否则，如公式(8)所示，表示k时隙用户j的平均单位任务时延如公式(9)所示：
[0104][0105][0106]
公式(9)中ξ表示时隙，ξ∈[1,k]。
[0107]
3、基于双延时深度确定性策略梯度算法思想构建的深度强化学习模型
[0108]
将无人机集群的巡航过程划分为若干个大小相等的时隙，且在任意时隙k(∈k)内，无人机集群与地面用户的相对位置关系与连接状态不变。
[0109]
将无人机集群控制器作为智能体，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，其中，双延时深度确定性策略梯度算法思想源于文献fujimoto s,hoof h v,meger d.addressing function approximation error in actor-critic methods.35th international conference on machine learning,icml2018,july 10,2018-july 15,2018。该深度强化学习模型包括无人机集群巡航动作发生模块、无人机集群动作评估模块、无人机集群动作扰动模块、环境参数采集模块、无人机集群机载资源分配与任务卸载调度模块、无人机集群动作收益模块、经验样本存储池、样本集随机抽样模块。
[0110]
无人机集群巡航动作发生模块包含主网络π(sk|θ
π
)和目标网络π
′
(sk|θ
π
′
)，通过将无人机集群与用户状态sk输入π(sk|θ
π
)，并将π(sk|θ
π
)的输出导入无人机集群动作扰动模块，获得无人机集群三维动作向量ak。π(sk|θ
π
)和π
′
(sk|θ
π
′
)可采用两层隐藏层，分别配置256、128个神经元的神经网络，神经元激活函数可采用relu函数；无人机集群动作扰动模块用于无人机集群对周边空域的随机性探索；无人机集群动作评估模块包含主网络和以及目标网络和用于生成在无人机集群与用户状态sk下执行无人机集群三维动作ak的动作评估值q；其中，无人机集群动作评估模块中的主网络和目标网络可采用三层隐藏层，分别配置256、128、128个神经元的神经网络，神经元激活函数可采用relu函数；θ
π
，θ
π
′
，为相应神经网络结构参数；目标网络π
′
(sk|θ
π
′
)、目标网络和分别用于增强主网络π(sk|θ
π
)、主网络和在训练过程的稳定性；
[0111]
环境参数采集模块用于收集地面用户的二维坐标位置用户的任务卸载请求、无人机集群的三维坐标位置和无人机集群的剩余可用计算资源；无人机集群机载资源分配与任务卸载调度模块用于生成k时隙用户卸载策略，获得任务卸载决策变量集无人机集群动作收益模块用于在完成k时隙的卸载任务后，生成无人机集群i在k时隙的动作收益值rk；无人机集群i执行ak动作后，无人机集群与用户状态由sk转移到s
k 1
；经验样本存储池中增加k时隙经验样本[sk,ak,rk,s
k 1
]；样本集随机抽样模块通过从经验样本存储池中随机抽取相同数量样本，用于无人机集群巡航动作发生模块和无人机集群动作评估模块的学习训练。
[0112]
4、多属性排序法
[0113]
多属性排序法分配无人机i的计算资源给用户j的方法：
[0114]
首先根据对集合i中的无人机降序排列，再根据对相同的无人机降序排列，最后根据对与均相同的无人机升序排列，选择排序中的第一个无人机i并分配计算资源给用户j，其中，为无人机i与用户j的距离，计算资源的计算方式如公式(10)、(11)所示：
[0115][0116]
[0117]
公式(10)中表示无人机i剩余计算资源，fi表示无人机i的计算资源总量，ρ表示无人机i的用户对象集ji中除用户j之外的其他用户，ρ∈(j
i-j)；公式(11)中τj表示用户j的平均单位任务容忍时延，η表示时隙，η∈[1,k-1]。
[0118]
5、用户卸载任务量计算
[0119]
用户j卸载到无人机i的任务量的计算方法如公式(12)所示：
[0120][0121]
6、获得用户集j的任务卸载决策变量集的方法
[0122]
1)将j中所有用户j放入集合v中，根据对集合v降序排列；
[0123]
2)如果依次针对v中的每一个用户j，根据用户j可接入的无人机剩余可用计算资源和用户j所需的计算资源，通过多属性排序法分配无人机i的计算资源给用户j，令把v中用户j移入无人机i的用户对象集ji，并根据降序排列，跳转到2)，否则，跳转到3)；
[0124]
3)对集合i中的无人机，依次为ji中的每个用户j分配最小单位计算资源并更新直到得到用户j的计算资源分配集合并根据用户j的任务卸载时延，计算用户j卸载到无人机i的任务量最终得到用户集j的任务卸载决策变量集
[0125]
7、无人机集群与用户状态向量sk与无人机集群动作向量ak计算获得s
k 1
方法
[0126]
将k时隙无人机集群与用户状态向量输入无人机集群巡航动作发生模块，并经由无人机集群动作扰动模块得到无人机集群三维动作向量计算获得其中，l为k时隙无人机i的水平移动距离。
[0127]
8、无人机集群巡航动作发生模块、无人机集群动作评估模块学习训练方法
[0128]
对无人机集群动作评估模块中的主网络其网络参数采用最速下降法进行更新，如公式(13)所示，其中，表示和
[0129][0130]
其中为的学习率，损失函数如公式(14)所示：
[0131][0132]
其中，a
′
k 1
＝a
k 1
ε，ε～clip(n(0,σ),-κ,κ)，clip(
·
)表示修剪函数，n表示均值为0，方差为σ的高斯噪声，κ表示修剪参数，γ表示折扣因子，x表示通过样本集随机抽样模块从经验样本存储池中获得随机样本集x＝{xk}，xk＝[sk,ak,rk,s
k 1
]；
[0133]
巡航动作发生模块中π(sk|θ
π
)网络参数θ
π
更新如公式(15)所示：
[0134][0135]
其中μ
π
为π(sk|θ
π
)的学习率，π(sk|θ
π
)的策略梯度如公式(16)所示：
[0136][0137]
目标网络和π
′
(sk|θ
π
′
)中网络参数和θ
π
′
的更新如公式(17)、(18)所示，其中，表示和更新因子
[0138][0139][0140]
一种基于深度强化学习的无人机边缘网络自适应部署方法，其具体实施方法包括以下步骤：
[0141]
步骤1：设立无人机集群i＝{i}，地面用户集j＝{j}，i、j分别表示无人机i和用户j，将无人机集群巡航时间离散为时隙，设立时隙变量k，构造无人机集群与用户状态向量sk、无人机集群动作向量ak、无人机集群动作收益函数rk，其中，sk，ak，rk均随时隙数k的增加发生相应的转移和变化，初始化时隙变量k＝0；
[0142]
步骤2：在无人机集群控制智能体中，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括无人机集群巡航动作发生模块、无人机集群动作评估模块、无人机集群动作扰动模块、环境参数采集模块、无人机集群机载资源分配与任务卸载调度模块、无人机集群动作收益模块、经验样本存储池、样本集随机抽样模块；
[0143]
步骤3：令k＝k 1，如果无人机集群i在连续n个时隙内未发生三维坐标位置变化，跳转到步骤6，否则，根据每架无人机i的有效覆盖范围及剩余可用计算资源，确定每架无人机i的用户对象集ji，从而获得无人机集群i的用户对象集{ji}，通过无人机集群机载资源分配与任务卸载调度模块，获得用户集j的任务卸载决策变量集其中为k时隙用户j卸载到无人机i的任务量，跳转到步骤4；
[0144]
步骤4：根据执行用户任务卸载，通过无人机集群动作收益模块获得相应的收益rk，通过无人机集群巡航动作发生模块和无人机集群动作扰动模块获得k时隙无人机集群三维动作向量ak，根据k时隙无人机集群与用户状态向量sk和无人机集群三维动作向量ak计算获得s
k 1
，将[sk,ak,rk,s
k 1
]存入经验样本存储池；
[0145]
步骤5：通过样本集随机抽样模块从经验样本存储池中获得随机样本集x，并将x分别输入无人机集群巡航动作发生模块、无人机集群动作评估模块进行学习训练，跳转到步骤3；
[0146]
步骤6：算法结束。
[0147]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0148]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。