基于深度强化学习的无人机导航方法、装置、设备及介质

1.本发明涉及无人机导航技术领域，尤其涉及基于深度强化学习的无人机导航方法、装置、设备及介质。


背景技术：

2.近年来，无人驾驶飞行器(uav)已经在许多领域展示出其广阔的应用前景，越来越多地被运用于环境监测和探索例如灾难救援、野生动物保护和远程监视的任务中，特别是在无线通信，智能物流，现代战争等领域，无人机因其广阔的视野，高度的灵活性发挥着不可替代的作用而备受关注。
3.在对于无人机研究中，其自主路径规划的实现一直是一大难题。因其对于多状态动作对高维诅咒的有效处理，采用基于深度强化学习的方法对于该问题的解决早已不鲜见。然而许多研究聚焦于无人机在已知静态场景中或是室内环境的导航，这样的研究开发的算法在实际环境中的迁移应用表现大多不佳，因为实际环境中不可避免地存在着如飞鸟，其他飞行器等障碍物，所以我们研究的一大目标就是解决动态环境的无人机路径规划。另一大问题在于，由于基础设施和运营成本等原因当前对于如何实现无人机的无处不在的三维(3d)通信覆盖的技术很不成熟，但是这对于数据传输又至关重要，另一方面，未来无人机的应用场景中，复杂多变的干扰总是充斥其间。因而，对于无人机的覆盖感知导航的研究就显得迫在眉睫。


技术实现要素：

4.为了解决上述技术问题，本发明提出基于深度强化学习的无人机导航方法、装置、设备及介质，确保无人机可在高速动态环境下，自主规划路径，沿着无碰撞、高效的路径到达理想的目的地，同时实现空中无人机的无处不在的三维通信覆盖，保证无人机与地面站的通信质量，实现实时的数据传输。
5.为了达到上述目的，本发明的技术方案如下：
6.基于深度强化学习的无人机导航方法，其特征在于，包括如下步骤：
7.步骤s1，实时获取无人机与环境的交互信息，所述交互信息包括与障碍物的距离、与目的地的方向距离和通信质量信息；
8.步骤s2，将所述交互信息输入深度强化学习模型中，输出无人机最优动作来引导无人机避免碰撞、获取目标、来到覆盖通信质量良好的区域；
9.步骤s3，生成最优动作对应的操作指令，并基于操作指令运行改变无人机的运动状态后获取环境给出的反馈信息，所述反馈信息包括状态、动作、奖励以及下一个状态的序列；
10.步骤s4，基于反馈信息采用随机梯度下降法以及损失函数来更新深度强化学习模型的参数，采用更新了网络参数的深度强化学习模型，重复步骤s1至s3，直至到达目的地。
11.优选地，所述深度学习模型包括用于指示无人机在导航任务中避开障碍物的避障
网络，用于指示无人机在导航任务中使用最短航路点获取目标的目的地获取网络，以及将所述避障网络和目的地获取网络连接的综合网络，所述综合网络用于从避免网络或目的地获取网络中选择一个动作并保证飞行时的实时通信。
12.优选地，所述避障网络、目的地获取网络和综合网络均采用长短期记忆网络。
13.优选地，所述避障网络和目的地获取网络均由结构相同的评估网络与目标网络组成的。
14.优选地，所述避障网络的奖励r
avoid
为：
[0015][0016]
其中α,β是常数,d
min
为最短距离。
[0017]
优选地，所述目的地获取网络的奖励r
acquire
获取方式，如下所示：
[0018]
当从正确的方向接近目标时，无人机离目标越远，奖励越小，接近目标的奖励r
approach
如下所示：
[0019][0020]
其中ρ,σ是常数,d
target
为目标距离，
[0021]
为了激励无人机使用最短航路点获取目标，设置负常数奖励ζ以限制其在原地徘徊：
[0022]rstep
＝ζ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0023]
其中r
step
为单步惩罚，ζ是负常数，
[0024]
所述目的地获取网络的奖励r
acquire
为：
[0025]racquire
＝r
approach
r
step
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)。
[0026]
优选地，所述综合网络的奖励获取方式，如下所示：
[0027][0028][0029][0030]
其中μ、τ是常数，是通信经验中断概率，s
t
为无人机的状态向量,不同方向的测距仪读数，为无人机基于其周围环境的空旷程度获得的奖励，为无人机基于其测定通信质量的好坏获得的奖励，为综合网络的奖励，鼓励无人机避开障碍物并在空域中导航接近目标同时保证飞行时的通信质量，为无人机与障碍物碰撞受到的惩罚。
[0031]
一种基于深度强化学习的无人机导航装置，包括获取单元、学习单元、驱动单元和更新单元，其中，
[0032]
所述获取单元，用于实时获取无人机与环境的交互信息，所述交互信息包括与障碍物的距离、与目的地的方向距离和通信质量信息；
[0033]
所述学习单元，用于动作将所述交互信息输入深度强化学习模型中，输出无人机最优动作来引导无人机避免碰撞、获取目标、来到覆盖通信质量良好的区域；
[0034]
所述驱动单元，用于生成最优动作对应的操作指令，并基于操作指令运行改变无人机的运动状态后获取环境给出的反馈信息，所述反馈信息包括状态、动作、奖励以及下一个状态的序列；
[0035]
所述更新单元，用于基于反馈信息采用随机梯度下降法以及损失函数来更新深度强化学习模型的参数。
[0036]
一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一所述的方法。
[0037]
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的方法。
[0038]
基于上述技术方案，本发明的有益效果是：本发明提出了一个分布式的drl框架，将无人机覆盖感知导航任务分解为两个更简单的子任务，每个子任务都通过设计的基于长短期记忆人工神经网络(lstm)的drl网络来解决，只使用部分交互数据。在此基础上，针对无人机覆盖感知导航问题，提出了一种截断drl损失函数，将两个子解紧密叠加为一个整体，最终选取到符合当前最优策略的动作，完成对于无人机路径的实时规划与对通信质量良好区域的覆盖。大量的仿真结果证实了该方法能够完成高速动态环境下的无人机覆盖感知导航任务，且与现有drl方法相比在收敛性和有效性方面性能更加优越。
附图说明
[0039]
图1是一个实施例中基无人机通信覆盖环境示意图；
[0040]
图2是一个实施例中无人机通信覆盖环境的基站俯视图；
[0041]
图3是一个实施例中人机高速动态障碍环境示意图；
[0042]
图4是一个实施例中分层rqn的示意图；
[0043]
图5是一个实施例中layered-rqn相较于基准算法的避障与目的地获取性能对比图；
[0044]
图6是一个实施例中layered-rqn相较于基准算法的通信覆盖感知性能对比图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0046]
本实施例公开一种基于深度强化学习的无人机导航方法，能够引导无人机从任意初始位置开始飞行，经过充满高速动态障碍物且通信覆盖质量分布不均的仿真环境，到达固定目的地，实现了无人机在构造的仿真环境中的实时路径规划，同时有效覆盖了通信质量较佳的区域，完成无人机的导航任务。具体包括如下步骤：
[0047]
1.搭建无人机仿真环境
[0048]
如图1，2所示，基于前人经验搭建无人机无线电通信环境，即由宏基站构成的蜂窝网络对每个位置的通信覆盖(非中断)概率数值地图，图1是基于3d建筑和信道实现通过计算机模拟在数值上获得的，其中颜色越深代表通信质量越差，中断概率越大。从图2中可以看出，覆盖范围由于3d bs天线辐射方向图和建筑物遮挡的共同影响，通信覆盖地图分布相当不规则。观察到，在区域中心附近，存在多个弱覆盖区域，覆盖概率小于30％。显然，有效
的覆盖感知无人机导航应该引导无人机尽最大努力避免进入这样的弱覆盖区域。
[0049]
无人机对于环境通信质量的测量可以通过利用具有频繁rsrp和rsrq报告的现有软切换机制来实现。我们假设在每个时刻t内，uav对m个蜂窝连接的宏基站中的每一个执行j次sir测量。我们将具有蜂窝连接的b
t
∈{1,
…
,m}的时刻t的第j个sir测量表示为其中表示该情况下的小规模衰落。对应的中断指标值，表示为可以基于通信背景知识获得。然后可以得到经验中断概率为：
[0050][0051]
其中j为通信质量测量次数，为通信质量对应的中断指标值，表示无人机的绝对位置，b
t
∈{1,
…
,m}表示连接的基站，表示该情况下的小规模衰落。将经验中断概率与单位时间步长相乘便能得到引导无人机覆盖感知导航所需要的奖励值。
[0052]
而如图3所示，在隐藏的通信环境之上，是显式的无人机高速动态障碍环境，其中最高、中等和最低速度的动态障碍物分别代表实际环境中的不同实体，如鸟类、人类和其他无人机。动态障碍物以规定的速度在空域中随机漂移，无人机导航问题的目标是通过杂乱的障碍物找到从原点到目标的可行路径，该路径应无碰撞且尽可能短。
[0053]
仿真环境中，无人机传感器对于环境信息的采集我们设置如下，考虑到视觉摄像头和雷达的诸多限制(如照明、费用等)，我们使用超声波测距仪通过测量无人机与其周围环境的距离来帮助无人机感知环境。如图4所示，时刻t的观测向量由来自16个不同方向的无人机测距仪读数组成，即其中如果更短，则当前无人机更接近该方向的障碍物。相反，如果大多数较大则更安全。地球固定坐标可用于描述无人机的相对和绝对位置。考虑到无人机在固定高度导航，无人机的绝对位置可以由第一视角与x轴的夹角确定。通过机载gps设备计算无人机与目标之间的角度，可以轻松获取相对位置我们使用观察向量o
t
和一起形成状态向量一起形成状态向量其中所有s
t
构成mdp中的状态空间。
[0054]
2.设置奖惩规则与网络的迭代更新策略
[0055]
在导航任务中，drl框架基于所收集的传感器数据(即到障碍物的距离、到目的地的方向距离、通信质量)来引导无人机避免碰撞、获取目标、覆盖通信质量良好的区域。无人机导航任务是一个较为复杂的任务，其可以被分为三个更简单的行为：避开障碍物、向目的地前进、选择特定动作。上述的第一个行为防止无人机发生碰撞，第二个行为驱使无人机到达目的地，第三个行为在躲避或向目的地前进两个行为中选择并保证实时通信。对此，解决无人机导航问题，可以转化为解决躲避、向目的地前进、选择三个问题之后再对解决方案进行梳理。每个问题都可以通过drl网络来解决。
[0056]
实际上，状态空间是非常高维的，这导致了通常被称为“维度诅咒”的问题。我们使用lstm估计q
t
(s
t
,a
t
)，lstm是一种具有记忆性的循环神经网络：其中θ表示lstm中的参数。注意，lstm的输入是包含时间信息的张量。显然，逐步更新drl的
策略可以立即利用最新的经验，帮助无人机更快地学习。因此我们不是构建一个完整episode的历史轨迹hi，而是制定一个随时间变化的实时h
t
：
[0057][0058]
其中h
t
表示实时历史轨迹，a
t
为无人机执行的动作，
[0059]
网络的监督数据来自自举估计：
[0060][0061]
其中为目标网络的价值函数，r
t 1
为获得的奖励，γ为常数，为评估网络的价值函数，a
′
为下一时刻的动作。
[0062]
训练目标是获得参数θ，这可以通过最小化与的差距来实现。然而，显然，由于参数需要更新，这会导致训练过程中出现很大的差异。为了解决这种差异，这项发明中使用了两种训练方法：(a)不是按顺序采样，而是使用经验回放池来随机获取样本；(b)另一个lstm结构相同，但参数更新滞后于(目标网络)，它被表述为为(评估网络)。代价函数j[π(a|h)；θ]被表述为：
[0063][0064]
其中π(a|h)为状态概率，θ为超参数，l代表样本总数。j[π(a|h)；θ]可以通过实施随机梯度下降(sgd)轻松优化。策略π(a|h)的梯度可以通过下式计算：
[0065][0066]
θ
←
θ δδθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中δ是学习率，θ-是θ的延迟副本。θ-在某些训练时期被软更新取代。迭代过程重复几个周期，直到稳定收敛。显然，更复杂的任务(navigation)是由几个更简单的行为(avoid、acquire、choose)演化而来的，也就是说无人机逐层学习导航，其被命名为分层循环q网络(layered-rqn)。
[0067]
本发明使用裁剪的drl损失函数将三个drl网络堆叠成一个模型，以引导无人机高效安全地探索环境并保证实时通信。此外，需要构造避障网络和获取网络的奖励。避障网络用于指示无人机在导航任务中避开障碍物。奖励应该是信息丰富的，以防止无人机相撞。无人机越靠近障碍物，奖励越小：
[0068][0069]
其中α,β是常数,而d
min
为最短距离，可以通过比较各个方向的测距仪读数来获得。
[0070]
获取网络的建立是为了指示无人机在导航任务中获取目标。当从正确的方向接近目标时，无人机离目标越远，奖励越小，接近目标的奖励r
approach
如下所示：
[0071]
[0072]
其中ρ,σ是常数,而d
target
为目标距离，可以使用类似gps的设备计算。为了进一步激励无人机使用最短航路点获取目标，设置负常数奖励ζ以限制其在原地徘徊：
[0073]rstep
＝ζ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)其中r
step
为单步惩罚，ζ是负常数，
[0074]
获取网络的奖励r
acquire
是：
[0075]racquire
＝r
approach
r
step
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0076]
综合网络是制定从避免网络或获取网络中选择一个动作供无人机采取。在障碍物密布的环境中专注于避免碰撞而不是接近目标将降低失败的可能性。因此，无人机希望在障碍物密集时避开障碍物，并在开阔空域中快速接近目标。通过这种方式，我们通过在选择特定动作(获取或避障)后观察其状态来证明无人机的“选择行为”是正确的。如果发生碰撞，选择动作将受到惩罚。同时，为保证通信质量，每次无人机执行选取的动作后，利用具有频繁rsrp和rsrq报告的现有软切换机制实现对环境通信中断概率的计算，根据大数定律，用经验值代替期望值作为通信中断的惩罚，构造的综合网络的奖惩如下：
[0077][0078][0079][0080]
其中μ、τ是常数，是通信经验中断概率，s
t
为无人机的状态向量,不同方向的测距仪读数，为无人机基于其周围环境的空旷程度获得的奖励，为无人机基于其测定通信质量的好坏获得的奖励，为综合网络的奖励，鼓励无人机避开障碍物并在空域中导航接近目标同时保证飞行时的通信质量，为无人机与障碍物碰撞受到的惩罚。
[0081]
3.初始化
[0082]
初始化。首先随机初始化无人机位置为[0-2000,0-2000]中的某个坐标，初始化终点为[1400，1600]，飞行高度为固定高度100m。初始化无人机初始化无人机的各个目标网络和评估网络的参数，样本采样批次的大小，经验回放池的大小，学习率，一个循环内智能体的最大步数以及迭代次数等参数，如表1所示。
[0083]
表1
[0084]
参数数值避障网络学习率0.001目的地获取网络学习率0.001综合网络学习率0.0001ε0.3ε-decaye-3ε
γ0.99经验回放池的大小5000样本采样批次的大小200
一个循环内智能体的最大步数100迭代次数2000历史轨迹序列最长长度40α4β2ρ2σ2ζ0.5τ3μ4
[0085]
4.算法流程
[0086]
具体的算法流程如下所示：
[0087]
1.通过初始化目标参数θ与评估目标参数θ-初始化避障、目的地获取的动作-价值lstm函数近似q值。
[0088]
2.通过初始化目标参数ψ与评估目标参数ψ-初始化综合动作-价值全连接函数近似q值。
[0089]
3.初始化经验回放池r。
[0090]
4.for 1to m,进行迭代
[0091]
5.接收到初始观测s0,h0＝s0。
[0092]
6.初始化空历史h0。
[0093]
7.fort＝1tot,进行迭代
[0094]
8.以概率ε选择随机动作a
t
。
[0095]
9.否则依照贪心策略根据评估网络获取避障或向目的地前进的动作。
[0096]
10.采用下式获取选择的动作
[0097][0098]
其中为无人机选择的动作,为综合网络的价值函数，
[0099]
11.最后通过下式执行动作
[0100][0101]
其中为无人机选择的避障动作，无人机选择的向目的地进发的动作，
[0102]
12.通过机载传感器测量信号，并获取经验通信中断概率则通信评估奖励
[0103]
13.更新历史轨迹并将历史轨迹h
t
存储入r。
[0104]
14.从r中随机选择minibatch即l个历史轨迹。
[0105]
15.如果s
i 1
不是终止状态,用式(3)设置yi[0106]
16.否则设置yi＝ri。
[0107]
17.用式(4)-(6)更新避障，目的地获取网络
[0108]
18.利用下式通过adam优化器更新综合评估网络
[0109][0110]
19.软更新所有目标网络
[0111]
20.end for
[0112]
21.end for
[0113]
实验结果分析
[0114]
本发明采用上文所描述的参数搭建的环境对算法的性能进行测试，并与当下流行的drqn、double dqn和prioritized dqn方法进行了比较。结果如图5、6所示，可以看到我们所提出的layered-rqn成功到达终点，且覆盖了最多的通信质量良好的区域，在所有测试环境中都优于drqn、double dqn和prioritized dqn。因此，该算法具有最佳的综合性能。
[0115]
以上所述仅为本发明所公开的基于深度强化学习的无人机导航方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。