智慧城市下无人机的状态预测方法及其系统与流程

1.本技术涉及智慧城市的无人机通信的领域，且更为具体地，涉及一种智慧城市下无人机的状态预测方法及其系统。


背景技术：

2.现如今，随着全球范围内数据科学化的崛起和城市信息化的发展，智慧城市已经成为未来城市化发展的新实践和新追求。在智慧城市建设的过程中，信息化网络与技术发挥着不可替代的重要作用，面对未来无线网络中高度多样化的应用需求，无人机(unmanned aerial vehicles，uav)空中通信被认为是现阶段提高通信覆盖率并在必要时作为卫星通信备份选择的最有效方案之一。
3.无人机作为空中的通信中继，主要应用于智慧城市中，其工作原理类似于卫星，但飞行高度低于卫星，因此部署起来更加灵活。与卫星的通信平台相比，其系统的构筑简单，而且还可以充分利用其高速、低滞后的通信能力，来实现低功耗的系统通信。无人机的基本任务是从远程位置收集数据，并需要可靠的数据传输系统来与其他无人机或地面上的基础设施共享所收集的数据。此外，由于具有便携性的优势，无人机经常作为通信中继来为大型会议活动等高热点区域的通信能力提供扩容保障。因此，以无人机为中继的通信系统具有不可替代的作用。
4.将无人机作为通信中继的下一代无线通信网络被认为是现阶段改善通信覆盖面积的最有效解决方案之一。但是，无人机在空中通信时，易受到风向和气压的影响，从而产生一定的位置偏差和时间延迟，导致地面上的基站无法对无人机进行准确的波束赋形，引起不必要的容量损耗。
5.因此，为了更准确地对所述无人机的位置进行预测定位，从而对所述无人机进行准确的波束赋形，期望一种智慧城市下无人机的状态预测方法。


技术实现要素：

6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种智慧城市下无人机的状态预测方法及其系统，其通过基于上下文的编码器对预定时间段内的无人机的运动状态数据进行全局性的高维关联特征提取，并利用卷积神经网络模型对所述预定时间段内的回波信号的波形图进行隐含特征的挖掘，进一步再基于所述激活矩阵构造波形修正网络，也就是，同时使用了所述激活矩阵的关联参数空间和所述真实样本的高维特征空间中的梯度信息，并通过对两者的嫁接，来现了对所述关联参数空间的直接优化。这样，能够在推断过程中获取修正后的波形图，进而也就可以更准确地预测所述无人机的位置，以对所述无人机进行准确的波束赋形。
7.根据本技术的一个方面，提供了一种智慧城市下无人机的状态预测方法，其包括：
8.训练阶段，包括：
9.获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括
沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；
10.将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；
11.将所述多个运动特征向量进行二维排列以获得运动特征矩阵；
12.获取所述预定时间段内的回波信号的波形图；
13.将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；
14.计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；
15.将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图；
16.将所述第一特征图和所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值；
17.基于所述预定时间段内的气压值和风速值，分别计算所述第一特征图和所述第二特征图的交叉熵损失函数值；
18.基于所述第一分类特征图和所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值；
19.基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行；以及
20.推断阶段，包括：
21.获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；
22.将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；
23.将所述多个运动特征向量进行二维排列以获得运动特征矩阵；
24.获取所述预定时间段内的回波信号的波形图；
25.将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；
26.计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；以及
27.将所述激活矩阵通过经训练阶段训练完成的所述第二卷积神经网络以获得修正后的波形图。
28.根据本技术提供的智慧城市下无人机的状态预测方法及其系统，其通过基于上下文的编码器对预定时间段内的无人机的运动状态数据进行全局性的高维关联特征提取，并利用卷积神经网络模型对所述预定时间段内的回波信号的波形图进行隐含特征的挖掘，进一步再基于所述激活矩阵构造波形修正网络，也就是，同时使用了所述激活矩阵的关联参数空间和所述真实样本的高维特征空间中的梯度信息，并通过对两者的嫁接，来现了对所述关联参数空间的直接优化。这样，能够在推断过程中获取修正后的波形图，进而也就可以
更准确地预测所述无人机的位置，以对所述无人机进行准确的波束赋形。
附图说明
29.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
30.图1为根据本技术实施例的智慧城市下无人机的状态预测方法的场景示意图。
31.图2为根据本技术实施例的智慧城市下无人机的状态预测方法中训练阶段的流程图。
32.图3为根据本技术实施例的智慧城市下无人机的状态预测方法中推断阶段的流程图。
33.图4为根据本技术实施例的智慧城市下无人机的状态预测方法中训练阶段的架构示意图。
34.图5为根据本技术实施例的智慧城市下无人机的状态预测方法中推断阶段的架构示意图。
35.图6为根据本技术实施例的智慧城市下无人机的状态预测系统的框图。
具体实施方式
36.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
37.场景概述
38.如前所述，无人机作为空中的通信中继，主要应用于智慧城市中，其工作原理类似于卫星，但飞行高度低于卫星，因此部署起来更加灵活。与卫星的通信平台相比，其系统的构筑简单，而且还可以充分利用其高速、低滞后的通信能力，来实现低功耗的系统通信。无人机的基本任务是从远程位置收集数据，并需要可靠的数据传输系统来与其他无人机或地面上的基础设施共享所收集的数据。此外，由于具有便携性的优势，无人机经常作为通信中继来为大型会议活动等高热点区域的通信能力提供扩容保障。因此，以无人机为中继的通信系统具有不可替代的作用。
39.将无人机作为通信中继的下一代无线通信网络被认为是现阶段改善通信覆盖面积的最有效解决方案之一。但是，无人机在空中通信时，易受到风向和气压的影响，从而产生一定的位置偏差和时间延迟，导致地面上的基站无法对无人机进行准确的波束赋形，引起不必要的容量损耗。因此，为了更准确地对所述无人机的位置进行预测定位，从而对所述无人机进行准确的波束赋形，期望一种智慧城市下无人机的状态预测方法。
40.应可以理解，在本技术的技术方案中，当前无人机的运动状态数据与无人机的定位数据存在时间上的响应关系，更具体地，可以理解为一种积分关系，而无人机与基站之间的通信会受风向和气压的影响，也就是说，基站所接收到的回波信号会受气压和风向的影响。因此，期望对基站所接收到的回波信号进行修正，以更准确地预测所述无人机的位置。
41.具体地，在本技术的技术方案中，首先获取预定时间段内的无人机的运动状态数据，包括沿x、y、z方向上的位移、速度、加速度，并通过包含嵌入层的基于上下文的编码器得到多个特征向量，再对特征向量进行二维排列获得运动特征矩阵。
42.获取所述预定时间段内的回波信号的波形图，并通过第一卷积神经网络获得波形特征矩阵。
43.获取激活矩阵，使得激活矩阵乘以波形特征矩阵等于运动特征矩阵。
44.基于激活矩阵构造波形修正网络，具体为，设置第二卷积神经网络和第三卷积神经网络，分别将激活矩阵和已修正的波形特征矩阵输入第二卷积神经网络和第三卷积神经网络，以获得第一特征图和第二特征图，然后分别计算第一特征图和第二特征图的第一损失函数值和第二损失函数值，其中第一损失函数值和第二损失函数值分别包括特征图的分类损失函数值，以及特征图与作为标签值的气压和风向值的交叉熵损失函数值。
45.最后，通过梯度嫁接方式来训练第二卷积神经网络，表示为：
[0046][0047]
其中θi表示第i次迭代的第二卷积神经网络的参数，l1和l2分别是第一损失函数值和第二损失函数值，且ω为超参数。这实质上是同时使用了用于激活矩阵的关联参数空间和真实样本的高维特征空间中的梯度信息，并通过对两者的嫁接，来现了对关联参数空间的直接优化。
[0048]
这样，在推断过程当中获得激活矩阵之后，就可以直接使用第二卷积神经网络从激活矩阵得到修正后的波形图。
[0049]
基于此，本技术提出了一种智慧城市下无人机的状态预测方法，其包括：训练阶段和推断阶段。其中，训练阶段包括步骤：获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；将所述多个运动特征向量进行二维排列以获得运动特征矩阵；获取所述预定时间段内的回波信号的波形图；将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图；将所述第一特征图和所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值；基于所述预定时间段内的气压值和风速值，分别计算所述第一特征图和所述第二特征图的交叉熵损失函数值；基于所述第一分类特征图和所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值；以及，基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行。其中，推断阶段包括步骤：获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；将所述多个时间点的无人机的运动状态数据通
过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；将所述多个运动特征向量进行二维排列以获得运动特征矩阵；获取所述预定时间段内的回波信号的波形图；将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；以及，将所述激活矩阵通过经训练阶段训练完成的所述第二卷积神经网络以获得修正后的波形图。
[0050]
图1图示了根据本技术实施例的智慧城市下无人机的状态预测方法的场景示意图。如图1所示，在该应用场景的训练阶段中，首先，通过部署于无人机(例如，如图1中所示意的u)中的运动传感器(例如，如图1中所示意的t1)获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度，并且通过示波器(例如，如图1中所示意的h)从基站(例如，如图1中所示意的b)中获取所述预定时间段内的接收到的回波信号的波形图，以及通过传感器(例如，如图1中所示意的t2)获取所述预定时间段内的气压值和风速值。然后，将获得的所述无人机的运动状态数据，所述回波信号的波形图，以及所述气压值和风速值输入至部署有智慧城市下无人机的状态预测算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够基于智慧城市下无人机的状态预测算法以所述无人机的运动状态数据，所述回波信号的波形图，以及所述气压值和风速值对智慧城市下无人机的状态预测方法的所述第二卷积神经网络进行训练。
[0051]
在训练完成后，在推断阶段中，首先，通过部署于无人机(例如，如图1中所示意的u)中的运动传感器(例如，如图1中所示意的t1)获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度，并且通过示波器(例如，如图1中所示意的h)从基站(例如，如图1中所示意的b)中获取所述预定时间段内的接收到的回波信号的波形图。然后，将所述无人机的运动状态数据和所述回波信号的波形图输入至部署有智慧城市下无人机的状态预测算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够以智慧城市下无人机的状态预测算法对所述无人机的运动状态数据和所述回波信号的波形图进行处理，以生成修正后的波形图。进而，基于所述修正后的回波信号的波形图来对所述无人机的位置进行准确地预测，以对所述无人机进行准确的波束赋形。
[0052]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0053]
示例性方法
[0054]
图2图示了根据本技术实施例的智慧城市下无人机的状态预测方法中训练阶段的流程图。如图2所示，根据本技术实施例的智慧城市下无人机的状态预测方法，包括：训练阶段，包括步骤：s110，获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；s120，将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；s130，将所述多个运动特征向量进行二维排列以获得运动特征矩阵；s140，获取所述预定时间段内的回波信号的波形图；s150，将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；s160，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩
阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；s170，将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图；s180，将所述第一特征图和所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值；s190，基于所述预定时间段内的气压值和风速值，分别计算所述第一特征图和所述第二特征图的交叉熵损失函数值；s200，基于所述第一分类特征图和所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值；以及，s201，基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行。
[0055]
图3图示了根据本技术实施例的智慧城市下无人机的状态预测方法中推断阶段的流程图。如图3所示，根据本技术实施例的智慧城市下无人机的状态预测方法，还包括：推断阶段，包括步骤：s210，获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；s220，将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；s230，将所述多个运动特征向量进行二维排列以获得运动特征矩阵；s240，获取所述预定时间段内的回波信号的波形图；s250，将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；s260，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；以及，s270，将所述激活矩阵通过经训练阶段训练完成的所述第二卷积神经网络以获得修正后的波形图。
[0056]
图4图示了根据本技术实施例的智慧城市下无人机的状态预测方法中训练阶段的架构示意图。如图4所示，在训练阶段中，在该网络架构中，首先，将获取的所述多个时间点的无人机的运动状态数据(例如，如图4中所示意的p1)通过包含嵌入层的基于上下文的编码器(例如，如图4中所示意的e)以获得多个运动特征向量(例如，如图4中所示意的vf1)；接着，将所述多个运动特征向量进行二维排列以获得运动特征矩阵(例如，如图4中所示意的mf1)；然后，将获取的所述回波信号的波形图(例如，如图4中所示意的p2)通过第一卷积神经网络(例如，如图4中所示意的cnn1)以获得波形特征矩阵(例如，如图4中所示意的mf2)；接着，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵(例如，如图4中所示意的m)；然后，将所述激活矩阵和已修正的波形特征矩阵(例如，如图4中所示意的mf3)分别输入第二卷积神经网络(例如，如图4中所示意的cnn2)和第三卷积神经网络(例如，如图4中所示意的cnn3)以获得第一特征图(例如，如图4中所示意的f1)和所述第二特征图(例如，如图4中所示意的f2)；接着，将所述第一特征图和所述第二特征图分别通过分类器(例如，如图4中所示意的分类器)以获得第一分类损失函数值(例如，如图4中所示意的clv1)和第二分类损失函数值(例如，如图4中所示意的clv2)；然后，基于所述预定时间段内的气压值和风速值(例如，如图4中所示意的p3)，分别计算所述第一特征图和所述第二特征图的交叉熵损失函数值(例如，如图4中所示意的lv1、lv2)；接着，基于所述第一分类特征图和所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值(例如，如图4中所示意的l1)和第二损失函数值(例如，如图4中
所示意的l2)；以及，最后，基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行。
[0057]
图5图示了根据本技术实施例的智慧城市下无人机的状态预测方法中推断阶段的架构示意图。如图5所示，在推断阶段中，在该网络结构中，首先，将获取的所述多个时间点的无人机的运动状态数据(例如，如图5中所示意的q1)通过包含嵌入层的基于上下文的编码器(例如，如图5中所示意的e)以获得多个运动特征向量(例如，如图5中所示意的vf1)；接着，将所述多个运动特征向量进行二维排列以获得运动特征矩阵(例如，如图5中所示意的mf1)；然后，将获取的所述回波信号的波形图(例如，如图5中所示意的q2)通过第一卷积神经网络(例如，如图5中所示意的cnn1)以获得波形特征矩阵(例如，如图5中所示意的mf2)；接着，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵(例如，如图5中所示意的m)；以及，最后，将所述激活矩阵通过经训练阶段训练完成的所述第二卷积神经网络(例如，如图5中所示意的cnn)以获得修正后的波形图(例如，如图5中所示意的out)。
[0058]
更具体地，在训练阶段中，在步骤s110、步骤s120和步骤s130中，获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度，并将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量，再将所述多个运动特征向量进行二维排列以获得运动特征矩阵。如前所述，应可以理解，在本技术的技术方案中，当前无人机的运动状态数据与无人机的定位数据存在时间上的响应关系，更具体地，可以理解为一种积分关系，而所述无人机与基站之间的通信会受风向和气压的影响，也就是说，所述基站所接收到的回波信号会受气压和风向的影响。因此，在本技术的技术方案中，期望对所述基站所接收到的回波信号进行修正，以更准确地预测所述无人机的位置。
[0059]
也就是，具体地，在本技术的技术方案中，首先，通过部署于无人机中的运动传感器获取预定时间段内多个时间点的无人机的运动状态数据，这里，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度。接着，将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器中进行编码处理，以获得具有全局性的运动关联信息的多个运动特征向量。然后，再将得到的多个所述运动特征向量进行二维排列，以将所述多个全局性的运动关联信息进行整合，便于后续对其进行处理，从而获得运动特征矩阵。
[0060]
具体地，在本技术实施例中，将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量的过程，包括：首先，使用所述编码器的嵌入层将所述多个时间点的无人机的运动状态数据分别映射到运动输入向量以获得运动输入向量的序列。然后，将所述运动输入向量的序列输入所述编码器的转换器以获得所述多个运动特征向量。
[0061]
更具体地，在训练阶段中，在步骤s140和步骤s150中，获取所述预定时间段内的回波信号的波形图，并将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵。应可以理解，在本技术的技术方案中，为了对所述基站所接收到的回波信号进行修正，还需要通过示波器从基站中获取所述预定时间段内的接收到的回波信号的波形图，并进一
步将所述回波信号的波形图通过第一卷积神经网络中进行处理，以挖掘出所述波形图的局部特征在高维空间中的特征分布表示，从而获得波形特征矩阵。相应地，在一个具体示例中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述波形特征矩阵，其中，所述第一卷积神经网络的输入为所述波形图。
[0062]
更具体地，在训练阶段中，在步骤s160和步骤s170中，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵，并将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图。应可以理解，由于所述无人机与所述基站之间的通信会受风向和气压的影响，也就是，所述基站所接收到的回波信号会受气压和风向的影响，并且考虑到当前所述无人机的运动状态数据与所述无人机的定位数据存在时间上的响应关系，因此，在本技术的技术方案中，期望基于所述激活矩阵来构造波形修正网络以对其进行修正。也就是，具体地，在本技术的技术方案中，在得到所述波形特征矩阵和所述运动特征矩阵后，还需要计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵。相应地，在一个具体示例中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵。然后，将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络中进行处理，以获得第一特征图和所述第二特征图。
[0063]
具体地，在本技术实施例中，将所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图的过程，包括：首先，所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第一特征图，其中，所述第二卷积神经网络的第一层的输入为所述激活矩阵；然后，所述第三卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积处理、池化处理和激活处理以由所述第三卷积神经网络的最后一层输出所述第二特征图，其中，所述第三卷积神经网络的第一层的输入为所述已修正的波形特征矩阵。
[0064]
更具体地，在训练阶段中，在步骤s180和步骤s190中，将所述第一特征图和所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值，并基于所述预定时间段内的气压值和风速值，分别计算所述第一特征图和所述第二特征图的交叉熵损失函数值。也就是，在本技术的技术方案中，进一步将所述第一特征图和所述第二特征图分别通过分类器中进行处理，从而获得所述特征图的分类损失函数值，以便于后续对所述第二卷积神经网络进行训练。
[0065]
特别地，应可以理解，由于所述无人机与所述基站之间的通信会受风向和气压的影响，也就是，所述基站所接收到的回波信号会受气压和风向的影响，因此，在本技术的技术方案中，还需要通过传感器获取所述预定时间段内的气压值和风速值，并基于所述预定时间段内的气压值和风速值，分别计算所述特征图与作为标签值的气压和风向值的交叉熵损失函数值，以便于后续更佳地对所述第二卷积神经网络进行训练。
[0066]
具体地，在本技术实施例中，将所述第一特征图和所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值的过程，包括：首先，所述分类器以如下公式分别对所述第一特征图和所述第二特征图进行处理获得第一分类结果和第二分类
结果，其中，所述公式为：softmax{(wn，bn)：...：(w1,b1)|project(f)},其中project(f)表示将特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。然后，计算所述第一分类结果与第一真实值的交叉熵数值作为所述第一分类损失函数值。最后，计算所述第二分类结果与第二真实值之间的交叉熵数值作为所述第二分类损失函数值。
[0067]
更具体地，在训练阶段中，在步骤s200和步骤s201中，基于所述第一分类特征图和所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值，并基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行。也就是，在本技术的技术方案中，进一步再基于得到的所述分类损失函数值和所述交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值。然后，通过梯度嫁接方式来训练第二卷积神经网络，在一个具体示例中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行。
[0068]
具体地，在本技术实施例中，基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络的过程，包括：基于所述第一损失函数值和所述第二损失函数值并通过梯度嫁接的方式以如下公式来训练所述第二卷积神经网络；
[0069]
其中，所述公式为：
[0070][0071]
其中θi表示第i次迭代的第二卷积神经网络的参数，l1和l2分别是第一损失函数值和第二损失函数值，且ω为超参数。应可以理解，这实质上是同时使用了用于所述激活矩阵的关联参数空间和所述真实样本的高维特征空间中的梯度信息，并通过对两者的嫁接，来现了对所述关联参数空间的直接优化。
[0072]
在训练完成后，进入推断阶段。也就是，将经训练阶段训练完成的所述第二卷积神经网络用于推断阶段中，按照上述方法在得到所述激活矩阵之后，就可以直接使用训练完成的所述第二卷积神经网络从所述激活矩阵中得到修正后的波形图，进而，基于所述修正后的回波信号的波形图来对所述无人机的位置进行准确地预测，以对所述无人机进行准确的波束赋形。
[0073]
具体地，首先，获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度。接着，将所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量。然后，将所述多个运动特征向量进行二维排列以获得运动特征矩阵。接着，获取所述预定时间段内的回波信号的波形图。然后，将所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵。接着，计算所述波形特征矩阵和所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵。最后，将所述激
活矩阵通过经训练阶段训练完成的所述第二卷积神经网络以获得修正后的波形图。
[0074]
综上，基于本技术实施例的智慧城市下无人机的状态预测方法被阐明，其通过基于上下文的编码器对预定时间段内的无人机的运动状态数据进行全局性的高维关联特征提取，并利用卷积神经网络模型对所述预定时间段内的回波信号的波形图进行隐含特征的挖掘，进一步再基于所述激活矩阵构造波形修正网络，也就是，同时使用了所述激活矩阵的关联参数空间和所述真实样本的高维特征空间中的梯度信息，并通过对两者的嫁接，来现了对所述关联参数空间的直接优化。这样，能够在推断过程中获取修正后的波形图，进而也就可以更准确地预测所述无人机的位置，以对所述无人机进行准确的波束赋形。
[0075]
示例性系统
[0076]
图6图示了根据本技术实施例的智慧城市下无人机的状态预测系统的框图。如图6所示，根据本技术实施例的智慧城市下无人机的状态预测系统600，包括：训练模块610和推断模块620。
[0077]
如图6所示，所述训练模块610，包括：运动状态数据获取单元6101，用于获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴方向上的位移、速度和加速度；编码单元6102，用于将所述运动状态数据获取单元6101获得的所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；二维排列单元6103，用于将所述编码单元6102获得的所述多个运动特征向量进行二维排列以获得运动特征矩阵；波形图获取单元6104，用于获取所述预定时间段内的回波信号的波形图；第一卷积单元6105，用于将所述波形图获取单元6106获得的所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；激活矩阵计算单元6106，用于计算所述第一卷积单元6105获得的所述波形特征矩阵和所述二维排列单元6103获得的所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；卷积单元6107，用于将所述激活矩阵计算单元6106获得的所述激活矩阵和已修正的波形特征矩阵分别输入第二卷积神经网络和第三卷积神经网络以获得第一特征图和所述第二特征图；分类损失函数值计算单元6108，用于将所述卷积单元6107获得的所述第一特征图和所述卷积单元6107获得的所述第二特征图分别通过分类器以获得第一分类损失函数值和第二分类损失函数值；交叉熵损失函数值计算单元6109，用于基于所述预定时间段内的气压值和风速值，分别计算所述卷积单元6107获得的所述第一特征图和所述卷积单元6107获得的所述第二特征图的交叉熵损失函数值；损失函数值计算单元6110，用于基于所述分类损失函数值计算单元6108获得的所述第一分类特征图和所述分类损失函数值计算单元6108获得的所述第二分类特征图的分类损失函数值和交叉熵损失函数值来计算所述第一分类特征图和所述第二分类特征图的第一损失函数值和第二损失函数值；训练单元6111，用于基于所述损失函数值计算单元6110获得的所述第一损失函数值和所述损失函数值计算单元6110获得的所述第二损失函数值并通过梯度嫁接的方式来训练所述第二卷积神经网络，其中，所述梯度嫁接的方式基于所述第一损失函数值相对于所述第二损失函数值的偏导和所述第二损失函数值相对于所述第二卷积神经网络的参数的偏导的乘积来进行；以及
[0078]
如图6所示，所述推断模块620，包括：推断数据获取单元621，用于获取预定时间段内多个时间点的无人机的运动状态数据，所述运动状态数据包括沿x轴方向、y轴方向和z轴
方向上的位移、速度和加速度；运动特征向量生成单元622，用于将所述推断数据获取单元621获得的所述多个时间点的无人机的运动状态数据通过包含嵌入层的基于上下文的编码器以获得多个运动特征向量；运动特征矩阵构造单元623，用于将所述运动特征向量生成单元622获得的所述多个运动特征向量进行二维排列以获得运动特征矩阵；推断波形图获取单元624，用于获取所述预定时间段内的回波信号的波形图；波形特征矩阵生成单元625，用于将所述推断波形图获取单元624获得的所述回波信号的波形图通过第一卷积神经网络以获得波形特征矩阵；激活矩阵生成单元626，用于计算所述波形特征矩阵生成单元625获得的所述波形特征矩阵和所述运动特征矩阵构造单元623获得的所述运动特征矩阵之间的激活矩阵，其中，所述激活矩阵乘以所述波形特征矩阵等于所述运动特征矩阵；以及，修正单元627，用于将所述激活矩阵生成单元626获得的所述激活矩阵通过经训练阶段训练完成的所述第二卷积神经网络以获得修正后的波形图。
[0079]
这里，本领域技术人员可以理解，上述智慧城市下无人机的状态预测系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的智慧城市下无人机的状态预测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
[0080]
如上所述，根据本技术实施例的智慧城市下无人机的状态预测系统600可以实现在各种终端设备中，例如智慧城市下无人机的状态预测算法的服务器等。在一个示例中，根据本技术实施例的智慧城市下无人机的状态预测系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智慧城市下无人机的状态预测系统600可以是该终端设备的操作装置中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智慧城市下无人机的状态预测系统600同样可以是该终端设备的众多硬件模块之一。
[0081]
替换地，在另一示例中，该智慧城市下无人机的状态预测系统600与该终端设备也可以是分立的设备，并且该智慧城市下无人机的状态预测系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0082]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0083]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0084]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0085]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在
此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0086]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。