一种基于卷积神经网络的景象匹配导航方法及装置与流程

1.本发明涉及导航技术领域，特别涉及一种基于卷积神经网络的景象匹配导航方法及装置。


背景技术：

2.随着图像传感器、图像处理算法的日趋成熟，以及机载高速计算终端、大容量存储器的广泛应用，视觉匹配导航技术作为一类辅助导航系统受到了人们的广泛关注，并且在无人机领域有着广泛的应用。景象匹配技术通过引入视觉定位信息，为主动导航系统提供位置修正，进而辅助无人机实现高精度、高鲁棒性的自主定位功能。在景象匹配系统中，定位算法要求机载终端预存带有地理位置信息的基准地图，无人机进入目标区域后，通过其所携带的图像传感器对于当地图像信息进行实时的获取；此后，无人内部的处理器通过相应的匹配算法处理采集到的实时图像，将实时图像与事先预存好的基准图像进行相关的匹配比较，从而在基准地图中找出当前拍摄的实时图的具体位置。
3.尽管视觉匹配导航问题已经得到了较长时间的研究与发展，也出现了很多不同的解决方案，但仍然需要更具有稳定性与鲁棒性的视觉导航系统。当前对于视觉匹配导航算法研究的着眼点主要是克服匹配图像对两者之间的差异。围绕具有光照不变性的相位相关(phase correlation)方法展开定位研究，并进行了全天候的定位实飞测试，证明其算法对于光照变化具有优秀的鲁棒性。但该方法并未考虑更大时间变化尺度上的地理元素的变化，而只是简单地对于光照变化进行了考虑。面对异源图像之间的匹配问题以及可能存在的各种干扰因素，传统算法的鲁棒性仍然需要得到进一步的提高，研究者们也旨在提出对环境变化更具稳定性的视觉匹配定位算法，解决异源图像之间由于传感器差异、季节差异、光照差异以及图像分辨率差异等诸多因素所导致的定位失准问题。
4.近些年来，深度学习在计算机视觉领域取得了令人瞩目的进展，越来越多与视觉有关的问题都从深度学习的角度得到了一定程度的解决，而深度学习方法中，卷积神经网络又是诸多计算机视觉相关的问题最为有效的解决方法，基于卷积神经网络而发展演变而来的各种网络架构在计算机视觉任务中有着广泛的应用。通过u-net网络提取航拍图像中的建筑语义信息辅助进行景象匹配工作，将深度学习使用在了视觉导航系统之中，但是这种方法无法适用于建筑信息较少的乡村环境，局限性较大。如何更好地将深度学习技术与无人机视觉匹配系统相结合，仍然需要更多的探索与解决方案。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明的一个目的在于提出一种基于卷积神经网络的景象匹配导航方法，本发明使用了相对定位与绝对定位相结合的整体框架，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，采用了一种逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计。本发明
是一套结合深度学习方法的视觉导航方法，并且在多种类型的飞行数据上进行了测试，验证了本发明的可行性以及稳定性，具有良好的工程应用价值。
7.本发明的另一个目的在于提出一种基于卷积神经网络的景象匹配导航装置。
8.为达到上述目的，本发明一方面提出了基于卷积神经网络的景象匹配导航方法，包括以下步骤：s1，在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机单元提前部署好训练完成的卷积网络模型；s2，基于无人机系统对定位系统进行初始化，通过定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；s3，基于视觉匹配导航过程，算法输入端从俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；s4，基于单应矩阵，从基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；s5，将基准子图与实时航拍图象进行匹配对准，引入基准地图的绝对定位信息优化绝对定位结果，以得到最终定位结果；s6，保存实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接进行s3，循环进行图像序列的定位任务。
9.本发明实施例的基于卷积神经网络的视觉匹配导航方法，研究内容主要着眼于更具有稳定性与鲁棒性的视觉定位算法研究。本发明使用了相对定位与绝对定位相结合的整体框架，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，采用了一种逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计。本发明是一套结合深度学习方法的视觉导航方法，并且在多种类型的飞行数据上进行了测试，验证了本发明的可行性以及稳定性，具有良好的工程应用价值。
10.另外，根据本发明上述实施例的基于卷积神经网络的景象匹配导航方法还可以具有以下附加的技术特征：
11.进一步地，在本发明的一个实施例中，所述s3，包括：
12.s3.1，当t为初始时刻，根据系统输入，获取实时航拍图像i
t
所对应的绝对定位信息，将初始航拍图像作为图像序列定位的迭代初始，进入下一帧的定位过程中提供相对定位约束；
13.s3.2，当t不为初始时刻，i
t
为中间某一时刻的无人机实时航拍图，在相对定位过程中，通过计算i
t
与上一帧实时航拍图i
t-1
之间的相对位姿变化，得到相对单应矩阵结果计算公式为：
[0014][0015]
完全展开得到如下形式：
[0016][0017]
其中，根据图像帧间位置递推得到的相对单应矩阵结合上一帧实时航拍图正
确的绝对位姿信息得到表示当前实时帧图像绝对位姿信息的单应矩阵储存当前绝对单应矩阵用于当前帧后续定位过程使用。
[0018]
进一步地，在本发明的一个实施例中，所述s5，包括：
[0019]
s5.1，采用经过训练之后的vgg16卷积神经网络作为图像对特征提取器，在预先的训练过程中，选择不同时间、季节的城区、郊区的遥感图像，构成待匹配图像对，以模拟实际匹配过程中所面临的季节、光照以及建筑物变化。
[0020]
进一步地，在本发明的一个实施例中，所述s5，还包括：
[0021]
s5.2，基于所述s5.1中神经网络提取得到的图像特征，设计对于卷积网络特征图的直接法匹配方式，优化目标如下所示：
[0022][0023]
其中，求和符中x∈ω的含义是所选取的特征点对象x属于某一个点集ω，点集的区域代表通过卷积网络提取得到的深度特征图的每个像素位置，fi(x)代表的是实时图i上的x点处的特征，fm(w(x；p))代表的是基准图m上的位置为w(x；p)的特征，w(x；p)函数代表的是图像变换操作，自变量为目标变换坐标x，函数中的变换参数为p，w(x；p)为进行变换之后的结果，通过变换参数p的选取，优化目标e(p)达到阈值，变换参数p为基准地图m与实时航拍图i之间变换的单应矩阵h变换为向量的形式；
[0024]
对于图像变换参数p使用泰勒展开的方式进行迭代求解，得到第一变换参数，所述第一变换参数为与基准卫星地图对准之后得到绝对单应矩阵
[0025]
进一步地，在本发明的一个实施例中，所述s5，还包括：
[0026]
s5.3，基于所述绝对单应矩阵返回算法初始状态，在基准图中提取相应区域的基准子图，进入所述s4提取基准子图并进行特征提取以及直接法对准，以细化所述绝对单应矩阵作为最终当前无人机航拍图位置的定位输出。
[0027]
为达到上述目的，本发明另一方面提出了一种基于卷积神经网络的景象匹配导航装置，匹配模块，用于在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机单元提前部署好训练完成的卷积网络模型；定位模块，用于基于无人机系统对定位系统进行初始化，通过定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；读取模块，用于基于视觉匹配导航过程，算法输入端从俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；提取模块，用于基于单应矩阵，从基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；对准模块，用于将基准子图与实时航拍图象进行匹配对准，引入基准地图的绝对定位信息优化绝对定位结果，以得到最终定位结果；保存模块，用于保存实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接执行读取模块，循环进行图像序列的定位任务。
[0028]
本发明实施例的基于卷积神经网络的景象匹配导航装置，研究内容主要着眼于更具有稳定性与鲁棒性的视觉定位算法研究。本发明使用了相对定位与绝对定位相结合的整体框架，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，采用了一种逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计。本发明在多种类型的飞行数据上进行了测试，验证了本发明的可行性以及稳定性，具有良好的工程应用价值。
[0029]
本发明的特点及有益效果在于：
[0030]
本发明完成了一种视觉匹配导航系统，能够适用于多类型的飞行环境，并且对于存在差异的视觉采集结果有着比较强的鲁棒性。通过结合航拍实时图特征点追踪得到的相对定位信息，以及由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，进行综合的定位过程，在保证良好的定位精度的同时极大程度上提高了系统的鲁棒性，有效解决了传统视觉匹配导航算法适用范围窄的问题。本发明主要用于无人机对象的辅助定位任务，能够在gps信息无法获取的情况下给出一定精度的绝对定位信息，并通过与视觉、imu等相对导航设备相结合，组合构成一套具有较强定位可信度的机载自主导航系统。本发明同时还兼具了三点优势：无需复杂的基准图制备过程，仅需使用网络上开放获取的卫星地图资源；系统传感器实现仅需单目相机，没有复杂的设备要求；对于各种飞行环境均有着很好的适应性。以上优势使得本发明可以比较方便地在无人机系统上进行部署，所需成本也较为低廉。
[0031]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0032]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0033]
图1为根据本发明实施例的基于卷积神经网络的景象匹配导航方法流程图；
[0034]
图2为根据本发明实施例的基于卷积神经网络的景象匹配导航方法的整体示意图；
[0035]
图3为根据本发明实施例的对测试飞行数据的定位结果在地图上的展示示意图；
[0036]
图4为本发明实施例中用作网络训练的实时图-基准图图像匹配对数据展示示意图；
[0037]
图5为本发明实施例中使用vgg16提取图像特征进行变换参数解算的流程图；
[0038]
图6为本发明实施例中进行从粗到细的定位结果优化策略的流程图；
[0039]
图7为根据本发明实施例的基于卷积神经网络的景象匹配导航装置结构示意图。
具体实施方式
[0040]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0041]
下面参照附图描述根据本发明实施例提出的基于卷积神经网络的景象匹配导航
方法及装置，首先将参照附图描述根据本发明实施例提出的基于卷积神经网络的景象匹配导航方法。
[0042]
本发明在于利用卷积神经网络提取图片深度特征进行图像对准，以得到绝对定位信息，并且使用从粗到细的方式进行定位结果的优化，使用了相对定位与绝对定位相结合的整体框架，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，采用了一种逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计，整体的流程示意图如图2所示。
[0043]
图1是本发明一个实施例的基于卷积神经网络的景象匹配导航方法流程图。
[0044]
如图1所示，该基于卷积神经网络的景象匹配导航方法包括以下步骤：
[0045]
s1，在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机单元提前部署好训练完成的卷积网络模型。
[0046]
可以理解的是，本发明搭建适配本方法的无人机飞行系统，除搭载常用的各种传感器之外，该方法需要目标无人机上搭载好俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机上提前部署好训练完成的卷积网络模型。
[0047]
s2，基于无人机系统对定位系统进行初始化，通过定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程。
[0048]
具体的，开展视觉匹配导航任务之前，需进行定位系统的初始化工作。初始化算法通过当前机载的gps以及高度计等传感器信息得到当前无人机系统的飞行位置、飞行航向以及飞行高度，通过这三个初始数据提取得到首次进行视觉匹配的目标图像区域，进而开始视觉匹配导航过程。初始化步骤之后，本方法的工作流程中仅依靠俯视相机获取定位信息，不再依靠gps以及高度计等传感器的外界信息辅助。
[0049]
s3，基于视觉匹配导航过程，算法输入端从俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果。
[0050]
具体的，视觉匹配导航过程开始，算法输入端从无人机系统搭载的俯视相机读取得到当前t时刻无人机的实时航拍图像i
t
；
[0051]
s3.1，当t为初始时刻，根据系统输入，可以获取实时航拍图像i
t
所对应的绝对定位信息。从视觉匹配的角度，可认为其相对于基准地图m的绝对单应矩阵已知。该初始航拍图像作为图像序列定位的迭代初始，进入下一帧的定位过程中提供相对定位约束；
[0052]
s3.2，当t不为初始时刻，i
t
即为中间某一时刻的无人机实时航拍图，在相对定位过程中，通过计算i
t
与上一帧实时航拍图i
t-1
之间的相对位姿变化(该方法使用常见的sift ransac算法)，得到相对单应矩阵结果根据图像单应矩阵变换的可传递性有着以下的单应矩阵计算公式：
[0053][0054]
完全展开得到如下形式：
[0055][0056]
其中式(1)描述了该图像递推步骤的原理，根据图像帧间位置递推得到的相对单应矩阵结合上一帧实时航拍图正确的绝对位姿信息(这一绝对单应矩阵来源于图像序列的迭代求解过程)，可以得到一个表示当前实时帧图像绝对位姿信息的单应矩阵储存当前绝对单应矩阵用于当前帧后续进一步定位过程使用；
[0057]
s4，基于单应矩阵，从基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对。
[0058]
可以理解的是，由于s3中计算得到绝对单应矩阵本s4步骤相当于已知当前无人机的绝对位置信息。然而基于帧间图像匹配的跟踪过程可能由于无人机飞行速度过快，当前飞行区域纹理结构特征较少等原因导致相对定位信息漂移，因此对于s3中得到的定位结果可以认为是粗略的定位结果。根据此粗略的绝对单应矩阵从大范围基准地图m中提取与当前无人机飞行区域比较接近的基准图子图构成实时图-基准子图图像对，该步骤中提取得到的基准子图与实时航拍图i
t
所表示的真实地理区域是基本保持一致的。
[0059]
s5，将基准子图与实时航拍图象进行匹配对准，引入基准地图的绝对定位信息优化绝对定位结果，以得到最终定位结果。
[0060]
作为一种示例，本发明用作网络训练的实时图-基准图图像匹配对数据展示，如图4所示。
[0061]
具体的，将包含有基准地图精确定位信息的基准子图与当前实时航拍图i
t
进行匹配对准工作，引入基准地图的绝对定位信息，进而优化此前通过航拍图帧间图像跟踪递推得到的绝对定位结果，该步骤分为以下三部分进行：
[0062]
s5.1，为克服无人机拍摄得到的实时图与卫星基准地图之间存在的差异，本方法采用经过训练之后的vgg16卷积神经网络作为图像对特征提取器，目的是提取得到图像对之间更为鲁棒的图像特征。本发明使用vgg16提取图像特征进行变换参数解算的流程图，如图5所示，在预先的训练过程中，选择不同时间、季节的城区、郊区的遥感图像，构成待匹配图像对，以模拟实际匹配过程中所面临的季节、光照以及建筑物变化。通过这些带有差异因素的数据的训练，该方法所使用的卷积网络能够对于待匹配图像对实现稳定的特征提取工作，从而克服图像对之间所存在的差异，便于后续图像对准任务的开展；
[0063]
s5.2，基于步骤s5.1中神经网络提取得到的图像特征，设计对于卷积网络特征图的直接法匹配方式。该部分算法设计借鉴传统图像对准中逐像素对比的lk(lucas-kanade)算法，有着如式(3)所示的优化目标：
[0064][0065]
其中式(3)求和符中x∈ω的含义是所选取的特征点对象x属于某一个点集ω，此处的区域代表的就是整个图像区域，即通过卷积网络提取得到的深度特征图的每个像素位置，fi(x)代表的是实时图i上的x点处的特征，fm(w(x；p))代表的是基准图m上的位置为w(x；
p)的特征，这里所述两者的特征代表的是通过vgg16网络提取得到的深度特征。w(x；p)函数代表的是图像变换操作，其自变量为目标变换坐标x，函数中的变换参数为p，w(x；p)为进行变换之后的结果。通过变换参数p的选取，使得此处优化目标e(p)达到最小。变换参数p即此前所述的基准地图m与实时航拍图i之间变换的单应矩阵h，p参数相当于将矩阵h变换为向量的形式，便于优化问题中参数的解算与后续求导工作。该方法中对于图像变换参数p使用了泰勒展开的方式进行了迭代求解，最终得到最符合要求的变换参数，即与基准卫星地图对准之后得到的绝对单应矩阵
[0066]
s5.3，从s5.2中得到的绝对单应矩阵相较于s3)得到的绝对单应阵由于引入了基准地图的绝对定位信息，因此在定位精度上有着一定的提升。为了进一步提高定位精度，本步骤包含从粗到细的匹配方法，即：图像对准算法得到的更精准的定位结果会返回算法初始步骤，再一次在基准图中提取相应区域的基准子图，即进入步骤s4提取由此前的算法说明可以得知，此时提取得到的基准子图与实时图所表示的地理区域会更加的一致。与此前相同，再次进行特征提取以及直接法对准的步骤，以细化最后的绝对单应矩阵，作为最终当前无人机航拍图位置的定位输出。该步骤可重复多次进行，以得到最优的定位结果，具体循环次数可根据飞行区域匹配任务难易进行灵活调整。
[0067]
s6，保存实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接进行s3，循环进行图像序列的定位任务。
[0068]
可以理解的是，本步骤是保存当前实时航拍图像及其最终定位结果，作为下次定位的相对定位约束信息，并且等待下一个需要进行视觉定位的航拍图像输入，得到输入航拍图像之后直接进行s3的操作，循环进行图像序列的定位任务。
[0069]
下面结合附图和具体实施例，对本发明进行详细阐述说明。
[0070]
本发明实施例部署在台式计算机上，处理器intel core i7-9700k，处理主频3.6ghz，配置了8g的运行内存，并且配备有rtx2070作为深度学习平台。发明代码部分的实现基于python语言，并使用pytorch作为深度学习框架。
[0071]
为了模拟在真实无人机飞行环境中的定位过程，本实施例将无人机在飞行过程中采集得到的图片保存在文件夹中，在验证时对于文件夹中的图像依次进行处理，以模拟真实情况下连续采集的过程。本实施例选用了由sensefly公司提供的一个免费数据集，其无人机于瑞士的一个村庄上空进行了飞行实验，并且于200m高度采集了13张航拍图像，该航段共持续0.85km，每张航拍图之间间隔稳定为50m。在测试过程中，算法单次求解所用时间稳定在500ms以内，系统使用的从粗到细的匹配框架进行了两次的重复求解，已获得更精确地定位结果，因此单次定位结果的输出约耗时1s，满足视觉匹配辅助导航系统的实时性要求。本实施例中使用的基准地图为当地卫星影像，采集时间较航拍图有一年时长的时间间隔。本实施例的测试结果如图3所示。图中展示了三种颜色的路标点，其中图3子图，(1)中的绿色点代表无人机获取图像时的由差分gps给出的真实位置；红色点代表优化前仅仅使用图像帧间跟踪所估计的定位结果，即基准子图的提取位置；蓝色点代表优化后位姿结果，即使用实时图与基准图之间的配准信息对于此前估计的粗略定位结果进行优化后的位置。可以在图3子图，(1)中发现，蓝色点相较于红色点更加靠近于真实位置，这也说明了实时图与
基准图之间的配准步骤对于图像定位结果的优化作用。图3子图，(2)、(3)是具体求解过程的展示，这里选取的是飞行航拍图像序列中的第5幅以及第9幅图像，第一行展现的是使用初始绝对位姿提取出的粗略的基准子图，第三行展示的是当前飞行采集集到的实时图像，通过第一行图像与第三行图像的配准，获得更加细化的定位信息；最后经过深度学习配准之后的真实基准图展示在第二行，其与第三行的实时图更加接近，也证明了对准算法的在实际过程中的作用。数据集共17个定位点，算法定位结果的平均误差为18.48m，并且能够保证稳定的位置信息跟踪过程。
[0072]
作为一种示例，本发明在于利用卷积神经网络提取图片深度特征进行图像对准，以得到绝对定位信息，并且使用从粗到细的方式进行定位结果的优化，如图6所示，图6是本发明方法中进行从粗到细的定位结果优化策略的流程图。
[0073]
根据本发明实施例的基于卷积神经网络的视觉匹配导航方法，研究内容主要着眼于更具有稳定性与鲁棒性的视觉定位算法研究。本发明使用了相对定位与绝对定位相结合的整体框架，首先通过航拍实时图特征点追踪得到相对定位信息，然后由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，采用了一种逐层细化的定位策略进行优化，完成了整个视觉匹配导航算法的设计。本发明是一套结合深度学习方法的视觉导航方法，并且在多种类型的飞行数据上进行了测试，验证了本发明的可行性以及稳定性，具有良好的工程应用价值。
[0074]
其次参照附图描述根据本发明实施例提出的基于卷积神经网络的景象匹配导航装置。
[0075]
图7是本发明一个实施例的基于卷积神经网络的景象匹配导航装置结构示意图。
[0076]
如图7所示，该基于卷积神经网络的景象匹配导航装置10包括：匹配模块100、定位模块200、读取模块300、提取模块400、对准模块500和保存模块600。
[0077]
匹配模块100，用于在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机单元提前部署好训练完成的卷积网络模型；
[0078]
定位模块200，用于基于无人机系统对定位系统进行初始化，通过定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；
[0079]
读取模块300，用于基于视觉匹配导航过程，算法输入端从俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；
[0080]
提取模块400，用于基于单应矩阵，从基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；
[0081]
对准模块500，用于将基准子图与实时航拍图象进行匹配对准，引入基准地图的绝对定位信息优化绝对定位结果，以得到最终定位结果；
[0082]
保存模块600，用于保存实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接执行读取模块，循环进行图像序列的定位任务。
[0083]
进一步地，上述读取模块300，包括：
[0084]
第一读取子模块，用于当t为初始时刻，根据系统输入，获取实时航拍图像i
t
所对应的绝对定位信息，将初始航拍图像作为图像序列定位的迭代初始，进入下一帧的定位过程中提供相对定位约束；
[0085]
第二读取子模块，用于当t不为初始时刻，i
t
为中间某一时刻的无人机实时航拍图，在相对定位过程中，通过计算i
t
与上一帧实时航拍图i
t-1
之间的相对位姿变化，得到相对单应矩阵结果计算公式为：
[0086][0087]
完全展开得到如下形式：
[0088][0089]
其中，根据图像帧间位置递推得到的相对单应矩阵结合上一帧实时航拍图正确的绝对位姿信息得到表示当前实时帧图像绝对位姿信息的单应矩阵储存当前绝对单应矩阵用于当前帧后续定位过程使用。
[0090]
进一步地，上述对准模块500，包括：
[0091]
模拟模块，用于采用经过训练之后的vgg16卷积神经网络作为图像对特征提取器，在预先的训练过程中，选择不同时间、季节的城区、郊区的遥感图像，构成待匹配图像对，以模拟实际匹配过程中所面临的季节、光照以及建筑物变化。
[0092]
进一步地，上述对准模块500，还包括：
[0093]
优化模块，用于基于模拟模块中神经网络提取得到的图像特征，设计对于卷积网络特征图的直接法匹配方式，优化目标如下所示：
[0094][0095]
其中，求和符中x∈ω的含义是所选取的特征点对象x属于某一个点集ω，点集的区域代表通过卷积网络提取得到的深度特征图的每个像素位置，fi(x)代表的是实时图i上的x点处的特征，fm(w(x；p))代表的是基准图m上的位置为w(x；p)的特征，w(x；p)函数代表的是图像变换操作，自变量为目标变换坐标x，函数中的变换参数为p，w(x；p)为进行变换之后的结果，通过变换参数p的选取，优化目标e(p)达到阈值，变换参数p为基准地图m与实时航拍图i之间变换的单应矩阵h变换为向量的形式；
[0096]
对于图像变换参数p使用泰勒展开的方式进行迭代求解，得到第一变换参数，第一变换参数为与基准卫星地图对准之后得到绝对单应矩阵
[0097]
进一步地，上述对准模块500，还包括：
[0098]
循环模块，用于基于绝对单应矩阵返回算法初始状态，在基准图中提取相应区域的基准子图，进入提取模块以提取基准子图并进行特征提取以及直接法对准，以细化绝对单应矩阵作为最终当前无人机航拍图位置的定位输出。
[0099]
根据本发明实施例提出的基于卷积神经网络的景象匹配导航装置，通过匹配模块，用于在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单
元，储存带有目标飞行区域真实地理信息的基准地图，并且于机载计算机单元提前部署好训练完成的卷积网络模型；定位模块，用于基于无人机系统对定位系统进行初始化，通过定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；读取模块，用于基于视觉匹配导航过程，算法输入端从俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；提取模块，用于基于单应矩阵，从基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；对准模块，用于将基准子图与实时航拍图象进行匹配对准，引入基准地图的绝对定位信息优化绝对定位结果，以得到最终定位结果；保存模块，用于保存实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接执行读取模块，循环进行图像序列的定位任务。本发明通过结合航拍实时图特征点追踪得到的相对定位信息，以及由卷积网络提取图片深度特征进行图像对准得到的绝对定位信息，进行综合的定位过程，在保证良好的定位精度的同时极大程度上提高了系统的鲁棒性，有效解决了传统视觉匹配导航算法适用范围窄的问题。
[0100]
需要说明的是，前述对基于卷积神经网络的景象匹配导航方法实施例的解释说明也适用于该装置，此处不再赘述。
[0101]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0102]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0103]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0105]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例
性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。