面向飞行器视觉导航的跨视角图像匹配网络训练方法

摘要: 本技术涉及飞行器导航,特别是涉及一种面向飞行器视觉导航的跨视角图像匹配网络训练方法。背景技术:1、飞行器视觉导航技术主要通过飞行平台搭载的视觉传感器(可见光、红...
面向飞行器视觉导航的跨视角图像匹配网络训练方法

本技术涉及飞行器导航,特别是涉及一种面向飞行器视觉导航的跨视角图像匹配网络训练方法。

背景技术:

1、飞行器视觉导航技术主要通过飞行平台搭载的视觉传感器(可见光、红外等)对地成像并结合含有地理位置信息的基准图以及图像匹配算法实现飞行器位姿等导航参数的估计,相比于卫星导航和惯性导航,视觉导航具有高精度、无漂移以及抗电磁扰乱等优势。

2、现有视觉导航技术可以分为相对视觉导航和绝对视觉导航两类,相对视觉导航方法通过对同一序列、不同视角下的无人机图像进行匹配,并结合多视图几何模型估计飞行器当前时刻相对前一时刻的位姿,主要包括视觉里程计与即时定位与地图构建等方法。绝对视觉导航方法利用飞行器拍摄的实时图与带有地理坐标信息的基准图进行匹配,再根据基准图信息(地理信息及三维信息)和成像模型求解飞行器在地理空间内的绝对位姿。上述两种导航方式各有优缺点,相对视觉导航方法在无人机图像帧间视角变化较少时可以获得高精度的图像匹配及位姿估计结果,但其存在误差累积问题。绝对视觉导航方法可以获取飞行器的绝对位姿,不存在误差累积问题,但对于存在显著视角差异的飞行器实时图和正射基准图的匹配精度和鲁棒性不足。近年来,有许多研究将相对视觉导航和绝对视觉导航方法融合到统一的视觉导航框架中,有效结合了两种导航方式的优势。

3、对于存在显著视角差异的图像对,手工设计的图像匹配方法,比如sift、surf、orb等难以实现鲁棒匹配;近年来基于深度学习的图像匹配模型在跨视角图像匹配问题上取得了系列进展,以lightglue、loftr、roma等为代表的深度学习模型对视角差异具有一定的鲁棒性,但仍无法满足高精度视觉导航的需求。大规模、高精度的真值数据是跨视角图像匹配网络训练与测试基础,然而,数据样本收集和标注的高昂成本一直是限制现有数据集多样性和有效性的难题。在已有工作中,wxbs数据集采用了人工标注的手段,但是由于人工标记的高昂成本,该数据集的仅有37对图像,难以支撑大规模训练。megadepth数据集和air-to-ground数据集利用互联网开源图像和基于sfm的colmap软件进行自动化的三维重建,以生成训练和测试所需的匹配点对。这种方法显著扩大了数据规模并丰富了场景内容,但其图像数据多为街景和低空航拍图像,不包含正射基准图,与飞行器视觉导航任务有较大差异。有人提出了一种基于视频帧间匹配并逐帧传递匹配关系来构建大规模匹配数据集的策略,该研究利用大量视频序列进行网络训练,结果表明随着视频时长(训练样本)的不断增加,模型匹配性能逐步提升。这种训练策略虽然可以对跨视角图像建立匹配点对关系,但是其输入受限为同一视频序列的数据。对于没有视场重叠的图像,一种生成大规模高精度真值数据的方式是通过对单帧图像进行已知的几何变换进而获得另一视角下的仿真图像,但由于基于二维图像的几何变换无法模拟立体目标在不同视角下的成像差异,该方法具有局限性。mimima框架通过跨模态图像风格迁移技术,可将可见光图像转换为目标模态图像,从而构建出几何结构严格对齐但模态特征各异的训练图像对。该方法缓解了视觉导航任务中跨模态数据样本不足的问题,但仍然无法模拟立体目标在不同空间视角下的外观与几何形变。

4、综上所述,虽然目前已有许多数据集和训练框架可以用于跨视角图像匹配网络的训练,但仍存在一些典型问题,现有数据集难以有效支撑绝对视觉导航相关网络训练,网络在复杂真实环境下泛化能力差,并且监督信号单一,无法满足需多模态监督信号的先进匹配网络,最终制约了跨视角图像匹配精度与飞行器视觉导航可靠性的提升。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种面向飞行器视觉导航任务的,能够自动生成高精度、多模态监督信号的跨视角图像匹配网络训练框架。

2、一种面向飞行器视觉导航的跨视角图像匹配网络训练方法,所述方法包括:

3、利用飞行器航拍获取目标区域的多视角序列图像,基于三维重建算法对多视角序列图像进行处理,生成目标区域的三维模型;

4、对三维模型进行正射投影与地理编码处理,生成带有绝对地理坐标信息的正射基准图和数字地表高程模型;

5、利用三维模型渲染原始飞行器实时图序列中不存在的新视角无人机图像,并同步生成新视角无人机图像对应的位姿和深度图;

6、基于正射基准图、新视角无人机图像及其位姿和深度图,结合原始飞行器航拍的多视角序列图像构建用于监督跨视角图像匹配网络训练的视觉导航数据集;

7、以视觉导航数据集中的图像对为输入,根据跨视角图像匹配网络的结构特点,从视觉导航数据集中的匹配点对关系以及其他物理几何信息中选择部分信息作为网络输出,对跨视角图像匹配网络进行训练和测试,且在训练过程中采用数据增强策略;

8、将训练完成的跨视角图像匹配网络应用于飞行器视觉导航,以飞行器实时图和正射基准图为输入,或以多视角无人机图像对为输入,利用训练好的跨视角图像匹配网络估计输入图像之间的匹配点对,结合摄影测量模型求解无人机的绝对位姿或相对位姿。

9、上述面向飞行器视觉导航的跨视角图像匹配网络训练方法,首先以飞行器航拍的目标区域多视角序列图像为基础,采用三维重建算法生成精准立体结构的三维模型,为后续数据生成提供物理真实基础,规避传统二维图像变换无法模拟立体目标视角形变的缺陷。基于该模型,一方面经正射投影与地理编码,输出带绝对地理坐标的正射基准图和dsm,填补现有数据集缺乏导航专用基准图的空白,让训练数据适配实时图与基准图匹配的绝对视觉导航任务;另一方面渲染原始序列中不存在的新视角无人机图像,并同步生成对应位姿与深度图,结合多场景航拍数据,覆盖不同飞行高度、观测视角,解决现有数据集视角多样性不足问题。通过结合正射基准图、新视角图像及原始航拍图,构建含三类监督信息的视觉导航数据集:通过相近视角匹配与多视交会传递,获取视场重叠无人机图像匹配点对、无人机图像与正射基准图跨视角匹配点对,确保真值精度;同时提供相机内参、位姿、深度图、dsm 等物理几何信息。不仅实现无人机图像-正射基准图匹配真值自动化生成,破解人工标注规模有限难题,还能为需多模态监督的网络提供支撑,突破传统数据集监督维度单一局限。网络训练过程中,框架以数据集中图像对为输入,依网络结构灵活选择监督信号,搭配随机裁剪、几何变换等数据增强策略提升泛化能力。训练完成的网络可用于两种导航模式:绝对导航模式下,以实时图与正射基准图为输入,通过匹配点对结合 pnp 算法求解绝对位姿,避免误差累积;相对导航模式下,以多视角无人机图像为输入,恢复相对位姿并增量积分,兼顾精度与连续性。框架还可独立使用或与 megadepth 等现有数据集结合,扩展场景适配能力。本技术通过三维重建、正射投影与新视角渲染技术构建与真实视觉导航任务高度一致的训练数据集,利用匹配点对关系与物理几何信息的联合监督,解决现有训练数据集和训练方法在任务针对性不足,真值数据不足以及辅助信息缺失等方面的局限性,提升跨视角匹配精度,为复杂环境下飞行器视觉导航提供支撑,适用于无人机、深空探测飞行器等多种平台,具有显著工程价值与经济效益。