飞行器位置的确定方法、装置和飞行器与流程

摘要: 本技术涉及飞行器控制领域,具体而言,涉及一种飞行器位置的确定方法、装置和飞行器。背景技术:1、在无人飞行平台的运行过程中,平台飞控以及机上的其他设备都需要平台真...
飞行器位置的确定方法、装置和飞行器与流程

本技术涉及飞行器控制领域,具体而言,涉及一种飞行器位置的确定方法、装置和飞行器。

背景技术:

1、在无人飞行平台的运行过程中,平台飞控以及机上的其他设备都需要平台真实的位置信息,来完成平台的导航、任务、起降或者规避障碍等功能。飞行平台位置信息的实时性以及准确性至关重要,通常采用卫星导航(global navigation satellite system,简称为gnss)与惯性测量单元(inertial measurement unit,简称为imu)组合的方式提供航姿和位置信息,其中gnss作为核心定位手段,能够校正imu随时间积分产生的漂移误差。

2、然而,在飞行平台运行过程中,由于遮挡、电磁干扰、电子诱骗或者设备故障等因素,gnss信号极易受到干扰甚至完全失效。在这种情况下,飞行器需要依赖机载传感器进行自主定位以维持飞行安全,现有自主定位技术通常仅依赖单一类型的传感器进行图像匹配,进而确定飞行器的位置。然而,单一传感器方案的鲁棒性较差,一旦环境条件超出该传感器的最佳工作区间,即无法实现对飞行器的高精度定位。

3、综上,相关技术中存在gnss发生故障的情况下,仅通过单一传感器进行图像匹配,无法实现对飞行器的高精度定位的问题。

4、针对上述问题,目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种飞行器位置的确定方法、装置和飞行器,以至少解决相关技术中,在gnss发生故障的情况下,仅通过单一传感器进行图像匹配,无法实现对飞行器的高精度定位的问题。

2、根据本技术实施例的一个实施例,提供了一种飞行器位置的确定方法,包括:在飞行器的卫星导航系统发生故障的情况下,暂停执行预设任务;控制多模态成像云台从初始角度旋转至预设角度,并在所述多模态成像云台旋转至所述预设角度的全过程中,获取所述多模态成像云台拍摄的可见光图像和红外光图像,其中,所述多模态成像云台上搭建有:至少一个红外光摄像头和可见光摄像头,所述初始角度为在所述飞行器执行所述预设任务的情况下所述多模态成像云台处于的角度;基于环境数据和所述可见光图像的图像质量数据确定图像匹配策略,并根据所述可见光图像和/或所述红外光图像生成所述图像匹配策略对应的待匹配图像,其中,所述图像匹配策略包括:可见光图像主导策略、红外光图像主导策略、双光图像融合策略;将所述待匹配图像与所述飞行器中的预存地图进行匹配,以确定所述飞行器的当前位置。

3、在一个示例性地实施例中,所述多模态成像云台拍摄的可见光图像和红外光图像,包括:所述多模态成像云台在旋转至所述预设角度之前拍摄的可见光图像和红外光图像,和/或,所述多模态成像云台在旋转至所述预设角度之后拍摄的可见光图像和红外光图像。

4、在一个示例性地实施例中,基于环境数据和所述可见光图像的图像质量数据确定图像匹配策略,包括:在所述环境数据包括光照强度,且所述图像质量数据包括图像信噪比的情况下,基于所述光照强度和所述图像信噪比确定所述图像匹配策略。

5、在一个示例性地实施例中,基于所述光照强度和所述图像信噪比确定所述图像匹配策略,包括:在所述光照强度大于或者等于第一预设阈值,且所述图像信噪比大于或者等于第二预设阈值的情况下,将所述可见光图像主导策略确定为所述图像匹配策略;在所述光照强度小于或者等于第三预设阈值的情况下,将所述红外光图像主导策略确定为所述图像匹配策略,其中,所述第一预设阈值大于所述第三预设阈值;在所述光照强度大于所述第三预设阈值且小于所述第一预设阈值,或,所述光照强度大于或者等于所述第一预设阈值且所述图像信噪比小于所述第二预设阈值的情况下,将所述双光图像融合策略确定为所述图像匹配策略。

6、在一个示例性地实施例中,在所述图像匹配策略为可见光图像主导策略的情况下,根据所述可见光图像和/或所述红外光图像生成所述图像匹配策略对应的待匹配图像,包括:基于目标检测算法对所述可见光图像进行特征提取,以确定所述可见光图像对应的第一纹理特征,并将所述第一纹理特征转换为所述可见光图像对应的第一纹理特征向量;将所述第一纹理特征向量与所述可见光图像进行拼接或融合,得到所述可见光图像主导策略对应的待匹配图像。

7、在一个示例性地实施例中,在所述图像匹配策略为红外光图像主导策略的情况下,根据所述可见光图像和/或所述红外光图像生成所述图像匹配策略对应的待匹配图像,包括:对所述红外光图像进行特征提取,以提取所述红外光图像的第一红外热特征,并将所述第一红外热特征转换为所述红外光图像对应的第一红外热特征向量,其中,所述第一红外热特征至少包括以下之一:所述红外光图像对应的热辐射特征、温度梯度特征、热区域分布特征;将所述第一红外热特征向量和所述红外光图像进行拼接或融合,以得到所述红外光图像主导策略对应的待匹配图像。

8、在一个示例性地实施例中,在所述图像匹配策略为双光图像融合策略的情况下,根据所述可见光图像和/或所述红外光图像生成所述图像匹配策略对应的待匹配图像,包括:将所述可见光图像和所述红外光图像进行空间配准,得到对齐后的可见光图像和红外光图像;分别提取对齐后的可见光图像对应的第二纹理特征和对齐后的红外光图像对应的第二红外热特征,其中,所述第二红外热特征至少包括以下之一:所述对齐后的红外光图像对应的热辐射特征、温度梯度特征、热区域分布特征;将所述第二纹理特征和所述第二红外热特征进行跨模态融合,得到融合特征图;通过解码网络将所述融合特征图重构为所述双光图像融合策略对应的待匹配图像。

9、在一个示例性地实施例中,将所述待匹配图像与所述飞行器中的预存地图进行匹配,以确定所述飞行器的当前位置,包括:在所述多模态成像云台在当前时刻未旋转至所述预设角度的情况下,根据所述待匹配图像和所述多模态成像云台在所述当前时刻之前拍摄的可见光图像和/或红外光图像构建目标图像序列,并确定所述目标图像序列中的每帧图像对应的时空参数,其中,所述时空参数至少包括以下之一:所述每帧图像对应的时间戳、每个时间戳的对应的所述多模态成像云台的姿态角、所述每个时间戳对应的所述飞行器的高度;根据所述每帧图像对应的时空参数计算所述每帧图像对应的单应性矩阵,并根据所述单应性矩阵将所述每帧图像投影至虚拟正射平面中;将投影至所述虚拟正射平面中的多帧图像进行图像融合,以生成虚拟正射图像;将所述虚拟正射图像与所述预存地图进行匹配,以确定所述飞行器的当前位置。

10、在一个示例性地实施例中,将所述虚拟正射图像与所述预存地图进行匹配,以确定所述飞行器的当前位置,包括:提取所述虚拟正射图像的几何特征和语义特征;根据所述几何特征将所述虚拟正射图像与所述预存地图进行特征点匹配,以得到第一匹配结果和第一匹配置信度得分,以及,根据所述语义特征将所述虚拟正射图像与所述预存地图进行语义匹配,以得到第二匹配结果和第二匹配置信度得分;根据所述第一匹配置信度得分和所述第二匹配置信度得分计算所述虚拟正射图像与所述预存地图之间的目标匹配置信度得分;在所述目标匹配置信度得分大于或者等于预设阈值的情况下,根据所述第一匹配结果和所述第二匹配结果确定所述飞行器的当前位置。

11、在一个示例性地实施例中,将所述待匹配图像与所述飞行器中的预存地图进行匹配,以确定所述飞行器的当前位置,包括:在所述多模态成像云台在当前时刻已旋转至所述预设角度的情况下,对所述待匹配图像进行几何校正,并对几何校正后的待匹配图像进行语义分割,以生成所述几何校正后的待匹配图像对应的语义掩码;基于所述语义掩码将所述几何校正后的待匹配图像与所述预存地图进行匹配,以在所述预存地图中确定目标区域;提取所述几何校正后的待匹配图像中的特征点,并将所述几何校正后的待匹配图像中的特征点与所述目标区域进行匹配,以在所述目标区域中确定所述飞行器的当前位置。

12、根据本技术实施例的一个实施例,提供了一种飞行器位置的确定装置,包括:暂停模块,用于在飞行器的卫星导航系统发生故障的情况下,暂停执行预设任务;控制模块,用于控制多模态成像云台从初始角度旋转至预设角度,并在所述多模态成像云台旋转至所述预设角度的全过程中,获取所述多模态成像云台拍摄的可见光图像和红外光图像,其中,所述多模态成像云台上搭建有:至少一个红外光摄像头和可见光摄像头,所述初始角度为在所述飞行器执行所述预设任务的情况下所述多模态成像云台处于的角度;确定模块,用于基于环境数据和所述可见光图像的图像质量数据确定图像匹配策略,并根据所述可见光图像和/或所述红外光图像生成所述图像匹配策略对应的待匹配图像,其中,所述图像匹配策略包括:可见光图像主导策略、红外光图像主导策略、双光图像融合策略;匹配模块,用于将所述待匹配图像与所述飞行器中的预存地图进行匹配,以确定所述飞行器的当前位置。

13、根据本技术实施例的另一方面,还提供了一种飞行器,包括控制器,所述控制器被配置为执行上述飞行器位置的确定方法。

14、根据本技术实施例的另一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为执行上述任一项方法实施例中的步骤。

15、根据本技术实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的飞行器位置的确定方法。

16、根据本技术实施例的又一方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

17、在本技术实施例中,在飞行器的卫星导航系统发生故障的情况下,控制多模态成像云台从初始角度旋转至预设角度,并在多模态成像云台旋转至预设角度的过程中,获取多模态成像云台拍摄的可见光图像和红外光图像;基于环境数据和可见光图像的图像质量数据确定图像匹配策略,其中,图像匹配策略包括:可见光图像主导策略、红外光图像主导策略、双光图像融合策略,进而根据可见光图像和/或红外光图像生成图像匹配策略对应的待匹配图像;将待匹配图像与飞行器中的预存地图进行匹配,以确定飞行器的当前位置。也就是说,本技术实施例的多模态成像云台可以同时获取可见光图像和红外光图像,进而可以基于环境数据和可见光图像的图像质量选择合适的图像匹配策略,将通过图像匹配策略生成的待匹配图像与预存地图进行匹配,确保了在gnss丢失时,飞行器仍能利用多模态数据(即可见光图像、红外光图像)的互补性,实现对飞行器的高精度定位。通过本技术实施例,解决了相关技术中,在gnss发生故障的情况下,仅通过单一传感器进行图像匹配,无法实现对飞行器的高精度定位的问题,进而实现对飞行器的高精度定位。