一种高空俯拍敏感目标检测与全球定位方法及系统与流程

摘要: 本发明涉及无人机视觉定位,具体是一种gps拒止环境下的高空俯拍敏感目标检测与全球定位方法及系统。背景技术:1、随着无人机(uav)技术的迅猛发展,其在巡逻航拍领...
一种高空俯拍敏感目标检测与全球定位方法及系统与流程

本发明涉及无人机视觉定位,具体是一种gps拒止环境下的高空俯拍敏感目标检测与全球定位方法及系统。

背景技术:

1、随着无人机(uav)技术的迅猛发展,其在巡逻航拍领域的应用日益广泛。通过搭载高分辨率摄像头和传感器,无人机能够实时采集高空视角下的动态影像,实现对区域内敏感或异常目标的智能识别与精确定位,已广泛应用于城市巡检、灾区搜救、森林防火等场景。当前主流方案依赖人工智能算法对无人机视频流进行目标检测,并结合slam(同时定位与建图)技术实现三维定位,通过实时特征提取、位姿估计和地图构建,计算目标相对坐标并辅助转换为全球坐标系。

2、然而,上述方案存在以下显著缺陷:一是累积误差问题,slam里程计估计在长期运行中因传感器噪声或环境变化产生漂移,导致米级甚至更高定位误差,回环检测虽可校正但计算开销大且在复杂地形中易失效;二是全局定位能力不足,slam主要输出局部相对坐标,在gnss拒止环境下无法直接锚定到绝对gps坐标,需额外依赖imu或外部基准,增加系统复杂度与不确定性;三是环境干扰敏感,特征跟踪易受光照变化、动态物体或运动模糊影响,匹配失败率上升,高空高速飞行场景下实时性与鲁棒性难以兼顾。

3、因此,亟需一种gps拒止环境下的高空俯拍敏感目标检测与全球定位方法及系统来解决上述问题。

技术实现思路

1、本发明的目的在于提供一种gps拒止环境下的高空俯拍敏感目标检测与全球定位方法及系统,它无需依赖gps硬件,纯视觉驱动即可在gps拒止环境下实现敏感目标精准检测与无漂移全球定位,抗干扰能力强、定位精度高、成本低。

2、本发明为实现上述目的,通过以下技术方案实现:

3、一方面,本发明提供一种高空俯拍敏感目标检测与全球定位方法,包括以下步骤:

4、步骤s1:获取无人机高空俯拍图像,对图像中的敏感目标进行检测与识别,得到敏感目标在无人机图像中的像素坐标;

5、步骤s2:利用自监督关键点检测器对无人机图像提取局部特征点及对应的描述子;

6、步骤s3:将局部特征点与预存的卫星地图进行跨视角特征匹配,生成无人机图像与卫星地图之间的对应点对;

7、步骤s4:基于对应点对估计单应性矩阵,实现无人机图像与卫星地图之间的配准;

8、步骤s5:基于单应性矩阵,将敏感目标在无人机图像中的像素坐标投影至卫星地图坐标系,并转换为全球gps坐标;

9、步骤s6:对多帧图像中同一敏感目标的gps坐标进行非线性最小二乘优化,得到该敏感目标的最终gps坐标。

10、优选的,步骤s1中,所述对图像中的敏感目标进行检测与识别,具体为:

11、采用基于深度学习的目标检测算法对无人机实时采集的视频流进行检测,所述目标检测算法为单阶段检测算法、双阶段检测算法或基于transformer的检测算法中的任一种;

12、所述敏感目标具体为火源、入侵物体或待救援人员;

13、输出检测结果包括目标边界框、类别标签和置信度。

14、优选的,步骤s2,具体为:

15、采用superpoint自监督关键点检测器,通过端到端的无监督学习机制从原始图像中自动发现并提取局部特征点,所述局部特征点在图像中均匀分布且具有跨帧匹配的重复性;

16、对每个局部特征点生成对应的描述子,用于后续特征匹配。

17、优选的,步骤s3中,所述将局部特征点与预存的卫星地图进行跨视角特征匹配,具体为:

18、采用基于图神经网络的匹配器,将无人机图像中的局部特征点与预存卫星地图中的特征点进行匹配;

19、所述匹配器通过注意力机制建模无人机图像与卫星图像之间的尺度差异和旋转偏差,支持多对多匹配;

20、输出无人机图像与卫星地图之间的对应点对。

21、优选的,步骤s4中,所述基于对应点对估计单应性矩阵,具体为:

22、采用随机采样一致性算法作为外点剔除与模型拟合框架,从所述对应点对中随机采样最小子集求解单应性矩阵,所述单应性矩阵满足卫星图像坐标与无人机图像坐标之间的单应性关系;

23、对每次求解得到的单应性矩阵计算重投影误差,重复采样求解直至重投影误差达到最小值,将对应的单应性矩阵作为最终结果。

24、优选的,步骤s5中,所述将敏感目标在无人机图像中的像素坐标投影至卫星地图坐标系,并转换为全球gps坐标,具体为:

25、将敏感目标在无人机图像中的像素坐标,利用所述单应性矩阵进行投影变换,得到卫星地图上的对应坐标;

26、根据卫星地图上坐标,结合卫星地图的地理坐标参考信息,得到敏感目标的绝对gps坐标。

27、优选的,步骤s6中,所述对多帧图像中同一敏感目标的gps坐标进行非线性最小二乘优化,具体为:

28、设在帧图像中检测到同一敏感目标,计算得到个gps坐标,其中;

29、根据各帧图像中目标检测的置信度和图像配准的误差度,为每个gps坐标分配权重;

30、采用levenberg-marquardt算法进行非线性最小二乘优化,优化目标为,最终优化解为,。

31、优选的,还包括在线地图更新步骤:

32、采用周期性或事件驱动的刷新策略,对预存的卫星地图进行更新;

33、所述更新集成于主循环中,在不中断实时推理的情况下刷新卫星地图,以适应动态环境变化。

34、另一方面,本发明还提供一种高空俯拍敏感目标检测与全球定位系统,用于实现如上述的一种高空俯拍敏感目标检测与全球定位方法,包括:

35、目标检测模块:具体为部署于边缘计算设备的深度学习推理单元,用于获取无人机高空俯拍图像,对图像中的敏感目标进行检测与识别,输出敏感目标的像素坐标;

36、特征提取模块:具体为部署于所述边缘计算设备的特征提取单元,用于利用自监督关键点检测器对无人机图像提取局部特征点及对应的描述子;

37、特征匹配模块:具体为部署于所述边缘计算设备的图神经网络匹配单元,用于将所述局部特征点与预存的卫星地图进行跨视角特征匹配,生成对应点对;

38、位姿估计模块:具体为部署于所述边缘计算设备的位姿求解单元,用于基于所述对应点对估计单应性矩阵,实现无人机图像与卫星地图之间的配准;

39、坐标投影模块:具体为部署于所述边缘计算设备的坐标转换单元,用于基于所述单应性矩阵,将敏感目标的像素坐标投影至卫星地图坐标系,并转换为全球gps坐标;

40、多帧优化模块:具体为部署于所述边缘计算设备的优化求解单元,用于对多帧图像中同一敏感目标的gps坐标进行非线性最小二乘优化,得到最终gps坐标。

41、对比现有技术,本发明的有益效果在于:

42、1、本发明采用纯视觉驱动方案,利用自监督关键点检测器提取鲁棒局部特征,并通过图神经网络匹配器实现无人机图像与预存卫星地图的跨视角全局配准,无需依赖gps或imu硬件,即使在gps信号完全拒止的环境下,仍能确保对敏感目标的全球定位,从根本上克服了传统方案因卫星信号丢失或定位漂移导致的失效问题。

43、2、本发明以预存的高精度卫星地图作为全局参考基准,通过单应性矩阵估计实现无人机图像与卫星地图的配准,将目标坐标直接锚定至绝对全球坐标系,避免了slam方案长期运行产生的累积误差;同时通过对多帧图像中同一目标的gps坐标进行非线性最小二乘优化,进一步抑制了单帧配准误差,实现了长期稳定的无漂移全球坐标输出。

44、3、基于图神经网络匹配器的注意力机制,能够有效建模无人机图像与卫星图像之间的尺度差异和旋转偏差,支持多对多匹配,显著提升了复杂场景下的特征匹配鲁棒性。

45、4、本发明无需额外gps模块,降低了硬件成本;模块化设计易于集成多模态数据,支持多无人机协同作业,可扩展至群飞任务,具有广泛的应用价值和现实意义。