一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位方法及系统

摘要: 本发明属于无人机自主导航,具体涉及一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位方法及系统。背景技术:1、在全球导航卫星系统(globalna...
一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位方法及系统

本发明属于无人机自主导航,具体涉及一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位方法及系统。

背景技术:

1、在全球导航卫星系统(global navigation satellite system,gnss)受限或拒止环境中,无人机无法持续依赖卫星定位信息,因而需借助机载视觉传感器、惯性测量设备以及先验地图信息实现自主定位。

2、现有无人机视觉定位方法通常采用单一下视相机,将无人机获取的地面图像与卫星影像、正射影像或者矢量地图进行匹配。下视相机能够有效观测建筑足迹、道路交叉口、水域边界以及地块结构等稳定地面信息,因此在低空视觉定位任务中得到广泛应用。

3、然而,在实际无人机飞行过程中,受飞行姿态变化、地面遮挡、重复建筑结构、规则道路以及弱纹理区域影响,单一下视视觉定位容易出现定位退化。例如,当无人机发生较大横滚或俯仰运动时,下视相机有效地面覆盖范围降低;在城市密集区域中,大量相似建筑足迹会导致多个位置具有相似匹配结果;在水域、农田等区域中,地面纹理信息不足,同样会降低定位可靠性。

4、另一方面,前视相机能够观测建筑立面、屋顶线、天际线、道路消失方向、山脊以及远距离地标等空间结构信息,可以为无人机航向、高度以及候选区域消歧提供额外约束。

5、但是,下视相机和前视相机通常具有较大的视角差异,尤其是在固定正交安装情况下,两路相机光轴接近垂直,两个视场区域基本不存在直接重叠关系。下视图像主要描述二维平面结构,而前视图像主要描述具有深度变化的透视结构。如果直接将两路图像特征拼接或者强制投影至统一鸟瞰空间,会导致前视建筑立面、远距离结构以及高度信息丢失。

6、此外,现有双相机定位方法通常采用以下方式:

7、一是分别利用两个相机独立估计位置,再通过加权方式进行融合;

8、二是将两个相机特征输入统一网络,通过注意力机制或者特征融合方式进行预测。

9、上述方法没有充分利用固定双相机系统中的刚性外参数关系,也无法解释不同相机观测对于无人机各位姿自由度的具体贡献。例如,下视相机通常对水平位置和偏航角具有较强约束,而前视相机中的天际线、建筑高度角等信息对航向、高度和俯仰具有更强约束。

10、因此,亟需一种新的无人机视觉定位方法,使不同视角相机保持各自适合的几何表达方式,同时利用固定外参数约束两路观测共同估计同一个无人机机体位姿,并根据不同观测源对不同自由度的约束能力进行动态融合。

技术实现思路

1、为解决上述技术问题,本发明采用如下的技术方案:

2、一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位方法,包括:

3、s1,建立坐标系并完成双相机标定,定义世界坐标系、无人机机体坐标系、下视相机坐标系和前视相机坐标系,所述下视相机和前视相机分别沿无人机下视方向和前视方向设置,且两相机的光轴相互正交或近似正交;通过标定获得下视相机内参数、前视相机内参数,以及下视相机、前视相机相对于无人机机体的固定外参数;

4、s2,获取定位输入,定位输入包括下视图像、前视图像、下视相机内参数、前视相机内参数、固定外参数、无人机姿态、重力方向、无人机高度、运动先验以及地图数据;

5、s3,构建下视地面度量空间,利用下视视觉编码器提取下视图像特征,并根据下视相机内参数、固定外参数、重力方向、无人机高度以及地图数据,将下视图像特征投影到局部地面坐标,形成下视地面度量特征;

6、s4,构建前视方位-俯仰空间,利用前视视觉编码器提取前视图像特征,根据惯性测量信息中的重力方向对前视图像特征进行横滚和俯仰校正,并根据前视图像像素的观测射线在重力对齐坐标系下的方位角和俯仰角,组织前视图像特征,得到前视方位-俯仰特征;

7、s5,生成双视角地图预测观测,针对候选无人机机体位姿,分别生成下视地图预测观测和前视地图预测观测;

8、s6,计算双视角观测残差,将图像语义几何原语与地图预测观测进行关联,计算下视观测残差和前视观测残差;

9、s7,联合优化无人机机体位姿,根据下视观测残差、前视观测残差和运动先验残差建立联合目标函数,计算由下视信息矩阵、前视信息矩阵和运动先验信息矩阵之和构成的联合信息矩阵,求解位姿增量,更新无人机机体位姿;

10、s8,进行逐自由度信息融合,分别计算下视信息矩阵和前视信息矩阵,根据联合信息矩阵计算位姿协方差,计算各观测源对各方位姿自由度的信息贡献和归一化信息贡献,实现不同观测源对位置、航向、高度、横滚和俯仰自由度的动态融合、退化判断和置信度估计;

11、s9,执行多候选时序传播,保留多个候选无人机机体位姿,根据运动先验向下一时刻传播各候选无人机机体位姿,并更新各候选概率,供输出定位结果时选择;

12、s10,输出定位结果。

13、一种基于正交双视角异构空间约束与逐自由度信息融合的无人机视觉定位系统,包括:

14、坐标系建立与标定模块,用于建立坐标系并完成双相机标定,定义世界坐标系、无人机机体坐标系、下视相机坐标系和前视相机坐标系,所述下视相机和前视相机分别沿无人机下视方向和前视方向设置,且两相机的光轴相互正交或近似正交;通过标定获得下视相机内参数、前视相机内参数,以及下视相机、前视相机相对于无人机机体的固定外参数;

15、输入获取模块,用于获取定位输入,定位输入包括下视图像、前视图像、下视相机内参数、前视相机内参数、固定外参数、无人机姿态、重力方向、无人机高度、运动先验以及地图数据;

16、下视地面度量空间构建模块,用于构建下视地面度量空间,利用下视视觉编码器提取下视图像特征,并根据下视相机内参数、固定外参数、重力方向、无人机高度以及地图数据,将下视图像特征投影到局部地面坐标,形成下视地面度量特征;

17、前视方位-俯仰空间构建模块,用于构建前视方位-俯仰空间,利用前视视觉编码器提取前视图像特征,根据惯性测量信息中的重力方向对前视图像特征进行横滚和俯仰校正,并根据前视图像像素的观测射线在重力对齐坐标系下的方位角和俯仰角,组织前视图像特征,得到前视方位-俯仰特征;

18、地图预测观测生成模块,用于生成双视角地图预测观测,针对候选无人机机体位姿,分别生成下视地图预测观测和前视地图预测观测;

19、观测残差计算模块,用于计算双视角观测残差,将图像语义几何原语与地图预测观测进行关联,计算下视观测残差和前视观测残差;

20、位姿联合优化模块,用于联合优化无人机机体位姿,根据下视观测残差、前视观测残差和运动先验残差建立联合目标函数,计算由下视信息矩阵、前视信息矩阵和运动先验信息矩阵之和构成的联合信息矩阵,求解位姿增量,更新无人机机体位姿;

21、逐自由度信息融合模块,用于进行逐自由度信息融合,分别计算下视信息矩阵和前视信息矩阵,根据联合信息矩阵计算位姿协方差,计算各观测源对各方位姿自由度的信息贡献和归一化信息贡献,实现不同观测源对位置、航向、高度、横滚和俯仰自由度的动态融合、退化判断和置信度估计;

22、多候选时序传播模块,用于执行多候选时序传播,保留多个候选无人机机体位姿,根据运动先验向下一时刻传播各候选无人机机体位姿,并更新各候选概率,供输出定位结果时选择;

23、定位结果输出模块,用于输出定位结果。

24、本发明具有以下有益效果:

25、(1)本发明通过分别构建下视地面度量空间和前视方位-俯仰空间,使下视观测和前视观测保持各自适合的几何表达方式,避免将两路观测强制压缩至同一几何空间,减少前视建筑立面、天际线和远距离结构的信息损失。

26、(2)本发明通过固定外参数将下视观测和前视观测共同约束于同一无人机机体位姿,并联合优化所述无人机机体位姿,避免两路相机独立定位产生的结果不一致。

27、(3)本发明通过构建下视信息矩阵、前视信息矩阵和运动先验信息矩阵,并在不同位姿自由度方向上进行信息融合,能够表征不同观测源对各位姿自由度的实际约束能力,提高融合过程的可解释性。

28、(4)本发明根据无人机姿态变化、图像质量、地图完整度、对象稳定性、可见性和观测不确定度动态调整不同观测源的信息权重。

29、(5)本发明通过分析联合信息矩阵和位姿协方差识别发生退化的位姿自由度,并在观测不足时降低定位置信度或者拒绝输出不可靠的绝对定位结果。

30、(6)本发明通过保留多个候选无人机机体位姿并进行时序传播,提高在重复区域、地图缺失区域或者单路相机暂时失效情况下的定位连续性。