基于跨视域多机协同的无人机定位方法、系统、设备及介质与流程

摘要: 本技术涉及无人机定位,尤其涉及一种基于跨视域多机协同的无人机定位方法、系统、设备及介质。背景技术:1、随着无人机在桥梁巡检、基础设施智能运维以及复杂环境勘测等领...
基于跨视域多机协同的无人机定位方法、系统、设备及介质与流程

本技术涉及无人机定位,尤其涉及一种基于跨视域多机协同的无人机定位方法、系统、设备及介质。

背景技术:

1、随着无人机在桥梁巡检、基础设施智能运维以及复杂环境勘测等领域的广泛应用,无人机逐渐由开放大空域巡检向桥梁底部、梁体底面、横梁及桥墩等狭窄且无卫星导航(gnss)信号的复杂区域延伸。在桥底等封闭或半封闭空间中,混凝土与金属结构对卫星信号产生严重的遮挡与多径干扰,导致无人机难以获取稳定的全局位置参考。为此,传统方案多依赖单架无人机搭载视觉或视觉惯性导航系统(vio)进行自主定位,利用环境纹理和惯性测量单元(imu)维持飞行姿态与位置。

2、在相关技术中,单机视觉/惯性定位存在明显的累积漂移、局部失效与视域受限问题。由于桥底结构(如连续梁、横梁、桥墩)具有高度重复的几何与纹理特征,单机视觉容易产生特征误匹配,且其定位误差会随飞行时间与距离单调累积;当无人机飞入梁体背面等遮挡盲区时,单机视觉定位极易直接失效。同时,现有的多无人机协同定位方法多依赖无人机之间的直接目视观测或简单的位置通信共享,缺乏对桥梁结构本身等静态介质的空间关联挖掘。当多无人机由重叠视域飞向不同视域后,现有的协同关系难以持续传递,导致视域分离后单机定位漂移无法被有效抑制,严重影响了桥底无信号环境下无人机集群作业的连续性与可靠性。

技术实现思路

1、有鉴于此,有必要提供一种基于跨视域多机协同的无人机定位方法、系统、设备及介质,能够至少克服以上缺陷之一。

2、第一方面,本技术实施例提供一种基于跨视域多机协同的无人机定位方法,应用于第一无人机,所述方法包括:

3、采集第一视觉图像与第一惯性数据,提取所述第一视觉图像中关于桥梁结构的第一特征数据,并根据双目视差计算所述第一特征数据中特征点在第一坐标系下的三维空间坐标;

4、响应于检测到第二无人机并与所述第二无人机建立通信,接收来自所述第二无人机的第二特征数据,所述第二特征数据包括关于所述桥梁结构的特征点描述子及特征点在第二坐标系下的三维空间坐标;

5、根据所述第一无人机与所述第二无人机对所述桥梁结构的共同观测,将所述第一特征数据中的特征点描述子与所述第二特征数据中的特征点描述子进行匹配,并利用匹配特征点在所述第一坐标系和第二坐标系下的三维空间坐标进行空间结构几何约束校验,建立跨机空间特征点对;

6、根据所述跨机空间特征点对,解算所述第二无人机相对于所述第一无人机的相对位姿矩阵;

7、根据所述第一惯性数据推算状态预测值,并构建包括所述状态预测值的联合状态向量;

8、将所述相对位姿矩阵作为量测约束输入融合模型,对所述联合状态向量进行量测更新,得到所述第一无人机的全局定位结果。

9、在一实施例中,所述提取所述第一视觉图像中的第一特征数据,以及建立跨机空间特征点对,包括:

10、利用特征提取网络提取所述第一视觉图像中的特征点描述子;

11、对所述第一特征数据中的特征点描述子与所述第二特征数据中的特征点描述子进行匹配,得到候选特征点对;

12、计算各候选特征点对在所述第一坐标系下的第一空间距离,以及对应的各候选特征点对在所述第二坐标系下的第二空间距离;

13、若所述第一空间距离与所述第二空间距离的差值绝对值在预设阈值范围内,则将对应候选特征点对确定为所述跨机空间特征点对。

14、在一实施例中,所述解算所述第二无人机相对于所述第一无人机的相对位姿矩阵,以及构建包括所述状态预测值的联合状态向量,包括:

15、通过pnp算法求解所述跨机空间特征点对在所述第一坐标系与所述第二坐标系之间的转换关系,生成包括相对旋转矩阵与相对平移向量的所述相对位姿矩阵;

16、拼接所述第一无人机的状态预测值与所述第二无人机的状态预测值,构建所述联合状态向量,其中,所述状态预测值包括位置、速度、姿态、加速度计偏置及陀螺仪偏置;

17、所述将所述相对位姿矩阵作为量测约束输入融合模型,对所述联合状态向量进行量测更新,包括:基于所述相对旋转矩阵与所述相对平移向量构建量测方程,通过扩展卡尔曼滤波算法修正所述联合状态向量。

18、在一实施例中,还包括:

19、当所述第一无人机与所述第二无人机移动至无重叠视域后,将此前解算的所述相对位姿矩阵作为历史空间约束保留,并继续对所述联合状态向量进行量测更新;

20、当所述第一无人机接收到所述第二无人机与第三无人机建立的第二相对位姿矩阵时,利用所述历史空间约束与所述第二相对位姿矩阵进行级联变换,解算所述第三无人机相对于所述第一无人机的第三相对位姿矩阵。

21、在一实施例中,所述方法还包括:

22、根据所述跨机空间特征点对在候选特征点对中的比例,计算第一匹配因子;

23、根据解算所述相对位姿矩阵时的平均重投影误差的指数衰减函数,计算第二位姿因子;

24、根据所述相对位姿矩阵中的相对位置与根据所述第一惯性数据推算得到的相对位置之间的偏差,计算第三一致性因子;

25、根据所述相对位姿矩阵的维持时间与所述第一无人机的运动距离,计算第四衰减因子;

26、对所述第一匹配因子、所述第二位姿因子、所述第三一致性因子及所述第四衰减因子进行加权求和,得到所述第一无人机与所述第二无人机之间的协同定位可信度。

27、在一实施例中,所述方法还包括:

28、当所述协同定位可信度小于预设可信度阈值时,执行协同节点迁移流程,包括:

29、切断所述相对位姿矩阵对所述联合状态向量的量测更新,退化为根据所述第一惯性数据推算所述状态预测值;

30、接收来自区域内第三无人机的第三特征数据,建立所述第一无人机与所述第三无人机之间的跨机空间特征点对,并解算第三相对位姿矩阵;

31、将所述第三相对位姿矩阵作为量测约束输入所述融合模型,完成协同节点由所述第二无人机向所述第三无人机的切换。

32、在一实施例中,还包括:

33、当所述第一无人机与所述第二无人机移动至无重叠视域后,将此前解算得到的所述相对位姿矩阵由实时量测约束转换为历史空间约束;

34、根据所述第一无人机的飞行位移,通过预设协方差膨胀模型调整所述历史空间约束对应的量测噪声协方差;

35、在预设的有效维持时间内,将调整所述量测噪声协方差后的历史空间约束输入所述融合模型,对所述联合状态向量进行量测更新。

36、第二方面,本技术实施例提供一种基于跨视域多机协同的无人机定位系统,应用于如第一方面所述的方法,所述系统包括:

37、数据采集与提取模块,被配置为采集第一视觉图像与第一惯性数据,提取所述第一视觉图像中关于桥梁结构的第一特征数据,并根据双目视差计算所述第一特征数据中特征点在第一坐标系下的三维空间坐标;

38、通信与接收模块,被配置为响应于检测到第二无人机并与所述第二无人机建立通信,接收来自所述第二无人机的第二特征数据,所述第二特征数据包括关于所述桥梁结构的特征点描述子及特征点在第二坐标系下的三维空间坐标;

39、特征校验与匹配模块,被配置为根据所述第一无人机与所述第二无人机对所述桥梁结构的共同观测,将所述第一特征数据中的特征点描述子与所述第二特征数据中的特征点描述子进行匹配,并利用匹配特征点在所述第一坐标系和第二坐标系下的三维空间坐标进行空间结构几何约束校验,建立跨机空间特征点对;

40、位姿解算模块,被配置为根据所述跨机空间特征点对,解算所述第二无人机相对于所述第一无人机的相对位姿矩阵;

41、状态预测模块,被配置为根据所述第一惯性数据推算状态预测值,并构建包括所述状态预测值的联合状态向量;

42、融合更新模块,被配置为将所述相对位姿矩阵作为量测约束输入融合模型,对所述联合状态向量进行量测更新,得到所述第一无人机的全局定位结果。

43、第三方面,本技术实施例提供一种电子设备,包括:

44、处理器;以及

45、存储器,其上存储有计算机可读指令,用于控制所述处理器执行如第一方面所述的方法。

46、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行第一方面中所述的方法。

47、本技术实施例提供的一种基于跨视域多机协同的无人机定位方法、系统、设备及介质,通过第一无人机采集第一视觉图像与第一惯性数据,并接收来自第二无人机的第二特征数据,利用两机在第一坐标系和第二坐标系下的三维空间坐标进行空间结构几何约束校验,建立具备刚体几何不变性的跨机空间特征点对,并据此解算相对位姿矩阵作为量测约束,对包含两机状态预测值的联合状态向量进行量测更新。该方案无需两架无人机之间进行直接目视观测,而是将桥梁静态结构作为空间关联介质,利用三维空间几何校验有效剔除了桥底重复纹理带来的匹配粗差,实现了跨机相对位姿的高可靠解算;同时将解算出的相对位姿矩阵引入联合状态滤波,利用多机协同观测约束实时修正第一无人机的惯性推算状态,显著抑制了单无人机在无卫星信号环境下的定位累积漂移,提高了无人机在桥底复杂环境下定位的稳定性和准确性。