无人机增量式正射影像及地形实时生成方法与流程

摘要: 本发明涉及图像数据处理,尤其涉及一种无人机增量式正射影像及地形实时生成方法。背景技术:1、数字正射影像图(digitalorthophotomap,dom)是经...
无人机增量式正射影像及地形实时生成方法与流程

本发明涉及图像数据处理,尤其涉及一种无人机增量式正射影像及地形实时生成方法。

背景技术:

1、数字正射影像图(digital orthophoto map,dom)是经过几何校正后具有真实地理位置信息的遥感影像,在消除地形起伏和摄像机倾斜引起的几何变形后,可直接用于量测和gis(geographic information system,地理信息系统)分析。传统dom生产依赖航空摄影测量的完整离线流程:影像采集结束后经空中三角测量平差、密集点云匹配、dsm(digital surface model,数字地表模型)内插、正射纠正和影像镶嵌等步骤,整个周期通常需要数小时乃至数天,无法满足应急救灾、实时勘察等场景对即时性的严苛需求。

2、近年来,多旋翼无人机的普及为低空摄影测量开辟了新路径。无人机具备灵活部署、低成本作业的优势,但同时面临以下技术挑战:其一,消费级gps(global positioningsystem,全球定位系统)绝对高程误差通常为±3~5m,与相机焦距和飞行高度共同决定深度估计精度,系统误差较大;其二,低纹理农田、均质水面等场景下传统特征点匹配率低,核线校正存在失效风险;其三,多帧影像独立估计深度时,相邻对在重叠区域由于各自基线误差不同,导致高程值不一致,拼接处出现明显几何错位和色差。

3、在实时dom生成领域,现有方案主要分为两类:第一类基于运动恢复结构(structure from motion,sfm)的增量重建方法,代表框架有colmap(结构运动与多视图立体管线)、opensfm(开源sfm库)等,精度高但全局bundle adjustment(全局光束法平差)计算量大、难以逐帧实时输出;第二类基于深度学习的双目立体估计方法,以psmnet(pyramidstereo matching network,金字塔立体匹配网络)、gwcnet(group-wise correlationstereo network,分组相关立体匹配网络)、raft-stereo(multilevel recurrent fieldtransforms for stereo matching,多级循环场变换立体匹配网络)等为代表,端到端训练大幅提升了匹配精度。

4、但基于sfm的方法由于其全局bundle adjustment需对所有已注册影像和三维点进行联合优化,计算复杂度随影像数量显著增长,难以在无人机飞行过程中逐帧实时输出;第二类方法以单对影像为处理单元,各对影像对的视差估计相对独立,从而在将视差结果用于连续多帧影像的dom拼接时易产生几何错位。

5、因此,如何实现实时dom增量拼接仍是亟需解决的技术问题。

技术实现思路

1、本发明提供一种无人机增量式正射影像及地形实时生成方法,用以解决现有技术中实时性不足、跨帧几何不一致和弱纹理场景鲁棒性不足等缺陷,实现一种能够在无人机飞行过程中以帧为单位逐步构建并实时更新dom和dsm的方法,以兼顾处理效率、几何一致性和场景适应性。

2、本发明提供一种无人机增量式正射影像及地形实时生成方法,包括:

3、获取连续采集的相邻帧影像,并对其预处理后提取其语义特征和纹理特征;

4、通过交叉注意力机制,以所述语义特征作为查询、以所述纹理特征作为键和值,在通道维度上对所述语义特征和所述纹理特征进行自适应加权融合,得到融合特征张量,并基于所述融合特征张量进行循环迭代视差估计,输出密集视差图;

5、根据所述密集视差图构建当前帧的局部数字地表模型,以逐对增量更新的方式,将所述局部数字地表模型与前一帧更新后得到的全局数字地表模型进行逐格元高程层面融合,以更新全局数字地表模型;

6、基于更新后的全局数字地表模型生成正射影像块,并增量拼接至全局数字正射影像。

7、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述循环迭代视差估计过程中,基于无人机飞行的预设高度范围确定对应的视差范围,并根据所述视差范围压缩视差搜索域,以减少多个尺度层级之间的尺度切换次数。

8、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述将所述局部数字地表模型与前一帧更新后得到的全局数字地表模型进行逐格元高程层面融合的步骤,具体包括:

9、将所述局部数字地表模型按其地理坐标对齐至所述全局数字地表模型的对应格元位置;

10、对对齐后的重叠区域,逐格元取所述全局数字地表模型原有高程值与所述局部数字地表模型高程值中的最大值,对所述全局数字地表模型进行更新。

11、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述基于更新后的全局数字地表模型生成正射影像块的步骤,具体包括:

12、获取历史候选帧集合,所述历史候选帧集合包括当前帧及历史各帧在预处理过程得到的整流图像及其对应的相机参数;

13、对所述更新后的全局数字地表模型中的每一格元,根据其三维坐标和所述历史候选帧集合中各帧的相机参数,筛选出该格元在对应帧的投影深度在预设有效范围内且投影像素位于图像边界内的候选帧;

14、在筛选出的候选帧中,选择其格元的投影像素到图像主点距离最小的候选帧作为最优候选帧;

15、基于所述最优候选帧采样颜色值,并以各格元采样得到的颜色值按格元位置排列,生成所述正射影像块。

16、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,以cpu/gpu异构流水线方式执行所述方法,其中,每个所述相邻帧影像的处理划分为三个阶段:

17、第一阶段在cpu上执行所述预处理;

18、第二阶段在gpu上执行所述语义特征和纹理特征的提取、融合以及循环迭代视差估计;

19、第三阶段在cpu上执行所述局部数字地表模型的构建与融合,以及所述正射影像块的生成以及增量拼接;

20、当一相邻帧影像的所述第二阶段在gpu上执行时,cpu并行执行另一相邻帧影像的所述第一阶段或所述第三阶段。

21、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述预处理包括双目核线校正,所述双目核线校正中:

22、在特征匹配的有效内点数不低于预设匹配阈值的情况下,采用基于特征匹配的双目核线校正;

23、在特征匹配的有效内点数低于预设匹配阈值的情况下,基于外参先验完成双目核线校正。

24、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述根据所述密集视差图构建当前帧的局部数字地表模型的步骤,具体包括:

25、获取无人机当前帧拍摄时对应的气压计相对飞行高度,并基于该相对飞行高度生成动态深度上限阈值;

26、使用所述动态深度上限阈值对所述密集视差图反投影至校正相机坐标系后得到的各三维点进行过滤,以剔除深度值超过所述动态深度上限阈值的三维点,得到有效三维点集;

27、基于所述有效三维点集构建当前帧的局部数字地表模型。

28、根据本发明提供的一种无人机增量式正射影像及地形实时生成方法,所述将所述局部数字地表模型与前一帧更新后得到的全局数字地表模型进行逐格元高程层面融合的步骤前,还包括:

29、对所述局部数字地表模型中高程值为无效值的格元,计算其邻域内高程值为有效值的格元所占的比例;

30、在所述比例不低于预设比例阈值的情况下,对该格元的高程值进行修复填充;否则,将该格元判定为结构性无效区,并保持其高程值为无效。

31、本发明还提供一种无人机增量式正射影像及地形实时生成系统,包括:

32、预处理模块,用于获取连续采集的相邻帧影像,并对其预处理;

33、提取模块,用于提取其语义特征和纹理特征;通过交叉注意力机制,以所述语义特征为查询、以所述纹理特征作为键和值,在通道维度上对所述语义特征和所述纹理特征进行自适应加权融合,得到融合特征张量,并基于所述融合特征张量进行循环迭代视差估计,输出密集视差图;

34、更新模块,用于根据所述密集视差图构建当前帧的局部数字地表模型,以逐对增量更新的方式,将所述局部数字地表模型与前一帧更新后得到的全局数字地表模型进行逐格元高程层面融合,以更新全局数字地表模型;

35、生成模块,用于基于更新后的全局数字地表模型生成正射影像块,并增量拼接至全局数字正射影像。

36、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述无人机增量式正射影像及地形实时生成方法。

37、本发明提供的无人机增量式正射影像及地形实时生成方法,通过在视差图提取的过程引入交叉注意力机制提升视差图的精度,以少量的计算开销使增量融合得以从全局累积的计算模式简化为逐对更新模式,大幅降低了增量融合所需的计算量,从而使得处理流程能在无人机机载设备上稳定运行,实现了边飞边算的实时dsm和dom生成。