一种无人机图像补采航线规划方法及装置与流程

本申请属于数据处理，具体涉及一种无人机图像补采航线规划方法及装置。

背景技术：

1、目前，无人机点云采集和倾斜摄影已经较多用于测绘、矿山、城市建模、建筑立面检测、灾害应急、数字孪生和工程验收等场景。一般作业时，无人机搭载相机、激光雷达、惯性导航设备和定位设备，对待测区域按航线采集数据，之后再通过点云配准、影像匹配、空三解算、网格重建、纹理映射等流程生成三维模型。

2、在实际项目中，初始航线通常会根据区域边界、航向重叠率、旁向重叠率、飞行高度和载荷参数提前规划。但是由于地形或建筑物遮挡、立面反射、航线间距不合适、飞行姿态变化、光照变化、纹理较弱、点云入射角过大或者局部采集失败等原因，初始三维模型中经常会出现模型空洞、点云稀疏、纹理模糊、立面缺失、边界破碎和局部重建不稳定等问题。

3、目前比较常见的做法，是三维模型生成后由人工查看模型质量，人工判断哪些区域需要补飞，然后再手动规划补飞航线。这种方式存在几个问题：一是模型缺陷通常比较分散，人工检查耗时，也容易漏掉局部问题；二是人工不容易准确判断空洞或低质量区域应该从哪个角度补采，可能出现重复补采或者补采后仍然效果不好的情况；三是补飞航线往往主要按空间位置来规划，对点云密度、视角互补、纹理质量、遮挡关系和能耗约束考虑不够；四是补采完成后缺少自动质量判断，还需要人工再次确认补采效果。

技术实现思路

1、为了解决上述问题，本申请提供了一种无人机图像补采航线规划方法及装置。

2、本申请第一方面提供了一种无人机图像补采航线规划方法，主要包括：

3、步骤s1、获取待测区域的初始采集数据和无人机任务约束；

4、步骤s2、基于所述初始采集数据建立初始三维模型，并将所述初始三维模型划分为多个三维模型单元，每个三维模型单元采用体素、网格面片、三角面片、点云簇或其组合表示；

5、步骤s3、确定每个三维模型单元的质量状态数据，以生成三维模型空洞质量图，所述质量状态数据包括质量等级、空洞标记、低质量标记、缺失观测方向、补采需求类型和补采优先级；

6、步骤s4、将所述三维模型空洞质量图的空洞区域和低质量区域聚类为至少一个补采目标块，确定各补采目标块的补采需求；

7、步骤s5、根据每个补采目标块的补采需求及无人机任务约束，生成候选补采视点集合；

8、步骤s6、对所述候选补采视点集合中的每一候选补采视点计算视点评分；

9、步骤s7、根据所述视点评分，从候选补采视点集合中选择补采视点，并对选中的补采视点进行路径规划，生成补采航线。

10、优选的是，步骤s1中，所述初始采集数据包括初始点云、倾斜影像、正射影像、无人机位姿数据、相机内参、相机外参、激光雷达外参和初始三维模型中的一种或多种；所述无人机任务约束包括禁飞区、限高区、障碍物、地形高度、剩余电量、最大航程、最大飞行时间、传感器工作参数、期望地面采样距离和期望点云密度中的一种或多种。

11、优选的是，步骤s2中，所述三维模型单元的大小根据待测区域内对象的类型及重要度进行确定。

12、优选的是，步骤s3中，所述质量等级由点云密度、影像覆盖方向数、视角夹角、地面采样距离、纹理清晰度、重投影残差、法向不确定度、遮挡概率、点云高度方差、模型孔洞面积和空洞边界置信度中的一种或多种加权计算后映射获得；所述低质量标记是指质量等级低于设定阈值的标记。

13、优选的是，步骤s4中，所述补采需求类型包括点云补密、纹理补拍、多视角补拍、遮挡解除补拍、立面补采、边界补采和关键区域复核中的一种或多种。

14、优选的是，步骤s6中，所述视点评分由正增益指标与负增益指标组成，正增益指标包括可见面积增益，点云密度增益、纹理质量增益及视角互补度，所述负增益指标包括飞行代价、安全代价、能耗代价以及重复采集惩罚参数。

15、优选的是，步骤s7中，从候选补采视点集合中选择视点评分由高到低的一个或多个视点作为补采视点。

16、优选的是，所述方法还包括：

17、步骤s8、控制无人机按照所述补采航线执行补采任务，获取补采点云或补采影像，并将补采点云或补采影像与初始采集数据融合以更新三维模型和三维模型空洞质量图；

18、步骤s9、判断更新后的三维模型空洞质量图是否满足预设质量停止条件；若不满足，则基于更新后的三维模型空洞质量图重新执行补采目标块聚类直至生成补采航线；若满足，则输出补采任务结果。

19、本申请第二方面提供了一种无人机图像补采航线规划装置，主要包括：

20、初始采集数据获取模块，用于获取待测区域的初始采集数据和无人机任务约束；

21、三维模型单元划分模块，用于基于所述初始采集数据建立初始三维模型，并将所述初始三维模型划分为多个三维模型单元，每个三维模型单元采用体素、网格面片、三角面片、点云簇或其组合表示；

22、三维模型空洞质量图生成模块，用于确定每个三维模型单元的质量状态数据，以生成三维模型空洞质量图，所述质量状态数据包括质量等级、空洞标记、低质量标记、缺失观测方向、补采需求类型和补采优先级；

23、补采目标块确定模块，用于将所述三维模型空洞质量图的空洞区域和低质量区域聚类为至少一个补采目标块，确定各补采目标块的补采需求；

24、候选补采视点集合生成模块，用于根据每个补采目标块的补采需求及无人机任务约束，生成候选补采视点集合；

25、视点评分计算模块，用于对所述候选补采视点集合中的每一候选补采视点计算视点评分；

26、补采航线生成模块，用于根据所述视点评分，从候选补采视点集合中选择补采视点，并对选中的补采视点进行路径规划，生成补采航线。

27、本申请以三维模型空洞质量图为驱动，自动识别缺陷区域，反向生成最优补采航线，形成采集评估再规划的闭环迭代机制。

1.一种无人机图像补采航线规划方法，其特征在于，包括：

2.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，步骤s1中，所述初始采集数据包括初始点云、倾斜影像、正射影像、无人机位姿数据、相机内参、相机外参、激光雷达外参和初始三维模型中的一种或多种；所述无人机任务约束包括禁飞区、限高区、障碍物、地形高度、剩余电量、最大航程、最大飞行时间、传感器工作参数、期望地面采样距离和期望点云密度中的一种或多种。

3.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，步骤s2中，所述三维模型单元的大小根据待测区域内对象的类型及重要度进行确定。

4.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，步骤s3中，所述质量等级由点云密度、影像覆盖方向数、视角夹角、地面采样距离、纹理清晰度、重投影残差、法向不确定度、遮挡概率、点云高度方差、模型孔洞面积和空洞边界置信度中的一种或多种加权计算后映射获得；所述低质量标记是指质量等级低于设定阈值的标记。

5.根据权利要求4所述的无人机图像补采航线规划方法，其特征在于，步骤s4中，所述补采需求类型包括点云补密、纹理补拍、多视角补拍、遮挡解除补拍、立面补采、边界补采和关键区域复核中的一种或多种。

6.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，步骤s6中，所述视点评分由正增益指标与负增益指标组成，正增益指标包括可见面积增益，点云密度增益、纹理质量增益及视角互补度，所述负增益指标包括飞行代价、安全代价、能耗代价以及重复采集惩罚参数。

7.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，步骤s7中，从候选补采视点集合中选择视点评分由高到低的一个或多个视点作为补采视点。

8.根据权利要求1所述的无人机图像补采航线规划方法，其特征在于，所述方法还包括：

9.一种无人机图像补采航线规划装置，其特征在于，包括：