航线规划方法、装置、服务器及计算机可读存储介质与流程

1.本发明涉及无人机技术领域，尤其是涉及一种航线规划方法、装置、服务器及计算机可读存储介质。


背景技术：

2.随着无人机技术的发展成熟，由于无人机具有高效方便的优点被运用于电力巡检、资源勘探、城市安全、航空拍摄等诸多领域。目前，在无人机操控过程中，可以预先基于物体或建筑的点云数据规划得到相应航线，从而控制无人机按照该航线进行航行，但是在航线规划阶段对点云数据的要求较高，在一定程度上增加了航线规划的难度。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种航线规划方法、装置、服务器及计算机可读存储介质，不仅可以降低航线规划阶段对点云数据的要求，而且可以得到更合理、更符合目标对象轮廓特征的航线。
4.第一方面，本发明实施例提供了一种航线规划方法，包括：获取目标对象的粗模数据，并对所述粗模数据进行预处理得到归一化点云数据；其中，所述粗模数据用于表征所述目标对象的外表面轮廓结构；确定所述归一化点云数据中每个点对应的目标法向；根据每个所述点对应的目标法向和预设观测条件，确定目标拍摄点位集合；其中，所述预设观测条件至少包括观测次数条件，所述观测次数条件包括所述归一化点云数据中的点被所述目标拍摄点位集合观测到的次数阈值；基于所述目标拍摄点位集合规划目标航线，以使无人机基于所述目标航线采集所述目标对象的图像。
5.在一种实施方式中，所述粗模数据包括第一点云数据、面片数据和体素数据中的一种或多种；所述对所述粗模数据进行预处理得到归一化点云数据的步骤，包括：如果所述粗模数据包括所述第一点云数据，对所述第一点云数据交替进行体素采样处理和插值采样处理，直至达到预设密度要求，得到归一化点云数据；如果所述粗模数据包括所述面片数据，将所述面片数据转换为第二点云数据，并对所述第二点云数据交替进行所述体素采样处理和所述插值采样处理，直至达到所述预设密度要求，得到归一化点云数据；如果所述粗模数据包括所述体素数据，对所述体素数据交替进行所述插值采样处理和所述体素采样处理，直至达到所述预设密度要求，得到归一化点云数据；其中，所述预设密度要求包括：第一预设占比的点对应的点密度大于或等于密度阈值。
6.在一种实施方式中，所述确定所述归一化点云数据中每个点对应的目标法向的步骤，包括：确定所述归一化点云数据中每个点对应的候选法向；对所述归一化点云数据进行膨胀收缩处理，确定所述归一化点云数据对应的外包络点云数据；对于每个点，在所述外包络点云数据中查找该点对应的最近点，并构造由该点指向所述最近点的参照向量，判断该点对应的所述候选法向与所述参照向量之间的角度差值是否小于角度阈值，如果是，将所述候选法向确定为该点对应的目标法向。
7.在一种实施方式中，所述根据每个所述点对应的目标法向和预设观测条件，确定目标拍摄点位集合的步骤，包括：获取所述目标对象的尺寸参数和预设分辨率参数，并根据所述尺寸参数和所述预设分辨率参数从所述归一化点云数据中确定多个第一目标点；根据所述第一目标点对应的目标法向确定初始拍摄点位集合；基于预设观测条件和所述初始拍摄点位集合从所述归一化点云数据中确定未充足观测点，并基于所述未充足观测点构建未充足观测点云数据；其中，所述未充足观测点包括被所述初始拍摄点位集合观测到的次数小于所述次数阈值的点；从所述未充足观测点云数据中确定多个第二目标点，并根据所述第二目标点对应的目标法向更新所述初始拍摄点位集合，基于所述预设观测条件和更新后的初始拍摄点位集合从所述归一化点云数据中确定所述未充足观测点，直至所述未充足观测点占所述归一化点云数据的比例小于第二预设占比，得到目标拍摄点位集合。
8.在一种实施方式中，所述根据所述尺寸参数和所述预设分辨率参数从所述归一化点云数据中确定多个第一目标点的步骤，包括：获取所述目标对象的尺寸参数和预设分辨率参数，并根据所述尺寸参数和所述预设分辨率参数计算预算图像数量；根据所述预算图像数量对所述归一化点云数据进行最远点采样处理，确定多个第一目标点；其中，所述第一目标点的数量等于所述预算图像数量。
9.在一种实施方式中，所述方法还包括：对于所述目标拍摄点位集合中每个拍摄点位，如果该拍摄点位的拍摄俯仰角度大于第一预设角度或小于第二预设角度，将该拍摄点位的拍摄俯仰角度调整为所述第一预设角度与所述第二预设角度之间任意角度值；或，对于所述目标拍摄点位集合中每个拍摄点位，基于该拍摄点位的拍摄位置判断该拍摄点位与地面之间的距离是否小于第一距离阈值，或，该拍摄点位与所述目标对象之间的距离是否小于第二距离阈值；如果是，将该拍摄点位从所述目标拍摄点位集合中删除。
10.在一种实施方式中，所述基于所述目标拍摄点位集合规划目标航线的步骤，包括：基于所述目标拍摄点位集合中每个拍摄点位的拍摄位置确定每个所述拍摄点位的高度信息；根据所述高度信息连接每个所述拍摄点位得到初始航线；其中，所述初始航线包括多个初始子航线；对于所述初始航线中每个所述初始子航线，判断该初始子航线是否满足避障条件；如果是，将该初始子航线确定为目标子航线；如果否，在该初始子航线的两端之间添加至少一个避障点，并基于每个所述避障点规划目标子航线；将所述目标子航线的集合确定为目标航线。
11.在一种实施方式中，所述判断该初始子航线是否满足避障条件的步骤，包括：在该初始子航线中按照第一指定间隔采集多个途经点；判断每个所述途经点与所述目标对象之间的距离是否均大于第三距离阈值；如果是，确定该初始子航线满足所述避障条件。
12.在一种实施方式中，所述在该初始子航线的两端之间添加至少一个避障点，并基于每个所述避障点规划目标子航线的步骤，包括：以远离所述目标对象的方向，按照第二指定间隔在该初始子航线的中垂线上添加候选点；判断所述候选点与所述目标对象之间的距离是否大于第三距离阈值；如果是，将所述候选点确定为避障点，将该初始子航线对应的两个所述拍摄点位分别连接所述避障点得到候选子航线，如果所述候选子航线不满足所述避障条件，在所述候选子航线的两端之间添加避障点，直至每个所述候选子航线均满足所述避障条件，得到目标子航线。
13.在一种实施方式中，所述方法还包括：基于预设的图像重叠率和时间间隔，在所述
目标航线中添加辅助点位；或，基于预设的图像重叠率和第三指定间隔，在所述目标航线中添加辅助点位。
14.第二方面，本发明实施例还提供一种航线规划装置，包括：预处理模块，用于获取目标对象的粗模数据，并对所述粗模数据进行预处理得到归一化点云数据；其中，所述粗模数据用于表征所述目标对象的外表面轮廓结构；法向确定模块，用于确定所述归一化点云数据中每个点对应的目标法向；点位确定模块，用于根据每个所述点对应的目标法向和预设观测条件，确定目标拍摄点位集合；其中，所述预设观测条件至少包括观测次数条件，所述观测次数条件包括所述归一化点云数据中的点被所述目标拍摄点位集合观测到的次数阈值；航线规划模块，用于基于所述目标拍摄点位集合规划目标航线，以使无人机基于所述目标航线采集所述目标对象的图像。
15.第三方面，本发明实施例还提供一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
16.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
17.本发明实施例提供的一种航线规划方法、装置、服务器及计算机可读存储介质，首先获取用于表征目标对象的外表面轮廓结构的粗模数据，并对粗模数据进行预处理得到归一化点云数据，然后确定归一化点云数据中每个点对应的目标法向，从而根据每个点对应的目标法向和预设观测条件确定目标拍摄点位集合，进而基于目标拍摄点位集合规划目标航线，以使无人机基于目标航线采集目标对象的图像。其中，上述预设观测条件至少包括观测次数条件，观测次数条件包括归一化点云数据中的点被目标拍摄点位集合观测到的次数阈值。上述方法通过对目标对象的粗模数据进行预处理得到归一化点云数据，再根据归一化点云数据中每个点的目标法向和预设观测条件确定目标拍摄点位集合，即可规划得到针对该目标对象的目标航线，本发明实施例显著降低了航行规划对点云数据的要求，而且可以在精度较低、较为杂乱的粗模数据的基础上规划得到更为合理、更符合目标对象轮廓特征的目标航线。
18.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
19.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例提供的一种航线规划方法的流程示意图；
图2为本发明实施例提供的一种膨胀收缩点云的示意图；图3为本发明实施例提供的一种碰撞检测与航线纠正的示意图；图4为本发明实施例提供的一种航线规划方法的框架图；图5为本发明实施例提供的一种航线规划装置的结构示意图；图6为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.目前，现有航线规划算法对点云数据要求较高，而且规划得到的航线不符合目标对象的轮廓特征，从而影响后续建模精度，基于此，本发明实施提供了一种航线规划方法、装置、服务器及计算机可读存储介质，不仅可以降低航线规划阶段对点云数据的要求，而且可以得到更合理、更符合目标对象轮廓特征的航线。
24.为便于对本实施例进行理解，首先对本发明实施例所公开的一种航线规划方法进行详细介绍，参见图1所示的一种航线规划方法的流程示意图，该方法主要包括以下步骤s102至步骤s108：步骤s102，获取目标对象的粗模数据，并对粗模数据进行预处理得到归一化点云数据。目标对象可以为人物、物体或建筑等。粗模数据用于表征目标对象的外表面轮廓结构，可以理解为采样方式不同、格式不同、点分布不同的数据，粗模数据可以包括第一点云数据、面片数据和体素数据中的一种或多种。归一化点云数据可以理解为满足如下要求的点云数据：（1）点密度要求：点云密度均匀且充足；（2）外表面轮廓要求：仅包含目标对象的外表面轮廓结构；（3）闭合实体要求：点云外表面为闭合实体。预处理可以包括体素采样处理、差值采样处理、格式转换处理等。
25.在一种实施方式中，可以接收无人机采集的粗模数据，对于第一点云数据和体素数据，可以交替进行体素采样处理和插值采样处理；对于面片数据，可以先将面片数据进行格式转换处理得到相应的点云数据，然后交替进行体素采样处理和插值采样处理，从而得到归一化点云数据。
26.步骤s104，确定归一化点云数据中每个点对应的目标法向。其中，目标法向也可称之为无歧义法向。在实际应用中，每个点可能存在两个候选法向，分别朝向目标对象的外侧和目标对象的内侧，因此需要进一步从候选法向中确定目标法向，在一种实施方式中，可以确定归一化点云数据对应的外包络点云数据，对于每个点，均构造由该点指向外包络点云数据中该点对应的最近点的参照向量，从而基于参照向量从该点的候选法向中确定目标法向。
27.步骤s106，根据每个点对应的目标法向和预设观测条件，确定目标拍摄点位集合。其中，预设观测条件至少包括观测次数条件，观测次数条件包括归一化点云数据中的点被目标拍摄点位集合观测到的次数阈值。预设观测条件还可以包括占比条件，该占比条件包括归一化点云中满足观测次数条件的点的占比阈值。目标拍摄点位集合包括多个拍摄点
位，每个拍摄点位均包括拍摄位置和拍摄俯仰角度。
28.在一种实施方式，可以在归一化点云数据中采样多个目标点，然后根据每个目标点和目标点对应的目标法向构造初始拍摄点位集合，生成每个拍摄点位对应的预览图像，并统计归一化点云数据中每个点在所有预览图像中的出现次数（也即，被观测到的次数），判断出现次数大于次数阈值的点占归一化点云数据所有点的比例是否大于占比阈值（诸如，第二预设占比），如果否，将从出现次数小于次数阈值的点中再次采样多个目标点，重复上述过程，直至归一化点云数据中第二预设占比的点的出现次数大于上述次数阈值时，例如，归一化点云数据中95%的点被观测到的次数大于或等于3，将此时的拍摄点位集合作为目标拍摄点位集合。
29.步骤s108，基于目标拍摄点位集合规划目标航线，以使无人机基于目标航线采集目标对象的图像。在一种实施方式中，可以根据目标拍摄点位中每个拍摄点位的拍摄位置确定其高度信息，并按照高度信息将目标拍摄点位集合划分为多个拍摄点位子集合，每个拍摄点位子集合内所包含的拍摄点位的高度信息相同，对于每个拍摄点位子集合，按照顺时针或逆时针的顺序依次连接该拍摄点位子集合内的每个拍摄点位，再连接相邻的两个拍摄点位子集合中距离最近的两个拍摄点位，从而得到初始航线，基于碰撞检测与航线纠正机制对初始航线进行纠正得到目标航线。
30.本发明实施例提供的上述航线规划方法，通过对目标对象的粗模数据进行预处理得到归一化点云数据，再根据归一化点云数据中每个点的目标法向和预设观测条件确定目标拍摄点位集合，即可规划得到针对该目标对象的目标航线，本发明实施例显著降低了航行规划对点云数据的要求，而且可以在精度较低、较为杂乱的粗模数据的基础上规划得到更为合理、更符合目标对象轮廓特征的目标航线。
31.在实际应用中，粗模数据的格式和点分布随着采集方式的变化而变化。粗模数据的来源主要包括：（1）无人机在环境探索过程中生成的点云及体素；（2）倾斜摄影采集到的附加贴图的三维面片。由于粗模数据均在目标对象外侧采集的数据，因此满足归一化点云数据的外表面轮廓要求。另外，由于目标对象底部一般都与地面连接，而无人机无法采集地面数据，因此为了将点云闭合，可以确定粗模数据中的最低点，并以该最低点作为目标对象与地面接触的高程，在该最低点所在的水平平面补充地面点，以满足闭合实体要求。对于点密度要求，本发明实施例分别针对第一点云数据、面片数据和体素数据提供了一种对粗模数据进行预处理的实施方式，参见如下方式一至方式三：方式一，如果粗模数据包括第一点云数据，对第一点云数据交替进行体素采样处理和插值采样处理，直至达到预设密度要求，得到归一化点云数据。其中，预设密度要求包括：第一预设占比的点对应的点密度大于或等于密度阈值，第一预设占比可以设置为95%。在一种实施方式中，（1）对第一点云数据进行体素采样处理，其中，每个体素中最多包含一个点；（2）对于体素采样处理后的第一点云数据中的每个点，统计在以该点为圆心、以预设值（例如，5）为半径的区域内所包含的点数量；（3）基于点数量确定该点对应的点密度，例如，计算点数量与区域面积的商值得到该点对应的点密度；（4）确定第一点云数据中点密度小于密度阈值的待处理点，判断待处理点的点数量与第一点云数据的点总数量的比值是否大于第一预设占比；（5）如果否，对于每个待处理点，在体素采样处理后的第一点云数据中查找该待处理点的两个邻近点（包括邻近点1和邻近点2），例如将与该待处理点距离最近的
两个点确定为其邻近点，并基于该待处理点、邻近点1和邻近点2构建点云三元组；（6）对于每个点云三元组组成的面片，在该面片上进行差值采样处理，得到加密后的第一点云数据；（7）重复上述（1）至（6）直至待处理点的点数量与第一点云数据的点总数量的比值小于第一预设占比时停止，也即当第一点云数据中95%的点对应的点密度大于密度阈值时停止。
32.方式二，如果粗模数据包括面片数据，将面片数据转换为第二点云数据，并对第二点云数据交替进行体素采样处理和插值采样处理，直至达到预设密度要求，得到归一化点云数据。其中，面片数据为带纹理（或贴图）的面片。在一种实施方式中，格式转换处理过程如下：对于面片数据中的每个顶点，直接将该顶点插入点云；对于每一个面片数据，按照第四指定间隔对该面片数据进行插值，并将插值后的点并入点云中，从而得到第二点云数据。然后按照前述（1）至（6）对第二点云数据交替进行体素采样处理和插值采样处理，直至待处理点的点数量与第二点云数据的点总数量的比值小于第一预设占比时停止，也即当第二点云数据中95%的点对应的点密度大于密度阈值时停止。
33.方式三，如果粗模数据包括体素数据，对体素数据交替进行插值采样处理和体素采样处理，直至达到预设密度要求，得到归一化点云数据。在一种实施方式中，体素数据相当于经过初步体素采样处理的点云数据，因此可以按照点云的预处理方式对体素数据进行处理，具体可参见前述方式一，本发明实施例对此不在进行赘述。
34.对于前述步骤s104，点的法向垂直于点云局部结构，点的法向是拍摄该点的最佳方向，因此计算归一化点云数据中每个点的法向对拍摄点位及角度的选择至关重要。但是在实际应用中点的法向存在歧义，对于一个点，存在两个可能的候选法向，分别为朝向目标对象外侧的法向和朝向目标对象内侧的法向，因此，本发明实施例需要确定归一化点云中每个点对应的无歧义法向。基于此，本发明实施例提供了一种确定归一化点云数据中每个点对应的目标法向的实施方式，参见如下步骤一至步骤三：步骤一，确定归一化点云数据中每个点对应的候选法向。
35.步骤二，对归一化点云数据进行膨胀收缩处理，确定归一化点云数据对应的外包络点云数据。在一种实施方式中：（1）对于归一化点云数据中的每个点，在高斯分布中采样该点在x个单位方向的向量，并依据x个方向的向量添加x个插值点，所有采样点及其插值点组成膨胀收缩点云q，诸如图2所示的一种膨胀收缩点云的示意图；（2）在膨胀收缩点云q中剔除距离归一化点云中任一点距离小于第三距离阈值r的点，得到外轮廓点和内轮廓点，针对外轮廓点和内轮廓点进行点云聚类处理得到归一化点云数据对应的外包络点云数据（也可称之为，外轮廓点云数据）和内嵌点云数据（也可称之为，内轮廓点云数据）。
36.步骤三，对于每个点，在外包络点云数据中查找该点对应的最近点，并构造由该点指向最近点的参照向量，判断该点对应的候选法向与参照向量之间的角度差值是否小于角度阈值，如果是，将候选法向确定为该点对应的目标法向。其中，角度阈值可以设置为90
°
。例如，对于归一化点云数据中的点p，在外包络点云数据中确定与该点p距离最近的最近点p1，并构造由p指向p1的参照向量，判断每个候选法向与该参照向量之间的角度差值是否小于90
°
，如果是，确定该候选法向为目标法向。
37.在实际应用中，拍摄需求描述了对扫描精度及分辨率的需求，分辨率要求越高，拍摄点位距离目标对象愈近，拍摄点位的数量也越多。对于前述步骤s106，本发明实施例提供了一种根据每个点对应的目标法向和预设观测条件，确定目标拍摄点位集合的实施方式，
以在归一化点云数据中确定出最少且能满足扫描需求的拍摄点位，具体可参见如下步骤1至步骤4：步骤1，获取目标对象的尺寸参数和预设分辨率参数，并根据尺寸参数和预设分辨率参数从归一化点云数据中确定多个第一目标点。在一种实施方式中，可以按照如下步骤1.1至步骤1.2确定多个第一目标点：步骤1.1，获取目标对象的尺寸参数和预设分辨率参数，并根据尺寸参数和预设分辨率参数计算预算图像数量。其中，目标对象的尺寸参数可以为目标对象的体积v，可通过目标对象的包围框大小计算得到。在一种实施方式中，可以按照如下公式计算预算图像数量n：；其中，v表示目标对象的体积，res表示预设分辨率参数，λ为一个可调的系数，诸如λ=5。在实际应用中，可以按照该公式计算得到初步的预算图像数量n1。
38.步骤1.2，根据预算图像数量对归一化点云数据进行最远点采样处理，确定多个第一目标点。其中，第一目标点的数量等于预算图像数量。在一种实施方式中，利用最远点采样算法，从归一化点云数据中采样得到n1个第一目标点。
39.步骤2，根据第一目标点对应的目标法向确定初始拍摄点位集合。其中，初始拍摄点位集合包括多个拍摄点位。在一种实施方式中，可以将n1个第一目标点对应的目标法向确定为拍摄点位的拍摄俯仰角度，以及将n1个第一目标点的位置确定为拍摄点位的拍摄位置，得到初始拍摄点位集合。
40.步骤3，基于预设观测条件和初始拍摄点位集合从归一化点云数据中确定未充足观测点，并基于未充足观测点构建未充足观测点云数据。其中，未充足观测点包括被初始拍摄点位集合观测到的次数小于次数阈值的点。在实际应用中，可以生成初始拍摄点位集合中每个拍摄点位对应的预览图像，并统计归一化点云数据中每个点在所有预览图像中的出现次数（也即，被观测到的次数），当出现次数小于次数阈值（例如，3）时，将该点确定为未充足观测点，将所有未充足观测点的集合称之为未充足观测点云数据r。
41.步骤4，从未充足观测点云数据中确定多个第二目标点，并根据第二目标点对应的目标法向更新初始拍摄点位集合，基于预设观测条件和更新后的初始拍摄点位集合从归一化点云数据中确定未充足观测点，直至未充足观测点占归一化点云数据的比例小于第二预设占比，得到目标拍摄点位集合。在一种实施方式中，对于未充足观测点云数据r，可重新评估预算图像数量，记为n2，利用最远点采样算法，从未充足观测点云数据r中采样得到n2个第二目标点，将n2个第二目标点作为增量拍摄点位，并添加至初始拍摄点位集合，并生成更新后的初始拍摄点位集合中每个拍摄点位对应的预览图像，再次统计归一化点云数据中每个点在所有预览图像中的出现次数（也即，被观测到的次数）并更新未充足观测点云r。重复上述操作，直至未充足观测点占归一化点云数据的比例小于第二预设占比，其中，第二预设占比可以设置为5%，也即，当归一化点云数据中95%的点被拍摄点位集合观测到的次数大于3时，即可停止上述操作。
42.考虑到无人机云台结构限制以及数据采集的安全性，可以进一步对目标拍摄点位集合中的拍摄点位进行调整或剔除，具体的：（1）对于目标拍摄点位集合中每个拍摄点位，如果该拍摄点位的拍摄俯仰角度大
于第一预设角度或小于第二预设角度，将该拍摄点位的拍摄俯仰角度调整为第一预设角度与第二预设角度之间内任意角度值；或，如果该拍摄点位的拍摄俯仰角度小于第二预设角度，将该拍摄点位的拍摄俯仰角度调整为第二预设角度。在实际应用中，受限于无人机云台的操控角度及目标对象的结构，上述第一预设角度可以为 45
°
，第二预设角度可以为-45
°
，对于拍摄俯仰角度大于45
°
或小于-45
°
的拍摄点位，可以将其调整到
±
45
°
之间，并保持目标对象仍在画面中心。可选的，对于拍摄俯仰角度大于45
°
的拍摄点位，可将其拍摄俯仰角度调整为45
°
；对于拍摄俯仰角度小于-45
°
的拍摄点位，可将其拍摄俯仰角度调整为-45
°
。
43.（2）对于目标拍摄点位集合中每个拍摄点位，基于该拍摄点位的拍摄位置判断该拍摄点位与地面之间的距离是否小于第一距离阈值，或，该拍摄点位与目标对象之间的距离是否小于第二距离阈值，如果是，将该拍摄点位从目标拍摄点位集合中删除。示例性的，第一距离阈值可以设置为1米，第二距离阈值可以设置为2米。在一种实施方式中，如果该拍摄点位与地面距离不足1米，或与目标对象距离不足2米，则将该拍摄点位从目标拍摄点位集合中删除，以使无人机能安全到达每个拍摄点位。
44.目前，现有航线规划算法规划得到的航线通常为同一高度，例如，建筑高度为100米，则无人机可能按照航线在150米处航行，并采集建筑图像，然而这种方式将无法采集到诸如屋檐下等凹陷区域的图像，从而导致建模精度较低，基于此，本发明实施例提供了一种基于目标拍摄点位集合规划目标航线的实施方式，参见如下步骤a至步骤d：步骤a，基于目标拍摄点位集合中每个拍摄点位的拍摄位置确定每个拍摄点位的高度信息。在实际应用中，航线的连接需要考虑无人机的航时以及飞行安全性。无人机在飞行时，高度的爬升是影响续航的最大因素，因此在高度上以d为量化尺寸，将所有拍摄点位的高度量化到d的倍数，此过程可称之为高度加权，其中， 量化尺寸d的选择与目标对象的高度与横截面面积比例相关，例如，比例越大，量化尺寸越大。
45.步骤b，根据高度信息连接每个拍摄点位得到初始航线。其中，初始航线包括多个初始子航线，对于每个初始子航线，其两端为两个拍摄点位。在一种实施方式中，基于最短路径原则，对于同一高度的拍摄点位，可以找到所有拍摄点位的拍摄中心，然后以任一拍摄点位为起点，顺时针或逆时针将所有拍摄点位连接在一起。对于跨高度的拍摄点位，可以在当前高度的拍摄点位中，找到与相邻高度最后一个拍摄点位的最近点，并连接最后一个拍摄点位及其最近点，即可得到跨高度的初始子航线。
46.步骤c，对于初始航线中每个初始子航线，判断该初始子航线是否满足避障条件；如果是，将该初始子航线确定为目标子航线；如果否，在该初始子航线的两端之间添加至少一个避障点，并基于每个避障点规划目标子航线。
47.本发明实施例提供了一种判断该初始子航线是否满足避障条件的实施方式，参见如下（一）至（二）：（一）在该初始子航线中按照第一指定间隔采集多个途经点，假设第一指定间隔为0.1米，则对于该初始子航线，将以0.1为采样间隔采样一系列途经点；（二）判断每个途经点与目标对象之间的距离是否均大于第三距离阈值。例如，如果存在一个途经点与目标对象之间的距离小于第三距离阈值，则判定该初始子航线为潜在的碰撞冲突航线，并确定该初始子航线不满足避障条件，反之则确定该初始子航线满足避障条件，此时可直接将其确定为目标子航线，无需在对其进行添加避障点的处理。
48.考虑到在连接两个拍摄点位时，可能会出现两个拍摄点位之间的连线离目标对象
过近或穿越目标对象，也即上述碰撞冲突航线，因此需要利用碰撞检测与航线纠正机制对碰撞冲突航线进行纠正，参见图3所示的一种碰撞检测与航线纠正的示意图，本发明实施例还提供了一种对碰撞冲突航线进行处理的实施方式，参见如下步骤c1至步骤c3：步骤c1，以远离目标对象的方向，按照第二指定间隔在该初始子航线的中垂线上添加候选点。在一种实施方式中，确定该初始子航线的中垂线，以远离该高度对应的拍摄中心的方向，以1米为单次外扩距离在中垂线上添加候选点。
49.步骤c2，判断候选点与目标对象之间的距离是否大于第三距离阈值。如果是，执行步骤c3；如果否，结束。
50.步骤c3，将候选点确定为避障点，将该初始子航线对应的两个拍摄点位分别连接避障点得到候选子航线，如果候选子航线不满足避障条件，在候选子航线的两端之间添加避障点，直至每个候选子航线均满足避障条件，得到目标子航线。其中，避障点也即避障途经点的简称。假设第三次外扩的候选点与目标对象之间的距离大于第三距离阈值时，将该候选点确定为避障点，并得到避障点与该初始子航线一端的拍摄点位1之间的连线（记为，候选子航线x），以及避障点与该初始子航线另一端的拍摄点位2之间的连线（记为，候选子航线y）。由于每插入一个避障点都会带来新的碰撞风险，因此，继续判断两条候选子航线是否满足避障条件，在不满足的情况下，继续在候选子航线x和候选子航线y中添加避障点，且每增加一个避障点均需要经过碰撞检测及航线纠正，直至所有点位的连线均没有碰撞风险。
51.步骤d，将目标子航线的集合确定为目标航线。
52.在实际应用，需要使无人机采集的图像均可连接上，因此需要设置图像重叠率，图像重叠率即两张相邻图像之间重叠区域占该图像的比例。在一种实施方式中，可以基于预设的图像重叠率和时间间隔，在目标航线中添加辅助点位，也可以基于预设的图像重叠率和第三指定间隔，在目标航线中添加辅助点位。通过按照定时或等距等方式在目标航线中添加多个辅助点位，以保证空中三角测量能将所有图像连接上，后续计算稠密点云及贴图时，可将辅助点位采集到的图像删除。
53.本发明实施例可以规划得到更为合理、更符合目标对象轮廓特征的目标航线，使得无人机可以采集到目标对象更为丰富的细节图像，从而显著提高建模精度。
54.为便于对前述实施例提供的航线规划方法进行理解，本发明实施例提供了一种航线规划方法的应用示例，参见图4所示的一种航线规划方法的框架图，该方法主要包括以下step1至步骤step4：step1，预处理：对粗模数据进行预处理得到归一化点云数据。其中，粗模数据包括点云数据、面片数据和体素数据，预处理可以包括插值/采样处理。
55.step2，无歧义法向计算：包括初始法向计算、点云膨胀收缩、内外侧判断。具体的，计算归一化点云数据中每个点的初始法向（也即，前述候选法向），对归一化点云数据进行点云膨胀收缩处理得到外包络点云数据，基于外包络点云数据对初始法向进行内外侧判断，确定每个点的无歧义法向。
56.step3，拍摄点位选取：包括最远点采样、结构细节加权、云台角度限制。
57.step4，拍摄轨迹连接：包括最短路径、高度加权、航线安全性检测和航线连续型加密。
58.综上所述，本发明实施例将点云、面片、体素三种粗模数据归一化，输出一个规范的归一化点云数据，然后针对归一化点云数据中的每一个点计算得到无歧义法向，并基于扫描的精度要求，依据归一化点云数据及其无歧义法向量，选取出一系列拍照点位，最后连接所有拍照点位得到最优化的拍摄路径（也即，上述目标航线）。本发明实施例显著降低了航行规划对点云数据的要求，而且可以在精度较低、较为杂乱的粗模数据的基础上规划得到更为合理、更符合目标对象轮廓特征的目标航线。
59.对于前述实施例提供的航线规划方法，本发明实施例提供了一种航线规划装置，参见图5所示的一种航线规划装置的结构示意图，该装置主要包括以下部分：预处理模块502，用于获取目标对象的粗模数据，并对粗模数据进行预处理得到归一化点云数据；其中，粗模数据用于表征目标对象的外表面轮廓结构；法向确定模块504，用于确定归一化点云数据中每个点对应的目标法向；点位确定模块506，用于根据每个点对应的目标法向和预设观测条件，确定目标拍摄点位集合；其中，预设观测条件至少包括观测次数条件，观测次数条件包括归一化点云数据中的点被目标拍摄点位集合观测到的次数阈值；航线规划模块508，用于基于目标拍摄点位集合规划目标航线，以使无人机基于目标航线采集目标对象的图像。
60.本发明实施例提供的上述航线规划装置，通过对目标对象的粗模数据进行预处理得到归一化点云数据，再根据归一化点云数据中每个点的目标法向和预设观测条件确定目标拍摄点位集合，即可规划得到针对该目标对象的目标航线，本发明实施例显著降低了航行规划对点云数据的要求，而且可以在精度较低、较为杂乱的粗模数据的基础上规划得到更为合理、更符合目标对象轮廓特征的目标航线。
61.在一种实施方式中，粗模数据包括第一点云数据、面片数据和体素数据中的一种或多种；预处理模块502还用于：如果粗模数据包括第一点云数据，对第一点云数据交替进行体素采样处理和插值采样处理，直至达到预设密度要求，得到归一化点云数据；如果粗模数据包括面片数据，将面片数据转换为第二点云数据，并对第二点云数据交替进行体素采样处理和插值采样处理，直至达到预设密度要求，得到归一化点云数据；如果粗模数据包括体素数据，对体素数据交替进行插值采样处理和体素采样处理，直至达到预设密度要求，得到归一化点云数据；其中，预设密度要求包括：第一预设占比的点对应的点密度大于或等于密度阈值。
62.在一种实施方式中，法向确定模块504还用于：确定归一化点云数据中每个点对应的候选法向；对归一化点云数据进行膨胀收缩处理，确定归一化点云数据对应的外包络点云数据；对于每个点，在外包络点云数据中查找该点对应的最近点，并构造由该点指向最近点的参照向量，判断该点对应的候选法向与参照向量之间的角度差值是否小于角度阈值，如果是，将候选法向确定为该点对应的目标法向。
63.在一种实施方式中，点位确定模块506还用于：获取目标对象的尺寸参数和预设分辨率参数，并根据尺寸参数和预设分辨率参数从归一化点云数据中确定多个第一目标点；根据第一目标点对应的目标法向确定初始拍摄点位集合；基于预设观测条件和初始拍摄点位集合从归一化点云数据中确定未充足观测点，并基于未充足观测点构建未充足观测点云数据；其中，未充足观测点包括被初始拍摄点位集合观测到的次数小于次数阈值的点；从未
充足观测点云数据中确定多个第二目标点，并根据第二目标点对应的目标法向更新初始拍摄点位集合，基于预设观测条件和更新后的初始拍摄点位集合从归一化点云数据中确定未充足观测点，直至未充足观测点占归一化点云数据的比例小于第二预设占比，得到目标拍摄点位集合。
64.在一种实施方式中，点位确定模块506还用于：获取目标对象的尺寸参数和预设分辨率参数，并根据尺寸参数和预设分辨率参数计算预算图像数量；根据预算图像数量对归一化点云数据进行最远点采样处理，确定多个第一目标点；其中，第一目标点的数量等于预算图像数量。
65.在一种实施方式中，点位确定模块506还用于：对于目标拍摄点位集合中每个拍摄点位，如果该拍摄点位的拍摄俯仰角度大于第一预设角度或小于第二预设角度，将该拍摄点位的拍摄俯仰角度调整为所述第一预设角度与所述第二预设角度之间任意角度值；或，对于目标拍摄点位集合中每个拍摄点位，基于该拍摄点位的拍摄位置判断该拍摄点位与地面之间的距离是否小于第一距离阈值，或，该拍摄点位与所述目标对象之间的距离是否小于第二距离阈值；如果是，将该拍摄点位从所述目标拍摄点位集合中删除。
66.在一种实施方式中，航线规划模块508还用于：基于目标拍摄点位集合中每个拍摄点位的拍摄位置确定每个拍摄点位的高度信息；根据高度信息连接每个拍摄点位得到初始航线；其中，初始航线包括多个初始子航线；对于初始航线中每个初始子航线，判断该初始子航线是否满足避障条件；如果是，将该初始子航线确定为目标子航线；如果否，在该初始子航线的两端之间添加至少一个避障点，并基于每个避障点规划目标子航线；将目标子航线的集合确定为目标航线。
67.在一种实施方式中，航线规划模块508还用于：在该初始子航线中按照第一指定间隔采集多个途经点；判断每个途经点与目标对象之间的距离是否均大于第三距离阈值；如果是，确定该初始子航线满足避障条件。
68.在一种实施方式中，航线规划模块508还用于：以远离目标对象的方向，按照第二指定间隔在该初始子航线的中垂线上添加候选点；判断候选点与目标对象之间的距离是否大于第三距离阈值；如果是，将候选点确定为避障点，将该初始子航线对应的两个拍摄点位分别连接避障点得到候选子航线，如果候选子航线不满足避障条件，在候选子航线的两端之间添加避障点，直至每个候选子航线均满足避障条件，得到目标子航线。
69.在一种实施方式中，航线规划模块508还用于：基于预设的图像重叠率和时间间隔，在目标航线中添加辅助点位；或，基于预设的图像重叠率和第三指定间隔，在目标航线中添加辅助点位。
70.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
71.本发明实施例提供了一种服务器，具体的，该服务器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
72.图6为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
73.其中，存储器61可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口63（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
74.总线62可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
75.其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
76.处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
77.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
78.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
79.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护
范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。