一种基于边界点感知网络的无人机三维重建点云场景语义分割方法

本发明涉及三维点云处理，尤其涉及一种基于边界点感知网络的无人机三维重建点云场景语义分割方法。

背景技术：

1、随着三维地理空间数据采集技术的快速发展，三维重建点云场景已经成为获取大规模城市三维地理信息的主要来源之一，并且在城市智能建模、自动驾驶、城市规划等方面发挥着至关重要的作用。准确的语义信息是将这些点云应用于实际认知层面的前提。然而，随着场景规模的增加，三维重建点云的语义分割任务变得更加具有挑战性：一方面，三维点云场景中元素的复杂性会随着场景中地物的类别、形状和结构的变化而增加。另一方面，场景范围大、动态化程度高等特点导致重建点云数据的质量更容易受到噪声、遮挡等问题的干扰，产生噪声、几何失真的现象。这些问题在复杂的城市场景中尤为突出，对室外三维点云场景的空间语义关系的表达、整合和关联提出了更高的要求。

2、在基于三维几何特征学习的点云语义分割方法中，当前的研究主要集中在基于深度学习方法探索适合点云不规则特性的特征提取和局部几何结构的学习，但由于计算量较大，难以适用于室外大范围点云的语义分割。一些学者通过将原始点云切割成多个块，并随机抽取三维点集进行处理的方式来避免将整个室外点云作为输入的巨大计算量，但这种操作容易破坏点云的几何结构，且在处理海量点云时非常耗时。为了直接处理室外大范围的三维点云，目前的方法（landrieu etal.，2018；huetal.，2020）通过建立相邻点之间的关联关系来提取点云的局部信息，实现了对室外大范围点云的语义分割。然而，室外大范围重建点云呈现出复杂的场景内容、大量的噪声以及几何失真的现象，对于获取准确的语义信息，仅仅提取局部信息是远远不够的，还需要进一步完善对复杂结构关系的推理机制并获取对噪声鲁棒的上下文信息。

3、因此，提出一种室外大范围三维重建点云语义分割技术方案，且该方案能够覆盖大范围点云高效处理、保留完整几何结构、推理复杂空间结构、提取鲁棒上下文信息、精准分割语义的全流程解决方案，解决现有方法计算成本高、结构易破坏、抗干扰能力弱、仅依赖局部信息难以适配复杂城市场景的技术短板，是本领域技术人员迫切需要解决的技术问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于边界点感知网络的无人机三维重建点云场景语义分割方法，旨在构建banet并使局部上下文聚合器、全局特征传播器和边界点感知器协同工作，应对具有大量噪声和几何失真的室外三维重建点云的语义分割任务，促进网络对三维点云空间中不同对象的语义特征的学习表达。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于边界点感知网络的无人机三维重建点云场景语义分割方法，包括以下步骤：

4、s1获取步骤：获取待检测区域的原始影像数据；

5、s2重建步骤：对原始影像数据进行三维重建，得到待检测区域的原始三维点云数据；

6、s3分割步骤：将原始三维点云数据输入训练好的banet网络进行语义分割，得到语义预测结果；语义预测结果表示待检测区域的多尺度下的三维模型预测结果；

7、s4约束步骤：利用交叉熵损失对语义预测结果进行约束，得到待检测区域的语义真值；

8、s5表达步骤：根据语义真值获取待检测区域的三维地理信息。

9、上述的方法，可选的，s1获取步骤中的原始影像数据包括影像数据、影像原生参数和原生辅助数据；其中，影像数据为无人机获取的可见光rgb影像。

10、上述的方法，可选的，s2重建步骤，具体包括：

11、s21数据校验步骤：对原始影像数据进行输入校验和无效帧剔除，得到标准影像数据；

12、s22特征提取步骤：提取标准影像数据的局部特征，进行双向特征匹配与误匹配剔除，得到影像关联数据；

13、s23坐标还原步骤：基于影像关联数据，利用sfm算法计算并还原关键点三维坐标，得到对应的相机位姿并生成稀疏彩色点云；

14、s24点云重构步骤：基于相机位姿和稀疏彩色点云，利用mvs多视图立体匹配进行全像素深度估计和反向推导，生成稠密三维点云；

15、s25滤波剔除步骤：对稠密三维点云进行滤波处理，剔除畸变噪声和误差噪声，输出待检测区域的原始三维点云数据。

16、上述的方法，可选的，s3中的banet网络为对称的五层编码层-解码层结构，包括依次连接的第一编码层、第二编码层、第三编码层、第四编码层、第五编码层、第一解码层、第二解码层、第三解码层、第四解码层和第五解码层；

17、其中，第五编码层和第一解码层之间嵌入全局特征传播器，第五编码层、全局特征传播器和第一解码层依次连接；第一编码层、第二编码层、第三编码层和第四编码层之后均嵌入局部特征聚合器，各编码层和各局部特征聚合器依次交替连接；第一解码层、第二解码层、第三解码层和第三解码层后均嵌入边界点感知器，各解码层和各边界点感知器依次交替连接。

18、上述的方法，可选的，banet网络中的任一局部特征聚合器，其用于执行如下所示的具体过程：

19、数据获取步骤：获取特征张量和三维点位置信息，并通过特征张量提取三维点集的全局上下文信息；其中，特征张量为当前局部特征聚合器嵌入位置的前一编码层对三维点集进行编码得到的；

20、空间编码步骤：基于k最近邻算法，对三维点位置信息进行局部特征编码得到局部空间位置表示数据，对全局上下文信息进行局部位置编码得到丰富后上下文表示数据；

21、自适应聚合步骤：通过闸门机制，引导局部空间位置表示数据和丰富后上下文表示数据进行上下文自适应聚合，得到初次增强后的三维点特征；

22、局部增强步骤：对初次增强后的三维点特征执行局部增强操作和更大范围信息提取，得到二次增强后的三维点特征；

23、残差融合步骤：利用残差连接将三维点集的全局上下文信息和二次增强后的三维点特征进行融合，得到最终局部增强型特征。

24、上述的方法，可选的，自适应聚合步骤中，上下文自适应聚合的过程表达公式具体如下：

25、；

26、式中，表示点的初次增强后的三维点特征；点邻域中三维点的数量，表示点邻域空间中近邻点的编码特征，表示哈达玛乘积，表示三维点邻域中近邻点在局部空间中的上下文重要性得分；表示当前编码层中三维点集的任意点位置，表示邻域空间中的任意近邻位置。

27、上述的方法，可选的，banet网络中的全局特征传播器用于执行如下所示的具体过程：

28、维度提取步骤：获取第五编码层输出的编码特征，基于并行池化结构沿通道维度提取编码特征的全局上下文信息，得到与并行池化结构对应的并行特征向量；

29、特征传播步骤：利用权重共享多层感知机作用于并行特征向量，建立内部点特征关联，得到关联特征向量；

30、融合映射步骤：基于通道维度，利用卷积融合对关联特征向量进行融合后根据sigmoid激活函数进行映射处理，得到重要性权重向量；

31、全局选择步骤：根据重要性权重向量对第五编码层输出的编码特征进行选择性增强或抑制，得到全局编码特征。

32、上述的方法，可选的，融合映射步骤中重要性权重向量的计算公式具体如下：

33、；

34、全局编码特征的计算公式具体为：

35、；

36、其中，表示重要性权重向量，其每个值表示它在编码特征中对应点特征在整个三维空间中的重要性；表示sigmoid激活函数；表示权重共享多层感知机；表示并行特征向量；表示矩阵加法操作；表示全局编码特征；表示哈达玛乘积。

37、上述的方法，可选的，banet网络中的边界点感知器用于计算对应编码层的语义标签，计算公式具体如下：

38、；

39、式中，表示第

n个编码层的第

i个三维点的语义真值；表示平均值池化操作；表示第

n个编码层的三维点在第

n-1个编码层的局部邻域空间，第

n个编码层特征中第

i个三维点是由第

n-1个编码层中的局部空间中的全部三维点集聚合得到；，表示第

n个编码层的尺度下的子采样点云；

n为编码层的数量且数值与各编码层一一对应，

n=5。

40、上述的方法，可选的，banet网络中的任一边界点感知器均采用边界点感知损失函数引导对应的解码层的解码阶段；其中，边界点感知损失函数的具体计算公式如下：

41、；

42、其中，表示第

n个解码层的边界点感知损失函数值，

n=5；表示第

n个子采样空间中点云的边界点真值；表示以点为中心的k邻域空间；计算的是变量

a和

b在三维空间中的欧氏距离，，分别表示第

n个子采样空间中点和的特征；表示对比学习中的温度参数；对于每个边界点，将其k邻域点划分为正样本和负样本，正样本点表示为，负样本点表示为。

43、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于边界点感知网络的无人机三维重建点云场景语义分割方法，具有以下有益效果：

44、（1）全局特征鲁棒：基于室外三维点云分割网络randlanet，设计并嵌入全局特征传播器，提取抗干扰上下文信息，强化网络全局场景感知能力，有效提升三维点云场景中大尺寸目标的分割精度；

45、（2）边界语义优化：针对几何失真导致的边界语义混淆问题，解码端引入边界点感知器，构建局部点集语义约束，挖掘多尺度边界特征，兼顾边界区分性与同类目标的语义一致性；

46、（3）多尺度协同：多层解码层配置多尺度语义监督模块，强化跨尺度目标识别能力，训练阶段与边界感知机制联动，依托反向传播闭环优化整体语义特征学习质量。