三维点云半自动标注方法、系统、电子设备及存储介质与流程

1.本发明涉及点云语义标注领域，更具体地，涉及一种三维点云半自动标注方法、系统、电子设备及存储介质。


背景技术：

2.近年来，随着计算机视觉、人工智能以及遥感测绘等技术的发展，slam、sfm等技术日渐成熟，点云的数据量增长迅速，人们对于点云数据高级语义理解方面的需求也与日俱增。点云分类和语义分割作为点云数据处理和分析的关键基础技术，成为众多热门领域的研究热点如智慧城市、自动驾驶、医学影响分割等，具有广泛的应用前景。传统的点云分类和分割方法需要大量的先验知识、手工设计特征描述子，这种手工设计特征的方式受主观因素影响很大且只能适应于特定场景的点云分类或分割任务，泛化能力不强，另外，这种方法需要大量的阈值，调参十分复杂。2006年，深度学习的提出，极大的促进了机器学习的发展，鉴于深度学习在图像分类、识别以及语义分割等领域取得的巨大成功，近年来，将深度学习引入三维点云处理和分析上已成为新的研究热点，在eccv2020的收录论文中，三维方面所占比重已过半。然而深度学习一般需要大量的数据标注作为训练样本，而人工标注数据费时费力，而且由于点云本身的无序性、稀疏性以及无规则性，在人工进行标注时，难免会产生漏标或错标，会给神经网络的训练带来一些先验误差，影响模型的效果，因此如何进行有效的点云标注是当前运用深度学习进行点云数据处理和分析的关键。


技术实现要素：

3.本发明针对现有技术中存在的技术问题，提供一种三维点云半自动标注方法、系统、电子设备及存储介质。
4.根据本发明的第一方面，提供了一种三维点云半自动标注方法，包括：基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建局部特征聚合与随机采样进行互补的语义网络模型；基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；大量点云数据的识别结果进行调整。
5.在上述技术方案的基础上，本发明还可以作出如下改进。
6.可选的，所述实景三维模型转换得到的点云数据为摄影测量匹配产生的实景三维模型或生成的点云数据，或者为激光扫描产生的点云数据。
7.可选的，所述基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集，包括：采用点云标注软件软件对点云数据进行标注，分为建筑物、高大植被、路面和未分类四种类型的标签。
8.可选的，所述语义网络模型包括局部特征聚合模块、随机采样模块、多层感知器、上采样模块、全连接层和输出层；所述局部特征聚合模块和随机采样模块组合形成第一组合模块，多层感知器和上采样模块组合形成第二组合模块，串行连接的多个第一组合模块、
串行连接的多个所述第二组合模块、多个全连接层依次连接后与所述输出层连接。
9.可选的，所述局部特征聚合模块包括局部空间编码模块、注意力池化模块和扩张残差模块；所述局部空间编码模块，用于对输入点云数据的三维坐标信息进行编码，输出每一个点云数据的相邻特征集合；所述注意力池化模块，用于将所述每一个点云数据的相邻特征集合中的相邻特征聚合起来，获取每一个点云数据的聚合特征；所述随机采样模块，用于对点云数据的聚合特征进行随机采样，获取采样后的部分点云数据的聚合特征；所述扩张残差模块，用于使用跳跃连接方式将多个局部空间编码模块和多个注意力池化模块相连接，以增加每一个点云数据的感受野。
10.可选的，所述所述局部空间编码模块，用于对输入点云数据的三维坐标信息进行编码，输出每一个点云数据的相邻特征集合，包括：
11.用k最近邻搜索算法为每一个点pi找到欧氏空间的最近的邻域点；
12.对于pi的k个最邻近点对点云数据的相对位置进行编码，将中心点的三维坐标pi，邻域点的三维坐标相对坐标以及欧氏距离连接在一起形成编码后的相位位置：
13.将邻域点对应的点特征与编码后的相对位置连接在一起，得到新的点特征最终所述局部空间编码模块输出一组新的相邻特征即每一个点云数据的相邻特征集合。
14.可选的，所述所述注意力池化模块，用于将所述每一个点云数据的相邻特征集合中的相邻特征聚合起来，获取每一个点云数据的聚合特征，包括：对于一个邻域特征点集合：
[0015][0016]
利用一个共享函数g()来学习每个特征的唯一注意力分数，可以将其定义为：
[0017][0018]
其中，w为多层感知器的可学习权重。最终得到的特征为这些邻域特征点集的加权求和结果，如下式
[0019][0020]
可选的，所述基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型，包括：基于所述训练点云数据集对构建的所述语义网络模型进行训练，训练过程中，对所述语义网络模型的超参数进行调整，所述超参数包括迭代次数、训练学习率和采样大小。
[0021]
根据本发明的第二方面，提供一种三维点云半自动标注系统，包括：生成模块，用于基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建模块，用于构建局部特征聚合与随机采样进行互补的语义网络模型；训练模块，用于基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；识别模块，用于基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；调整模块，用于大量点云数据的识别结果进行调整。
[0022]
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现三维点云半自动标注方法的步骤。
[0023]
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现三维点云半自动标注方法的步骤。
[0024]
本发明提供的一种三维点云半自动标注方法、系统、电子设备及存储介质，结合语义分割识别结果来辅助点云数据标注，节省了大量的人力，其语义网络模型能适应室外大场景数据，尽可能保留整体的几何结构，且对点云数据的标注用时较快。
附图说明
[0025]
图1为本发明提供的一种三维点云半自动标注方法流程图；
[0026]
图2为语义网络模型结构示意图；
[0027]
图3为局部空间编码模块的结构示意图；
[0028]
图4为扩张残差模块增加感受野示意图；
[0029]
图5为本发明实施例的一种三维点云半自动标注系统结构示意图；
[0030]
图6为本发明提供的一种可能的电子设备的硬件结构示意图；
[0031]
图7为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
[0032]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0033]
实施例一
[0034]
一种三维点云半自动标注方法，参见图1，该方法包括：基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建局部特征聚合与随机采样进行互补的语义网络模型；基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；大量点云数据的识别结果进行调整。
[0035]
可以理解的是，基于背景技术中的描述，目前三维方向研究的开源数据集较少，且开源的数据集无法泛化到实际场景中，基于此，本发明提供了一种可对三维点云数据进行半自动标注的方法，可以提升点云标注的智能化，提高点云标注效率。
[0036]
本发明是在于利用点云分割识别的结果来省去人工不必要的操作与时间提升效率，采用嵌入随机采样和局部特征聚合模块来建立训练模型，其中，局部特征聚合模块(lfa)包含三个子模块：局部空间编码(local spatial encoding，locse)模块，注意力池化(attentive pooling)模块和扩张残差(dilated residual block)模块，然后再由人工对
识别不正确或者漏检的部分进行调整。
[0037]
提供的对三维点云半自动标注的方法主要包括如下步骤：
[0038]
(1)采用无人机进行空中采集数据构建实景三维模型，数据来源可以是摄影测量匹配产生的模型或生成的点云，也可以直接来自激光扫描产生的点云。
[0039]
(2)制作点云数据集，将符合需求的实景三维模型进行点云转换，使用点云标注工具，比如如microstation v8i等，进行分类标注，根据标签进行对应的点云数据的标注，应先对三维点云数据进行整理，在标注时对容易出现重复的单个体数据优先进行标注。
[0040]
(3)建立语义模型，用随机采样(random sample)方法从n个点中均匀的选择k个点，并引入一个局部特征聚合模块与随机采样进行互补建立模型。
[0041]
(4)进行模型的微调，微调模型中的一些超参数，如：迭代次数，训练学习率，采样大小等，之后就可以训练，在训练时候可以观察损失函数的变化。
[0042]
(5)将结果导入点云标注软件中再进行人工调整出现错误及模型无法自动标注的数据。
[0043]
本发明结合语义分割识别结果来辅助点云数据标注，节省了大量的人力，其语义网络模型能适应室外大场景数据，尽可能保留整体的几何结构，且对点云数据的标注用时较快。
[0044]
实施例二
[0045]
一种三维点云板自动标注方法，包括如下步骤：
[0046]
s1，基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集。
[0047]
作为实施例，所述实景三维模型转换得到的点云数据为摄影测量匹配产生的实景三维模型或生成的点云数据，或者为激光扫描产生的点云数据。
[0048]
具体的，点云是在同一空间坐标系下海量点云的集合，这些点具有相互独立的属性信息，点云的获取方式分为两种：直接式和间接式。直接获取点云的方法主要利用三维激光扫描仪直接获取，间接获取点云的方式是利用摄影测量原理由图像生成点云，与二维图像相比，具有图像不可比拟的优势-丰富空间信息，而这些信息对分类或分割等任务来说是非常重要的。
[0049]
获取到三维点云数据后，对点云数据进行标注，生成点云数据集，用来对后续的语义网络模型进行训练。具体的，本发明所使用的训练和测试数据均是由实景三维模型上转化而来。这里选用microstation v8i软件对三维点云数据进行标注，分为四类：建筑物(building)、高大植被(high-vegetation)、路面(ground)和未分类(default)，根据类别对点云数据进行标记。
[0050]
s2，构建局部特征聚合与随机采样进行互补的语义网络模型。
[0051]
鉴于传统方法在点云处理和分析上的局限性，引入深度学习来处理点云已成为一种趋势，但是由于深度学习需要海量的先验信息而人工标注工作量巨大，本发明提出一种基于语义的半自动点云标注方法。事实上，核心思想就是事先利用一部分标注数据构建一个语义网络模型，而后利用语义网络模型进行识别，自动分类，故构建语义网络模型是本发明的重点。
[0052]
当前深度学习的点云分割方法主要分为3种：1)将点云投影到多视角二维图像中，
通过处理图像来实现三维点云的语义分割；2)将点云体素化然后利用三维卷积神经网络(3dcnn)来处理；3)直接以点云作为输入，来进行点云的语义分割。前两种方法在转化的过程中有可能会造成点云信息的丢失，且转化的过程比较繁琐，占用的内存巨大。自从2017年能直接在非规则点云上进行处理的pointnet被提出以来，越来越多的研究者开始尝试提出能够直接处理非规则点云的网络结构，出现了如pointnet ，pointcnn，pointconv等一系列具有代表性的工作，尽管这些方法在三维目标识别和分割等任务上都取得了很好的效果，但是大多数方法局限在非常小的点云上，对于大范围的点云，需要将其切分为若干小点云块，这种预处理方式虽然方便了网络的训练和测试，但将整个场景切分为若干小点云块会损失整体的几何结构。
[0053]
本发明在分析当前大多数方法无法直接处理大场景点云的主要原因的基础上，提出一种可以适用于大规模点云语义分割的方法。当前的点云语义分割网络不能直接运用大规模场景的原因主要是网络中的降采样方法计算量占用较大的内存。点云的降采样方法主要由三种：最远点采样(farthest point sampling，fps)、逆密度重要性采样(inverse density importance sampling，idis)和随机采样(random sampling，rs)。目前主流的点云语义分割网络pointnet ，pointcnn，pointconv均采用fps进行采样，这种方法每次采样的时候都选择离之前采样得到的k-1的点距离最远的点，fps的计算复杂度是ο(n2)，计算量与输入点云的点数呈平方相关。idis采样方法就是根据每个点的密度对其重新排序，尽可能地保留密度比较低的地方的点云，idis的计算复杂度为ο(n)，这种方法对噪点比较敏感，一般不予采用。而rs采样是从n个点中均匀的选择k个点，rs计算的复杂度为ο(1)，这种采样方法与输入点的总数无关，这是一种较高的采样方法，本发明就是采用随机采样进行网络之间的降采样，但是随机地对点云进行降采样，势必会造成有用信息的丢失，为解决这一问题，本发明引入一个局部特征聚合模块与随机采样进行互补。
[0054]
基于上述的基础知识，本发明构建了一种局部特征聚合模块与随机采样互补的语义网络模型，本发明的语义网络模型是基于标准的编码器-解码器(encoder-decoder)组建的，语义网络模型中嵌入随机采样模块和局部特征聚合模块。其网络的结构图如图2所示。其中图2中包含了局部特征聚合模块(lfa)、随机采样模块(rs)，多层感知器(mlp)、上采样(us)全连接层(fc)和dropout层(dp)，局部特征聚合模块和随机采样模块组合形成第一组合模块，多层感知器和上采样模块组合形成第二组合模块，串行连接的多个第一组合模块、串行连接的多个第二组合模块、多个全连接层依次连接后与输出层连接。
[0055]
其中，局部特征聚合模块(lfa)包含三个子模块：局部空间编码(local spatial encoding，locse)模块、注意力池化(attentive pooling)模块和扩张残差(dilated residual block)模块。
[0056]
作为实施例，局部空间编码模块，用于对输入点云数据的三维坐标信息进行编码，输出每一个点云数据的相邻特征集合。注意力池化模块，用于将所述每一个点云数据的相邻特征集合中的相邻特征聚合起来，获取每一个点云数据的聚合特征。随机采样模块，用于对点云数据的聚合特征进行随机采样，获取采样后的部分点云数据的聚合特征。扩张残差模块，用于使用跳跃连接方式将多个局部空间编码模块和多个注意力池化模块相连接，以增加每一个点云数据的感受野。
[0057]
下面对局部特征聚合模块中的多个模块的工作原理进行详细介绍。
[0058]
①
局部空间编码模块(locse)：locse用于显式地对输入的点云的三维坐标信息进行编码，这里不同于直接将各个点的三维坐标作为普通的通道特征直接输入到网络中。locse模块旨在编码三维点云的空间几何形状信息，从而使得网络能够从各个点的相对位置以及距离信息中更好的学习到空间的几何结构。具体的步骤：首先，用k最近邻搜索算法为每一个点pi找到欧氏空间的最近的邻域点；对于pi的k个最邻近点我们显式地对点的相对位置进行编码，将中心点的三维坐标pi，邻域点的三维坐标相对坐标以及欧氏距离连接在一起形成编码后的相位位置：最后将邻域点对应的点特征与编码后的相对位置连接在一起，得到新的点特征最终locse单元的输出是一组新的相邻特征它显式地编码要增加地相对位置相邻的点特征。locse单元示意图如图3所示。
[0059]
②
注意力池化模块：注意力池化模块用于将locse单元输出的邻域点特征集聚合在一起。现有的大多数算法通常采用启发式的平均池化、最大池化等硬组合邻域但特征集，这样有可能导致许多有用的信息被丢失。这里引入注意力机制来学习和聚合邻域点特征集中的有用信息。
[0060]
具体地，对于一个邻域特征点集合：
[0061][0062]
利用一个共享函数g()来学习每个特征的唯一注意力分数，可以将其定义为：
[0063][0064]
其中，w为多层感知器的可学习权重，最终得到的特征为这些邻域特征点集的加权求和结果，如下式
[0065][0066]
③
扩张残差模块：注意力池化模块最终输出每一个点云数据的加权求和特征，由于原始的点云数据量较大，因此，采用随机采样的方式采样获取部分点云数据的加权求和特征，减少数据量。由于大规模点云被大幅度降采样，会造成点云数据信息的丢失，为了使输入点云的几何细节尽可能保留，需要增加每个点的感受野。在resnet及其拓展网络的启发下，扩张残差模块使用跳跃连接将多个locse单元和注意力池化模块相连接，如图4所示，编号为1点在第一次扩张残差块作用后的有效感受野变为k，第二次扩张残差块作用后有效感受野变为k2。
[0067]
s3，基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后
的语义网络模型。
[0068]
上述步骤s1对点云数据进行标注，生成了训练点云数据集，步骤s2构建了语义网络模型，本步骤利用s1中生成的训练点云数据集对s2中构建的语义网络模块进行训练和测试。
[0069]
搭建好语义网络模型之后，进行语义网络模型的微调，微调模型中的一些超参数，如迭代次数，训练学习率，采样大小等，之后就可以训练，在训练时候可以观察损失函数的变化，一般损失函数收敛或近似收敛，即可完成训练。语义网络模型训练完成之后，接下来就是语义网络模型的测试，首先可以通过观察在训练集和验证集上的精度曲线来分析语义网络模型是否存在过拟合和欠拟合的情况，然后再通过调用语义网络模型进行测试，分析测试结果，并统计检测精度。
[0070]
s4，基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；s5，大量点云数据的识别结果进行调整。
[0071]
具体的，对语义网络模型进行训练和测试后，基于训练测试后的语义网络模型对待识别的点云数据的类别进行识别，输出识别结果。将识别结果返回标注界面。其中，调用语义网络模型进行测试，将测试结果转为目前所用点云标注软件支持的格式，即可进行人工的交互。对于由语义网络模型输出的识别结果中出现错误的识别结果，或者是漏检的，可以通过人工进行调整，完成三维点云的半自动标注任务。
[0072]
需要说明的是，对于本发明提供的三维点云半自动标注方法，已在实验中得到充分验证，并在实际项目中得到运行。比如，对一个0.8平方公里的点云进行语义分割，点云数量八千一百万，在rtx2070显卡测试用时22分36秒。对提取的准确率做了统计：建筑物提取的准确率为96.7％，高大植被提取准确率92.9％，地面提取准确率为85.6％，综合准确率为91.7％，本发明实验用的训练数据约为两千万点。然后将识别结果导回标注软件，可使标注工作量至少80％。
[0073]
实施例三
[0074]
一种三维点云半自动标注系统，参见图5，该系统包括生成模块501、构建模块502、训练模块503、识别模块504和调整模块505，其中：
[0075]
生成模块501，用于基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建模块502，用于构建局部特征聚合与随机采样进行互补的语义网络模型；训练模块503，用于基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；识别模块504，用于基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；调整模块505，用于大量点云数据的识别结果进行调整。
[0076]
可以理解的是，本发明提供的一种三维点云半自动标注系统与前述各实施例提供的三维点云半自动标注方法相对应，三维点云半自动标注系统的相关技术特征可参考三维点云半自动标注方法的相关技术特征，在此不再赘述。
[0077]
实施例四
[0078]
请参阅图6，图6为本发明实施例提供的电子设备的实施例示意图。如图6所示，本发明实施例提了一种电子设备600，包括存储器610处理器620及存储在存储器610上并可在处理器620上运行的计算机程序611，处理器620执行计算机程序611时实现以下步骤：基于
实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建局部特征聚合与随机采样进行互补的语义网络模型；基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；大量点云数据的识别结果进行调整。
[0079]
实施例五
[0080]
请参阅图7，图7为本发明提供的一种计算机可读存储介质的实施例示意图。如图7所示，本实施例提供了一种计算机可读存储介质700，其上存储有计算机程序711，该计算机程序711被处理器执行时实现如下步骤：基于实景三维模型转换得到的点云数据，对所述点云数据进行标注，生成训练点云数据集；构建局部特征聚合与随机采样进行互补的语义网络模型；基于所述训练点云数据集对构建的所述语义网络模型进行训练，得到训练后的语义网络模型；基于训练后的语义网络模型对大量点云数据进行识别，获取大量点云数据的识别结果；大量点云数据的识别结果进行调整。
[0081]
本发明实施例提供的一种三维点云半自动标注方法、系统、电子设备及存储介质，相比现有技术，具有以下优点：
[0082]
(1)结合点云语义分割识别结果来辅助点云数据标注，节省了大量的人力，实现了三维点云数据的半自动化标注任务。
[0083]
(2)语义网络模型采用随机采样和局部特征聚合的互补方式获取点云的特征，能适应室外大场景数据，尽可能保留了整体的几何结构，且用时较快。
[0084]
(2)当前研究三维点云都是基于地面lidar数据，本发明使用的是实景三维数据，为之后处理实景三维数据提供了一个思路。
[0085]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0086]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0087]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0088]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0089]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0090]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0091]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。