一种基于深度学习的多等级公路三维点云目标分割方法

1.本发明涉及三维点云目标分割技术领域，尤其设计是一种基于深度学习的多等级公路场景下的三维点云目标分割方法。


背景技术：

2.多等级公路场景下三维点云目标分割是从大家熟知的不同等级的公路场景中将不同种类的公路目标物分割识别出来，是汽车辅助驾驶和自动驾驶等领域的基础。三维点云目标分割算法在这些年间，已经经历了多个阶段。从最初的huang等人提出的传统方法进行三维点云目标分割；到后来一些研究人员提出了基于机器学习的点云目标分割算法，国外研究人员timo hackel等提出的基于kdtree进行邻近点特征信息提取，再结合随机森林的方法实现三维点云特征提取、学习及快速分类；最后随着深度学习方法的提出和发展，目前大多数学者和研究人员都已经专注于深度学习领域进行快速的三维点云目标分割。而基于深度学习方法实现点云目标分割又包含了不同的方向：基于体素化的方法、基于投影的方法以及基于点的方法。(1)点云体素化是通过用空间均匀大小的体素网格来模拟模型或者点云的几何形态的过程，实现模型体素化的方式有很多，比如基于八叉树的三维网格模型体素化等。基于体素化的方法则是将点云体素化后，利用卷积神经网络(cnn)对体素进行特征提取和学习；(2)基于投影的方法是将3d点云投影二维图像中，包括多视图和球形图像，再利用二维图像相关的深度学习算法进行特征提取和学习，charles r.qi等人提出的mvcnn开创性的使用三维数据的二维视图作为卷积神经网络的输入，再利用池化层进行聚合以达到较优的分类和目标分割任务；(3)不管是基于体素的方法还是基于投影的方法，都存在一个很大的弊端，就是不管是将三维点云转化为体素还是多视图，都将占用大量内存资源，并且因为数据量级巨大，需要耗费大量计算资源，无法实现高效率的点云识别分割，因此，直接基于点的方法应运而生。2017年，由c.r.qi,h.su等人开创性地提出的pointnet，该网络通过几个共享多层感知机(share mlp)学习各个点的特征，并通过最大池化层(max pooling)提取全局形状特征，以达到基于点的方法实现点云目标分割。
3.激光雷达(light detection and ranging,lidar)是采集三维点云数据的重要仪器，通过激光雷达扫描，可以获取目标的很多信息，包括三维坐标信息、强度信息、颜色信息等，与2d光学图像相比，三维点云数据能够好地反映周围的环境信息，因此，三维点云数据已经被应用到了包括自动驾驶、机器人技术、三维设计、医疗等诸多领域。而三维点云数据由于存在离散性、稀疏性、海量性，特别是类似于公路等户外场景下，点云数据的数据规模巨大且密度不均匀，导致目标分割算法的效率低和准确率低等问题。因此需要一种基于深度学习的多等级公路三维点云目标分割方法克服现有方法存在的问题。


技术实现要素：

4.本发明的目的在于：本发明提供了一种基于深度学习的多等级公路三维点云目标分割方法，解决现有神经网络因多等级公路场景下点云数据具有数据规模大、密度不均匀
导致目标分割效率低和准确率低的问题。
5.本发明采用的技术方案如下：
6.一种基于深度学习的多等级公路三维点云目标分割方法，包括如下步骤：
7.步骤1：建立数据集：将多等级公路场景下的三维点云数据进行区域分段、点云滤波、数据抽稀和分类标注后，获得多等级公路场景下包含多类目标物的点云数据集；
8.步骤2：数据预处理：基于map(map数据结构)和k-d树(k维树，是一种空间划分的数据结构，k-d树其实是一个k维的二叉树，每一个节点包含k维的二叉树，树的每一个节点包含k维数据)实现大规模点云数据的数据预处理操作，降低点云数据的规模并保留原始数据与预处理后数据的映射关系，该映射关系用于快速还原点云数据：
9.步骤2.1：确定采样网格大小：根据点云数据的数据量规模和计算资源的算力大小，确定数据预处理时采样网格的大小，网格越大，预处理后的数据密度越小，反之，则预处理后的数据密度越大，网格大小设置为k*k*k，则代表边长为k的网格内只保留一个点；
10.步骤2.2：计算点云数据的投影范围以及点的索引位置：根据网格大小和输入点云数据的坐标范围，以网格大小为1个单位，重新构建坐标系，计算点云数据在新的坐标系下的投影范围，并遍历每一个点计算其在新坐标系的索引位置；
11.步骤2.3：构建map结构存储点云数据并计算重心位置：构建map结构用于存储点云数据的xyz坐标，标签值，以及统计每一个索引位置点的数量，并利用坐标值和点数量计算该索引位置中点云数据的重心位置，以该位置点作为预处理后的点；
12.步骤2.4：构建k-d树保存预处理后的点与原始点云的映射关系：以预处理后的每个点作为k-d树的节点建立k-d树，遍历原始点云所有的点，通过投影的方式，将原始点云的所有点投影到k-d树相应的节点，用于后续在预处理后的点云数据上进行目标分割后快速还原为原始点云数据；
13.步骤3：构建并训练点云目标分割网络模型：构建包括输入层、随机采样层(包含特征聚合模块和注意力机制池化)、上采样层、输出层的目标分割网络模型，利用点云数据集训练并调优上述模型，基于训练好的模型获得最优模型；
14.其中，输入层根据输入的数据预处理后的点云数据进行样本提取，以获取采样点并作为后续特征提取的输入；随机采样层包括特征聚合模块和注意力机制池化，所述特征聚合模块将采样点及其邻近点的特征信息进行串联，增强采样点的特征向量，注意力机制池化自动学习局部特征信息(包含绝对位置、相对位置、欧氏距离)，汇总邻近点的特征信息的集合，最终生成相应的特征向量；上采样层通过随机采样层共享多层感知机对点云数据进行插值操作；所述输出层由全连接层组成，用于输出目标分割结果；
15.步骤4：基于训练好的模型获取目标分割结果：对待分割的公路三维点云数据执行数据预处理后，输入训练好的点云目标分割网络模型，以获取目标分割结果，根据目标分割结果通过k-d树建立的映射关系快速还原为原始点云目标分割结果。
16.优选地，所述步骤1包括如下步骤：
17.步骤1.1：对原始公路点云数据进行区域分段：将长度不一的公路点云数据进行分段处理，每个路段长度设置为不超过300m，宽度设置不超过100m，且分段时保证每一个路段的目标物种类丰富；
18.步骤1.2：对分段后的点云数据进行滤波：根据点云数据在xyz三个坐标轴的分布
范围，利用直通滤波器去除特定范围内的离群噪声点，再利用统计滤波器去除密度低于指定值(即密度较为稀疏)的离群噪声点；
19.步骤1.3：对滤波后的点云数据进行数据抽稀：根据分段滤波后的三维点云数据规模的大小，考虑是否需要进行数据抽稀操作，若需要抽稀，则根据抽稀程度设置随机丢弃点的间隔距离，使用随机丢弃法完成简单的数据抽稀操作；
20.步骤1.4：对数据抽稀后的点云数据进行分类标注：根据地面tin(三角形不规则网络)模型，利用不同目标种类之间的高程差将点云数据提取为不同目标种类，设置不同标签。
21.优选的，所述步骤3中，将特征聚合模块和注意力机制池化连接在一起作为一个特征提取操作，将两个特征提取操作通过共享多层感知机实现连接，并堆叠成一个残差块，最后将n个残差块通过共享多层感知机实现连接构成残差网络，并以该残差网络作为随机采样层，随机采样层的输出经上采样层进行插值处理，再输入至全连接层以获取目标分割结果。
22.优选地，所述步骤4中，根据目标分割结果通过k-d树建立的映射关系还原为原始点云目标分割结果为：通过k-d树建立的映射关系，遍历预处理后点云的每一个点及其目标分割结果，反向映射回原始点云数据，得到原始点云数据的目标分割结果。
23.优选地，所述k的取值范围建议为0-1m。
24.优选地，所述n的取值范围为1-4。
25.综上所述，由于采用了上述技术方案，本发明的有益效果是：
26.(1)本发明通过基于map和k-d树的点云数据预处理操作，降低原始大规模的公路点云数据的数据规模，大大降低后续使用深度神经网络实现公路场景下的点云目标分割的计算量，节约大量的计算资源，提高目标分割的效率；
27.(2)本发明的多等级公路点云目标分割网络，利用特征聚合模块和注意力机制池化保留了点云数据的几何特征，且增强了点的特征向量，利于随机采样层提取全局特征。建立残差网络避免了梯度消失，并且扩大了每个点的感受野，利于随机采样层提取点云的局部几何特征，大大提高了点云目标分割的准确率。
附图说明
28.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
29.图1为本发明的方法流程图；
30.图2为本发明的建立数据集的流程图；
31.图3为本发明的数据预处理的流程图；
32.图4为本发明的数据预处理的map结构图；
33.图5为本发明的网络模型的结构图；
34.图6为本发明的目标分割结果对比示意图，其中第(a)列表示原始点云数据，第(b)列表示真实标签结果，第(c)列表示目标分割结果。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
36.以下结合实施例对本发明的特征和性能作进一步的详细描述。
37.如图1所示，本发明实施例提供的一种基于深度学习的多等级公路场景下三维点云目标分割方法，包括如下步骤：
38.a：建立数据集：将多等级公路场景下的三维点云数据进行区域分段、点云滤波、数据抽稀和分类标注后，获得多等级公路场景下包含多类目标物的点云数据集(包括训练集和测试集，训练集用于训练网络模型，测试用于测试处理性能)，如图2所示，其具体处理包括：
39.a1：区域分段：利用terrasolid工具(一种激光雷达点云数据处理软件)的分块功能先将大规模点云数据进行分块处理，每一块的边长设置为1km，基于分好块的数据人工将长度不一的公路点云数据进行分段处理，每个路段长度设置为不超过300m，宽度设置不超过100m，且分段的同时尽量保证每一个路段的目标物种类丰富，目标物种类应包含且不仅包含广告牌、道路、植被、人行天桥、建筑物等多类目标物，若该路段只包含道路和植被，可以考虑舍弃该路段。
40.a2：点云滤波：由于对点云进行区域分段后，点云数据的xyz坐标范围大致确定，则根据点云数据在xyz三个坐标轴的分布范围，首先利用直通滤波器去除特定范围内的离群噪声点，设置直通滤波器中各坐标轴的范围大小，大小根据分段确定，x的设置范围为0-100，y的设置范围为0-300，则范围外的噪声点被滤波，再利用统计滤波器去除密度较为稀疏的离群噪声点，统计滤波器会自动进行区域密度计算，将较为稀疏的区域当做噪声点进行滤波。
41.a3：数据抽稀：根据分段滤波后的三维点云数据规模的大小，考虑是否需要进行数据抽稀操作，若需要抽稀，则根据抽稀程度设置随机丢弃点的间隔距离，使用随机丢弃法完成简单的数据抽稀操作，利用terrasolid工具设置随机丢弃点的间隔距离，值的设定根据点云规模和抽稀程度确定。
42.a4：分类标注：根据地面tin模型，利用不同目标种类之间的高程差将点云数据提取为不同目标种类，设置不同标签。利用terrasolid工具建立点云数据的地面tin模型分离出地面点，用一个点(中心点)的高程值与给定距离范围内每一个点的高程值比较，如果中心点明显低于其他点，这个点将被分离出来为一类作为低点，地面以上点分为三类：低矮植被、中等高度植被和高植被。设置每一类的高度范围，如：低矮植被设为低于0.3m的点。这个分类算法先是用上面所分出的地表点建立一个临时的tin模型，然后其他的点与这个tin模型的高度值比较，如果低于0.3m，就把这个点归入低矮植被分类里，其他两种分类做法相同，可以使用此方法设置不同高程值分离广告牌、建筑物等点。最后使用人工手动分类，修正分类错误的点。
43.b：数据预处理：基于map和k-d树实现大规模点云数据的数据预处理操作，降低点云数据的规模并保留原始数据与预处理后数据的映射关系，该映射关系用于快速还原点云数据，具体处理过程如图3所示，包括：
44.b1：设定网格大小k：根据点云数据的数据量规模和计算资源的算力大小，确定数
据预处理时采样网格的大小，网格越大，预处理后的数据密度越小，反之，则预处理后的数据密度越大，网格大小设置为k*k*k，则代表边长为k的网格内只保留一个点。k越大可能会导致点云几何特征丢失越严重，因此对于公路点云数据，k的值设定范围为0-1m。
45.b2：以k为单位构建新的坐标系，计算原始点云投影范围及每个点投影的索引位置：根据网格大小和输入点云数据的坐标范围，以网格大小k为1个单位，重新构建坐标系，计算点云数据在新的坐标系下的投影范围，投影范围x轴范围的计算公式如下，y轴范围同理：
[0046][0047]
式中，max
x
表示原始点云数据x轴最大坐标；ori
x
表示原始点云数据x轴起始坐标；size则表示体素网格的大小。然后，遍历每一个点计算其在新坐标系的索引位置，索引位置计算公式如下：
[0048]
mapidx＝index
x
samplex*indexy samplex*sampley*indexz[0049]
式中mapidx表示最终在map中的索引值；index
x
、indexy、indexz则分别表示根据当前点的x,y,z坐标计算的在网格中的索引位置。其中，index
x
、indexy、indexz这三个值的计算公式如下式所示。
[0050][0051]
b3：构建map结构存储点云数据并计算重心位置，以该重心位置作为预处理后的点：构建map结构用于存储点云数据的xyz坐标，标签值，以及统计每一个索引位置点的数量，如图4，每一个key(预处理后的索引位置)对应着一个sampledata的数据结构，该数据结构包含了点云坐标x,y,z，标签值lable以及用于计数的变量count，并利用坐标值和点数量计算该索引位置中点云数据的重心位置，计算公式如下：
[0052][0053]
最后，使用每个虚拟体素网格中的所有点的重心位置代表该体素网格所有的点，label标签的值为该体素网格中多数的点所代表的标签值。
[0054]
b4：构建k-d树保存预处理后的点与原始点云的映射关系：
[0055]
为预处理后的点建立k-d树，使每一个点成为k-d树的节点。并且通过投影的方式，将原始点云的所有点投影到k-d树相应的节点，这样，后续进行样本提取的时候，只需要提取到预处理后的点，就可以根据投影关系直接将k-d树一个节点及其邻近点当作一片点云，作为一个样本。在高维空间中，这比常用的聚类算法计算效率更高，而且更为准确，不受任何参数影响。同时，因为将原始数据与预处理后的数据建立了投影关系，因此在后续推理的时候，只需要对预处理后的数据进行识别后，再通过投影关系就可以还原回原始点云数据了。
[0056]
c：构建并训练点云目标分割网络：构建包括输入层、随机采样层(包含特征聚合模块和注意力机制池化)、上采样层、输出层的目标分割网络模型，利用点云数据集的训练集训练并调优上述模型，获得最优模型，如图5所示：
[0057]
c1：定义网络模型：输入层根据输入的预处理后的点云数据进行样本提取作为后
续特征提取的输入，特征聚合模块和注意力机制池化结合构成了随机采样层，随机采样层的目的是对输入层的点云数据进行下采样的同时尽可能保证点云的几何特征不受破坏。特征聚合模块将采样后的第i个点pi作为中心点，使用knn(k-nearest neighbor)算法基于欧氏距离计算找到该重心点邻近的k个点然后，对于该中心点的邻近点，进行相对位置的明确编码，得到编码后的特征向量并通过多层感知机mlp完成特征信息的传递，如下公式：
[0058][0059]
其中，mlp()表示多层感知机的输出，表示pi的第k个邻近点。
[0060]
同时将邻近点的特征向量与该点的特征进行串联，增加其特征向量，增强的特征向量其中，f
ik
表示的特征向量。这使得网络在特征提取时能够显式地观察局部几何图案。注意力机制池化首先是计算注意力得分，对于一组获取到的本地特征向量网络通过一个共享函数g(
·
)为每一个特征学习一个唯一的注意力机制得分，该共享函数由一个mlp实现，并且与softmax函数相连，网络会自动学习获取到每一个邻近点的特征所占据的比率，并且根据特征的重要性分配所占的位置多少，越重要所占的位置越多，该函数的定义如公式：
[0061][0062]
式中w为可学习的权重。然后，根据所学习到的注意力机制得分，对每一个特征进行加权求和，得到新的特征向量加权求和公式如下：
[0063][0064]
上采样层通过随机采样层共享mlp对点云数据进行插值操作，用于还原点云数据，最后连接全连接层作为输出层。
[0065]
c2：建立残差网络：将特征聚合模块和注意力机制池化连接在一起作为一个特征提取操作，将两个特征提取操作通过共享mlp实现连接，堆叠成一个残差块，如图5所示，最后将n个残差块通过共享mlp实现连接构成残差网络，这样既可以避免梯度消失，还可以扩大网络的感受野，使网络能够更加容易的提取点云的局部几何结构。由于残差块堆叠越多，网络的训练和推理速度会越慢，因此n的设置范围建议为1-4。
[0066]
d：获取分割结果，将测试数据经过数据预处理后输入训练好的目标分割挽留过进行目标分割获得结果，根据目标分割的结果通过k-d树建立的映射关系快速还原为原始点云目标分割结果。
[0067]
本实例比较数据预处理时设定不同网格大小k对目标分割时间和准确率的影响，如表1，比较残差块数量n对目标分割效率和准确率的影响，如表2：
[0068]
表1网格大小k对目标分割结果影响
[0069]
k的取值(m)miou(％)oa(％)训练时间(h)推理时间(s)088.4996.71814.52
0.387.2595.81410.280.586.6295.296.720.783.3693.665.74179.1492.144.43
[0070]
表2残差块数量n对目标分割结果影响
[0071]
n的取值miou(％)oa(％)训练时间(h)推理时间(s)186.6295.296.72292.0497.92014.17
[0072]
根据表1和表2可得出，本技术的多等级公路三维点云目标分割方法采用数据预处理和残差结构后识别效率和准确率都有所提高；如图6所示，对比了目标分割前后效果，图6中的第(a)列为原始点云数据，图6中的第(b)列为真实标注标签的结果，包括道路，地面，广告牌，天桥，绿色植被等，图6中的第(c)列为目标分割的结果，黑色圈出来的部分为分割错误的点；综上所述，通过本发明提供的等级公路三维点云目标分割方法，实现了公路场景下点云数据的快速准确分割识别，通过区域分段、点云滤波、点云抽稀等操作建立数据集，降低计算量且提高网络训练的质量；同时通过数据预处理算法大大降低点云数据规模，提高目标分割的效率；通过建立残差结构的目标分割网络对点云数据进行特征提取和学习，提高目标分割的准确率。
[0073]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0074]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。