一种三维点云的物体检测方法与流程

1.本发明涉及计算机视觉、深度学习技术领域，特别涉及一种三维点云的物体检测方法。


背景技术：

2.近年来，深度学习在二维计算机视觉的目标检测和分割中取得了很大的进展；然而在实际生活中，除了对二维场景的理解外，对于三维对象的检测也是至关重要和不可或缺的，例如，在自动驾驶、家用扫地机器人以及城市规划中。因此进行三维物体检测越来越受到人们的关注。
3.点云具有以下三个特点：无序性，点云是一组无特定顺序集合的点，可以有多种排列方式；点云之间是相互作用的，每个点不是孤立存在的，所以模型能够根据相邻点来获取局部结构，且局部结构之间可以相互作用；变换不变性，点云的表示方式应该是满足一些旋转不变性的，对点云进行全局旋转变换后，点云的分类或分割结果是应该不受影响的。所以三维物体检测的问题就是如何对点云进行处理。
4.现有的一些三维物体检测方法通常分为以下几类：1、基于多视角投影的方法：将点云转换为在多个视角下投影的图像，形成多张不同角度的二维图像，最后将其输入到二维卷积神经网络进行特征提取，但是这种方法在点云转换成图像的过程中会不可避免地造成信息的丢失；2、基于体素的方法：将点云转换成规则的体素，并将二维卷积扩展到三维卷积，但是这种方法会增加复杂度和计算量；3、基于点云和二维图像结合的方法：同时提取二维和三维特征来进行学习的，但是这种方法数据输入比较庞大，而且平台搭建复杂。


技术实现要素：

5.有鉴于此，针对现有技术的不足，本发明提供了一种三维点云的物体检测的方法，该方法不需要二维图像的输入，直接对点云进行处理，通过对点云进行采集、预处理、特征处理、聚类采集以及检测确定物体的三维检测框。
6.本发明所采用的技术方案是提供一种三维点云的物体检测方法，包括点云采集模块、预处理模块、特征处理模块、聚类采集模块以及检测模块。
7.所述的点云采集模块是通过三维扫描设备获取点云信息，包括点云的xyz三维坐标信息。
8.所述的预处理模块是对点云进行降采样处理得到n个点云，然后对n个点云进行规范操作，使点云进行对齐，得到规范的点云，规范操作使用空间变换网络，学习生成变换矩阵，然后将n个点乘以变换矩阵来对齐点云。
9.所述的特征处理模块是先对点云进行特征提取，具体步骤为：（1）特征提取的输入包括三部分：点的局部坐标信息、点的反密度信息以及邻近点的特征信息；（2）点的局部坐标信息部分为输入点的坐标信息，进行mlp操作，输出一个局部坐
标矩阵，即将局部坐标的空间结构信息加入了网络中；（3）点的反密度信息部分为利用高斯概率密度计算每个点的密度，然后求倒数得到反密度系数，每个点的高斯概率密度为：其中s为每个采样点与其他点的空间距离，为设置的参数。反密度系数为：然后将其输入到mlp中进行操作，输出一个反密度系数矩阵；（4）邻近点的特征信息部分为每个采样点选取q个邻近点，这些邻近点的特征形成特征矩阵；（5）将反密度系数矩阵与邻近点特征矩阵逐元素相乘，得到矩阵l；（6）将局部坐标矩阵与矩阵l相乘，即点的反密度信息和空间坐标信息加入到网络中；通过特征提取，利用点云的特征学习网络得到m个点云，且每个点云有（3 c）维的特征，然后通过mlp操作对点云特征通道进行投票操作，使点云增加除了三维坐标和特性信息之外的中心点对于当前点的坐标偏置和特征偏置，进行投票操作使点云更加向物体中心聚合。
10.所述的聚类采集模块，将特征处理模块的输出信息作为聚类采集模块的输入，通过聚合操作得到k个聚类结果。
11.所述的检测模块，根据聚类采集模块的聚类结果回归物体的三维检测框。
12.本发明与现有技术相比，其优点有（1）直接对点云进行处理，不需要附加任何其他信息，操作简便，而且不会造成原始信息的丢失。（2）与现有的目标检测网络相比，特征提取部分加入反密度信息，使采样更均匀，同时在特征聚合部分利用投票操作，使得检测精度进一步提升。
附图说明
13.图1为本发明的流程图。
14.图2为本发明的预处理框图。
15.图3为本发明的特征处理框图。
具体实施方式
16.为了对本发明实施例中的技术方案进行更清晰完整的描述，下面结合附图对本发明进行更为详细的说明。
17.请参阅图1，本发明提供一种技术方案，一种三维点云的物体检测方法，包括以下步骤。
18.步骤一：通过三维扫描设别来获取三维场景中的点云信息作为我们设计的点云预处理模块的输入。
19.步骤二：通过预处理模块对点云进行降采样和规范操作，参阅图2，首先对点云进行降采样处理得到n个点云，然后对n个点云进行规范操作，使点云进行对齐，得到规范的点云，规范操作使用空间变换网络，学习生成的变换矩阵，然后将n个点乘以变换矩阵来对齐点云。
20.步骤三：通过特征处理模块对点云进行特征提取与聚合操作，参阅图3，先对点云进行特征提取，具体步骤为：（1）特征提取的输入包括三部分：点的局部坐标信息、点的反密度信息以及邻近点的特征信息；（2）点的局部坐标信息部分为输入点的坐标信息，进行mlp操作，输出一个局部坐标矩阵，即将局部坐标的空间结构信息加入了网络中；（3）点的反密度信息部分为利用高斯概率密度计算每个点的密度，每个点的高斯概率密度为：其中s为每个采样点与其他点的空间距离，为设置的参数。然后求倒数得到反密度:将其输入到mlp网络中进行操作，输出一个反密度系数矩阵；（4）邻近点的特征信息部分为每个采样点选取q个邻近点，这些邻近点的特征形成特征矩阵；（5）将反密度矩阵与邻近点特征矩阵逐元素相乘，得到矩阵l；（6）将局部坐标矩阵与矩阵l相乘，即点的反密度信息和空间坐标信息加入到网络中；利用特征提取，通过点云的特征学习网络得到m个点云，且每个点云有（3 c）维的特征，然后通过mlp网络对特征提取得到的（3 c）维特征通道进行投票操作，由特征提取得到的种子点m，从m中选取一组种子点，，其中表示点云的三维坐标， 表示点云在特征提取模块学习得到的c维特征向量，投票网络输入的是种子点特征，输出的是欧几里得空间偏移量和特征偏移量，由投票网络生成的投票为,其中:通过特征聚合操作之后每个点除了自身的三维坐标以及特征信息外，还带有中心点相对于当前点的坐标偏置以及特征偏置。
21.步骤四：所述的聚类采集模块，将特征处理模块的输出信息作为聚类采集模块的输入，对m个点云进行最远点采样，得到k个聚类中心，然后以半径r为阈值进行聚类，得到k个聚类结果。
22.步骤五：利用检测模块生成三维候选框。对每一个点云聚类，先进行归一化操作，然后通过一个分类网络：对每组内投票到的点各自进行mlp操作，所有点的特征向量经过最大池化操作汇聚成一个向量，作为该组的特征向量，进行mlp操作后生成候选框建议，回归物体的方向，中心以及预选框的长宽高尺度，以及每类所属类别的概率，输出三维检测框，得到三维场景物体检测的结果。


技术特征：
1.一种三维点云的物体检测方法，其特征在于，包括以下步骤：步骤一：通过点云采集模块获取三维场景中点云的xyz坐标信息；步骤二：将步骤一中获取的点云数据输入到点云预处理模块，对点云进行降采样和规范操作；步骤三：将步骤二中经过点云预处理模块获取的点云信息输入到特征处理模块，对点云进行特征提取与聚合操作；步骤四：将步骤三中进行特征处理后的点云输入到聚类采集模块，对点云进行聚类操作；步骤五：根据步骤四中得到的聚类结果由检测模块回归得到目标物体的三维检测框。2.根据权利要求1所述的一种三维点云的物体检测方法，其特征在于，所述的点云采集模块利用三维扫描设备获取点云信息。3.根据权利要求1所述的一种三维点云的物体检测方法，其特征在于，所述的点云预处理模块对点云进行降采样操作得到n个点云，并对n个点云进行规范操作使点云进行对齐。4.根据权利要求1所述的一种三维点云的物体检测方法，其特征在于，所述的点云特征处理模块对点云进行特征提取以及聚合操作，进行特征提取输入的参数包括点的局部坐标信息、邻近点特征信息以及点的反密度信息，然后通过mlp网络对点云进行特征学习，得到m个点云，每个点云有（3 c）维特征，之后通过另一个mlp网络对点云特征通道进行投票操作，使点云增加除了三维坐标以及特性信息之外的中心点对于当前点的坐标偏置和特征偏置，使点云更加向物体中心聚合。5.根据权利要求4所述的一种三维点云的物体检测方法，其特征在于，所述的点的反密度信息是利用高斯概率密度函数对点云进行处理，然后求倒数来计算每个点的反密度信息。

技术总结
本文公开发明了一种三维点云的物体检测方法，包含点云采集、点云预处理、特征处理、聚类分组、检测五个模块。首先通过点云采集模块来获取点云数据；其次利用点云预处理模块对点云进行降采样和规范操作；然后利用特征处理模块对点云进行特征提取与聚合操作，对输入点的局部坐标信息、反密度信息以及邻近点的特征信息进行点云特征学习，生成种子点，然后通过聚合模块对得到的种子点进行投票操作，使点云更加向物体中心聚合；再通过聚类分组模块对其进行聚类操作；最后利用检测模块对聚类分组模块输出的信息进行处理，输出三维检测框。输出三维检测框。输出三维检测框。


技术研发人员：徐锋 陈妍洁 陈国栋 郭中远 李瑾
受保护的技术使用者：西南科技大学
技术研发日：2021.08.06
技术公布日：2021/11/30