基于PointNet++神经网络的三维点云分割方法与流程

基于pointnet 神经网络的三维点云分割方法
技术领域
1.本发明属于三维点云数据处理技术领域，尤其涉及一种基于pointnet 神经网络的三维点云分割方法。


背景技术：

2.目前，三维点云是一种空间信息表达方式中最常见，最基础的三维模型。点云模型往往由测量直接获得，每个点对应一个测量点，未经其他方法处理，因此包含有目标最大的信息量。三维点云主要用于表征三维空间中的数据，和平面二维图形相比，三维点云拥有深度方向信息，天然的可以将目标及背景在深度方向上解耦。另外，对于三维视觉测量来说，三维点云是其主要的依托手段，通过对目标三维点云的提取，可以得到目标在空间中的实际物理几何信息。
3.在实际应用中，由于实际获取的点云包含大量噪声，并且获取到的三维点云并不包含目标完整信息，且在不同角度存在旋转变换，导致同一目标点云形状千差万别，尤其是面对既含有凹陷区域又含有平面区域的三维点云数据，例如包含坑槽的路面的三维点云时，路面本身是一个平面，但是在平面之中又包括了坑槽的凹陷区域，在对这种三维点云再进行分割时，由于噪声较多，无法准确的找到凹陷区域与平面区域之间的分割线，导致分割难度较大，因此现有技术中的三维点云分割方法在面对包含凹陷区域的三维点云时，无法准确地进行分割。
4.通过上述分析，现有技术存在的问题及缺陷为：由于获取的点云数据存在部分噪音，使得现有的三维点云分割方法分割不精确，且不稳定。
5.解决以上问题及缺陷的难度为：
6.计算机程序无法自动识别点云中包含的噪声，自然难以使用普通的办法解决噪声对三维点云分割方法性能的影响；若依赖人工去除噪声，又带来了高昂的人力成本。
7.解决以上问题及缺陷的意义为：
8.将粒度球k
‑
medoids聚类算法嵌入pointnet 神经网络后，能够直接处理包含噪声的原始点云数据，有效地缓和点云中噪声对聚类结果的影响，极大地提升三维点云分割算法的鲁棒性。


技术实现要素：

9.针对现有技术存在的问题，本发明提供了一种基于pointnet 神经网络的三维点云分割方法。
10.本发明是这样实现的，一种基于pointnet 神经网络的三维点云分割方法，所述基于pointnet 神经网络的三维点云分割方法包括：
11.步骤一，输入待分割的三维点云数据，其中代表坐标维度，代表其他维度特征(颜色或法向量)；
12.步骤二，在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心集；
13.步骤三，遍历每个聚类，得到所有聚类的代表点云；使用pointnet神经网络提取每个聚类的特征信息，得到下采样后的点云；
14.步骤四，重复步骤二至步骤三四次，逐层下采样提取点云特征；
15.步骤五，采用插值及回溯的方法上采样重新恢复原始点云规模；使用多层感知机和softmax逐点判断其属于目标或背景的概率。
16.进一步，步骤二中，所述在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心：
17.(1)获取输入的待分割的三维点云数据，设定聚类k值，并随机地从点云中选取个点作为初始簇中心集；
18.(2)根据三维坐标的欧式距离，将点云中的点分配到离它们最近的中心点所代表的簇中；
19.(3)遍历每个簇，计算聚类中的每个点到该簇其他点的欧氏距离之和，选择距离之和最小的点作为该新的簇中心，最终得到新的簇中心集；
20.(4)计算簇中心集中各个簇中心点之间的距离，若满足公式(1)，则簇是的邻近簇；
[0021][0022]
(5)遍历每个簇，对于簇c
i
，若存在邻近簇集则以c
i
为中心，(1≤i，j≤n
k
，n
k
为邻近簇的数量)为半径，将簇c
i
划分为不同的区域，最中心的球簇为稳定域，外围的不同环域依据到簇中心c
i
的距离大小升序排列，称为第i(1≤i≤n
k
)环域，对第i环域中的点比较其到c
i
的距离和其他前i个邻近簇中心的距离，分配到最近距离所代表的簇中；
[0023]
(6)依据步骤(3)重新计算每个簇的新中心集，并比较新旧两个中心集的点的差异，若中心集的点不再发生变化，则代表算法已收敛，输出此时获得的最佳中心集，否则重复步骤(4)至步骤(5)。
[0024]
进一步，步骤三中，所述遍历每个聚类，得到所有聚类的代表点云包括：
[0025]
遍历每个聚类，依据聚类中的点到聚类中心最大的欧氏距离的点作为该聚类半径，得到一系列大大小小的球聚类，从每个球聚类中选取个点作为该球聚类的代表点集，即可得到所有聚类的代表点云，其中代表点的特征维度。
[0026]
进一步，步骤三中，所述使用pointnet神经网络提取每个聚类的特征信息，得到下采样后的点云包括：
[0027]
首先，获取聚类后的点云；使用共享的三层多层感知网络对每个超球聚类逐点提取特征，得到，其中代表点新的特征维度；
[0028]
其次，对特征提取后的超球聚类点云，使用基于最大值的对称池化算法逐点聚合各通道特征得到每个超球聚类的全局特征向量；
[0029]
最后，得到所有超球聚类特征后并输出。
[0030]
进一步，步骤五中，所述采用插值及回溯的方法重新恢复原始点云规模包括：
[0031]
1)获取得到的点云，其中代表点的特征维度；
[0032]
2)依据和中点的坐标，使用k＝3的k近邻算法进行插值，恢复的点云规模，其表示如下：
[0033]
[0034]
得到恢复规模后的点云；
[0035]
3)与下采样时相应的点云逐通道连接并输入到共享的多层感知机网络得到上采样后的点云；
[0036]
4)重复步骤1)至步骤3)四次，最终得到原始规模的点云，并输出。
[0037]
本发明的另一目的在于提供一种实施所述基于pointnet 神经网络的三维点云分割方法的基于pointnet 神经网络的三维点云分割系统，所述基于pointnet 神经网络的三维点云分割系统包括：
[0038]
点云数据预处理模块，用于对点云数据进行处理；
[0039]
聚类特征提取模块，用于进行点云数据的聚类，并提取每个聚类的特征信息；
[0040]
点云特征提取模块，用于对点云特征进行提取；
[0041]
判断模块，用于使用多层感知机和softmax逐点判断其属于目标或背景的概率。
[0042]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于pointnet 神经网络的三维点云分割方法。
[0043]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0044]
步骤1，输入待分割的三维点云数据，其中代表坐标维度，代表其他维度特征；
[0045]
步骤2，在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心集；
[0046]
步骤3，遍历每个聚类，得到所有聚类的代表点云；使用pointnet神经网络提取每个聚类的特征信息，得到下采样后的点云；
[0047]
步骤4，重复步骤二至步骤三四次，逐层下采样提取点云特征；
[0048]
步骤5，采用插值及回溯的方法上采样重新恢复原始点云规模；使用多层感知机和softmax逐点判断其属于目标或背景的概率。
[0049]
本发明的另一目的在于提供一种图象处理传感器，所述图象处理传感器实施所述基于神经网络的三维点云分割方法。
[0050]
本发明的另一目的在于提供一种所述基于神经网络的三维点云分割方法在公共安全领域图象处理上的应用。
[0051]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过了一种基于pointnet 神经网络的三维点云分割算法，其基于pointnet 神经网络结构，结合新颖的粒度球k
‑
medoids聚类算法对点云进行超球聚类，然后进行特征提取，能够有效地解决复杂条件下，由于传感器捕获的点云存在异常值扰动，从而导致干扰分割任务的问题，使得算法更具鲁棒性，更加有利于后续的分割任务。
附图说明
[0052]
图1是本发明实施例提供的基于pointnet 神经网络的三维点云分割方法原理图。
[0053]
图2是本发明实施例提供的基于pointnet 神经网络的三维点云分割方法流程图。
[0054]
图3是本发明实施例提供的基于pointnet 神经网络的三维点云分割系统结构示意图；
[0055]
图中：1、点云数据预处理模块；2、聚类特征提取模块；3、点云特征提取模块；4、判断模块。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0057]
针对现有技术存在的问题，本发明提供了一种基于pointnet 神经网络的三维点云分割方法，下面结合附图对本发明作详细的描述。
[0058]
如图1
‑
图2所示，本发明实施例提供的基于pointnet 神经网络的三维点云分割方法包括：
[0059]
s101，输入待分割的三维点云数据，其中代表坐标维度，代表其他维度特征；
[0060]
s102，在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心集；
[0061]
s103，遍历每个聚类，得到所有聚类的代表点云；使用pointnet神经网络提取每个聚类的特征信息，得到下采样后的点云；
[0062]
s104，重复步骤s102至步骤s103四次，逐层下采样提取点云特征；
[0063]
s105，采用插值及回溯的方法上采样重新恢复原始点云规模；使用多层感知机和softmax逐点判断其属于目标或背景的概率。
[0064]
步骤s102中，本发明实施例提供的在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心：
[0065]
(1)获取输入的待分割的三维点云数据，设定聚类k值，并随机地从点云中选取个点作为初始簇中心集；
[0066]
(2)根据三维坐标的欧式距离，将点云中的点分配到离它们最近的中心点所代表的簇中；
[0067]
(3)遍历每个簇，计算聚类中的每个点到该簇其他点的欧氏距离之和，选择距离之和最小的点作为该新的簇中心，最终得到新的簇中心集；
[0068]
(4)计算簇中心集中各个簇中心点之间的距离，若满足公式(1)，则簇是的邻近簇；
[0069][0070]
(5)遍历每个簇，对于簇c
i
，若存在邻近簇集则以c
i
为中心，(1≤i，j≤n
k
，n
k
为邻近簇的数量)为半径，将簇c
i
划分为不同的区域，最中心的球簇为稳定域，外围的不同环域依据到簇中心c
i
的距离大小升序排列，称为第i(1≤i≤n
k
)环域，对第i环域中的点比较其到c
i
的距离和其他前i个邻近簇中心的距离，分配到最近距离所代表的簇中；
[0071]
(6)依据步骤(3)重新计算每个簇的新中心集，并比较新旧两个中心集的点的差异，若中心集的点不再发生变化，则代表算法已收敛，输出此时获得的最佳中心集，否则重复步骤(4)至步骤(5)。
[0072]
步骤s103中，本发明实施例提供的遍历每个聚类，得到所有聚类的代表点云包括：
[0073]
遍历每个聚类，依据聚类中的点到聚类中心最大的欧氏距离的点作为该聚类半径，得到一系列大大小小的球聚类，从每个球聚类中选取个点作为该球聚类的代表点集，即可得到所有聚类的代表点云，其中代表点的特征维度。
[0074]
步骤s103中，本发明实施例提供的使用pointnet 神经网络提取每个聚类的特征信息，得到下采样后的点云包括：
[0075]
首先，获取聚类后的点云；使用共享的三层多层感知网络对每个超球聚类逐点提取特征，得到，其中代表点新的特征维度；
[0076]
其次，对特征提取后的超球聚类点云，使用基于最大值的对称池化算法逐点聚合各通道特征得到每个超球聚类的全局特征向量；
[0077]
最后，得到所有超球聚类特征后并输出。
[0078]
步骤s105中，本发明实施例提供的采用插值及回溯的方法重新恢复原始点云规模包括：
[0079]
1)获取得到的点云，其中代表点的特征维度；
[0080]
2)依据和中点的坐标，使用k＝3的k近邻算法进行插值，恢复的点云规模，其表示如下：
[0081][0082]
得到恢复规模后的点云；
[0083]
3)与下采样时相应的点云逐通道连接并输入到共享的多层感知机网络得到上采样后的点云；
[0084]
4)重复步骤1)至步骤3)四次，最终得到原始规模的点云，并输出。
[0085]
如图3所示，本发明实施例提供的基于pointnet 神经网络的三维点云分割系统包括：
[0086]
点云数据预处理模块1，用于对点云数据进行处理；
[0087]
聚类特征提取模块2，用于进行点云数据的聚类，并提取每个聚类的特征信息；
[0088]
点云特征提取模块3，用于对点云特征进行提取；
[0089]
判断模块4，用于使用多层感知机和softmax逐点判断其属于目标或背景的概率。
[0090]
本发明提供的基于pointnet 神经网络的三维点云分割方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于pointnet 神经网络的三维点云分割方法仅仅是一个具体实施例而已。
[0091]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0092]
实施例：
[0093]
基于pointnet 神经网络的三维点云分割算法，其特征在于，所述方法包括如下：
[0094]
步骤1：输入待分割的三维点云数据，其中代表坐标维度，代表其他维度特征(颜色或法向量)；
[0095]
步骤2：在点云中使用粒度球k
‑
medoids算法得到最佳聚类中心集；
[0096]
步骤3：遍历每个聚类，依据聚类中的点到聚类中心最大的欧氏距离的点作为该聚类半径，从而形成一系列大大小小的球聚类，从每个球聚类中选取个点作为该球聚类的代表点集，从而得到所有聚类的代表点云；
[0097]
步骤4：使用pointnet神经网络提取每个聚类的特征信息，从而得到下采样后的点云；
[0098]
重复步骤2至步骤3四次，逐层下采样提取点云特征；
[0099]
步骤5：采用插值及回溯的方法重新恢复原始点云规模；
[0100]
步骤6：使用多层感知机和softmax逐点判断其属于目标或背景的概率。
[0101]
步骤2中的粒度球k
‑
medoids聚类算法包括：
[0102]
步骤21：获取输入的待分割的三维点云数据；
[0103]
步骤22：设定聚类k值，并随机地从点云中选取个点作为初始簇中心集；
[0104]
步骤23：根据三维坐标的欧式距离，将点云中的点分配到离它们最近的中心点所代表的簇中；
[0105]
步骤24：遍历每个簇，计算聚类中的每个点到该簇其他点的欧氏距离之和，选择距离之和最小的点作为该新的簇中心，最终得到新的簇中心集；
[0106]
步骤25：计算簇中心集中各个簇中心点之间的距离，若满足公式(1)，则簇是的邻近簇；
[0107][0108]
步骤26：遍历每个簇，对于簇c
i
，若存在邻近簇集则以c
i
为中心，(1≤i，j≤n
k
，n
k
为邻近簇的数量)为半径，将簇c
i
划分为不同的区域，最中心的球簇为稳定域，外围的不同环域依据到簇中心c
i
的距离大小升序排列，称为第i(1≤i≤n
k
)环域，对第i环域中的点比较其到c
i
的距离和其他前i个邻近簇中心的距离，分配到最近距离所代表的簇中；
[0109]
步骤27：依据步骤24重新计算每个簇的新中心集，并比较新旧两个中心集的点的差异，若中心集的点不再发生变化，则代表算法已收敛，输出此时获得的最佳中心集，否则重复步骤25、步骤26；
[0110]
步骤4中的pointnet神经网络包括：
[0111]
步骤41：获取聚类后的点云；
[0112]
步骤42：使用共享的三层多层感知网络对每个超球聚类逐点提取特征，得到；
[0113]
步骤43：对特征提取后的超球聚类点云，使用基于最大值的对称池化算法逐点聚合各通道特征得到每个超球聚类的全局特征向量
[0114]
步骤44：得到所有超球聚类特征后并输出。
[0115]
步骤5中的插值及回溯方法包括：
[0116]
步骤51：获取得到的点云，其中代表点的特征维度；
[0117]
步骤52：依据和中点的坐标，使用k＝3的k近邻算法进行插值，恢复的点云规模，其表示如下：
[0118][0119]
得到恢复规模后的点云；
[0120]
步骤53：与下采样时相应的点云逐通道连接并输入到共享的多层感知机网络得到
上采样后的点云；
[0121]
重复步骤61、步骤62、步骤63四次，最终得到原始规模的点云，并输出。
[0122]
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0123]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd
‑
rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0124]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。