一种保留重要特征的点云数据下采样方法

1.本发明属于计算机视觉和点云下采样技术领域，尤其涉及一种保留重要特征的点云数据下采样方法。


背景技术：

2.三维点云数据在计算机视觉、自动驾驶和机器人等众多领域有着广泛应用，近来引起了越来越多的关注。使用点云数据可以有效感知场景，实现静态环境识别、动态目标检测以及同步定位与映射等任务。
3.随着pointnet(charles r qi,hao su,kaichun mo,and leonidas j guibas.pointnet:deep learning on point sets for 3d classification and segmentation.proc.computer vision and pattern recognition(cvpr),ieee,1(2):4,2017.)、pointnet (charles ruizhongtai qi,li yi,hao su,and leonidas j guibas.pointnet :deep hierarchical feature learning on point sets in a metric space.in advances in neural information processing systems,pages 5099
–
5108,2017.)等方法的引入，基于深度学习从无序点云中提取特征已成为一个非常活跃的研究领域。
4.在实际情况下，激光雷达形成的点云中的点的数量十分庞大，虽然密集的点云数据更有利于网络从点云数据中的点中提取到丰富的特征信息，但是海量数据会造成特征提取算法的计算量激增、计算效率低下等问题。减少计算的一种有效方法是对输入网络前的点云数据进行下采样，使点云数据量尽量减少，同时保留被测对象特征的表达能力。
5.现有的点云下采样方法大多使用随机采样、最远点采样以及网格化的均匀采样方法。随机采样不能保证采样点分布均匀，很容易在采样过程中丢失重要信息；最远点采样方法的第一个点是随机选择的，后续采样的点与第一个随机选择的点的空间位置有关，有可能采样不到带有重要特征的点，同时对噪点比较敏感；网格化的均匀采样方法需要对点云数据进行网格化处理，虽然采样点分布均匀，但是并不能很好的保留三维点云的轮廓以及纹理等特征。


技术实现要素：

6.为了解决上述现有技术中存在的技术问题，本发明提供了一种保留重要特征的点云数据下采样方法，拟解决现有技术中提到的目前点云数据下采样方法的采样点分布不均匀、对噪点敏感、轮廓及布局特征保留不完整的技术问题。
7.本发明采用的技术方案如下：
8.一种保留重要特征的点云数据下采样方法，包括以下步骤：
9.步骤1：输入点云数据，并设置用于训练点云数据的训练模型参数，所述训练模型参数包括采样点个数以及是否使用输入点云的法向量特征；
10.步骤2：采用最远点采样方法对输入的点云数据进行第一次采样，得到采样点集
合，记为集合a；
11.步骤3：对所有输入的点云数据进行一次卷积计算，增大点的特征维度数；
12.步骤4：对进行卷积计算后的点云数据的每个维度的特征进行最大池化操作，最大池化操作参照二维图像的最大池化操作进行，选取特征信息最大的点作为重要特征点，并记录该重要特征点对应的索引值；
13.步骤5：通过重要特征点所对应的索引值得到该重要特征点的空间位置特征；
14.步骤6：计算每个重要特征点与集合a中采样点的距离，并保存在距离矩阵中；
15.步骤7：求出每个重要特征点到集合a中采样点的距离最小值，并求出距离最小值对应的集合a中采样点的索引值，记为mindis_idx；
16.步骤8：通过步骤7中得到的距离最小值是否为0来判断第一次采样是否采样到对应的重要特征点；
17.步骤9：将集合a中为非重要特征点的采样点替换为离该非重要特征点距离最近的重要特征点，作为采样点；
18.步骤10：输出经过步骤9替换后的所有采样点的索引值；
19.步骤11：输出下采样后的点云数据。
20.本发明能够下采样不同输入数目的点云数据，输出固定数目的点云数据，且可进行多重不同任务需求的稀疏操作。本发明不仅可针对点云数据的空间位置特征，还可以同时处理带有属性的点云特征，例如颜色、法向量等特征。
21.并且本发明提出的点云数据的下采样方法为非均匀采样，与基于网格的点云数据下采样方法相比，更合理的表达了点云数据的整体结构且对异常值有抑制作用，且本方法的鲁棒性和保留重要特征的能力更强。同时本发明也可以用于关键点的提取，实现稀疏点云数据的输出，或者作为形状轮廓及细节提取的方法，为后续点云数据的高效处理带来便利。
22.优选的，所述步骤2包括以下步骤：
23.步骤2.1：计算点云数据的质心，计算公式为：
[0024][0025]
式中：pc为点云数据的质心的空间位置坐标；xi、yi以及zi分别为输入的点云数据中的第i个点在三个维度上的坐标值；
[0026]
步骤2.2：利用欧几里得三维空间距离计算方法求出距离质心最接近的点p1，计算公式为：
[0027][0028]
式中：d为两点之间的距离，x1、y1、z1和x2、y2、z2分别为两个点的空间位置坐标；
[0029]
步骤2.3：将p1作为第一个采样点，再利用最远点采样方法进行下采样，得到采样点集合，记为集合a。
[0030]
优选的，所述最远点采样方法包括以下步骤：
[0031]
设输入的点云数据有n个点，采样点个数为x；
[0032]
a.从点云数据中随机选取一个点fi作为起始点，并将点fi写入采样点集合a中，得到采样点集合ai记为ai＝{fi}，并建立一个用于保存每个点与采样点集合a的距离最小值的
距离集合d；
[0033]
b.计算剩余n-1个点与点fi的距离，将n-1个距离值保存在距离集合d中，记为di＝{d1,d2,d3,...,d
n-1
},从集合di中选择距离最大值对应的点fj，并将点fj写入所述采样点集合ai中，得到采样点集合aj，记为aj＝{fi,fj}；
[0034]
c.计算剩余的n-2个点与点fj的距离，对于剩余的n-2中的每一个点，若其距离点fj的距离小于其距离点fi的距离，则将距离集合di中该点的距离值更新为其距离点fj的距离，得到距离集合dj＝{d1,d2,d3,...,d
n-2
}；从距离集合dj中选取距离最大值所对应的点fk，将其写入采样点集合ak＝{fi,fj,fk},同时剩余n-3个点；
[0035]
d.重复上述步骤b-c直到采样点集合中有x个点为止。
[0036]
本发明通过使用上述最远点采样方法，能够使采样点分布均匀，有利于后续点云数据的多重任务的实现。传统的最远点采样方法随机指定第一个采样点，后续采样点的位置与第一个采样点息息相关，每次采样结果都具有差异，算法稳定性差。而本发明选择距离质点最近的点作为第一个采样点，通过指定第一个采样点的位置，保证每次采样结果是相同的，提升算法稳定性，同时第一个点分布在中心位置，有利于提高采样点的分布均匀性。
[0037]
本发明参照二维图像的最大池化操作对点云数据的每个维度的特征进行最大池化操作，并结合本发明所述的保留重要特征的点云数据下采样方法，能够保留原始点云数据的重要特征，例如轮廓形状等特征。同时在下采样过程中不重新生成点云，采样之后获得的点云数据即为原始点云数据中的点，即不涉及重新构造和生成过程，为后续点云数据的多重任务提供稀疏化点云数据。
[0038]
优选的，步骤6中所述的距离矩阵中的行表示每个重要特征点，列表示第一次采样得到的点。
[0039]
优选的，所述步骤8中的重要特征点是否已采样到的判断条件以及判断结果具体如下：当距离最小值为0时，说明该重要特征点已被采样；当距离最小值不等于0时，则表明第一次采样后未采样到该重要特征点，则进行步骤9所述的替换操作。
[0040]
优选的，所述步骤9包括以下步骤：
[0041]
步骤9.1：创建一个与距离最小矩阵大小相同的矩阵，命名为替换判断矩阵，替换判断矩阵的所有元素赋值为常数c；
[0042]
步骤9.2：若距离最小值不等于0，则将对应的集合a中的采样点索引值mindis_idx保存在替换判断矩阵中；
[0043]
步骤9.3：若替换判断矩阵中的元素值不等于常数c，则进行替换操作：将所述元素值对应的重要特征点的索引值赋值给集合a中第mindis_idx个采样点。
[0044]
优选的，所述步骤10中若还需再次采样，则输出采样点索引值作为下一层次采样过程的点云输入数据，循环步骤2-9进行下一层次的采样过程直到采样完成；若不需再次采样的，则采样完毕。
[0045]
本发明的有益效果包括：
[0046]
1.本发明能够下采样不同输入数目的点云数据，输出固定数目的点云数据，且可进行多重不同任务需求的稀疏操作。本发明不仅可针对点云数据的空间位置特征，还可以同时处理带有属性的点云特征，例如颜色、法向量等特征。
[0047]
并且本发明提出的点云数据的下采样方法为非均匀采样，与基于网格的点云数据
下采样方法相比，更合理的表达了点云数据的整体结构且对异常值有抑制作用，且本方法的鲁棒性和保留重要特征的能力更强。同时本发明也可以用于关键点的提取，实现稀疏点云数据的输出，或者作为形状轮廓及细节提取的方法，为后续点云数据的高效处理带来便利。
[0048]
2.本发明通过使用上述最远点采样方法，能够使采样点分布均匀，有利于后续点云数据的多重任务的实现。传统的最远点采样方法随机指定第一个采样点，后续采样点的位置与第一个采样点息息相关，每次采样结果都具有差异，算法稳定性差。而本发明选择距离质点最近的点作为第一个采样点，通过指定第一个采样点的位置，保证每次采样结果是相同的，提升算法稳定性，同时第一个点分布在中心位置，有利于提高采样点的分布均匀性。
[0049]
3.本发明参照二维图像的最大池化操作对点云数据的每个维度的特征进行最大池化操作，并结合本发明所述的保留重要特征的点云数据下采样方法，能够保留原始点云数据的重要特征，例如轮廓形状等特征。同时在下采样过程中不重新生成点云，采样之后获得的点云数据即为原始点云数据中的点，即不涉及重新构造和生成过程，为后续点云数据的多重任务提供稀疏化点云数据。
附图说明
[0050]
图1为本发明的流程示意图。
[0051]
图2为本发明的整体框架示意图。
具体实施方式
[0052]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0053]
下面结合附图1到附图2对本发明作进一步的详细说明：
[0054]
实施例1
[0055]
一种保留重要特征的点云数据下采样方法，包括以下步骤：
[0056]
步骤1：输入点云数据的大小为1024个点，设置第一层次采样点个数为512个，第二层采样点个数为128个，且不输入点云数据的法向量特征；
[0057]
步骤2：采用最远点采样方法对输入的点云数据进行第一次采样，得到采样点集合，记为集合a；
[0058]
所述步骤2包括以下步骤：
[0059]
步骤2.1：计算点云数据的质心，计算公式为：
[0060][0061]
式中：pc为点云数据的质心的空间位置坐标；xi、yi以及zi分别为输入的点云数据
中的第i个点在三个维度上的坐标值；
[0062]
步骤2.2：利用欧几里得三维空间距离计算方法求出距离质心最接近的点p1，计算公式为：
[0063][0064]
式中：d为两点之间的距离，x1、y1、z1和x2、y2、z2分别为两个点的空间位置坐标；
[0065]
步骤2.3：将p1作为第一个采样点，再利用最远点采样方法进行下采样，得到采样点集合，记为集合a。
[0066]
所述最远点采样方法包括以下步骤：
[0067]
设输入的点云数据有n个点，采样点个数为x；
[0068]
a.从点云数据中随机选取一个点fi作为起始点，并将点fi写入采样点集合a中，得到采样点集合ai记为ai＝{fi}，并建立一个用于保存每个点与采样点集合a的距离最小值的距离集合d；
[0069]
b.计算剩余n-1个点与点fi的距离，将n-1个距离值保存在距离集合d中，记为di＝{d1,d2,d3,...,d
n-1
},从集合di中选择距离最大值对应的点fj，并将点fj写入所述采样点集合ai中，得到采样点集合aj，记为aj＝{fi,fj}；
[0070]
c.计算剩余的n-2个点与点fj的距离，对于剩余的n-2中的每一个点，若其距离点fj的距离小于其距离点fi的距离，则将距离集合di中该点的距离值更新为其距离点fj的距离，得到距离集合dj＝{d1,d2,d3,...,d
n-2
}；从距离集合dj中选取距离最大值所对应的点fk，将其写入采样点集合ak＝{fi,fj,fk},同时剩余n-3个点；
[0071]
d.重复上述步骤b-c直到采样点集合中有x个点为止。
[0072]
步骤3：对所有输入的点云数据进行一次卷积计算，第一层次的采样过程中使特征维度由3增大到128，第二层次的采样过程中使特征维度由128增大到320；
[0073]
步骤4：对进行卷积计算后的点云数据的每个维度的特征进行最大池化操作，最大池化操作参照二维图像的最大池化操作进行，选取特征信息最大的点作为重要特征点，并记录该重要特征点对应的索引值，记为idx；
[0074]
步骤5：通过重要特征点所对应的索引值idx得到该重要特征点的空间位置特征idx_xyz；
[0075]
步骤6：计算每个重要特征点与集合a中采样点的距离值，记为dis，并保存在距离矩阵中；所述的距离矩阵中的行表示每个重要特征点，列表示第一次采样得到的点。
[0076]
步骤7：求出每个重要特征点到集合a中采样点的距离最小值，记为mindis，并求出距离最小值对应的集合a中采样点的索引值，记为mindis_idx；
[0077]
步骤8：通过步骤7中得到的距离最小值是否为0来判断第一次采样是否采样到对应的重要特征点；
[0078]
所述步骤8中的重要特征点是否已采样到的判断条件以及判断结果具体如下：当距离最小值为0时，说明该重要特征点已被采样；当距离最小值不等于0时，则表明第一次采样后未采样到该重要特征点，需要进行步骤9的替换操作。
[0079]
步骤9：将集合a中为非重要特征点的采样点替换为离该非重要特征点距离最近的重要特征点，作为采样点；
[0080]
所述步骤9包括以下步骤：
[0081]
步骤9.1：创建一个与距离最小矩阵大小相同的矩阵，命名为替换判断矩阵，替换判断矩阵的所有元素赋值为常数2048；
[0082]
步骤9.2：若距离最小值不等于0，则将对应的集合a中的采样点索引值mindis_idx保存在替换判断矩阵中；
[0083]
步骤9.3：若替换判断矩阵中的元素值不等于常数2048，则进行替换操作：将所述元素值对应的重要特征点的索引值赋值给集合a中第mindis_idx个采样点。
[0084]
步骤10：输出经过步骤9替换后的所有采样点的索引值；若还未进行第二层次采样过程，则输出采样点索引值作为第二层次采样过程的点云输入数据，循环步骤2-9进行第二层次的采样过程；若已完成第二次采样过程，则采样完毕。
[0085]
步骤11：输出下采样后的点云数据。
[0086]
具体的，请参见如下伪代码：
[0087][0088]
本发明能够下采样不同输入数目的点云数据，输出固定数目的点云数据，且可进行多重不同任务需求的稀疏操作。本发明不仅可针对点云数据的空间位置特征，还可以同时处理带有属性的点云特征，例如颜色、法向量等特征。
[0089]
并且本发明提出的点云数据的下采样方法为非均匀采样，与基于网格的点云数据下采样方法相比，更合理的表达了点云数据的整体结构且对异常值有抑制作用，且本方法的鲁棒性和保留重要特征的能力更强。同时本发明也可以用于关键点的提取，实现稀疏点云数据的输出，或者作为形状轮廓及细节提取的方法，为后续点云数据的高效处理带来便利。
[0090]
本发明通过使用上述最远点采样方法，能够使采样点分布均匀，有利于后续点云数据的多重任务的实现。传统的最远点采样方法随机指定第一个采样点，后续采样点的位
置与第一个采样点息息相关，每次采样结果都具有差异，算法稳定性差。而本发明选择距离质点最近的点作为第一个采样点，通过指定第一个采样点的位置，保证每次采样结果是相同的，提升算法稳定性，同时第一个点分布在中心位置，有利于提高采样点的分布均匀性。
[0091]
本发明参照二维图像的最大池化操作对点云数据的每个维度的特征进行最大池化操作，并结合本发明所述的保留重要特征的点云数据下采样方法，能够保留原始点云数据的重要特征，例如轮廓形状等特征。同时在下采样过程中不重新生成点云，采样之后获得的点云数据即为原始点云数据中的点，即不涉及重新构造和生成过程，为后续点云数据的多重任务提供稀疏化点云数据。
[0092]
实施例2
[0093]
一种保留重要特征的点云数据下采样方法，包括以下步骤：
[0094]
步骤1：输入点云数据的大小为1024个点，设置第一层次采样点个数为512个，第二层采样点个数为128个，在点云数据的输入特征后面连接上点云数据的空间位置特征；
[0095]
步骤2：采用最远点采样方法对输入的点云数据进行第一次采样，得到采样点集合，记为集合a；
[0096]
所述步骤2包括以下步骤：
[0097]
步骤2.1：计算点云数据的质心，计算公式为：
[0098][0099]
式中：pc为点云数据的质心的空间位置坐标；xi、yi以及zi分别为输入的点云数据中的第i个点在三个维度上的坐标值；
[0100]
步骤2.2：利用欧几里得三维空间距离计算方法求出距离质心最接近的点p1，计算公式为：
[0101][0102]
式中：d为两点之间的距离，x1、y1、z1和x2、y2、z2分别为两个点的空间位置坐标；
[0103]
步骤2.3：将p1作为第一个采样点，再利用最远点采样方法进行下采样，得到采样点集合，记为集合a。
[0104]
所述最远点采样方法包括以下步骤：
[0105]
设输入的点云数据有n个点，采样点个数为x；
[0106]
a.从点云数据中随机选取一个点fi作为起始点，并将点fi写入采样点集合a中，得到采样点集合ai记为ai＝{fi}，同时建立一个距离集合d，其中保存每个点与采样点集合a的距离最小值；
[0107]
b.计算剩余n-1个点与点fi的距离，将n-1个距离值保存在距离集合d中，记为di＝{d1,d2,d3,...,d
n-1
},从集合di中选择距离最大值对应的点fj，并将点fj写入所述采样点集合ai中，得到采样点集合aj，记为aj＝{fi,fj}；
[0108]
c.计算剩余的n-2个点与点fj的距离，对于剩余的n-2中的每一个点，若其距离点fj的距离小于其距离点fi的距离，则将距离集合di中该点的距离值更新为其距离点fj的距离，得到距离集合dj＝{d1,d2,d3,...,d
n-2
}。之后从距离集合dj中选取距离最大值所对应的点fk，将其写入采样点集合ak＝{fi,fj,fk},同时剩余n-3个点；
[0109]
d.重复上述步骤b-c直到采样点集合中有x个点为止。
[0110]
步骤3：对所有输入的点云数据进行一次卷积计算，第一层次的采样过程中使特征维度由6增大到128，第二层次的采样过程中使特征维度由131增大到320；
[0111]
步骤4：对进行卷积计算后的点云数据的每个维度的特征进行最大池化操作，最大池化操作参照二维图像的最大池化操作进行，选取特征信息最大的点作为重要特征点，并记录该重要特征点对应的索引值，记为idx；
[0112]
步骤5：通过重要特征点所对应的索引值idx得到该重要特征点的空间位置特征idx_xyz；
[0113]
步骤6：计算每个重要特征点与集合a中采样点的距离值，记为dis，并保存在距离矩阵中；所述的距离矩阵中的行表示每个重要特征点，列表示第一次采样得到的点。
[0114]
步骤7：求出每个重要特征点到集合a中采样点的距离最小值，记为mindis，并求出距离最小值对应的集合a中采样点的索引值，记为mindis_idx；
[0115]
步骤8：通过步骤7中得到的距离最小值是否为0来判断第一次采样是否采样到对应的重要特征点；
[0116]
所述步骤8中的重要特征点是否已采样到的判断条件以及判断结果具体如下：当距离最小值为0时，说明该重要特征点已被采样；当距离最小值不等于0时，则表明第一次采样后未采样到该重要特征点，需要进行步骤9的替换操作。
[0117]
步骤9：将集合a中为非重要特征点的采样点替换为离该非重要特征点距离最近的重要特征点，作为采样点；
[0118]
所述步骤9包括以下步骤：
[0119]
步骤9.1：创建一个与距离最小矩阵大小相同的矩阵，命名为替换判断矩阵，替换判断矩阵的所有元素赋值为常数2048；
[0120]
步骤9.2：若距离最小值不等于0，则将对应的集合a中的采样点索引值mindis_idx保存在替换判断矩阵中；
[0121]
步骤9.3：若替换判断矩阵中的元素值不等于常数2048，则进行替换操作：将所述元素值对应的重要特征点的索引值赋值给集合a中第mindis_idx个采样点。
[0122]
步骤10：输出经过步骤9替换后的所有采样点的索引值；若还未进行第二层次采样过程，则输出采样点索引值作为第二层次采样过程的点云输入数据，循环步骤2-9进行第二层次的采样过程；若已完成第二次采样过程，则采样完毕。
[0123]
步骤11：输出下采样后的点云数据。
[0124]
具体的，请参见如下伪代码：
[0125][0126]
本发明能够下采样不同输入数目的点云数据，输出固定数目的点云数据，且可进行多重不同任务需求的稀疏操作。本发明不仅可针对点云数据的空间位置特征，还可以同时处理带有属性的点云特征，例如颜色、法向量等特征。
[0127]
并且本发明提出的点云数据的下采样方法为非均匀采样，与基于网格的点云数据下采样方法相比，更合理的表达了点云数据的整体结构且对异常值有抑制作用，且本方法的鲁棒性和保留重要特征的能力更强。同时本发明也可以用于关键点的提取，实现稀疏点云数据的输出，或者作为形状轮廓及细节提取的方法，为后续点云数据的高效处理带来便利。
[0128]
本发明通过使用上述最远点采样方法，能够使采样点分布均匀，有利于后续点云数据的多重任务的实现。传统的最远点采样方法随机指定第一个采样点，后续采样点的位置与第一个采样点息息相关，每次采样结果都具有差异，算法稳定性差。而本发明选择距离质点最近的点作为第一个采样点，通过指定第一个采样点的位置，保证每次采样结果是相同的，提升算法稳定性，同时第一个点分布在中心位置，有利于提高采样点的分布均匀性。
[0129]
本发明参照二维图像的最大池化操作对点云数据的每个维度的特征进行最大池化操作，并结合本发明所述的保留重要特征的点云数据下采样方法，能够保留原始点云数据的重要特征，例如轮廓形状等特征。同时在下采样过程中不重新生成点云，采样之后获得的点云数据即为原始点云数据中的点，即不涉及重新构造和生成过程，为后续点云数据的多重任务提供稀疏化点云数据。
[0130]
为验证本发明所述的下采样方法特提供如下实验数据以供证明：
[0131]
参见表1所示，将pointnet 模型中的下采样方法替换为本发明方法，针对点云数据分类任务使用modelnet40数据集进行点云数据分类任务实验，采用官方数据，选取9843
个数据作为训练数据，2468个数据作为测试数据进行实验，当点云数据输入只有位置特征时，如表1所示，本发明的分类总体精度达到92.3％，比pointnet 原有的分类精度高出1.6％。
[0132]
表1
[0133][0134][0135]
参见表2所示，当点云数据输入为位置和法向量特征时，采用本发明时的分类精度达到93.2％，并且在参数数量少5倍的情况下，仍比pointnet 原有的分类进度高出1.3％。
[0136]
表2
[0137]
[0138]
本发明针对点云数据分割任务，选用shapenet数据集，采用官方数据，选取13998个数据作为训练数据，2874个数据作为测试数据，参见表3所示，本发明的分割平均精度达到85.4％。本发明方法应用在pointnet 模型中的点云数据分类分割精度与目前现有的点云数据分割模型(yi、kd-net、pn、sscnn、pointnet 、dg-cnn)相比取得了领先的效果，证明了本发明方法的有效性和先进性。
[0139]
表3
[0140][0141][0142]
以上所述实施例仅表达了本技术的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。