一种基于多尺度特征提取的多视角点云配准及点云融合方法与流程

1.本发明涉及一种基于多尺度特征提取的多视角点云配准及点云融合方法，属于三维点云处理技术领域。


背景技术：

2.在计算机视觉、模式识别和机器人技术中，点云配准是找到一个空间变换(例如，缩放、旋转和平移)，使两个点云对齐的过程。对于多幅点云的配准，其主要思想是对除目标点云之外的所有点云进行变换，使得都与目标点云在同一坐标系中。在每个连贯的、有重叠的点云之间找到最佳的变换，并累积这些变换到全部的点云。点云配准技术是多平台、多角度数据集成的核心技术。近年来，随着低成本三维成像设备的出现和专业三维采集技术的发展，三维点云的研究从工业到学术界都受到了越来越多的关注。与2d图像相比，3d点云数据包含了更多的物体或场景信息，因此，它可以更好地理解和描述现实世界。点云配准在自动驾驶、运动估计和3d重建、物体检测和姿态估计、机器人操作、同步定位和映射(slam)、全景拼接、虚拟和增强现实、和医学成像等领域有着广泛的应用。
3.但目前，现有点云配准方法多为使用点云的全部数据进行配准，这种方式配准速度较慢，在多视角点云实施环境中更慢，无法满足生产节拍要求；或使用经过降采样的点云数据配准，这种方式虽然提升了配准速度，同时也降低了配准精度，在多视角点云实施环境中经过误差积累会导致配准精度更差，无法满足产品质量精度要求。本发明充分利用点云的空间几何特征(法向量、曲率)，优先配准特征点，这种方式能够在多视角点云实施过程中使得在众多源点云数据中快速且精准的选择出一个与目标点云最为匹配的点云数据，完成粗配准使得源点云与目标点云处于同一坐标系下。采用八叉树对点云的全部数据进行分割处理，能够大幅提升精配准过程中点云迭代最近邻点的速度。


技术实现要素：

4.本发明提出了一种基于多尺度特征提取的多视角点云配准及点云融合方法，将多视角扫描形成的点云进行多尺度特征提取和特征匹配，对完成配准的点云去除交叠区域进行融合，最终形成完成点云模型，解决了现有技术中存在的问题。
5.一种基于多尺度特征提取的多视角点云配准及点云融合方法，基于多尺度特征提取的多视角点云配准及点云融合方法包括以下步骤：
6.s100、机器人持3d激光轮廓仪，从多视角扫描工件，获得各个视角的单视角点云数据；
7.s200、对3d激光轮廓仪返回的单视角点云数据建立八叉树结构；
8.s300、计算点云法向量和曲率特征；
9.s400、进行点云关键点特征提取；
10.s500、将多视角点云的关键点利用super4pcs进行粗配准，并计算配准误差；
11.s600、筛选最优待配准源点云执行配准，得到配准后的两组点云；
12.s700、融合配准后的两组点云；
13.s800、将s700的输出，设为第一组点云，作为s200的输入，循环执行s200至s700，直至融合所有视角下的点云。
14.进一步的，在s200中，八叉树结构的构建过程包括以下步骤：
15.s210、设定最大递归深度；
16.s220、计算当前点云的最大尺寸，并以此尺寸建立第一个立方体；
17.s230、依序将单位元元素加入能被包含且没有子节点的立方体；
18.s240、若没有达到最大递归深度，则进行细分八等份，再将该立方体所装的单位元元素全部分担给八个子立方体；
19.s250、若发现子立方体所分配到的单位元元素数量不为零且与父立方体一致，则该子立方体停止细分；
20.s260、重复s230-s250，直至达到最大递归深度。
21.进一步的，在s400中，点云关键点的特征提取过程包括以下步骤：
22.s410、根据已知点云分辨率，为体素网格选择一个适当尺寸；
23.s420、用水密的体素模型表征点云，将这个水密体素模型中的所有体素值均设置为1；
24.s430、利用球形卷积核的体素表示形式计算卷积；
25.s440、将每个三维点对应体素的卷积结果填充到直方图中；
26.s450、利用三维点的罕见值进行聚类，即对直方图元素填充较少的三维点进行聚类，并利用每个聚类的质心的最近邻点作为稳定关键点。
27.进一步的，在s500中，具体包括以下步骤：
28.s510、计算源点云与目标点云的待配准点集；
29.s520、对待配准点集进行八叉树分割；
30.s530、根据位置和方向计算具有一一对应关系的配准点对，利用欧氏距离计算配准误差。
31.进一步的，在s600中，具体的：以第一组点云作为目标点云，根据s500得到的配准误差将多视角源点云进行配准优先性排序，结合s300计算得到的曲率特征，利用余弦相似度度量曲率相似性，筛选最优配准源点云，执行s500得到的仿射变换矩阵，将源点云配准到目标点云中。
32.进一步的，在s700中，具体的，配准后的两组点云利用kdtree计算重叠部分点云，从体量最大的点云中删除重叠部分点云，然后融合两组点云。
33.本发明的有益效果：本发明提出了一种基于多尺度特征提取的多视角点云配准及点云融合方法，该基于多尺度特征提取的多视角点云配准及点云融合方法配准精度为0.07mm，对于分辨率54μm，1920(激光线轮廓点数)的点云，配准速度为72ms/组，相对于现有技术，明显提升了配准精度和配准速度，满足了需要。
附图说明
34.图1为多视角点云图；
35.图2(a)为八叉树计算原理图；
36.图2(b)为点云八叉树建立示例图；
37.图3(a)为曲率计算原理图；
38.图3(b)为点云曲率计算示例图；
39.图4为点云关键点提取示例图；
40.图5(a)为确定配准点集；
41.图5(b)为八叉树分割；
42.图5(c)为确定配准点对；
43.图6为余弦相似度。
具体实施方式
44.下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.参照图1-图6所示，一种基于多尺度特征提取的多视角点云配准及点云融合方法，基于多尺度特征提取的多视角点云配准及点云融合方法包括以下步骤：
46.s100、机器人持3d激光轮廓仪，从多视角扫描工件，获得各个视角的单视角点云数据；
47.s200、对3d激光轮廓仪返回的单视角点云数据建立八叉树结构；
48.s300、计算点云法向量和曲率特征；
49.s400、进行点云关键点特征提取；
50.s500、将多视角点云的关键点利用super4pcs进行粗配准，并计算配准误差；
51.s600、筛选最优待配准源点云执行配准，得到配准后的两组点云；
52.s700、融合配准后的两组点云；
53.s800、将s700的输出，设为第一组点云，作为s200的输入，循环执行s200至s700，直至融合所有视角下的点云。
54.进一步的，在s200中，八叉树结构的构建过程包括以下步骤：
55.s210、设定最大递归深度；
56.s220、计算当前点云的最大尺寸，并以此尺寸建立第一个立方体；
57.s230、依序将单位元元素加入能被包含且没有子节点的立方体；
58.s240、若没有达到最大递归深度，则进行细分八等份，再将该立方体所装的单位元元素全部分担给八个子立方体；
59.s250、若发现子立方体所分配到的单位元元素数量不为零且与父立方体一致，则该子立方体停止细分；
60.s260、重复s230-s250，直至达到最大递归深度。
61.进一步的，在s300中，具体的，计算点云法向量和曲率特征。由于通过激光轮廓仪得到的数据为规则点云数据，即xy方向均匀分布，因此可根据xy方向极值和已知步长直接构建平面mesh网格，此时mesh网格顶点与点云一一对应，通过z值替换将平面mesh网格转换为曲面mesh网格。考虑曲面和由在该点的法向量和某一切向量所确定的平面的交集，这个
交集是一个平面曲线，所以有一个曲率；如果选择其它切向量，这个曲率会改变，并且有两个极值-最大和最小曲率，称为主曲率k1和k2，极值方向称为主方向。采用在曲线向和曲面选定法向的相同方向绕转的时候把曲率置为正数，否则为负的约定完成曲率特征计算。
62.进一步的，在s400中，点云关键点的特征提取过程包括以下步骤：
63.s410、根据已知点云分辨率，为体素网格选择一个适当尺寸；
64.s420、用水密的体素模型表征点云，将这个水密体素模型中的所有体素值均设置为1；
65.s430、利用球形卷积核的体素表示形式计算卷积；
66.s440、将每个三维点对应体素的卷积结果填充到直方图中；
67.s450、利用三维点的罕见值进行聚类，即对直方图元素填充较少的三维点进行聚类，并利用每个聚类的质心的最近邻点作为稳定关键点。
68.进一步的，在s500中，具体包括以下步骤：
69.s510、计算源点云与目标点云的待配准点集；
70.s520、对待配准点集进行八叉树分割；
71.s530、根据位置和方向计算具有一一对应关系的配准点对，利用欧氏距离计算配准误差。
72.进一步的，在s600中，具体的：以第一组点云作为目标点云，根据s500得到的配准误差将多视角源点云进行配准优先性排序，结合s300计算得到的曲率特征，利用余弦相似度度量曲率相似性，筛选最优配准源点云，执行s500得到的仿射变换矩阵，将源点云配准到目标点云中。
73.进一步的，在s700中，具体的，配准后的两组点云利用kdtree计算重叠部分点云，从体量最大的点云中删除重叠部分点云，然后融合两组点云。
74.本发明提供了一种基于多尺度特征提取的多视角点云配准及点云融合方法，将多视角扫描形成的点云进行多尺度特征提取和特征匹配，对完成配准的点云去除交叠区域进行融合，最终形成完成点云模型，以满足工业环境下的实际生产需求。