一种双单目三维成像系统的点云融合方法与流程

技术特征：
1.一种双单目三维成像系统的点云融合方法，所述成像系统由结构光投射模块以及分布于结构光投射模块左右两侧的图像采集模块构成，左侧图像采集模块与结构光投射模块构成左单目系统，右侧图像采集模块与结构光投射模块构成右单目系统，所述方法用于左单目系统与右单目系统的点云融合，具体包括如下步骤：(1)设计用于标定的结构光投射模板，其由横纵两个方向互相垂直的条纹图组成；(2)利用结构光投射模块将所述结构光投射模板投向白板，两侧图像采集模块同步采集模板图像，利用编码的唯一性可确定左单目系统与右单目系统所采集图像像素之间的一一对应关系；(3)根据三角测量原理，重建左单目系统所采集图像的三维点云数据即左点云，同时重建右单目系统所采集图像的三维点云数据即右点云；(4)利用左单目系统与右单目系统所采集图像像素之间的一一对应关系，逐块确定右单目系统坐标系到左单目系统坐标系之间的变换矩阵，并将右点云变换至左单目系统坐标系中；(5)将变换至左单目系统坐标系中的右点云与左点云之间重合的部分通过平均操作，融合为一块点云。2.根据权利要求1所述的点云融合方法，其特征在于：所述结构光投射模板中两个方向的条纹图采用格雷码加四步相移法编码生成。3.根据权利要求1所述的点云融合方法，其特征在于：所述步骤(2)中确定左单目系统与右单目系统所采集图像像素之间一一对应关系，具体过程为：对于采集得到的图像中任一像素点，通过解码计算出该点的相位值；对于左单目系统所采集图像中任一像素点的相位值，在右单目系统所采集图像中通过搜索寻找与之相同相位所对应的像素点，即可确定左单目系统与右单目系统所采集图像像素之间的一一对应关系。4.根据权利要求1所述的点云融合方法，其特征在于：首先通过系统标定获得左侧图像采集模块的内参和外参以及结构光投射模块的内参和外参，并基于上述信息计算出左侧图像采集模块与结构光投射模块之间的投影矩阵，然后对于左单目系统所采集图像中任一像素点，根据该点的相位值以及投影矩阵便可计算出该点的三维点云数据；同理也可计算出右单目系统所采集图像中每一像素点的三维点云数据。5.根据权利要求1所述的点云融合方法，其特征在于：所述步骤(4)的具体实现过程如下：4.1将右点云按n
×
n大小分成若干个块，每一块点云均由块内所有点的三维点云数据组成，n为自设定的正整数；4.2对于第i个右点云块根据左单目系统与右单目系统所采集图像像素之间的一一对应关系，可确定与之匹配的左点云块i和j为[0,n
×
n
‑
1]范围内的自然数；4.3分别计算右点云的质心以及左点云的质心4.4计算矩阵对h进行奇异值分解，得到h＝uσv
t
，
其中u和v为分解得到的酉矩阵，σ为奇异值对角矩阵，
t
表示转置；4.5计算出右单目系统坐标系到左单目系统坐标系的旋转矩阵r＝vu
t
以及平移矩阵进而将右点云块变换至左单目系统坐标系中；4.6根据步骤4.2～4.5依次遍历所有右点云块，从而将整个右点云变换至左单目系统坐标系中。6.根据权利要求1所述的点云融合方法，其特征在于：所述步骤(5)的具体实现过程为：对于变换至左单目系统坐标系的右点云中任一点p
rzl
＝(x
rzl
,y
rzl
,z
rzl
)，通过投影变换计算出该点在左单目系统坐标系中的像素坐标(u
rzl
,v
rzl
)，具体计算表达式如下：其中：k
left
为左侧图像采集模块的内参，x
rzl
、y
rzl
、z
rzl
分别为该点的三维点云数据在x、y、z方向上的分量；然后，将左点云中位于坐标(u
rzl
,v
rzl
)上对应点的三维点云数据与(x
rzl
,y
rzl
,z
rzl
)求平均后，即作为该点融合后新的点云数据。

技术总结
本发明公开了一种双单目三维成像系统的点云融合方法，其系统由结构光投射模块以及分布于结构光投射模块两侧的图像采集模块构成，左右两侧单目系统的点云融合方法包括标定阶段和重建阶段：在标定阶段利用编码信息确定两个单目点云的一一对应关系；在重建阶段，借助SVD分解逐块确定旋转平移变换，经旋转平移变换完成点云拼接操作后，将重叠区域的点云作平均融合处理，得到一组完整性佳的点云。本发明方法可通过一次数据采集，实现左右单目点云的拼接，省去了多次采集的繁琐操作，而且不需要计算点云特征或者2D特征来确定两组点云匹配关系，可以节省大量计算时间，显著提高三维成像数据完整性。像数据完整性。像数据完整性。


技术研发人员：陈贵 王盛杰 王芳
受保护的技术使用者：浙江汉振智能技术有限公司
技术研发日：2021.09.08
技术公布日：2021/12/12