一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种双单目三维成像系统的点云融合方法与流程

2021-12-13 00:18:00 来源:中国专利 TAG:


1.本发明属于三维成像技术领域,具体涉及一种双单目三维成像系统的点云融合方法。


背景技术:

2.基于结构光法的三维成像技术,因其测量精度高、非接触、成像时间短等优点,在工业检测、逆向工程、虚拟现实、牙科诊治和文物保护等领域具有广泛应用。一般地,根据三维成像系统中图像采集模块的个数,可分为单目结构光系统和双目结构光系统。双目结构光系统,是根据结构光的编码信息,确定两个相机的像素匹配关系,求取视差图,当存在遮挡和近端过曝情况时,容易造成点云缺失;而双单目三维成像系统,即左右图像采集模块分别与结构光投射模块构成单目系统,通过一次拍摄可以得到两组单目点云的并集,有效提升点云的完整性。
3.针对点云缺失问题,传统方法是同一台三维扫描仪变换位置,多次拍摄,得到多组点云,最后拼接成一组完整点云。武汉中观自动化科技有限公司在公开号为cn107680039a的发明专利申请中提出了一种基于白光扫描仪的点云拼接方法及系统,该专利技术将点云icp拼接方法/标志点拼接方法以及纹理匹配(sift)拼接方法结合到一起,可有效弥补单一拼接方法的缺陷,但是会造成算法复杂度增加,计算时间增长。
4.深圳市凌云视讯科技有限责任公司在公开号为cn110120013a的发明专利申请中提出了一种点云拼接方式,该方法结合2d特征和3d点云特征来确定匹配点对,无需进行最近点迭代计算,避免了点云配准中的繁琐过程,但是不适用工业场景中大量平面类的工件,尤其是独特的2d和3d特征都少的情况。


技术实现要素:

5.鉴于上述,本发明提供了一种双单目三维成像系统的点云融合方法,该方法无需额外操作,仅一次结构光投射和图像过程,即可准确的实现左、右单目系统的点云拼接操作,从而显著提高三维成像的数据完整性。
6.一种双单目三维成像系统的点云融合方法,所述成像系统由结构光投射模块以及分布于结构光投射模块左右两侧的图像采集模块构成,左侧图像采集模块与结构光投射模块构成左单目系统,右侧图像采集模块与结构光投射模块构成右单目系统,所述方法用于左单目系统与右单目系统的点云融合,具体包括如下步骤:
7.(1)设计用于标定的结构光投射模板,其由横纵两个方向互相垂直的条纹图组成;
8.(2)利用结构光投射模块将所述结构光投射模板投向白板,两侧图像采集模块同步采集模板图像,利用编码的唯一性可确定左单目系统与右单目系统所采集图像像素之间的一一对应关系;
9.(3)根据三角测量原理,重建左单目系统所采集图像的三维点云数据即左点云,同时重建右单目系统所采集图像的三维点云数据即右点云;
10.(4)利用左单目系统与右单目系统所采集图像像素之间的一一对应关系,逐块确定右单目系统坐标系到左单目系统坐标系之间的变换矩阵,并将右点云变换至左单目系统坐标系中;
11.(5)将变换至左单目系统坐标系中的右点云与左点云之间重合的部分通过平均操作,融合为一块点云。
12.优选地,所述结构光投射模板中两个方向的条纹图采用格雷码加四步相移法编码生成。
13.进一步地,所述步骤(2)中确定左单目系统与右单目系统所采集图像像素之间一一对应关系,具体过程为:对于采集得到的图像中任一像素点,通过解码计算出该点的相位值;对于左单目系统所采集图像中任一像素点的相位值,在右单目系统所采集图像中通过搜索寻找与之相同相位所对应的像素点,即可确定左单目系统与右单目系统所采集图像像素之间的一一对应关系。
14.进一步地,所述步骤(3)的具体实现过程为:首先通过系统标定获得左侧图像采集模块的内参和外参以及结构光投射模块的内参和外参,并基于上述信息计算出左侧图像采集模块与结构光投射模块之间的投影矩阵,然后对于左单目系统所采集图像中任一像素点,根据该点的相位值以及投影矩阵便可计算出该点的三维点云数据;同理也可计算出右单目系统所采集图像中每一像素点的三维点云数据。
15.进一步地,所述步骤(4)的具体实现过程如下:
16.4.1将右点云按n
×
n大小分成若干个块,每一块点云均由块内所有点的三维点云数据组成,n为自设定的正整数;
17.4.2对于第i个右点云块根据左单目系统与右单目系统所采集图像像素之间的一一对应关系,可确定与之匹配的左点云块i和j为[0,n
×
n

1]范围内的自然数;
[0018]
4.3分别计算右点云的质心以及左点云的质心
[0019]
4.4计算矩阵对h进行奇异值分解,得到h=uσv
t
,其中u和v为分解得到的酉矩阵,σ为奇异值对角矩阵,
t
表示转置;
[0020]
4.5计算出右单目系统坐标系到左单目系统坐标系的旋转矩阵r=vu
t
以及平移矩阵进而将右点云块变换至左单目系统坐标系中;
[0021]
4.6根据步骤4.2~4.5依次遍历所有右点云块,从而将整个右点云变换至左单目系统坐标系中。
[0022]
进一步地,所述步骤(5)的具体实现过程为:对于变换至左单目系统坐标系的右点云中任一点p
rzl
=(x
rzl
,y
rzl
,z
rzl
),通过投影变换计算出该点在左单目系统坐标系中的像素坐标(u
rzl
,v
rzl
),具体计算表达式如下:
[0023][0024]
其中:k
left
为左侧图像采集模块的内参,x
rzl
、y
rzl
、z
rzl
分别为该点的三维点云数据在x、y、z方向上的分量;
[0025]
然后,将左点云中位于坐标(u
rzl
,v
rzl
)上对应点的三维点云数据与(x
rzl
,y
rzl
,z
rzl
)求平均后,即作为该点融合后新的点云数据。
[0026]
基于上述技术方案,本发明具有以下有益技术效果:
[0027]
1.本发明通过一侧数据采集,便可实现左、右单目系统点云的拼接,较双目成像系统显著提高数据完整性。
[0028]
2.本发明能够显著提高三维成像系统的抗畸变能力,镜头畸变造成的点云误差较大时,点云拼接精度高。
附图说明
[0029]
图1为双单目三维成像系统结构示意图。
[0030]
图2为本发明双单目系统点云融合方法的流程示意图。
[0031]
图3为结构光投射模块相位值解析原理示意图。
[0032]
图4为传统双目结构光成像系统与本发明双单目三维成像系统的成像结果对比示意图。
具体实施方式
[0033]
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0034]
如图1所示,本发明双单目系统由两台工业相机和一台dlp投影仪组成,其中左侧相机与dlp投影仪构成左单目系统,右侧相机与dlp投影仪构成右单目系统。如图2所示,该三维成像系统的左单目系统与右单目系统的点云融合方法,包括如下步骤:
[0035]
(1)标定阶段,设计dlp投影仪投射的模板图,如图3所示,由横纵两个方向的条纹图组成,每个方向的条纹图编码方式采用的是格雷码和四步相移法。
[0036]
左右相机拍摄经场景调制后的变形条纹图像,如图3所示,相应的解码算法具体步骤如下:
[0037]
1.1通过阈值法对黑白格雷码图片二值化,然后按照投射顺序,每个像素点可组合出一对01序列,根据格雷码与二进制的对应关系,确定像素点在横纵方向的数值为(k
u
,k
v
)。
[0038]
1.2根据如下公式可求得像素点的横纵相位值其中i
n
为第n张相移图。
[0039]
[0040]
1.3任意一点(u,v)的相位值可表示为:
[0041][0042]
经过上述方法,可将左右相机拍摄的图像序列解码为横纵两个方向的相位值,即(φ
leftu

leftv
)和(φ
rightu

rightv
)。
[0043]
1.4通过遍历的方法,为右相机系统每一点(u
lm
,v
lm
)在左相机系统中寻找相等相位对应的像素坐标(u
rn
,v
rn
),这样可以确定左右相机系统中像素坐标之间的一一对应关系。
[0044]
(2)重建阶段,具体实现过程如下:
[0045]
首先,通过单目结构光重建模型计算出左单目系统的每个像素坐标的三维点云数据p
l
=(x
left
,y
left
,z
left
);同理,计算出右单目系统的每个像素坐标的三维点云数据p
r
=(x
right
,y
right
,z
right
),具体步骤如下:
[0046]
2.1通过系统标定获得的左相机的内参k
left
、外参r
left
和t
left
,dlp光机的内参k
proj
、外参r
proj
和t
proj
,根据如下公式,计算出左相机和dlp投影仪的投影矩阵分别为:
[0047][0048][0049]
2.2左相机任一像素位置(u
l
,v
l
),对应的绝对相位为φ
leftu
,那么该点的三维点云数据p
l
=(x
left
,y
left
,z
left
)的计算公式如下:
[0050][0051]
2.3同理,可计算出每个像素坐标的三维点云数据p
r
=(x
right
,y
right
,z
right
)。
[0052]
然后,逐块确定右点云到左点云坐标系的变换关系,具体步骤如下:
[0053]
2.4将右点云按n*n大小分成若干块,其中第i块点云数据可表示为
[0054]
2.5根据标定阶段得到的左右相机之间像素匹配关系,可为第i块右点云,确定与之匹配的左点云对,表示为
[0055]
2.6计算右点云块的质心对应的左点云质心令
对h进行奇异值分解,得到h=u∑v
t
,那么从右点云变换到左相机系统的旋转矩阵r=vu
t
,平移矩阵通过矩阵运算,将第i块右点云变换至左相机系统。
[0056]
2.7根据步骤2.5~2.6,依次将所有右点云块变换至左相机系统,表示为p
r2l
=(x
r2l
,y
r2l
,z
r2l
)。
[0057]
最后,将变换至左坐标系的点云与左单目系统得到的点云进行融合,具体步骤如下:
[0058]
2.8变换至左相机系统的右点云p
r2l
,通过投影变换算出该点在左相机系统中的像素坐标(u
r2l
,v
r2l
),投影变换为:
[0059][0060]
2.9将同样位于(u
r2l
,v
r2l
)的左点云数据(x
left
,y
left
,z
left
),与(x
r2l
,y
r2l
,z
r2l
)求均值,即得到融合后的新点云数据。
[0061]
图4展示了在相同硬件平台下,利用传统双目结构光成像和本发明双单目融合成像方法所得到的结果;采用传统双目结构光成像系统中,由于只有左右图像采集系统中的公共部分有三维点云数据,出现了大面积的数据缺失(黑色阴影),而利用本发明融合方法能够获得更为完全的三维数据,大幅减少数据缺失面积。
[0062]
上述对实施例的描述是为了便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易的对上述实施例做出各种修改,并把此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献