双目结构光三维重建方法、重建系统及重建设备与流程

1.本发明是关于三维建模技术，特别是关于一种双目结构光三维重建方法、重建系统及重建设备。


背景技术：

2.随着生产生活需求的提高，对于三维数据的使用越来越广泛，如：生产上，采集成品工件三维数据来进行合格性检测、通过三维数据实现机械臂对物体的搬运；生活中，司空见惯的三维人脸识别、如火如荼发展的自动驾驶等。基于结构光的三维重建，由于精度高、速度快、成本低、结构简单等的特点近年来被广泛应用于各种场景。结构光三维重建有单目系统和双目系统，其中双目系统由于更高的标定精度而有着更高的三维重建精度。
3.基于双目系统的结构光三维重建方法当前通常使用三频多步相移的结构光。为了得到较高的精度，图像分为频1、频2、频3三组，每组得到一个截断相位，再使用这三个截断相位得到一个展开相位，进行同名点的匹配。三组图像中频率依次增高，其中高频能够实现对同名点的准确标记，但同名点匹配会出现问题，需要结合其他两组图像实现匹配，需要采集较多图像。
4.由于相机曝光时间的存在，采集图像需要较长的时间，较多的图像数量对重建速度影响较大。本发明对该方法进行改进，减少需要图像，提升三维重建速度。
5.公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。


技术实现要素：

6.本发明的目的在于提供一种双目结构光三维重建方法、重建系统及重建设备，再结合tof设备的数据就可以实现同名点的匹配，使图像采集的时间显著降低，并且需要处理的数据也大大减少，能够在保持精度的同时，显著提升三维重建的速度。
7.为实现上述目的，本发明的实施例提供了双目结构光三维重建方法，包括：点云构建单元，针对目标构建三维点云；第一视像捕捉单元、第二视像捕捉单元分别采集目标的结构光图像信息，结构光图像信息包括一组具有不同相位的多幅结构光图像；第一视像捕捉单元获取的结构光图像信息同名匹配三维点云的信息，获取第一匹配信息；第一匹配信息同名匹配第二视像捕捉单元获取的结构光图像信息，获取第二匹配信息；以第二匹配信息为依据进行三维重建。
8.在本发明的一个或多个实施方式中，双目结构光三维重建方法，包括：构建坐标系，标定第一视像捕捉单元、第二视像捕捉单元以及点云构建单元；投射单元向目标投射包括相位信息的结构光；点云构建单元，针对目标构建三维点云；第一视像捕捉单元、第二视像捕捉单元分别采集目标中像素坐标(x,y)的结构光图像信息，结构光图像信息包括一组具有不同相位的多幅结构光图像；第一视像捕捉单元获取的结构光图像信息同名匹配三维点云的信息，获取第一匹配信息；第一匹配信息同名匹配第二视像捕捉单元获取的结构光
图像信息，获取第二匹配信息；以第二匹配信息为依据进行三维重建。
9.在本发明的一个或多个实施方式中，第一匹配信息至少包括如下任一：第一截断相位、第一深度值、第一视差信息、第一视差上采样信息、第一截断相位校正信息。
10.在本发明的一个或多个实施方式中，第一视差上采样信息为由第一视差信息进行上采样获得。
11.在本发明的一个或多个实施方式中，第一截断相位校正信息为由第一截断相位的校正获得。
12.在本发明的一个或多个实施方式中，第二匹配信息至少包括如下任一：第二视差信息、第二视差上采样信息。优选的第二视差上采样信息为由第二视差信息进行上采样获得。
13.在本发明的一个或多个实施方式中，第二视差信息为由第一视差信息同名匹配获得，且该同名匹配的前提满足第一视差信息：d
err
《p
t
，d
err
为第一视差信息的误差和p
t
为第一视差信息的相位周期。
14.在本发明的一个或多个实施方式中，双目结构光三维重建系统，包括点云单元，用于采集目标物的三维信息，构建三维点云，获取点云信息；若干视像捕捉单元，用于采集目标的结构光图像，获取结构图像信息；匹配单元，用于同名配对点云信息与结构图像信息，生成三维重建信息。
15.在本发明的一个或多个实施方式中，双目结构光三维重建系统，包括点云单元，用于采集目标物的三维信息，构建三维点云，获取点云信息；若干视像捕捉单元，用于采集目标的结构光图像，并针对坐标(x,y)至少获取一组频次相同的结构光图像，获取结构图像信息；匹配单元，用于同名配对点云信息与结构图像信息，生成三维重建信息。
16.在本发明的一个或多个实施方式中，双目结构光三维重建系统，包括至少两个视像捕捉单元、结构光投射单元，还包括：控制单元，至少用于对两个视像捕捉装置进行对标定；点云单元，用于采集目标物的三维信息，构建三维点云，获取点云信息；视像捕捉单元，用于采集目标物的结构光图像，并针对坐标(x,y)至少获取一组频次相同的结构光图像，获取结构图像信息；匹配单元，用于同名配对点云信息与结构图像信息，生成三维重建信息。
17.在本发明的一个或多个实施方式中，结构光图像包括一组频次相同的第一结构光图像。
18.在本发明的一个或多个实施方式中，一组频次相同的第一页结构光图像包括相位差为π/2的四幅图像。
19.在本发明的一个或多个实施方式中，重建系统还包括用于向目标投射包括不同相位信息的投射单元。
20.在本发明的一个或多个实施方式中，双目结构光三维重建装置，包括如前述的双目结构光三维重建系统。
21.与现有技术相比，根据本发明实施方式的双目结构光三维重建方法、重建系统及重建设备，首先将双目相机进行标定，再向物体投射带有相位信息的结构光条纹，再使用相机采集物体上变形的结构光图像，然后使用图像求解相位信息，再利用相位信息进行同名点的匹配从而得到视差，最后通过视差得到三维坐标，实现三维重建。本发明实施中只需要拍摄三频中的一组图像，再结合tof设备的数据就可以实现同名点的匹配，使图像采集的时
间减少2/3，并且需要处理的数据也大大减少，能够在保持精度的同时，显著提升三维重建的速度。通过tof设备点云求取粗视差，大大缩短图像采集和计算花费的时间；通过粗视差缩小了同名点查找范围，提高了三维重建速度。
22.本方法利用tof设备数据来辅助结构光实现同样精度的情况下，使用更少图像，更快的速度实现三维重建。
附图说明
23.图1是根据本发明一实施方式的重建流程示意图；
24.图2是根据本发明一实施方式的重建示意图；
25.图3是根据本发明一实施方式的φ(x,y)在进行同名点匹配的示意图。
具体实施方式
26.下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
27.除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
28.如图1至图3所示，根据本发明优选实施方式的方案中：
29.注意包括而不限于本发明实施例中所展示的第一视像捕捉单元、第二视像捕捉单元，仅仅是为了对镜头方向不同的视像捕捉单元进行区分，而非仅仅限定为对视像捕捉单元的数量进行限定。
30.三维重建通过点云构建单元构建的低精度点云为同名匹配提供依据。与设置在不同方向的第一视像捕捉单元、第二视像捕捉单元，该两个视像捕捉单元可以为如图2所示的镜头方向不同的两个相机。当然也可以设置更多的相机，这些相机都可以具有不同的镜头方向，从而重复本发明的同名匹配以进一步地提高重建精度。
31.如上所述的这些视像捕捉单元在本发明实施过程中，都可以用于对目标的结构图像进行采集，这些结构图像可以为具有不同频次信息作为标记或者区分的图像。可以为在结构光光源下进行捕获采集。
32.同时，需要注意的是，本发明实施过程中，在如图1所示的同一次执行过程中，在前述的视像捕捉单元中选择配对两个来参与。在针对同一坐标的多次执行过程中，可以采用多个分组来进行重建，然后针对多个重建结果进行下采样或者逼近或插点等操作，从而确定最优的重建坐标。
33.如图1-3所示的，以下以一种具体的实施例对本发明进行说明，但不作为对本发明保护范围的限定：
34.图2为该系统的装置图，包括两台相机、一台tof设备、一个投射器。首先，对双目系统进行标定，得到两个相机的内参k和外参m：
[0035][0036]
其中，f
x
是相机焦距f相对于像素宽度h
x
的比值，fy是相机焦距f相对于像素高度hy的比值,u0、v0是像素平面的中心点的坐标。
[0037][0038]
其中，r
ij
表示两相机坐标系的旋转关系，ti表示两相机坐标系原点间的平移关系。
[0039]
也对tof设备和左相机(包括而不限于本处的“左右”，是针对图2所展示的纸面图像，以观察者观察方向确定)标定，得到外参m
t
，形式与式(2)相同。tof设备能够直接得到物体的三维信息，但精度很低。
[0040]
接下来，使用双目系统采集结构光图像,投射的四张图像由式(3)-(6)展示，可以选择最高频次的一组图像。也可使用其他频次的图像，对于不同频次图像选择至少取决于tof设备的精度：
[0041]
i1＝i
′
i
″
cos[φ(x,y)]
ꢀꢀ
(3)
[0042][0043]
i3＝i
′
i
″
cos[φ(x,y) π]
ꢀꢀ
(5)
[0044][0045]
其中，(x,y)表示像素坐标，φ(x,y)是像素对应的相位，i
′
是投射的结构光的背景亮度，i
″
为投射的结构光的调制亮度。
[0046]
根据式(7)求解截断相位，截断相位(即可以被视作第一截断相位)是同名点匹配的依据：
[0047]
φ(x,y)＝arctan((i
4-i2)/(i
1-i3))
ꢀꢀ
(7)
[0048]
可以对截断相位进行极线校正(从而可以视作获得第一截断相位校正信息)，使两相机中同名点位于同一行像素，然后再在对应行中进行同名点匹配，如：在极线校正后，左相机的第10行的同名点就在右相机的第10行中。
[0049]
极线校正可以举例为如下所示的：
[0050]
这里使用bouguet算法来实现极线校正，该算法通过求解旋转矩阵将双目相机的左右相机坐标系处理到共面且平行的位置，这样就能够保证同名点处于同一行像素。这一过程共分为两步进行：利用相机标定参数生成使两相机坐标系共面且平行的旋转平移矩阵；再确定校正前后图像中像素坐标的对应关系，得到校正后的图像。
[0051]
首先，将左右相机的相机坐标系各旋转一半的角度，以使像平面平行，能够达到这一目的的矩阵是左右相机的合成旋转矩阵r
l
、rr。根据标定可以得到两相机坐标系间的旋转矩阵r：
[0052][0053]
通过式(9)得到使左相机和右相机的合成旋转矩阵：
[0054]
[0055]
然后，再将相机像平面转移至共面，这一步需要构造矩阵r
rect
。根据相机坐标系与旋转后坐标系关系有：
[0056][0057]
其中，e3＝e1×
e2，tc＝[t
x
，ty，tz]，tc通过标定得到，e1、e2、e3通过tc得到。然后可以得到使两相机坐标系共面且平行的旋转矩阵：
[0058]r′
l
＝r
rect
*r
l
，r
′r＝r
rect
*rrꢀꢀ
(11)
[0059]
接下来，确定校正前后图像中像素坐标的对应关系，得到校正后的图像。设校正后图像的像素坐标(u，v)，根据式(12)、(13)得到像素坐标：
[0060]
x＝(u-u0)/f
x
ꢀꢀꢀꢀꢀ
(12)
[0061]
y＝(v-v0)/fyꢀꢀꢀ
(13)
[0062]
再将式(11)中的旋转矩阵r
′
l
、r
′r带入式(14)，同时使用式(15)、(16)归一化，得到其在原图的图像坐标系中未发生畸变的图像坐标(x
′
，y
′
)：
[0063][0064]
x
′
＝x/w
ꢀꢀꢀ
(15)
[0065]y′
＝y/w
ꢀꢀꢀ
(16)
[0066]
再通过式(17)-(19)加入相机的畸变，得到其在原图图像坐标系中的坐标(x
″
，y
″
)：
[0067]
r＝x
′2 y
′2ꢀꢀꢀ
(17)
[0068]
x
″
＝x
′
(1 k1r2 k2r4) 2p1x
′y′
p2(r2 2x
′2)
ꢀꢀꢀꢀꢀꢀꢀ
(18)
[0069]y″
＝y
′
(1 k1r2 k2r4) p1(r2 2y
′2) 2p2x
′y′ꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0070]
其中，k1、k2为径向畸变系数，p1、p2为切向畸变系数。
[0071]
再通过式(20)、(21)将图像坐标转化到像素坐标，得到校正后图像的像素坐标(u，v)在原图像中对应的像素坐标(u
′
，v
′
)：
[0072]u′
＝x
″
fx u0ꢀꢀ
(20)
[0073]v′
＝y
″fy
v0ꢀꢀ
(21)
[0074]
最终得到校正后的图像，完成极线校正。
[0075]
但由于截断相位的一行像素中包含多个周期为[0，2π]的相位，因此根据相位进行同名点匹配时会有多个相位相同的点，但只有一个是同名点，如图3，左相机中一截断相位为φ(x，y)，在右相机的对应像素行中可能有对应点φ(x1，y)、φ(x2，y)、φ(x3，y)。下一步使用tof得到粗视差，缩小匹配范围，实现同名点匹配。
[0076]
在本方案实施的过程中，考虑到截断相位进行同名点匹配时，由于像素的离散性，同名点可能位于两个相邻像素截断相位的中间，所以使用插值的方式实现亚像素精度的匹配，以得到更高的精度。
[0077]
使用tof设备来实现同名点匹配。首先，获取tof低精度点云，将tof设备的点云投
射到左相机坐标系下，通过式(22)进行这一坐标转换：
[0078][0079]
其中，是左相机坐标系下的坐标，是tof设备坐标系下的坐标，m
t
是标定得到的外参。然后将左相机坐标系下的点云投射到左相机的像平面上，通过式(23)实现转换：
[0080][0081]
其中，(u,v)为该三维坐标对应的像素坐标，k为标定得到的内参。此时左相机的像素(u,v)能够得到一个可能具有较低精度的深度值z
l
(即可以被视作第一深度值)，再利用它求取视差，由于深度存在较大的误差，因此这是一个低精度的视差，称它为粗视差或低精度视差(即可以被视作第一视差信息)。
[0082]
得到粗视差的过程如下，根据视差d和深度z的关系式(24)：
[0083][0084]
其中，f
x
与(1)中相同，t为相机系统基线，通过标定得到。根据低精度的深度值z
l
和式(24)，得到粗视差。
[0085]
在实施过程中，由于tof设备与相机的分辨率具有不一致可能性，因此在三维坐标投射到像平面后可以对视差进行上采样获得稠密视差(即可以被视作第一视差上采样信息)，以克服tof设备与相机的分辨率具有不一致带来的影响。
[0086]
在此基础上，可以使用粗视差进行同名点匹配，得到高精度视差(即可以被视作第二视差信息)。同理的，在对不同粗视差所带来的高精度视差的差异性进行校正的过程中，同样可以适用上采样来克服一致性问题，此时即可以获得第二视差上采样信息。使用粗视差进行同名点匹配的前提为：粗视差的误差d
err
和相位周期p
t
满足关系：d
err
《p
t
，它们的单位是像素个数。原因是参照图3展示的，在匹配同名点时的搜索范围中是有多个相位周期的，因此要通过粗视差找到同名点，粗视差必须能够把这个搜索范围缩小到一个周期中，也就是粗视差的误差应在一个相位周期内，否则匹配到的相同相位会多于一个。
[0087]
以tof设备azure kinect dk为例，其系统误差e
systematic
《11mm 0.1％的距离；双目系统使用像素130w的相机、8mm镜头进行标定，得到f
x
＝1640.72205，基线t＝400mm。在双目系统工作距离为700mm时，即最小工作深度700mm时，根据式(24)可得，实际视差约为937像素，通过tof设备低精度的深度得到的粗视差约为922像素，视差误差为15像素，保证图像中相位周期p
t
》15像素即可。视差误差在不同情况下会变化，由式(24)可知，它与选用设备和所搭建系统的参数等有关。
[0088]
同名点匹配。根据得到的粗视差，能够得到同名点所在的大致位置，再根据截断相位在其附近一个相位周期内寻找相位相同的点，确定为同名点。具体来说，若对第i行像素
进行同名点匹配，对于左相机中第j列像素，求得粗视差为d，可以得到右相机中同名点位置在第j-d列附近，然后根据左相机中该像素的截断相位φ(i,j)，在右相机中第j-d列附近，即在(j-d-pt，j-d pt)范围内匹配截断相位相同的那个像素(m,n)，即同名点。
[0089]
截断相位进行同名点匹配时，由于像素的离散性，同名点可能位于两个相邻像素的中间，可以使用插值的方式实现亚像素精度的匹配，以得到更高的精度。
[0090]
求得高精度视差并生成点云实现三维重建，即本发明方案中tof的点云数据通过式(22)进转换，最终三维重建所构建的点云是在双目系统的左相机坐标系下。
[0091]
与现有技术对比，本方案在同名点匹配中，通过粗视差大大缩小了同名点的查找范围，缩短了匹配时间，提升了重建速度。现有技术同名点的匹配，开始时是在对应行中从第一个像素开始整行进行寻找。本发明通过粗视差将匹配范围限制在一个相位周期内，缩小了一行起始时的查找范围。
[0092]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。