基于光场等效相机阵列模型的高反光表面三维测量方法

1.本发明涉及本发明涉及一种三维重建方法，尤其涉及一种具有高反光区域物体的三维重建方法。


背景技术：

2.条纹投影轮廓术常用于测量物体的三维表面形貌，相移条纹图案被投影到物体表面发生变形，并由相机采集，相机的像素对应点的三维坐标信息，可通过采集的变形条纹图案中所包含的相位信息来计算得到。然而，由于物体表面加工处理方式不同、表面粗糙度各异，在光线投射至物体表面时会发生镜面反射和漫反射，其中镜面反射具有方向性，是造成图像过饱和的主要因素。这使得条纹投影三维测量方法面临图像过饱和问题，即入射光强远超过相机图像传感器的最大灰度值。从而使得后续的相位解调和相位展开过程中存在较大误差，进而导致相位紊乱，最终给计算得到的点云数据引入过多的误差或者过于稀疏。


技术实现要素：

3.光场成像技术能够同时记录光线的位置信息和方向信息，因此，与传统相机相比，光场相机可捕捉到四维光场信息，通过提取四维光场信息得到场景的多视角图像，即子孔径图像，异视角子孔径图像对于同一世界点采集到的光线信息并不相同，这就使得光场子孔径图像之间存在一定的差异性和互补性。理论上来说，对于某一子孔径所记录的图像信息中因过曝而丢失的场景信息，能够在其他视角下的子孔径图像得到补充。因此，本发明在传统条纹投影三维测量技术的基础上，提出一种基于光场等效相机阵列模型的高反光表面三维测量方法及系统，有效解决高反光表面三维重建后信息丢失问题。
4.根据本发明实施例的第一方面，提出了一种光场等效相机阵列模型，避免了光场相机繁琐的标定过程和复杂的标定结果，实现快速精确标定。
5.根据本发明实施例的第二方面，提出了一种高反光表面三维测量方法，利用标定的光场相机对高反光表面进行多视角三维重建，从而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角成像，将所有辅助相机的坐标系统一到主相机坐标系中；选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至xoy平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
6.根据本发明实施例的第三方面，提出一种高反光表面三维测量系统，包括：光场相机；三维重建模块，其被配置为利用标定的光场相机对高反光表面进行多视角三维重建，从
而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角成像，将所有辅助相机的坐标系统一到主相机坐标系中，选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至xoy平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
附图说明
7.为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
8.图1(a)为本发明一实施例提供的光场相机模型示意图。
9.图1(b)为本发明一实施例提供的等效相机阵列模型示意图。
10.图2为本发明一实施例提供的基于光场等效阵列模型的三维测量系统示意图。
11.图3为本发明一实施例提供的正弦相移条纹示意图。
12.图4为本发明一实施例提供的光场等效相机阵列三维测量系统示意图。
13.图5为本发明一实施例提供的点云自适应修复示意图。
14.图6为本发明一实施例提供的金属柱体表面重建示意图，其中(a)原始光场图像(b)传统条纹投影三维重建结果(c)本发明三维重建结果。
具体实施方式
15.从原始光场图像中提取的子孔径图像是从不同视角对场景所成的像，因此聚焦型光场相机可以等价于一个相机阵列，从而可将四维光场l(s,t,u,v)简化为二维l(u,v)阵列，用光场相机的角度分辨率(s,t)在阵列上进行定位。基于此，本发明提出了基于聚焦型光场相机的等效相机阵列模型。为了标定聚焦型光场相机，将结构未知的聚焦型光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角。考虑到子孔径图像的提取过程，可将该模型中所有相机视为具有相同的内参矩阵，光场相机子孔径图像的不同视角反映在相机的姿态变化中。辅助相机的成像可以看作是除中心视角下的其他视角成像。因此，主相机图像平面上世界点pw＝(x,y,z)
t
到主相机平面上点mm＝(um,vm)
t
和辅助相机图像平面上点ma＝(ua,va)
t
的透视图投影变换可以表示为：
[0016][0017]
其中，表示齐次坐标，sm和sa为尺度因子，ac为相机的本征矩阵，[rm|tm]和[ra|ta]分别为主相机和辅助相机的外参矩阵。
[0018]
为了避免主相机和辅助相机对同一世界点的重建结果不一致，需要将所有辅助相机的坐标系统一到主相机坐标系中。因此，主相机坐标系默认为等效相机阵列坐标系。在这
种情况下，辅助相机的位置和姿态可以用主相机的外参矩阵表示。同时，从辅助相机到主相机的位姿变化是一个刚体变换过程。因此，可以推导出辅助相机坐标系到主相机坐标系的刚体变换，可以表示为：
[0019][0020]
其中，[rs|ts]为辅助摄像机的结构参数，表示从辅助相机坐标系到主相机坐标系的刚体变换矩阵，pm和pa分别为主相机坐标系和辅助相机坐标系中某一点的三维坐标。为了对辅助相机的不同姿态进行标识，用c(i，j)表示位于等效相机阵列中的第i行第j列的相机，p
a,ij
表示c(i，j)相机坐标系中的坐标，m
a,ij
为相应的图像像素坐标系中的坐标。在主相机坐标系下，主相机与辅助相机的变换可由下式表示：
[0021][0022]
其中，s
a,ij
为第i行第j列等效相机的尺度因子，i为单位矩阵，r
s,ij
、t
s,ij
为第c(i，j)的结构参数。将不同的辅助相机视角下计算得到的p
a,ij
统一至主坐标系中，得到聚焦型光场相机的等效相机阵列模型，如图1所示。
[0023]
搭建如图2所示的基于光场等效相机阵列模型的高反光表面三维测量系统，其中包括dlp4500结构光投影仪、raytrix r8光场相机、上位机等。利用matlab编程生成3组分辨率为912
×
1140相移正弦条纹图案，频率分别为15、12、10，每组包括水平和竖直相移条纹各4幅，相邻相移条纹图案之间相位相差π/2，共计24幅正弦条纹图案，如图3所示。将制作好的棋盘格标定板置于光场相机视场中不同位置，尽量覆盖不同角度，在每一位置处投影仪均投射24幅正弦条纹图案，将标定板置于10个不同的位姿，可以得到10组正弦条纹图案序列，每组图案包含一幅棋盘格图片和24幅正弦条纹图案，共25张图案。图片采集完成后，依据光场子孔径图像提取算法，对光场相机采集到的原始光场数据进行解码，为了保证测量系统三维重建的精度，需要对光场相机的角度分辨率和空间分辨率进行平衡，最后将角度分辨率调整为6
×
6，即从原始图像中可提取36个视角的子孔径图像，空间分辨率为1430
×
784，即从原始光场图像中提取的子孔径图像分辨率为1430
×
784。将采集到的标定图案进行解码，得到36组图案，每组图案为每个视角下所采集的标定图案，共250张图案。采用开源标定软件进行标定，得到各等效相机的内外参数、相机阵列结构参数和投影仪内外参数。
[0024]
在通过标定工作得到等效相机阵列模型和投影仪内参矩阵以及外参矩阵后，则在统一坐标系下，被测物体在不同视角下的三维重建结果可由下式得到：
[0025][0026]
其中，e
ij
为等效相机阵列中c(i，j)的结构参数，s
p
为投影仪尺度因子，s
c,ij
第i行第j列等效相机尺度因子。a
p
为投影仪的本征矩阵，[r
p
|t
p
]为投影仪的外参矩阵，u
p
为对应点的投影仪像素坐标系下横坐标，φi(uc,vc)为在点(uc,vc)的绝对相位值，w为投影条纹宽
度，n为条纹最大周期整数。pc＝rcpw tc为相机坐标系中的坐标，rc,tc为相机的外参。相机阵列中的主相机为中心视角下相机，因此选择主相机坐标系作为测量系统的坐标系，则e
ij
可定义为：
[0027][0028]
其中，(s,t)为聚焦型光场相机的角度分辨率。因此，可利用聚焦型光场进行多视角三维重建，r
s,ij
,t
s,ij
代表第i行第j列等效相机的外参。从而得到不同视角下被测物体的多方向点云信息，如图4所示。
[0029]
在测量系统中，由于被测物体表面存在高反光区域，导致从多个视角重建的点云可能不完整，即图像过曝光导致重建点云出现空洞现象。相机在不同视角下记录的来自世界坐标系中同一点的光线强度是不相等的，因此在对高反光表面物体重建得到的异视角点云中，丢失信息的位置和大小是不同的。也就是说，不完整的点云可以被其他视角下重建的具有互补性息的点云所修复，如图5所示。
[0030]
选择光场等效相机阵列测量系统中，主相机下重建得到点云{p}m作为目标点云，其余作为辅助点云{p}a。为了避免冗余的计算，将所有重建点云统一至主相机坐标系下，再将点云投影至xoy平面，由下式可得到投影图像：
[0031][0032]
其中，bm表示目标点云投影得到的二值投影图像，零像素区域表示点云缺失区域；ba表示源点云投影得到的二值投影图像；ωz表示将点云投影至xoy平面上。得到投影图像后，通过连通域分析可提取得到每个点云投影图像中缺失部分所在的像素位置和大小，从而可确定对于目标点云具有修复意义的异视角点云信息，可表示为：
[0033]
λ＝ψ(bm)δψ(ba)
[0034]
其中，ψ表示连通域分析，aδb表示根据点集a中零像素的位置从点集b中提取坐标集λ。然后，可以从异视角点云中提取互补点云，并拼接至目标点云的对应区域。修复后的点云{p}
re
可表示为：
[0035][0036]
其中，δ
λ
表示根据坐标集λ提取点云，表示点云拼接。重复上述步骤，对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，从而利用光场等效相机阵列测量系统对高反光表面物体进行完整三维测量工作。
[0037]
上述对点云的处理可以通过配置在上位机上的三维重建模块实现。三维重建模块以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务
器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0038]
以抛光金属柱体为例，原始光场图像如图6(a)所示，采用传统条纹投影三维重建方法如图6(b)所示，本发明重建结果如图6(c)所示。