一种能够表征目标绝对深度的偏振三维成像方法

1.本发明属于光学成像技术领域，具体涉及一种能够表征目标绝对深度的偏振三维成像方法。


背景技术：

2.当前，三维成像技术在工业生产、人脸识别及安防检测等领域中的应用愈加广泛，而偏振三维成像技术作为三维成像的一个重要分支，具有设备简单，精度较高且应用限制小等多种优势，因此，对于偏振三维成像技术的研究具有重要意义。以往的偏振三维成像技术通过对目标反射光偏振信息的解译求取目标表面法向量，并对法向量进行归一化处理，最后积分得到目标三维模型。然而，对法向量归一化处理的传统偏振三维成像方法所获得的三维模型中的深度为相对深度，不会随目标探测距离的变化而改变，无法表征目标的绝对深度。显然，这并不符合未来成像发展的趋势。
3.目前提出了一种双目偏振三维重建方法，该方法通过对目标偏振信息的获取结合kinect得到的深度信息实现对目标的三维重建。将通过kinect获取目标的深度信息得到的目标表面法线作为先验条件，可以有效地解决偏振三维成像中目标表面法线多值性问题。具体地，首先，使用相机拍摄不同角度下的偏振图像，根据stokes矢量的方法计算出目标表面的偏振度，由偏振度可以计算出目标入射光的入射角和方位角。而通过偏振的方法得出的入射角与方位角存在不确定性，因此，需要利用kinect获取目标深度信息得到的表面法线信息进行校正。校正的方法就是使由偏振信息得到的目标表面法线在x轴和y轴的分量n
x
和ny的方向与由深度信息得到的方向保持一致。最后将校正后的法线归一化后，对法线在x轴和y轴的分量进行积分就可以重建目标的三维轮廓。
4.基于偏振信息的双目三维成像技术通过kinect获取的目标深度信息仅作为对偏振三维成像的法线校正，由于该方法是对归一化的表面法向量进行积分达到三维重建的效果，因此所重建的三维模型获得的深度信息是相对的，只能体现目标距离相机远近，不能表征目标的绝对深度信息。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种能够表征目标绝对深度的偏振三维成像方法。本发明要解决的技术问题通过以下技术方案实现：
6.本发明的一个方向提供了一种能够表征目标绝对深度的偏振三维成像方法，包括：
7.利用偏振三维成像系统获取目标不同偏振角度下的偏振图像；
8.获取偏振图像中目标物体表面每个像素点处的偏振度；
9.根据所述偏振图像和所述偏振度，获取目标表面不同像素点处的方位角初始值以及入射角初始值；
10.对所述方位角初始值和所述入射角初始值进行校正，获得校正后的方位角和入射
角；
11.利用校正后的方位角和入射角对目标表面每个像素点构建法向量；
12.利用法向量积分进行目标三维轮廓的重建，获得目标的表面高度函数；
13.结合所述偏振三维成像系统中相机的标定和所述表面函数，获得目标的绝对深度信息。
14.在本发明的一个实施例中，利用偏振三维成像系统获取目标不同偏振角度下的偏振图像，包括：
15.利用偏振三维成像系统采集目标物体表面的反射光，分别获取0
°
，45
°
，90
°
和135
°
四个偏振角度下目标物体场景的偏振图像i
′0、i
′
45
、i
′
90
、i
′
135
；
16.利用阈值分割算法对所述偏振图像i
′0、i
′
45
、i
′
90
、i
′
135
中的目标物体和背景进行分割，获得阈值分割后的偏振图像i0、i
45
、i
90
、i
135
。
17.在本发明的一个实施例中，获取偏振图像中目标物体表面每个像素点处的偏振度，包括：
18.获取所述偏振图像中每个像素点处的光强；
19.利用每个像素点处的光强获取偏振图像中每个像素点处的光强最大值、光强最小值和反射光的偏振相角；
20.利用所述光强最大值和所述光强最小值获得每个像素点处的偏振度值。
21.在本发明的一个实施例中，根据所述偏振图像和所述偏振度，获取目标表面不同像素点处的方位角初始值以及入射角初始值，包括：
22.获取得到像素点u处的方位角初始值，所述方位角初始值等于像素点u处反射光的偏振相角；
23.根据偏振度与目标表面入射光入射角的关系，获得每个像素点处入射光的入射角初始值。
24.在本发明的一个实施例中，对所述方位角初始值和所述入射角初始值进行校正，包括：
25.对所述入射角初始值的多值性问题进行校正，获得校正后的入射角，所述校正公式表示为：
[0026][0027]gn
表示利用目标表面强度信息求解得到的梯度场变化参考信息，g
polar
表示利用目标反射光偏振信息求解得到的梯度场参量，表示二范数运算，若则所述方位角初始值即为校正后的方位角，若则将所述方位角初始值进行180
°
翻转获得校正后的方位角；
[0028]
利用优化算法对邻近90
°
预定范围内的所述入射角初始值进行优化以避免tanθ出现极大值情况，获得优化后的入射角θ。
[0029]
在本发明的一个实施例中，所述优化算法为：
[0030]
[0031]
其中，f(x)为输入的入射角初始值，取3个值分别记为t1，t0，t
*
，其中，t0趋近于t
*
；
[0032]
获得优化后的入射角为：
[0033]
其中，
[0034]
在本发明的一个实施例中，利用校正后的方位角和入射角对目标表面每个像素点构建法向量，包括：
[0035]
根据校正后的方位角和入射角，将深度方向分量单位化，构建法向量：
[0036][0037]
其中，θ和分别为目标表面入射光优化后的入射角和校正后的方位角。
[0038]
在本发明的一个实施例中，结合所述偏振三维成像系统中相机的标定和所述表面函数，获得目标的绝对深度信息，包括：
[0039]
根据相机标定，获得目标表面的像素点坐标在世界坐标系、相机坐标系、图像坐标系和像素坐标系的变化矩阵，获得目标表面在世界坐标系下的坐标(x
wywzw
)；
[0040]
建立目标在世界坐标系中的坐标与经表面函数z(u)重建的三维坐标(xryrzr)的关系并计算得到尺度变化因子τ；
[0041]
根据所述目标在世界坐标系中的坐标获得目标在相机坐标系下的坐标(xcyczc)，并获得目标各点处的绝对深度d
abs
：
[0042][0043]
其中，d
abs
(u)表示目标在像素点u处的绝对深度。
[0044]
本发明的另一方面提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中任一项所述能够表征目标绝对深度的偏振三维成像方法的步骤。
[0045]
本发明的又一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例中任一项所述能够表征目标绝对深度的偏振三维成像方法的步骤。
[0046]
与现有技术相比，本发明的有益效果在于：
[0047]
1、本发明实施例的偏振三维成像方法通过以目标表面法向量沿深度方向分量为单位重新表征目标表面法向量，基于该表面法向量重构的三维模型与目标实际探测距离即绝对深度信息为确定的变化关系，结合相机标定等手段获取变化关系函数，进而可以在重
建的偏振三维成像模型中直接表征目标的绝对深度信息，打破了传统偏振三维成像显示深度为相对深度的局限，为未来偏振三维相机功能的多元化提供方向。
[0048]
2、本发明实施例的偏振三维成像方法对入射光的入射角提出了一种优化算法，解决了由入射角表征的法向量存在部分点不可取问题。
[0049]
3、本发明的偏振三维成像方法所构建的偏振三维模型，随目标探测距离的改变重建出符合实际观测变化的三维表面，有效展现了目标的高频变化。
[0050]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0051]
图1是本发明实施例提供的一种能够表征目标绝对深度的偏振三维成像方法的流程图；
[0052]
图2是本发明实施例提供的一种物体表面入射光的方位角和入射角θ的示意图；
[0053]
图3是本发明实施例提供的一种目标在世界坐标系、相机坐标系、图像坐标系和像素坐标系的变化矩阵示意图。
具体实施方式
[0054]
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种能够表征目标绝对深度的偏振三维成像方法进行详细说明。
[0055]
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
[0056]
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
[0057]
请参见图1，图1是本发明实施例提供的一种能够表征目标绝对深度的偏振三维成像方法的流程图。该偏振成像方法包括：
[0058]
s1：利用偏振三维成像系统获取目标不同偏振角度下的偏振图像；
[0059]
具体地，所述s1包括：
[0060]
s11：利用所述偏振三维成像系统采集目标物体表面的反射光，分别获取0
°
，45
°
，90
°
和135
°
四个偏振角度下目标物体场景的偏振图像i
′0、i
′
45
、i
′
90
、i
′
135
。
[0061]
具体地，在自然光环境中，利用所述偏振三维成像系统偏振探测器中的cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)相机采集物体表面的反射光，从而0
°
，45
°
，90
°
和135
°
四个角度下物体场景的偏振图像i
′0、i
′
45
、i
′
90
、i
′
135
。
[0062]
s12：利用阈值分割算法对所述偏振图像i
′0、i
′
45
、i
′
90
、i
′
135
中的目标物体和背景
进行分割，获得阈值分割后的偏振图像i0、i
45
、i
90
、i
135
。
[0063]
具体地，为了减少计算量，需要对获取到的目标物体场景偏振图像与场景深度信息分别进行分割，将目标物体与背景分开，去除背景部分，因此本实施例采用阈值分割算法将物体场景的偏振图像物体和背景分割开，阈值分割后的偏振图像分别为i0、i
45
、i
90
、i
135
。
[0064]
s2：获取偏振图像中目标物体表面每一像素点处的偏振度。
[0065]
首先获得所述偏振图像中每个像素点处的光强，随后利用每个像素点处的光强获取偏振图像中每个像素点处的光强最大值、光强最小值和反射光的偏振相角。
[0066]
具体地，光强与偏振三维成像系统中偏振片的旋转角度ν(ν为偏振片透光轴与起始位置的夹角)有如下关系：
[0067][0068]
其中，u表示像素点的编号，i(u,v)表示当偏振三维成像系统中偏振片的旋转角度ν时，像素点u处的光强；i
max
和i
min
分别表示连续旋转偏振片一周，cmos相机在像素点u处所观察到的最大光强和最小光强，φ表示像素点u处反射光的偏振相角，即每个像素点观测到的最大光强所对应的偏振角度。采集多个偏振角度下的偏振图像，记ii(u)表示第i次转动偏振片采集到的偏振图像的每一个像素点u处的强度值，则上式(1)可改写为：
[0069][0070]
其中，vi表示第i次转动偏振片的角度。
[0071]
当偏振片旋转次数不少于三次时，由于矩阵中偏振片旋转角度vi已知，矩阵ii(u)表示的采集到的偏振图像中每个像素点的光强值也是已知的，因此系数矩阵x可求得，记解为x＝[x1x2x3]
t
，因此，偏振图像中每个像素点处的光强最大值、光强最小值和偏振相角分别为：
[0072][0073]
接着，由偏振度计算公式可得出每个像素点处的偏振度值。
[0074]
s3：根据所述偏振图像和所述偏振度，获取目标表面不同像素点处的方位角初始值以及入射角初始值。
[0075]
具体地，所述s3包括：
[0076]
s31：获取得到像素点u处的方位角初始值，所述方位角初始值等于像素点u处反射光的偏振相角φ。
[0077]
具体地，利用所述目标不同角度的偏振图像i0、i
45
、i
90
、和i
135
，根据步骤s2可以得到像素点u处方位角的初始值，即等于像素点u处反射光的偏振相角φ。然而，由于在转动偏振片的过程中，两个间隔180
°
的旋转角度得到的偏振图像光强是相同的，因此待重建目标入射光的入射方位角与实际入射光的方位角存在180
°
的不确定问题，即：其中，λ表示一个取值为{0，1}的二元算子，在本实施例中需要确定λ的取值，以消除多值性问题，具体将在以下进行描述。
[0078]
s32：根据偏振度与目标表面入射光入射角的关系可以计算得到入射角，计算公式为：
[0079][0080]
其中，n表示目标物体表面的折射率，在本实例实施中，一般取目标物体表面的折射率为1.5。
[0081]
s4：对所述方位角初始值和所述入射角初始值进行校正，获得校正后的方位角和入射角。
[0082]
具体地，本实施例的步骤s4包括：
[0083]
s41：对所述入射角初始值的多值性问题进行校正，获得校正后的入射角。
[0084]
具体地，利用目标反射光强度梯度场与轮廓之间的变化关系，将目标物体表面的方位角信息转化为梯度场信息，则将偏振三维成像场景中的方位角多值性问题的校正过程表示为：
[0085][0086]gn
表示利用目标表面强度信息求解得到的梯度场变化参考信息，g
polar
表示利用目标反射光偏振信息求解得到的梯度场参量，表示二范数运算，若则所述方位角初始值即为校正后的方位角，若则将所述方位角初始值进行180
°
翻转获得校正后的方位角。
[0087]
具体地，对于目标表面微面元的方位角信息校正可以通过下式表示：
[0088][0089]
其中，表示经过校正后的目标微面元(其中，目标表面的一个像素点表示一个微面元)方位角信息，φ表示像素点u处反射光的偏振相角。最终，目标表面微面元的法向量信息可以唯一求解。
[0090]
s42：利用优化算法对邻近90
°
预定范围内的所述入射角初始值进行优化以避免tanθ出现极大值情况，获得优化后的入射角θ。
[0091]
具体地，针对在下述获取法向量的过程中需要对法向量的表达式中引入tanθ参数，造成当入射角θ取值在90
°
左右时tanθ无穷大的情况，入射角存在部分点不可取的问题。鉴于此，本实施例提出了一种优化算法，具体如下：
[0092]
设优化算法为：
[0093][0094]
其中，f(x)为输入的入射角初始值，取3个值分别记为t1，t0，t
*
，其中，t0趋近于t
*
。
[0095]
则优化后的入射角为：
[0096]
其中，
[0097]
在本实施例中，t1选取85.5
°
，t
*
选取85
°
，t0选取84.5
°
，则所有入射角初始值经上述算法优化后，原先入射角初始值在85
°‑
90
°
之间的值削减为85
°
，在85
°
附近及以下都保持原角度不变。由此，该算法有效的解决了下述法向量部分点不可取问题。
[0098]
s5：利用校正后的方位角和入射角对目标表面每个像素点构建法向量。
[0099]
具体地，根据校正后的方位角和入射角，将深度方向即z轴方向分量单位化，构建法向量：
[0100][0101]
其中，θ和分别为目标表面入射光优化后的入射角和校正后的方位角。
[0102]
s6：利用法向量积分进行目标三维轮廓的重建，获得目标的表面高度函数。
[0103]
具体地，在获得经校正所构建的目标表面法向量后，通过曲面积分重建目标表面，将法向量以梯度场进行表示，此时法向量表示为：
[0104][0105]
其中，z(u)＝f(x,y)表示目标表面的高度。对于全局连续的法线梯度场，通常采用全局或局部积分的方法，其中，全局积分对噪声具有更好的鲁棒性，重建的表面更光滑。然而，对于一般目标表面，存在着离散非可积区域，无法直接通过积分重建三维曲面。此时，可通过将目标法向量梯度场信息中的不可积区域向可积的表面斜度子空间进行投影，定义法线梯度场与连续可积微面元的距离函数为：
[0106]
d{(p,q),(z
x
,zy)}＝∫∫|z
x-p|2 |z
y-q|2dxdy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0107]
其中，p和q分别表示目标微面元法向量在x和y方向上的梯度场，z
x
和zy分别表示表面函数z(u)在x和y方向上的偏导。
[0108]
当上式求解达到最小时，法向量梯度场与可积微面元是正交投影的。表面函数z(u)可表示成一系列正交基函数ψ(x,y；w)的线性组合，w＝(w
x
,wy)表示二维索引。则表面函数可表示为：
[0109][0110]
其中，c(w)为z(u)的展开系数。则表面函数梯度场为如下表示：
[0111][0112][0113]
其中，pg(u)表示表面函数沿x方向的梯度场，qg(u)表示表面函数沿y轴方向的梯度场，和分别表示在x和y方向的最优系数集合。选择具有完备正交基的傅里叶系数展开，则基函数可表征为：
[0114][0115]
其中，m和n分别表示目标二维图像沿x轴和沿y轴的维度。则表面函数梯度场如下表示：
[0116][0117]
[0118]
其中，α,β分别表示离散微算子在x和y方向上的傅里叶系数。
[0119]
将(12)、(13)、(14)式代入(11)中，即将空域中分立的梯度场信息与表面函数信息在傅里叶域内建立联系来重建表面函数，构建物体表面的偏振三维模型，其计算公式如下：
[0120][0121]
其中，f{}和f-1
{}分别表示离散傅里叶变换和逆变换。
[0122]
s7：结合所述偏振三维成像系统中相机的标定和所述表面函数，获得目标的绝对深度信息。
[0123]
为了表征目标的绝对深度，本实施例结合相机标定的方法，相机标定的作用在于确定空间目标表面某点的三维几何位置与其在图像中对应点的相互关系，即可以求出目标在世界坐标系、相机坐标系、图像坐标系和像素坐标系的变化矩阵，如图3所示。
[0124]
具体的相机标定流程主要如下：
[0125]
(a)准备标定图片
[0126]
标定图片使用标定板在不同位置、不同角度、不同姿态下拍摄，最少拍摄3张，以10-20张为宜。标定板使用黑白相间的矩形构成的棋盘图。
[0127]
(b)对每一张标定图片，提取角点信息
[0128]
角点为标定板上的内角点，这些角点与标定板的边缘不接触，通过使用find chessboard corners函数提取角点。
[0129]
(c)对每一张标定图片，进一步提取亚像素信息
[0130]
通过使用cornersubpix函数在初步提取的角点信息基础上进一步提取亚像素信息，降低相机标定误差。
[0131]
(d)在棋盘标定图上绘制找到的内角点
[0132]
运用drawchessboardcorners函数绘制被成功标定的角点。
[0133]
(e)相机标定
[0134]
使用calibratecamera函数进行标定，计算相机内参与外参系数通过以上的步骤，求出相机的内参与外参，其中，内参为:
[0135][0136]
外参为：
[0137][0138]
其中，d
x
和dy分别表示横坐标和纵坐标上一个像素代表的距离，单位为mm，f表示相
机焦距，r表示一个三阶旋转矩阵，t表示一个三阶平移矩阵。
[0139]
世界坐标系到像素坐标系的变化由下式表示：
[0140][0141]
其中，(x
wywzw
)表示相机标定得到的目标世界坐标系下的坐标。
[0142]
进一步地，步骤s6中以深度方向分量为单位所重构的表面函数z(u)，与该目标在世界坐标系中的坐标存在一定的尺度变化关系，即：
[0143][0144]
其中，(xryrzr)为经表面函数z(u)重建的目标的三维坐标，通过带入式(16)，由内外参数及在像素坐标系的对应坐标可获得尺度变化因子τ，从而目标三维世界坐标可表征出来，进而经过外参矩阵将世界坐标系变化到相机坐标系，得到相机坐标系上的对应点，其坐标为(xcyczc)，最终可获得目标各点处的绝对深度d
abs
：
[0145][0146]
其中，d
abs
(u)表示目标在像素点u处的绝对深度。需要说明的是，当相机沿深度方向远离δd时，尺度变化因子τ不会变化，但外参矩阵中平移矩阵t会发生相应的变化，变化后为：因此绝对深度信息也会随之改变。也就是说，本发明实施例的偏振三维成像方法所构建的偏振三维模型，随目标探测距离的改变重建出符合实际观测变化的三维表面，有效展现了目标的高频变化。
[0147]
综上，本发明实施例的偏振三维成像方法通过以目标表面法向量沿深度方向分量为单位重新表征目标表面法向量，基于该表面法向量重构的三维模型与目标实际探测距离即绝对深度信息为确定的变化关系，结合相机标定等手段获取变化关系函数，进而可以在重建的偏振三维成像模型中直接表征目标的绝对深度信息，打破了传统偏振三维成像显示深度为相对深度的局限，为未来偏振三维相机功能的多元化提供方向。
[0148]
本发明的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于执行上述实施例中所述能够表征目标绝对深度的偏振三维成像方法的步骤。本发明的再一方面提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上述实施例所述能够表征目标绝对深度的偏振三维成像方法的步骤。具体地，上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储
介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0149]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。