一种基于结构光的高反光表面三维重建算法

1.本发明属于机器视觉及三维重建领域，具体涉及一种基于结构光的高反光表面三维重建算法。


背景技术：

2.随着科研探索的进一步深入，物体的二维信息已逐渐无法满足测量需要，三维形貌信息受到越来越多人的关注。在三维形貌测量技术当中，结构光三维重建技术由于其速度快、精度高、非接触等优势，在医疗、军事和工业等方面都获得了广泛的应用。对于不反光表面的形貌测量目前已日趋成熟，但对于高反光表面的重建依然是研究中的重点及难点。
3.针对上述问题国内外学者做了许多研究，与本发明最相关技术即为姜宏志等人发表的《用于强反射表面形貌测量的投影栅相位法》，期刊为《光学精密工程》第十八卷第九期，页数为2002-2008页。该文章提出了一种改进的投影栅相位法，利用高动态范围技术中的亮暗条纹投射、多曝光时间采集图像等技术使成像灰度与相机传感器动态范围相一致，基本可以解决高反光表面采集图像过曝的问题。然而在曝光时间序列以及条纹亮度序列的选择上，其只是根据被测表面特点手动选择，缺乏必要的凭据。
4.因此本发明提出一种基于结构光的高反光表面三维重建算法，基于高动态范围技术中的多重曝光法及调整投影条纹强度法，提出了一种曝光时间序列以及条纹亮度序列的选择方法，利用被测物体在不同投影条件下的表面临过曝像素点数统计直方图，结合图像中像素点数的不过曝比例，计算所求的曝光时间序列及条纹亮度序列。利用该序列采集被测物体图像并融合，再按照投影栅相位法重建，分别进行双目系统标定、相位信息提取、相位立体匹配，最终即可得到高反光表面的三维点云数据。


技术实现要素：

5.为解决上述技术中存在的问题，本发明提出一种基于结构光的高反光表面三维重建算法及一种曝光时间序列以及条纹亮度序列的选择方法，从而实现得到准确曝光时间序列及条纹亮度序列的目的，继而完成对高反光表面的三维重建，实现得到精确度更高点云的目的。
6.本发明采用以下技术方案：
7.一种基于结构光的高反光表面三维重建算法，具体步骤如下：
8.步骤1，投影仪投射白光，相机采集不同曝光时间及条纹亮度下的白光图像，测量次数分别为n次和m次，构建容量为n和m的两个小型数据集；
9.步骤2，筛选出采集过程中完成不过曝到过曝转换的像素点矩阵t_exp及b_exp，对上述像素点统计得到每个像素点临过曝的估计曝光时间t_pre及估计条纹亮度b_pre；
10.步骤3，以曝光时间或条纹亮度为横坐标，以把所述曝光时间或条纹亮度作为t_pre或b_pre的像素点数作为纵坐标，作出两个临过曝像素点数统计直方图；
11.步骤4，根据步骤3所得统计直方图高度变化趋势得出像素点数不过曝比例pk及q
l
，
再结合直方图中每一直方的具体像素点数，列出方程精确计算出所求的曝光时间xk以及条纹亮度y
l
；
12.步骤5，以浮法玻璃圆点标定板为靶标图像，用相机对靶标图像进行采集，并利用张正友标定法进行双目系统标定，采集图像之后分别对左右相机得到的图像进行特征点提取，然后对提取的特征点做特征点亚像素优化处理，接着分别对左右相机做内参标定，得到相机内参数，最后进行双目联合标定得到相机外参数；
13.步骤6，根据步骤4得到的xk及y
l
，进行图像采集，分别采集白光图像i及光栅条纹图像p；
14.步骤7，根据采集到的白光图像i制作掩膜图像mask；
15.步骤8，将步骤6采集的光栅条纹图像p和步骤7制作的掩膜图像mask图像融合，得到最终图像序列h；
16.步骤9，对最终图像序列h作相位解调、相位展开，得到左右绝对相位图；
17.步骤10，将左右绝对相位图立体匹配，得到被测物体三维坐标，最终生成点云。
18.进一步的，所述步骤2计算估计曝光时间t_pre及估计条纹亮度b_pre公式如下：
[0019][0020]
曝光时间最大值t_max，最小值t_min，条纹亮度最大值b_max，最小值b_min，t_exp及b_exp为步骤2筛选出的像素点矩阵，i
t
、j
t
分别为t_exp矩阵中的横坐标及纵坐标，同理ib、jb分别为矩阵b_exp中的横坐标及纵坐标。
[0021]
进一步的，所述步骤4精确计算曝光时间xk以及条纹亮度y
l
公式如下：
[0022][0023][0024]
关于曝光时间直方图f_t(ti)，关于条纹亮度直方图f_b(bi)，sum_t表示曝光时间直方图总点数，sum_b表示条纹亮度直方图总点数，k_max即为待求曝光时间的数量，l_max表示待求条纹亮度的数量，pk不过曝曝光时间像素点占比，q
l
即为不过曝条纹亮度像素点占比，xk表示待求的精确曝光时间，y
l
表示待求的精确条纹亮度。
[0025]
进一步的，所述步骤7根据采集到的白光图像i制作掩膜图像mask公式如下：
[0026]
当i＝1时，
[0027][0028]
当i》1时，
[0029][0030]
i、j为图像序号，ii(x,y)为图像序列i中第i幅图像ii在坐标(x,y)处的灰度值，maski(x,y)、maskj(x,y)为掩膜序列中ii、ij对应的掩膜图像在坐标(x,y)处的掩膜值，i
max
为掩膜灰度阈值。
[0031]
进一步的，所述步骤8将步骤6采集的光栅条纹图像p和步骤7制作的掩膜图像mask图像融合得到最终图像序列h公式如下：
[0032][0033]
r表示拍摄条纹的总次数，pi(x,y)表示图像序列p中第i幅图像在点(x,y)处的灰度值，h(x,y)表示图像h中在点(x,y)处的灰度值。
[0034]
有益效果
[0035]
1.本发明可以精确计算出实验所需的曝光时间序列及条纹亮度序列，避免盲目地手动选择；
[0036]
2.本发明可以提升高反光表面的重建精度，可将点云有效像素点数提升至96％。
附图说明
[0037]
图1高反光表面三维重建算法流程图；
[0038]
图2小型数据集构建示意图；
[0039]
图3(a)曝光时间统计直方图(b)条纹亮度统计直方图；
[0040]
图4双目标定流程图；
[0041]
图5(a)未进行融合示意图(b)手动选择数据融合效果图(c)直方图计算选择数据融合效果图；
[0042]
图6多频外差法流程图；
[0043]
图7(a)未融合解相图(b)手动选择数据解相图(c)直方图计算选择数据解相图(d)未融合点云(e)手动选择数据点云(f)直方图计算选择数据点云。
具体实施方式
[0044]
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0045]
本发明提出了一种基于结构光的高反光表面三维重建算法，具体流程图如图1所示，主要步骤如下：
[0046]
步骤1，投影仪投射白光，相机采集不同曝光时间及条纹亮度下的白光图像，测量次数分别为n次和m次，构建容量为n和m的两个小型数据集，例子中n和m均为50，构建效果如图2所示；
[0047]
步骤2，筛选出采集过程中完成不过曝到过曝转换的像素点，对上述像素点统计得到每个像素点临过曝的估计曝光时间t_pre及估计条纹亮度b_pre；
[0048]
步骤2计算估计曝光时间t_pre及估计条纹亮度b_pre公式如下：
[0049][0050]
曝光时间最大值t_max，最小值t_min，条纹亮度最大值b_max，最小值b_min，t_exp及b_exp为步骤2筛选出的像素点矩阵，i
tjt
分别为t_exp矩阵中的横坐标及纵坐标，同理ibjb分别为矩阵b_exp中的横坐标及纵坐标。
[0051]
步骤3，以曝光时间或条纹亮度为横坐标，以把该时间或亮度作为t_pre或b_pre的像素点数作为纵坐标，作出两个临过曝像素点数统计直方图，如图3所示；
[0052]
步骤4，根据步骤3所得统计直方图高度变化趋势得出像素点数不过曝比例pk及q
l
，再结合直方图中每一直方的具体像素点数，列出方程精确计算出所求的曝光时间xk以及条纹亮度y
l
；该例子中精确计算结果如表1所示，手动选择对比用数据如表2所示；
[0053]
表1 测量用条纹亮度曝光时间对应表
[0054][0055]
表2 手动选择条纹亮度曝光时间对应表
[0056][0057]
步骤4精确计算曝光时间xk以及条纹亮度y
l
公式如下：
[0058][0059][0060]
关于曝光时间直方图f_t(ti)，关于条纹亮度直方图f_b(bi)，sum_t表示曝光时间直方图总点数，sum_b表示条纹亮度直方图总点数，k_max即为待求曝光时间的数量，l_max表示待求条纹亮度的数量，pk不过曝曝光时间像素点占比，q
l
即为不过曝条纹亮度像素点占比，xk表示待求的精确曝光时间，y
l
表示待求的精确条纹亮度。
[0061]
步骤5，以浮法玻璃圆点标定板为靶标图像，用相机对靶标图像进行采集，并利用张正友标定法进行双目系统标定，采集图像之后分别对左右相机得到的图像进行特征点提取，然后对提取的特征点做特征点亚像素优化处理，接着分别对左右相机做内参标定，得到相机内参数，最后进行双目联合标定得到相机外参数；流程如图4所示；
[0062]
步骤6，根据步骤4得到的xk及y
l
，进行图像采集，分别采集白光图像i及光栅条纹图像p；
[0063]
步骤7，根据采集到的白光图像序列i制作掩膜图像mask；
[0064]
步骤7根据采集到的白光图像序列i制作掩膜图像mask公式如下：
[0065]
当i＝1时，
[0066][0067]
当i》1时，
[0068][0069]
i、j为图像序号，ii(x,y)为图像序列i中第i幅图像ii在坐标(x,y)处的灰度值，maski(x,y)，maskj(x,y)为掩膜序列中ii，ij对应的掩膜图像在坐标(x,y)处的掩膜值，i
max
为掩膜灰度阈值。
[0070]
步骤8，将条纹序列p和掩膜序列mask图像融合，得到最终图像序列h，融合对比效果如图5所示；
[0071]
步骤8中将条纹序列p和掩膜序列mask图像融合得到最终图像序列h公式如下：
[0072][0073]
r表示拍摄条纹的总次数，pi(x,y)表示图像序列p中第i幅图像在点(x,y)处的灰度值，h(x,y)表示图像h中在点(x,y)处的灰度值。
[0074]
步骤9，对h作相位解调、相位展开，得到左右绝对相位图，具体流程如图6所示；
[0075]
步骤10，将左右绝对相位图立体匹配，得到被测物体三维坐标，最终生成点云，对比效果图如图7所示。
[0076]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。