适用于三维变形的棱镜散斑单目实时测量方法

1.本发明属于工程材料与光测力学、变形测量技术领域，涉及一种适用于三维变形的棱镜散斑单目实时测量方法。


背景技术：

2.近年来科技不断发展、人们生活需求不断扩增，各领域的新型材料层出不穷。材料的力学性能对材料的工程用途有很大影响，最为关键的是变形测量，材料的三维微变形测量可用于大型输油管道应变变形测量、混凝土力学性能试验等分析材料的微变形程度，可以预测材料在各种工程场景下的安全性能与使用寿命，为实际工程设计中的结构优化、可靠性评估等问题提供理论依据。
3.现有的测量材料变形的方法有传统的方法如电阻应变片、引伸计等技术，是通过将其粘贴在试件表面，进而观测材料感兴趣区域的变形量，但其只能对材料进行逐点测量，无法得到全场数据，因此无法测量过大变形；近年来基于光学的变形测量方法有光弹法、激光全息干涉法等，需要使用激光作为光源且光路复杂难以布置，测量结果易受外界影响，方便在实验室中展开研究，但对于实际的工程现场，其应用有限。
4.材料的三维变形(面外位移)需要双目相机拍摄，然而对于一些狭小空间，双目相机体积大，此外，双目相机存在拍摄的不同步问题且设备成本高。


技术实现要素：

5.本发明的目的是提供一种适用于三维变形的棱镜散斑单目实时测量方法，采用该方法可以在降低测量成本的同时实现三维变形的实时准确测量。
6.本发明所采用的技术方案是，适用于三维变形的棱镜散斑单目实时测量方法，具体包括如下步骤：
7.步骤1，确定棱镜与相机光心的距离，使得相机平面包含需要观测的全部物体，且物体图像充分占据两个相机平面，即获得有效的fov；
8.步骤2，采集标定板图像；
9.步骤3，求解相机内外参数：利用所采集的棱镜成像图像，依据图像像素大小进行分割获得左右视图，采用双目标定方法，获得相机的外参数r、t，以及内参数u0、v0、α
x
、αy、β；
10.步骤4，向被测材料喷射散斑；
11.步骤5，采集变形前后散斑图；
12.步骤6，依据步骤3相机标定得到的相机内外参数，以及步骤5采集的待测材料散斑图，采用orb beblid算法进行左右视图像素点的匹配，orb算法检测特征点，beblid对检测到的特征点进行描述；然后根据三角测量原理，计算待测材料表面的深度，进而重建待测材料的整个三维轮廓，获得三维坐标信息；
13.步骤7，对待测材料变形前，执行步骤6；在待测材料变形后，再次执行步骤6；将变形前后获得的三维坐标对应维度相减，即可获得每一个维度上的变形信息。
14.本发明的特点还在于：
15.步骤2采集标定图像需满足如下条件：
16.(a)标定板一边的棋盘格数与另一边的必须奇偶互斥；
17.(b)标定板与相机光轴的倾角不超过45度；
18.(c)标定板图像占界面三分之一。
19.步骤3中，相机外参的旋转矩阵r为一个单位矩阵:
[0020][0021]
令b表示双目视觉的基线长度，则平移向量t在理想情况下应该为:
[0022][0023]
步骤6中，orb算法用来检测特征点，beblid描述子用来描述特征点完成匹配，orb特征检测采用的fast算法，对于图像中检测到的特征点，beblid描述符d(w)为：
[0024][0025]
其中，a是一个对称矩阵，；h(x)是k个弱学习者对图像patch的w响应向量。
[0026]
步骤7中采用如下公式对被测物体表面某一待测点p(xw,yw,zw)进行重建：
[0027][0028]
其中，p(xw,yw,zw)为待测点的世界坐标，(u1,v1)为待测点在左视图中的像素坐标，(u2,v2)为待测点在右视图中的像素坐标，分别为虚拟左右相机的投影矩阵，其中i取1～3，j取1～4，如下公式表示的是像素坐标到世界坐标之间的转换关系，由相机内参和外参组成：
[0029][0030]
其中,m为k[r|t],zc为比例因子,相机外参包括一个旋转矩阵r和平移矩阵t，相机内参为k，标定后公式参数如下:
[0031][0032]
其中，u0,v0是相机的光学中心，即相机光轴与图像平面交点坐标；α
x
、αy是在图像坐标系(x,y)方向上每毫米的像素量；β是倾斜参数，由于图像坐标系与两个坐标轴互相正交而产生的。
[0033]
步骤6中采用的三角测量原理公式如下：
[0034][0035]
其中，f为相机焦距，b为左右相机基线长度，d为立体匹配得到的视差。
[0036]
本发明的有益效果如下：
[0037]
1.与传统的双目立体视觉相比较，本发明只需一个相机和一个棱镜，设备体积小，可用于狭小空间。
[0038]
2.本发明是一种非接触测量方法，适应场景广泛。
[0039]
3.对于预算有限的场景，本发明只需要一个相机，硬件设备成本低。
[0040]
4.由于本发明使用单相机和棱镜模拟双目成像，因此可以实现相机同步采集。
[0041]
5.由于本发明用到的散斑图像匹配算法效率高，因此适合高速相机应用的现场。
附图说明
[0042]
图1为本发明适用于三维变形的棱镜散斑单目实时测量方法的流程图；
[0043]
图2为本发明适用于三维变形的棱镜散斑单目实时测量方法中棱镜成像示意图；
[0044]
图3为本发明适用于三维变形的棱镜散斑单目实时测量方法中标定板拍摄角度方位图；
[0045]
图4为本发明适用于三维变形的棱镜散斑单目实时测量方法中测量装置主体结构
图；
[0046]
图5为本发明适用于三维变形的棱镜散斑单目实时测量方法orb beblid算法模拟散斑图像进行特征提取匹配结果。
具体实施方式
[0047]
下面结合附图和具体实施方式对本发明进行详细说明。
[0048]
本发明适用于三维变形的棱镜散斑单目实时测量方法，所需的测量系统包括一台ccd相机、一个三角棱镜、一瓶散斑自喷漆、一副棋盘格标定板、一台计算机、待测材料。计算机包括图像采集控制单元、图像分割单元和相机参数标定单元，其中，图像采集控制单元用于控制ccd相机采集图像；图像分割单元用于执行如下步骤3和步骤5的处理；相机参数标定单元用于执行如下步骤4处理，完成虚拟双目测量系统的标定。
[0049]
本发明提出的适用于三维变形的棱镜散斑单目测量方法，具体操作步骤如图1所示。
[0050]
步骤1，确定棱镜位置：首先在采购棱镜前，需要综合考虑实际应用中
[0051]
对于整个系统宽度和长度的要求，选择棱镜的角度、体积、尺寸等参数；确定好上述参数后，棱镜与相机镜头之间存在一个距离范围x，如果设棱镜的宽度为d，相机的焦距为f，相机图像传感器的长度为t，则有：
[0052][0053]
根据固定好的相机位置以及待测材料的位置，前后移动棱镜；调节相机焦距，确定棱镜与相机光心的距离，使得相机平面包含需要观测的全部物体，且物体图像充分占据两个相机平面，即获得有效fov(相机可以捕获图像的区域)，如图2所示，r2，r3之间为系统的有效fov。
[0054]
步骤2，采集标定板图像：首先要保证标定板精度高，本发明采用的是12
×
9的棋盘格，每个格5mm，一共88个角点；将棋盘格标定板置于虚拟的双目测量系统成像范围内，采用所述测量系统在不同方位上进行采集(旋转或者平移)，但标定板与相机光轴的倾角不要大于45度，如图3所示；尽可能地多采集一些图像，因为很多情况下超过一半的图像最后是要被筛选掉的，因此本范例采集到57张图像。
[0055]
步骤3，求解相机内外参数：利用所采集的棱镜成像图像，依据图像像素大小进行分割获得左右视图，采用双目标定方法，获得相机的外参数r、t，以及内参数u0、v0、α
x
、αy、β；本范例采用张正友标定法，用到的是matlab自带的标定工具箱。对于标定结果，由于本测量系统所得到的虚拟双目视觉测量系统中左右相机的光轴几乎都是平行于原相机坐标系的xoz平面的。在双目系统中左右相机标定后获得的相对位姿变换由一个3*3维的旋转矩阵r和一个3*1的平移向量t来表示。因此在本发明中，相机外参的旋转矩阵r理论上应该是一个单位矩阵(而实际中只能接近于单位矩阵):
[0056][0057]
令b表示双目视觉的基线长度，则平移向量t在理想情况下应该为:
[0058][0059]
步骤4，对待测材料喷射散斑：对待测材料进行表面处理，包括但不咸鱼去除表面灰尘，用自喷漆喷涂待测材料，轻轻用力，以散斑颜色均匀覆盖全部表面为准，等待3-5分钟自喷漆成型后，得到分布于待测材料表面的散斑模板图样。
[0060]
步骤5，采集变形前后散斑图：将待测材料放置于同标定板大致位置处，前后不超出10厘米，相机的拍摄方位如图4所示。采集待测材料变形前后的散斑图像，依据图像像素大小进行分割，获得左右视图。
[0061]
步骤6，散斑图像匹配，三维重建：依据步骤3相机标定得到的相机内外参数，以及步骤5采集的待测材料散斑图，首先采用orb beblid算法进行左右视图像素点的匹配，如图5所示，为计算机模拟散斑进行图像特征点的提取与匹配；然后根据三角测量原理，计算得到待测工件表面的深度信息，进而重建出待测工件的整个三维轮廓，获得三维坐标信息。
[0062]
采用的三角测量原理公式如下：
[0063][0064]
其中，f为相机焦距，b为左右相机基线长度，d为立体匹配得到的视差，z为深度信息，xl为空间中某一点在左相机中的坐标，xr为空间中某一点在右相机中的坐标。
[0065]
图像匹配步骤中，步骤1)：orb采用fast算法检测特征点，首先从图片中选取一个像素点p，其灰度值设为ip；考虑该像素点周围圆圈中的16个像素；fast仅将p与圆圈中的4个等距像素相比，如果至少有三个连续像素的亮度高于或低于lp，则将p选作关键点。第二步beblid描述特征点，描述符为：
[0066]
其中，a是一个对称矩阵，可以使用其特征分解来选择特征值最大的特征向量；h(x)是k个弱学习者对图像patch的w响应向量。
[0067]
匹配完成之后，由左右视图进行待测材料的三维重建，以某一待测点p(xw,yw,zw)三维重建计算为例：
[0068][0069]
其中，p(xw,yw,zw)为待测点的世界坐标，(u1,v1)为待测点在左视图中的像素坐标，(u2,v2)为待测点在右视图中的像素坐标，分别为虚拟左右相机的投影矩阵(i＝1,2,3；j＝1,2,3,4；)，如下公式表示的是像素坐标到世界坐标之间的转换关系，由相机内参和外参组成：
[0070][0071]
其中，m为k[r|t],zc为比例因子,相机外参包括一个旋转矩阵r和平移矩阵t，相机内参为k，标定后公式参数如下:
[0072][0073]
其中，u0,v0是相机的光学中心，即相机光轴与图像平面交点坐标；α
x
、αy是在图像坐标系(x,y)方向上每毫米的像素量；β是倾斜参数，由于图像坐标系与两个坐标轴互相正交而产生的。
[0074]
步骤7，计算三维变形：对待测工件变形前，执行步骤6；在待测工件变形后，再次执行步骤6；将变形前后获得的三维坐标对应维度相减，公式如下：
[0075]
δx＝x
1-x0,δy＝y
1-y0,δz＝z
1-z0,
[0076]
其中，δx,δy,δz为变形位移量，x0,y0,z0为工件变形前的坐标，x1,y1,z1为工件变形后的坐标，两者相减即可获得待测材料感兴趣区域(roi)在每一个维度上的变形信息。