大工件多相机视觉测量方法与流程

1.本发明涉及图像分析领域，具体是指大工件多相机视觉测量方法。


背景技术：

2.机器视觉测量是融光电子学、计算机图像学、信息加工与处理等技术于一体的非接触式测量方法，具有灵活性、经济性和测量结果便于计算机分析处理等优点。大工件视觉测量要用多相机测量法。多相机测量要解决图像拼接和图像尺寸映射为实际尺寸等技术难题。相机透镜制造精度、组装工艺和拍摄相机与物体不平行都会引起图像畸变，也自然会影响测量精度。很多学者这种前两种情况的图像畸变进行深入研究，取得较好校正效果；对相机倾斜引起的图像畸变也有所涉猎，用优化算法把倾斜畸变参数与相机内部参数、外部参数、径向畸变参数、切向畸变参数等参数一起求解，但是这种方法同时求解的参数较多，而且最优解对初始值也非常敏感，因而搜索结果的可信度有待探究。
3.在大工件视觉测量中，需要多相机分段拍摄，然后拼接和融合图像，用边缘检测算子求解图像边缘，计算角点间的像素距离，用相机的外部参数把像素距离映射为物体实际尺寸。但是，工台平整而干净，图像没有太多特征点，每个相机的图像畸变也不一样，特别是相机与工件不平行，相机的倾斜方向和倾斜角度也不尽相同，整体图像有较大程度的扭曲，不同相机采集图像之间的拼接和融合存在较大难度，整体图像边缘检测和图像角点定位因此而存在较大误差，那么工件实际尺寸的多相机测量精度也就不高。
4.因而需要发明一种能够克服大工件多相机测量中图像拼接困难的方法具有十分重要意义。


技术实现要素：

5.本发明目的在于提供一种大工件多相机视觉测量方法，用于解决大工件多相机视觉测量中很难拼接不同相机拍摄图像的问题，从而求解物体的实际尺寸。
6.本发明通过下述技术方案实现：步骤1，测量准备，根据被测工件的大小搭建刻画有直角坐标系的测量工台，测量工台上设置有横杆，横杆上架设多个相机，每个相机能够拍摄被测工件的部分图像，且图像有重合；步骤2，采集图像，测量准备完成后，使用棋盘格标定板与点阵标定板采集每个相机视野内的图像；步骤3，筛选和补充图像，根据采集图像的结果对棋盘标定板的图像进行筛选，筛选条件为出现角点图，如果满足条件的图像没有出现的相机视野内有不同位置，需要补充棋盘格标定图像；步骤4，确定参数，根据满足条件的图像确定每个相机内部和外部的参数；步骤5，确定坐标，根据满足条件的图像确定每个标定图的圆形点坐标；步骤6，确定倾斜轴，根据步骤5中点在点阵列中的位置关系确定每个相机在成像介质平面上的倾斜轴；步骤7，搜索倾斜角，根据步骤6中确定的倾斜轴将图像进行划分，并搜索每个相机在z轴方向的倾斜角；步骤8，调整畸变，根据步骤4、5、6、7中确定的参数进行倾斜校正，以降低图像的绝对畸变度；步骤9，求解尺寸，根据校正后的图像获取图像边缘，计算工件的图像角点，将
角点映射到工台直角坐标系下，用工台坐标求出物体的实际尺寸。
7.需要说明的是，在大工件视觉测量中，需要多相机分段拍摄，然后拼接和融合图像，用边缘检测算子求解图像边缘，计算角点间的像素距离，用相机的外部参数把像素距离映射为物体实际尺寸。但是，工台平整而干净，图像没有太多特征点，每个相机的图像畸变也不一样，特别是相机与工件不平行，相机的倾斜方向和倾斜角度也不尽相同，整体图像有较大程度的扭曲，不同相机采集图像之间的拼接和融合存在较大难度，整体图像边缘检测和图像角点定位因此而存在较大误差，那么工件实际尺寸的多相机测量精度也就不高。鉴于这一情况，申请人提出了一种用于大工件多相机视觉测量的方法，具体通过：分步求解相机的内部参数和大小头畸变校正参数：应用张正友相机标定方法求解相机的内部参数，把内部参数应用到大小头畸变校正参数的求解中。根据相机的倾斜轴把图像划分为近相机投影部分和远相机投影部分，用分界点的位置坐标求解分界线。根据透视投影原理和对偶投影点校正后的点到主点的距离相等，建立相机倾斜角的参数方程，应用所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是相机的倾斜角。校正参数求解的时间和空间复杂度非常低，而且提高了畸变图像的校正效果，进而提高视觉测量的精度。求大工件尺寸时，因为图像特征点较少，很难拼接多相机图像，直接把图像的角点映射到工台坐标系上，大幅度提高测量精度。
8.进一步地，步骤1中，在固定测量工台和相机时，需要使得测量工台水平，相机镜头与测量工台平行。为了减小测量误差，需要尽量保证相机镜头与测量工台平行。
9.进一步地，步骤2中，棋盘格标定板为：满足9*10，边长为10厘米的正方形黑白相间的张正友相机标定板，点阵标定板为：长1.5米宽1米，刻有19行25列共475个半径为1毫米，纵横向相邻的两点间距为5厘米的圆形点阵列标定板。需要说明的是，根据测量工台与相机之间的距离，圆形点阵标定板的规格能够发生变化。
10.进一步地，步骤2具体包括：步骤2-1，按照张正友标定法，在每个相机的视野内的不同位置采集16张棋盘格标定板图像；步骤2-2，把圆形点阵标定板放于每个相机的视野内，点阵标定板的中心点对准相机中心，点阵列水平，采集点阵标定图像。步骤3还包括：补充图像时可以调整光线强弱，以及标定点的倾斜方向。基于上述步骤，能够大幅度提高相机标定的准确性，如果不同位置上没有标定图，则需要重新采集图像。在拍摄标定图像时，可以调整光线强弱和标定板的倾斜方向，以保证图像在标定时能够通过筛选。
11.进一步地，步骤4具体包括：使用开源函数标定相机把棋盘格标定图像输入开源函数，输出为相机的主点坐标、焦距和轴与轴上像素间的实际距离、，重复此操作，得到每个相机的内部和外部参数。需要说明的是，使用vs2013中的c 语言调用中张正友标定算法的开源函数。
12.进一步地，步骤5具体包括：二值化圆形标定板的图像，让所有像素点的值为1或者0，用移动窗聚类算法把图像中所有像素值为1的像素进行聚类，用类中各点坐标的算术平均值作为圆形标定点的坐标。需要说明的是，依据点阵标定板上的点进行聚类，且点数等于聚类数。
13.进一步地，步骤6具体包括：在每行点的类型不同确定每行的两个远近相机投影点的分界点，以其中点为样本点，用最小二乘法拟合样本点，从而得到每个相机在成像介质平面上倾斜轴的斜率，依此可以求出每个相机的倾斜轴。更进一步地，根据点在点阵列中的
位置关系，确定对偶投影点，计算它们到点阵列中心点的距离。两个对偶点到中心点的距离不相等，距离大的点为远相机投影点，距离小的点为近相机投影点。所有远相机投影点和近相机投影点分别构成远相机部分和近相机部分，它们的分界线为物体的倾斜轴。根据在每行点的类型不同确定每行的两个远近相机投影点的分界点，以其中点为样本点，用最小二乘法拟合样本点，从而得到每个相机在成像介质平面上倾斜轴的斜率。依此可以求出每个相机的倾斜轴。
14.进一步地，步骤7具体包括：把所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是物体的倾斜角，在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角，重复此操作可以得到每个相机的倾斜角。再进一步地，相机倾斜轴把图像划分为近相机投影和远相机投影两个部分；根据透视投影原理，把对偶投影点中的近相机投影点校正到成像介质上，然后把远相机投影点也校正到成像介质上，理论上这两个点到主点的距离相等。实际上并非所有校正点都如此。为了求得倾斜角，把所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是物体的倾斜角。在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角。重复此操作可以得到每个相机的倾斜角。
15.本发明与现有技术相比，具有如下的优点和有益效果：1、本发明解决了大工件多相机视觉测量中很难拼接不同相机拍摄图像的问题，从而求解物体的实际尺寸；2、本发明的图像校正前后畸变中心的变化：校正后图像畸变中心更加接近于图像中心，由529.65个像素变化为243.74个像素；3、本发明以长方形物体作为样本，四个相机图像在倾斜校正前后边长差提高了81.2%；4、本发明倾斜校正后，图像绝对畸变度降低了84.4%5、本发明的相机图像在倾斜校正前后的上下边长的差提高了81.2%。
附图说明
16.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：图1为本发明的系统流程图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。需要说明的是，本发明已经处于实际研发使用阶段。
18.实施例：如图1所示，大工件多相机视觉测量方法，包括以下步骤：步骤1，测量准备，根据被测工件的大小搭建刻画有直角坐标系的测量工台，测量工台上设置有横杆，横杆上架设多个相机，每个相机能够拍摄被测工件的部分图像，且图像有重合；步骤2，采集图像，测量准备完成后，使用棋盘格标定板与点阵标定板采集每个相机视野内的图像；步骤3，筛选和补充图像，根据采集图像的结果对棋盘标定板的图像进行筛选，筛选条件为出现角点图，如果
满足条件的图像没有出现的相机视野内有不同位置，需要补充棋盘格标定图像；步骤4，确定参数，根据满足条件的图像确定每个相机内部和外部的参数；步骤5，确定坐标，根据满足条件的图像确定每个标定图的圆形点坐标；步骤6，确定倾斜轴，根据步骤5中点在点阵列中的位置关系确定每个相机在成像介质平面上的倾斜轴；步骤7，搜索倾斜角，根据步骤6中确定的倾斜轴将图像进行划分，并搜索每个相机在z轴方向的倾斜角；步骤8，调整畸变，根据步骤4、5、6、7中确定的参数进行倾斜校正，以降低图像的绝对畸变度；步骤9，求解尺寸，根据校正后的图像获取图像边缘，计算工件的图像角点，将角点映射到工台直角坐标系下，用工台坐标求出物体的实际尺寸。步骤1中，在固定测量工台和相机时，需要使得测量工台水平，相机镜头与测量工台平行。步骤2中，棋盘格标定板为：满足9*10，边长为10厘米的正方形黑白相间的张正友相机标定板，点阵标定板为：长1.5米宽1米，刻有19行25列共475个半径为1毫米，纵横向相邻的两点间距为5厘米的圆形点阵列标定板。步骤2具体包括：步骤2-1，按照张正友标定法，在每个相机的视野内的不同位置采集16张棋盘格标定板图像；步骤2-2，把圆形点阵标定板放于每个相机的视野内，点阵标定板的中心点对准相机中心，点阵列水平，采集点阵标定图像。步骤3还包括：补充图像时可以调整光线强弱，以及标定点的倾斜方向。步骤4具体包括：使用开源函数标定相机把棋盘格标定图像输入开源函数，输出为相机的主点坐标、焦距和轴与轴上像素间的实际距离、，重复此操作，得到每个相机的内部和外部参数。步骤5具体包括：二值化圆形标定板的图像，让所有像素点的值为1或者0，用移动窗聚类算法把图像中所有像素值为1的像素进行聚类，用类中各点坐标的算术平均值作为圆形标定点的坐标。步骤6具体包括：在每行点的类型不同确定每行的两个远近相机投影点的分界点，以其中点为样本点，用最小二乘法拟合样本点，从而得到每个相机在成像介质平面上倾斜轴的斜率，依此可以求出每个相机的倾斜轴。步骤7具体包括：把所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是物体的倾斜角，在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角，重复此操作可以得到每个相机的倾斜角。
19.需要说明的是，在大工件视觉测量中，需要多相机分段拍摄，然后拼接和融合图像，用边缘检测算子求解图像边缘，计算角点间的像素距离，用相机的外部参数把像素距离映射为物体实际尺寸。但是，工台平整而干净，图像没有太多特征点，每个相机的图像畸变也不一样，特别是相机与工件不平行，相机的倾斜方向和倾斜角度也不尽相同，整体图像有较大程度的扭曲，不同相机采集图像之间的拼接和融合存在较大难度，整体图像边缘检测和图像角点定位因此而存在较大误差，那么工件实际尺寸的多相机测量精度也就不高。鉴于这一情况，申请人提出了一种用于大工件多相机视觉测量的方法，具体通过：分步求解相机的内部参数和大小头畸变校正参数：应用张正友相机标定方法求解相机的内部参数，把内部参数应用到大小头畸变校正参数的求解中。根据相机的倾斜轴把图像划分为近相机投影部分和远相机投影部分，用分界点的位置坐标求解分界线。根据透视投影原理和对偶投影点校正后的点到主点的距离相等，建立相机倾斜角的参数方程，应用所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是相机的倾斜角。校正参数求解的时间和空间复杂度非常低，而且提高了畸变图像的校正效果，进而提高视觉测量的精度。求大工件尺寸时，因为图像特征点较少，很难拼接多相机图像，直接把图像的角点映射到工台坐标系上，大幅度提高测量精度。
20.还需要说明的是，步骤1中，在固定测量工台和相机时，需要使得测量工台水平，相机镜头与测量工台平行。为了减小测量误差，需要尽量保证相机镜头与测量工台平行。步骤2中，棋盘格标定板为：满足9*10，边长为10厘米的正方形黑白相间的张正友相机标定板，点阵标定板为：长1.5米宽1米，刻有19行25列共475个半径为1毫米，纵横向相邻的两点间距为5厘米的圆形点阵列标定板。需要说明的是，根据测量工台与相机之间的距离，圆形点阵标定板的规格能够发生变化。步骤2具体包括：步骤2-1，按照张正友标定法，在每个相机的视野内的不同位置采集16张棋盘格标定板图像；步骤2-2，把圆形点阵标定板放于每个相机的视野内，点阵标定板的中心点对准相机中心，点阵列水平，采集点阵标定图像。步骤3还包括：补充图像时可以调整光线强弱，以及标定点的倾斜方向。基于上述步骤，能够大幅度提高相机标定的准确性，如果不同位置上没有标定图，则需要重新采集图像。在拍摄标定图像时，可以调整光线强弱和标定板的倾斜方向，以保证图像在标定时能够通过筛选。
21.需要说明的是，步骤4具体包括：使用开源函数标定相机把棋盘格标定图像输入开源函数，输出为相机的主点坐标、焦距和轴与轴上像素间的实际距离、，重复此操作，得到每个相机的内部和外部参数。需要说明的是，使用vs2013中的c 语言调用中张正友标定算法的开源函数。步骤5具体包括：二值化圆形标定板的图像，让所有像素点的值为1或者0，用移动窗聚类算法把图像中所有像素值为1的像素进行聚类，用类中各点坐标的算术平均值作为圆形标定点的坐标。需要说明的是，依据点阵标定板上的点进行聚类，且点数等于聚类数。步骤6具体包括：在每行点的类型不同确定每行的两个远近相机投影点的分界点，以其中点为样本点，用最小二乘法拟合样本点，从而得到每个相机在成像介质平面上倾斜轴的斜率，依此可以求出每个相机的倾斜轴。更进一步地，根据点在点阵列中的位置关系，确定对偶投影点，计算它们到点阵列中心点的距离。两个对偶点到中心点的距离不相等，距离大的点为远相机投影点，距离小的点为近相机投影点。所有远相机投影点和近相机投影点分别构成远相机部分和近相机部分，它们的分界线为物体的倾斜轴。根据在每行点的类型不同确定每行的两个远近相机投影点的分界点，以其中点为样本点，用最小二乘法拟合样本点，从而得到每个相机在成像介质平面上倾斜轴的斜率。依此可以求出每个相机的倾斜轴。步骤7具体包括：把所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是物体的倾斜角，在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角，重复此操作可以得到每个相机的倾斜角。再进一步地，相机倾斜轴把图像划分为近相机投影和远相机投影两个部分；根据透视投影原理，把对偶投影点中的近相机投影点校正到成像介质上，然后把远相机投影点也校正到成像介质上，理论上这两个点到主点的距离相等。实际上并非所有校正点都如此。为了求得倾斜角，把所有对偶投影点的校正点到主点的距离差的绝对值达到最小时的角度就是物体的倾斜角。在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角。重复此操作可以得到每个相机的倾斜角。
22.对于本发明涉及的方法具体为：搭建测量工台。根据视觉测量工件大小搭建测量工台，工台上架设放置相机的横杆，安装多个同型号相机。为了减少测量误差，在固定工台和相机时，尽量保证工台水平，相机镜头与工台平行。制作标定板。（1）制作张正友相机标定板：11*9的边长为10厘米的正方形黑白相间的棋盘格标定板；（2）制作长1.5米宽1米，刻有19行25列共475个半径为1毫米，相邻点的间距为5厘米的圆形点阵列标定板（根据工台与相
机之间的距离，圆形点阵标定板规格可能有变化）。采集标定图像。（1）按照张正友标定法的要求，每个相机在工台上不同位置采集16张黑白标定板图像；（2）把圆形点阵标定板放于工台上，点阵标定板的中心点对准相机中心，每个相机采集一张点阵标定板图像。筛选标定图像。用张正友标定算法筛选每个相机的黑白棋盘格标定板图像。在相机标定中，能够出现角点图的标定图才是满足条件的图像。补充标定图像。为了保证相机标定的准确性，如果不同位置上没有标定图，则需要重新采集图像。在拍摄标定图像时，可以调整光线强弱和标定板的倾斜方向，以保证图像在标定时能够通过筛选。计算相机的内部参数。用vs2013中的c 语言调用中张正友标定算法的开源函数，把黑白棋盘格张正友标定板图像输入函数中，输出每个相机的主点坐标、焦距和轴与轴上像素间的实际距离、。计算圆形点的坐标。二值化圆形点阵标定板图像，给黑点的像素值赋为1或者给其他像素值赋为0；用移动窗聚类算法聚类图像中像素值为1的点，点阵标定板有多少个点，就聚成多少类；然后用类中各点坐标的算术平均值作为圆形标定点的坐标。分割图像为远近相机部分。确定点阵板上的对偶点（以中心点成中心对称的两个点）和其对偶投影点（对偶点在点阵图像上的点），计算对偶投影点到中心点的距离。对偶投影点到中心点的距离不相等，距离大的点为远相机投影点，距离站的点为近相机投影点。所有远相机投影点和近相机投影点分别构成远相机部分和近相机部分，它们的分界线为物体的倾斜轴。计算相机在平面上倾斜轴。根据每行投影点的不同类型确定远近相机投影点的分界点，以两个分界点的中点为样本点，用最小二乘法拟合样本点得到每个相机在平面上倾斜轴的斜率。计算远近相机投影点的校正点。在确定远相机投影点和近相机投影点后，根据透视投影原理，把它们都校正到成像介质上。计算物体在轴上的倾斜角。理论上，两个校正点到主点的距离相等。实际上，因为图像有其他畸变，不是所有校正点都满足此条件。为了求得倾斜角，所有对偶投影点的校正点到主点的距离差的绝对值之和（物体倾斜角的函数）达到最小时的角度就是物体的倾斜角。在给定迭代次数后，用二分法求解导函数方程得到物体倾斜角。校正大小头图像。用相机的内部参数主点坐标、焦距和轴与轴上像素间的实际距离、，物体在平面内的倾斜轴的斜率和在轴方向的倾斜角等参数，把大小头图像中的每个像素点都反向求解校正点，从而得到其校正图像。用中边缘检测算子获取每个相机图像的边缘，如果有角点，则求出角点的图像坐标；如果没有角点，而忽略该相机图像。把所有图像角点坐标映射到工作坐标系上，求出工件的工台坐标，用两点间的距离公式求出工件的实际尺寸。
23.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。