一种基于机器视觉的位移自动测量方法及系统

1.本发明涉及机器视觉技术领域，特别涉及一种基于机器视觉的位移自动测量方法及系统。


背景技术：

2.位移测量是学术领域和工程领域极为频繁涉及的测量内容之一。随着机器视觉技术的发展与普及，学术界逐渐尝试将机器视觉与位移测量相结合，实现基于机器视觉的位移测量，从而服务工程实践。机器视觉测位移存在诸多好处，相对于传统方法，其具备非接触、低成本、高精度、实时测量等明显优势，因此基于机器视觉的位移测量长久以来是学术界的研究热点。现阶段国内外已有很多基于机器视觉测量位移的实际工程案例与商用产品。
3.尽管被报道的机器视觉测量位移的应用案例颇多，但是这种先进的测量手段距离大范围推广应用仍有相当的距离。其中重要原因之一即为外参标定问题。相机标定涉及两类问题，其一为相机自身相关的物理尺度标定，比如相机内部光学内参标定，或者双目相机组内部的相机间位姿标定，这些都可统一称作相机或相机组内参标定。这一类问题目前已有很成熟的解决方案，如张正友标定法等。
4.还有一类问题，也即像素尺度至真实物理尺度的转换关系标定问题。在机器视觉测量位移时，所得的到的原始位移数据结果仅为以像素为单位的像素尺度结果，而实际工程中所需要的结果是以真实物理尺度为单位的位移结果(如米、毫米等)。此时需要标定得到像素尺度至物理尺度的转换关系，以便将像素位移结果转换为具备物理意义的物理尺度位移结果，此即外参标定。然而，这类外参标定问题目前尚未出现统一的解决方案，各个现有的解决方案存在的最大缺点为：需人为介入。
5.因此，现阶段的机器视觉位移测量技术无法实现真正意义的位移自动测量，需人为介入的标定过程极大地增加了机器视觉位移测量技术的应用壁垒和测量难度。在实际应用过程中，情况复杂多变，例如工程现场，实验人员业务能力差异较大，因而需要人为介入的标定方式大概率会对测量结果造成影响，极大地降低结果可信度。由此可见，实现自标定方法，对于机器视觉位移自动测量具有重要意义。


技术实现要素：

6.本发明针对上述现有技术中存在的问题，提出一种基于机器视觉的位移自动测量方法及系统，以解决现有外参标定中需要认为介入的问题。
7.为解决上述技术问题，本发明是通过如下技术方案实现的：
8.根据本发明的第一方面，提供一种基于机器视觉的位移自动测量方法，其包括：
9.s11：标定靶标图案的定位点群；
10.s12：识别并提取所述靶标图案的定位点群，得到所述定位点群中的各定位点的像面坐标；
11.s13：根据所述各定位点的像面坐标，建立物面的二维坐标系或三维坐标系，进而将待测图像的像面坐标变换为物面坐标。
12.较佳地，所述s11包括：
13.s111：标定所述靶标图案的中心，得到中心定位点；
14.s112：标定所述靶标图案的边缘，得到多个边缘定位点，其中，边缘定位点可以为靠近靶标图案的边界的点，也可以为靶标图案的边界上的点。
15.较佳地，所述s12包括：
16.s121：识别并提取所述靶标图案的中心定位点，得到所述中心定位点的像面坐标；
17.s122：识别并提取所述靶标图案的多个边缘定位点，得到多个所述边缘定位点的像面坐标。
18.较佳地，所述s121之前还包括：对所述靶标图案进行二值化处理。
19.较佳地，所述s11中的所述中心定位点为中心定位圆的圆心、所述边缘定位点为边缘定位圆的圆心；对应地，
20.所述s121包括：
21.s1211：采用边界提取法对所述靶标图案进行边缘检测，提取带有边缘等级信息的边缘拓扑表；
22.s1212：通过查找所述边缘拓扑表的边缘等级信息，锁定所述中心定位圆的边界；
23.s1213：采用最小二乘法拟合对所述中心定位圆的边界进行处理，得到所述中心定位圆的圆心坐标，即为所述中心定位点的像面坐标；
24.所述s122包括：
25.s1221：采用边界提取法对所述靶标图案进行椭圆检测，锁定所述多个边缘定位点的边界；
26.s1222：采用最小二乘法拟合对多个所述边缘定位点的边界进行处理，得到多个所述边缘定位点的圆心坐标，即为多个所述边缘定位点的像面坐标。
27.较佳地，所述s111中的中心定位圆包括至少两个，至少两个所述中心定位圆为同心圆，至少两个所述中心定位圆的半径不同；对应地，
28.所述s1213为：采用最小二乘法拟合对所述中心定位圆的边界进行处理，得到所述中心定位圆的圆心坐标，对至少两个以上所述中心定位圆的圆心坐标进行取均值处理，得到所述中心定位点的像面坐标。
29.较佳地，所述s13中建立物面的二维坐标系，进而将待测图像的像面图像变换为物面坐标包括：
30.s1311：利用所述定位点群中的各定位点求解像面映射到物面的二维坐标系下的透视变换矩阵；
31.s1312：利用所述透视变换矩阵将待测图像的像面坐标变换为物面的二维坐标，变换公式为：
[0032][0033]
其中，x/s为物面的二维坐标系的横坐标，y/s为物面的二维坐标系的纵坐标，s为
比例系数，w为透视变换矩阵，p为像面点齐次坐标向量，p^为物面点坐标向量。
[0034]
较佳地，所述s11中的靶标图案包括：通过双目相机组的其中一相机获得的左视图靶向图案和另一相机获得的右视图靶标图案；
[0035]
所述s12中得到的定位点群中的各定位点的像面坐标分别包括：左视图的像面坐标和右视图的像面坐标；
[0036]
所述s13中建立物面的三维坐标系，进而将待测图像的像面图像变换为物面坐标包括：
[0037]
s1321：根据所述双目相机组的内参标定结果，对所述各定位点的左视图的像面坐标和右视图的像面坐标进行重建，得到所述各定位点在双目相机组坐标系内的三维坐标结果p
cam
；
[0038]
s1322：利用所述各定位点在双目相机组坐标系内的三维坐标结果p
cam
，通过最小二乘法拟合得到靶标图案所在平面的物面方程；
[0039]
s1323：将x、y轴建于物面，z轴建于物面法向，以所述定位点群中的中心定位点pc的三维坐标作为坐标系原点，建立物面的三维坐标系；
[0040]
s1324：设所述物面的三维坐标系在所述双目相机组坐标系内的三轴归一化坐标所形成的矩阵为r，以pc作为平移向量，通过坐标变换将所述待测图像在所述双目相机组坐标系内的三维坐标结果p
cam
转换为物面的三维坐标系内的坐标结果p
world
，转换公式为：
[0041][0042]
其中，为pc的三维坐标。
[0043]
根据本发明的第二方面，提供一种基于机器视觉的位移自动测量系统，其包括：定位点群标定模块、像面坐标获取模块以及物面坐标系获取模块；其中，
[0044]
所述定位点群标定模块用于标定靶标图案的定位点群；
[0045]
所述像面坐标获取模块用于识别并提取所述靶标图案的定位点群，得到所述定位点群中的各定位点的像面坐标；
[0046]
所述物面坐标系获取模块用于根据所述各定位点的像面坐标，建立物面的二维或三维坐标系，进而将待测图像的像面坐标变换为物面坐标。
[0047]
较佳地，所述像面坐标获取模块包括：边缘检测单元、中心定位圆的边界锁定单元、中心定位点的像面坐标获得单元、边缘定位圆的边界锁定单元以及边缘定位点的像面坐标获得单元；其中，
[0048]
所述定位点群标定模块中的定位点群包括：中心定位点以及边缘定位点，所述中心定位点为中心定位圆的圆心，所述边缘定位点为边缘定位圆的圆心；
[0049]
所述边缘检测单元用于采用边界提取法对所述靶标图案进行边缘检测，提取带有边缘等级信息的边缘拓扑表；
[0050]
所述中心定位圆的边界锁定单元用于通过查找所述边缘拓扑表的边缘等级信息，锁定所述中心定位圆的边界；
[0051]
所述中心定位点的像面坐标获得单元用于采用最小二乘法拟合对所述中心定位圆的边界进行处理，得到所述中心定位圆的圆心坐标，即为所述中心定位点的像面坐标；
[0052]
所述边缘定位圆的边界锁定单元用于采用边界提取法对所述靶标图案进行椭圆
检测，锁定所述多个边缘定位点的边界；
[0053]
所述边缘定位点的像面坐标获得单元用于采用最小二乘法拟合对多个所述边缘定位点的边界进行处理，得到多个所述边缘定位点的圆心坐标，即为多个所述边缘定位点的像面坐标。
[0054]
相较于现有技术，本发明具有以下优点：
[0055]
本发明提供的基于机器视觉的位移自动测量方法及系统，通过标定靶标图案，并根据标定的靶标图案获得物面的坐标系，进而可将待测图像的像面坐标变换为物面坐标，即实现了自动外参标定，无需人为接入，避免了人为介入的标定方式对测量结果带来的影响。
附图说明
[0056]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0057]
图1为本发明一实施例的基于机器视觉的位移自动测量方法的流程图；
[0058]
图2为本发明一较佳实施例的自标定靶标图案的定位点群的示意图；
[0059]
图3为本发明一较佳实施例的基于机器视觉的二维位移测量场景下的自标定结果；
[0060]
图4为本发明一较佳实施例的基于机器视觉的三维位移测量场景下的自标定结果。
具体实施方式
[0061]
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0062]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0063]
在一实施例中，本发明提供一种基于机器视觉的位移自动测量方法，请参考图1，其包括：
[0064]
s11：标定靶标图案的定位点群；
[0065]
s12：识别并提取靶标图案的定位点群，得到定位点群中的各定位点的像面坐标；
[0066]
s13：根据各定位点的像面坐标，建立物面的二维坐标系或三维坐标系，进而将待测图像的像面坐标变换为物面坐标。
[0067]
本发明上述实施例无需人为接入，避免了人为介入的标定方式对测量结果带来的影响。
[0068]
作为优选，在一实施例中，s11可以进一步包括：
[0069]
s111：标定靶标图案的中心，得到中心定位点；
[0070]
s112：标定靶标图案的边缘，得到多个边缘定位点。
[0071]
作为优选，在一实施例中，s12包括：
[0072]
s121：识别并提取靶标图案的中心定位点，得到中心定位点的像面坐标；
[0073]
s122：识别并提取靶标图案的多个边缘定位点，得到多个边缘定位点的像面坐标。
[0074]
作为优选，在一实施例中，s121之前还包括：对靶标图案进行二值化处理，可以使得靶标图案的边界更凸显，后续中心定位点和边缘定位点的提取更准确。
[0075]
作为优选，在一实施例中，s11中的中心定位点为中心定位圆的圆心、边缘定位点为边缘定位圆的圆心；对应地，
[0076]
s121包括：
[0077]
s1211：采用边界提取法对靶标图案进行边缘检测，提取带有边缘等级信息的边缘拓扑表；
[0078]
其中，边缘等级信息可以为：中心定位圆为第一等级，边缘定位圆为第二等级；或者也可以采用其他等级划分形式；
[0079]
s1212：通过查找边缘拓扑表的边缘等级信息，锁定中心定位圆的边界；
[0080]
s1213：采用最小二乘法拟合对中心定位圆的边界进行处理，得到中心定位圆的圆心坐标，即为中心定位点的像面坐标；
[0081]
s122包括：
[0082]
s1221：采用边界提取法对靶标图案进行椭圆检测，锁定多个边缘定位点的边界；
[0083]
靶标图案本身是圆形，相机正对拍摄靶标，则靶标在相机画面内呈现圆形；但是在相机斜对靶标进行拍摄时，靶标图案在相机画面内呈现椭圆形状，且椭圆检测可检测正圆与椭圆，所以采用椭圆检测能够使得检测结构更准确；
[0084]
s1222：采用最小二乘法拟合对多个边缘定位点的边界进行处理，得到多个边缘定位点的圆心坐标，即为多个边缘定位点的像面坐标。
[0085]
作为优选，在一实施例中，s111中的中心定位圆包括至少两个，至少两个中心定位圆为同心圆，至少两个中心定位圆的半径不同。请参考图2，中心定位圆以三个同心圆为例。不同实施例中，中心定位圆的数量也可以为两个，或三个以上。
[0086]
对应地，s1213为：采用最小二乘法拟合对中心定位圆的边界进行处理，得到中心定位圆的圆心坐标，对至少两个以上中心定位圆的圆心坐标进行取均值处理，得到中心定位点的像面坐标。
[0087]
在二维位移测量场景下，s13中像面坐标变换至物面坐标的量化转变关系为像面坐标系变换至空间中某二维物面坐标系的单应性矩阵。
[0088]
一实施例中，s13中建立物面的二维坐标系，进而将待测图像的像面图像变换为物面坐标包括：
[0089]
s1311：利用定位点群中的各定位点求解像面映射到物面的二维坐标系下的透视变换矩阵w；
[0090]
s1312：利用透视变换矩阵将待测图像的像面坐标变换为物面的二维坐标，变换公式为：
[0091][0092]
其中，x为物面的二维坐标系的横坐标，y为物面的二维坐标系的纵坐标，s为比例系数，p为像面点，p^为物面点。
[0093]
在三维位移测量场景下，s13中像面坐标变换至物面坐标的量化转变关系为双目相机组坐标系变换至空间中某三维物面坐标系的线形变换关系，该变换关系可以由相应的平移矩阵和旋转矩阵组成。
[0094]
一实施例中，s11中的靶标图案包括：通过双目相机组的其中一相机获得的左视图靶向图案和另一相机获得的右视图靶标图案；
[0095]
s12中得到的定位点群中的各定位点的像面坐标分别包括：左视图的像面坐标和右视图的像面坐标；
[0096]
s13中建立物面的三维坐标系，进而将待测图像的像面图像变换为物面坐标包括：
[0097]
s1321：根据双目相机组的内参标定结果，对各定位点的左视图的像面坐标和右视图的像面坐标进行重建，得到各定位点在双目相机组坐标系内的三维坐标结果p
cam
；
[0098]
s1322：利用各定位点在双目相机组坐标系内的三维坐标结果p
cam
，求解靶标图案所在平面的物面方程；
[0099]
s1323：将x、y轴建于物面，z轴建于物面法向，以定位点群中的中心定位点pc的三维坐标作为坐标系原点，建立物面的三维坐标系；
[0100]
s1324：设物面的三维坐标系在双目相机组坐标系内的三轴归一化坐标所形成的矩阵为r，以pc作为平移向量，通过坐标变换将待测图像在双目相机组坐标系内的三维坐标结果p
cam
转换为物面的三维坐标系内的坐标结果p
world
，转换公式为：
[0101][0102]
其中，为pc的三维坐标。
[0103]
下面以一具体实例对上述实施例的基于机器视觉的唯一测量的自标定方法进行描述，但是靶标图案、各定位点的数量以及各参数并不限于下述具体实例。
[0104]
请参考图2，本实例中的靶标图案以方形为例，中点定位圆以三个为例，边缘定位圆以四个为例。不同实施例中，边缘定位圆不一定以四个为例，也不一定为图示中的这四个位置，只要能够定位该靶标图案所在的平面即可。
[0105]
s121包括：
[0106]
s1211：采用边界提取法对靶标图案进行边缘检测，提取带有边缘等级信息的边缘拓扑表；以图2为例，边缘检测得到的是三个同心圆和四个角点的边缘形状；边缘等级信息可以为：同心圆中的最内侧圆边缘为第一级，次内测同心圆边缘为第二级，最外侧同心圆边缘与四个角点边缘为第三级；
[0107]
s1212：通过查找边缘拓扑表的边缘等级信息，锁定三个中心定位圆的边界；
[0108]
s1213：采用最小二乘法拟合对三个中心定位圆的边界进行处理，得到三个椭圆圆心坐标，并取均值作为中心定位点的像面坐标pc；
[0109]
s122包括：
[0110]
s1221：采用边界提取法对靶标图案进行椭圆检测，筛选出所有椭圆边界，因为对于真实情况的靶标检测，其实是在一整幅真实拍摄的图像中，检测其中的真实靶标，那么椭圆检测会检测出真实图像拍摄情景中的所有椭圆特征边界，所以要从其中筛选出四个角点，具体筛选方法为：找出距离中心定位点最近的四个椭圆边界，即为四个边缘定位点的椭圆边界；
[0111]
s1222：采用最小二乘法拟合对四个边缘定位点的椭圆边界进行处理，得到四个边缘定位点的圆心坐标，分别为：p1、p2、p3、p4。
[0112]
在二维位移测量场景下，s13具体包括：
[0113]
s1311：采用pc与p1、p2、p3、p4共计五个定位点求解像面映射到物面的透视变换矩阵w；
[0114]
s1312：对于每一次测试得到的待测图像的像素坐标结果，采用透视变换矩阵w将像面坐标变换为物面坐标，透视变换按照下式实现：
[0115][0116]
其中，x为物面的二维坐标系的横坐标，y为物面的二维坐标系的纵坐标，s为比例系数，p为像面点，p^为物面点。
[0117]
如图3所示为利用上述实例的自标定方法在二维位移测量场景下自标定得到的物面坐标系，其中x、y轴为该坐标系的两个轴。
[0118]
在三维位移测量场景下，s13具体包括：
[0119]
s1321：采用双目相机左视图和右视图中各自识别所得的pc与p1、p2、p3、p4五个定位点坐标，根据双目相机组的内参标定结果，重建五个定位点在双目相机组坐标系内的三维坐标结果p
cam
；
[0120]
s1322：利用五个定位点在双目相机组坐标系内的三维坐标结果p
cam
，求解靶标图案所在平面的物面方程；
[0121]
s1323：将x、y轴建于物面，z轴建于物面法向，以定位点群中的中心定位点pc的三维坐标作为坐标系原点，建立物面的三维坐标系；
[0122]
s1324：设物面的三维坐标系在双目相机组坐标系内的三轴归一化坐标所形成的矩阵为r，以pc作为平移向量，通过坐标变换将待测图像在双目相机组坐标系内的三维坐标结果p
cam
转换为物面的三维坐标系内的坐标结果p
world
，转换公式为：
[0123][0124]
其中，为pc的三维坐标。
[0125]
如图4所示为利用上述实例的自标定方法在三维位移测量场景下自标定得到的物面坐标系，其中x、y、z轴为该坐标系的三个轴。
[0126]
一实施例中，还提供一种基于机器视觉的位移自动测量系统，其包括：定位点群标定模块、像面坐标获取模块以及物面坐标系获取模块；其中，
[0127]
定位点群标定模块用于标定靶标图案的定位点群；
[0128]
像面坐标获取模块用于识别并提取所述靶标图案的定位点群，得到定位点群中的
各定位点的像面坐标；
[0129]
物面坐标系获取模块用于根据各定位点的像面坐标，建立物面的二维或三维坐标系，进而将待测图像的像面坐标变换为物面坐标。
[0130]
一实施例中，定位点群标定模块包括：中心定位点标定单元以及边缘定位点标定单元；其中，
[0131]
中点定位点标定单元用于标定靶标图案的中心，得到中心定位点；
[0132]
边缘定位点标定单元用于标定靶标图案的边缘，得到多个边缘定位点。
[0133]
一实施例中，像面坐标获取模块包括：边缘检测单元、中心定位圆的边界锁定单元、中心定位点的像面坐标获得单元、边缘定位圆的边界锁定单元以及边缘定位点的像面坐标获得单元；其中，
[0134]
定位点群标定模块中的定位点群包括：中心定位点以及边缘定位点，所述中心定位点为中心定位圆的圆心，所述边缘定位点为边缘定位圆的圆心；
[0135]
边缘检测单元用于采用边界提取法对靶标图案进行边缘检测，提取带有边缘等级信息的边缘拓扑表；
[0136]
中心定位圆的边界锁定单元用于通过查找边缘拓扑表的边缘等级信息，锁定中心定位圆的边界；
[0137]
中心定位点的像面坐标获得单元用于采用最小二乘法拟合对中心定位圆的边界进行处理，得到中心定位圆的圆心坐标，即为中心定位点的像面坐标；
[0138]
边缘定位圆的边界锁定单元用于采用边界提取法对所述靶标图案进行椭圆检测，锁定所述多个边缘定位点的边界；
[0139]
边缘定位点的像面坐标获得单元用于采用最小二乘法拟合对多个所述边缘定位点的边界进行处理，得到多个所述边缘定位点的圆心坐标，即为多个所述边缘定位点的像面坐标。
[0140]
一实施例中，像面坐标获取模块还包括：二值化处理单元，其用于对靶标图案进行二值化处理，可以使得靶标图案的边界更凸显，后续的边缘检测结果更准确。
[0141]
上述各个模块所采用的技术可以参照基于机器视觉的位移测量的靶标自标定方法的说明，在此不再赘述。
[0142]
本发明上述实施例中的方法和系统，具有自标定功能，可以在任意相机拍摄角度下自动构建从像面坐标至真是物面坐标的量化转换关系，同时可采用各类机器视觉方法追踪该靶标，从而实现无需人为介入的机器视觉位移自动测量。
[0143]
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
[0144]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0145]
在本说明书的描述中，参考术语“一种实施方式”、“一种实施例”、“具体实施过程”、“一种举例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0146]
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。