一种长焦相机标定的高精度角点检测方法和系统与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种长焦相机标定的高精度角点检测方法和系统。


背景技术：

2.随着人工智能的不断发展，研究如何使机器“看”的科学显得十分重要。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，它可以使得机器“看”得见，而相机标定技术更是计算机视觉领域里重要的一部分，它能够使得机器“看”得准。
3.长焦工业相机因其拍摄远距离景物时景深较小，拍摄远距离景物时主题更加突出等种种优势，被广泛应用于机器视觉领域。在相机标定过程中，最重要的是棋盘格角点检测，基本上以harris角点检测为主。但是，长焦镜头在采集近处棋盘格图像时会因窄景深出现散焦模糊现象，因此在长焦相机标定时会出现角点检测精度不够的问题，这在很大程度上影响标定的结果。


技术实现要素：

4.为解决背景技术中存在的技术问题，本发明提出一种长焦相机标定的高精度角点检测方法和系统。
5.本发明提出一种长焦相机标定的高精度角点检测方法，包括：基于长焦相机采集的棋盘格图像，进行感兴趣区域roi选择处理，对所有感兴趣区域roi进行harris角点检测，进行随机抽样一致算法ransac处理，再进行亚像素级角点定位处理，得到棋盘格图像的角点坐标。
6.优选地，所述进行感兴趣区域roi选择处理，具体包括：提取棋盘格总体轮廓以及中心区域轮廓的像素坐标，通过像素坐标的变化提取需要的感兴趣区域roi。
7.优选地，在任意位姿摆放的棋盘格中，每格都可以近似成一个边长为2a
×
2b的平行四边形，定义棋盘格中心区域的平行四边形abcd的点集合为roi
0,0
(x,y)，所有的感兴趣区域rio都可以通过对roi
0,0
(x,y)沿着向量或正反方向平移得到；
8.在内角点个数为2m
×
2n的棋盘格中，通过像素坐标的变化，提取得到所有感兴趣区域的集合roi
num
(x,y)，其表达为：
[0009][0010]
其中，roi
±
(2i 1)a,
±
(2j 1)b
(x,y)代表棋盘格区域内每一个包含角点区域的感兴趣区域。
[0011]
优选地，所述对所有感兴趣区域roi进行harris角点检测，具体包括：
[0012]
遍历棋盘格图像的所有感兴趣区域roi进行harris角点检测，得到所有感兴趣区域roi及其感兴趣区域roi以内的检测角点坐标。
[0013]
优选地，harris角点检测的遍历sobel算子的大小为7pixel
×
7pixel，角点响应阈
值th＝10-2
。
[0014]
优选地，所述进行随机抽样一致算法ransac处理，具体包括：
[0015]
根据所有感兴趣区域roi及其感兴趣区域roi以内的检测角点坐标，通过ransac算法进行处理并通过灰度梯度对比，选取拟合线段上灰度值最大的整像素点作为候选角点，得到所有感兴趣区域roi及其感兴趣区域roi以内的候选角点的坐标。
[0016]
优选地，所述进行亚像素级角点定位处理，具体包括：
[0017]
根据所有感兴趣区域roi内得到的多个候选角点，进行亚像素级角点定位，得到亚像素精确化的角点坐标。
[0018]
优选地，所述亚像素级角点定位，具体包括：
[0019]
通过构造响应函数a，
[0020]
其中，i
x
,iy是图像i(x,y)的偏导数；
[0021]
通过坐标加权平均法，以a为权处理选取的角点来完成亚像素定位：
[0022]
其中，e表示某一个感兴趣区域roi内角点距离的平方和，ki和si分别表示某一个roi内角点权值和区域内角点与准确角点距离的平方，
[0023]
其中，si＝|x
*-xi|2 |y
*-yi|2，x
*
,y
*
和xi,yi分别表示准确角点的坐标和某一个roi内角点的坐标；
[0024]
根据最小二乘法，使得e最小值的坐标(x
*
,y
*
)应与准确角点的坐标一致，即e分别对x
*
,y
*
求偏导数有：
[0025][0026][0027]
对该公式求解得到：
[0028][0029][0030]
通过计算得到c
*
(x
*
,y
*
)即为亚像素精确化的角点坐标。
[0031]
本发明还提出了一种长焦相机标定的高精度角点检测系统，包括：
[0032]
roi选择模块，基于长焦相机采集的棋盘格图像，对进行感兴趣区域roi选择处理；
[0033]
角点检测模块，用于对所有感兴趣区域roi进行harris角点检测；
[0034]
ransac处理模块，用于进行随机抽样一致算法ransac处理；
[0035]
角点定位模块，用于进行亚像素级角点定位处理，得到棋盘格图像的角点坐标。
[0036]
本发明还提出了一种长焦相机的高精度标定方法，应用上述长焦相机标定的高精度角点检测方法。
[0037]
本发明中，根据长焦相机采集的棋盘格图像，利用感兴趣区域roi选择，harris角点检测，ransac算法处理，亚像素精确化等步骤，使得棋盘格图像的角点检测更加方便快捷，精度高的同时耗时也更少，通过自动化程序也使得角点检测及相机参数的提取操作步骤更加简单。
附图说明
[0038]
图1为本发明实施例提出的一种长焦相机标定的高精度角点检测方法的流程示意图。
[0039]
图2为本发明实施例中棋盘格轮廓区域及中心感兴趣区域的提取结果示意图。
[0040]
图3为任意位姿棋盘格的感兴趣区域及其对感兴趣区域进行位置变化示意图。
[0041]
图4为传统harris角点检测过程中角点聚簇、背景点及外角点干扰的现象示意图。
具体实施方式
[0042]
如图1所示，图1为本发明实施例提出的一种长焦相机标定的高精度角点检测方法的流程示意图。
[0043]
参照图1，本发明提出实施例提成的一种长焦相机标定的高精度角点检测方法，包括：
[0044]
s1,感兴趣区域roi选择。
[0045]
在相机标定过程中，因工作环境的特殊性，采集图片的背景比较复杂。如果直接进行harris角点检测，不仅非常耗时，还会提取出很多错误的角点，而真正需要进行角点检测的只是棋盘格的区域。为此，在进行harris角点检测之前，如果能够只对需要检测的区域进行检测，可以很大程度上减少算法检测的耗时，同时避免提出更多错误的角点。
[0046]
在本技术实施例中，基于长焦相机采集的棋盘格图像，在执行harris角点检测之前，对棋盘格图像进行roi(region of interest，感兴趣区域)选择。
[0047]
参照图2，为了避免图像背景的干扰，可以通过opencv findcontours函数，提取棋盘格总体轮廓和中心区域轮廓的像素坐标，得到棋盘格部分轮廓的提取效果，从而将检测区域缩小到了棋盘格部分。
[0048]
假定图像为i(x,y)，其中x,y代表图像的像素坐标，通过提取得到的棋盘格部分轮廓的像素坐标，可以通过像素坐标的变化提取需要的感兴趣区域roi，这样的感兴趣区域roi包含了棋盘格黑白交错的角点区域。
[0049]
参照图3，任意位姿摆放的棋盘格中，每个格子都可以近似成一个边长为2a
×
2b的平行四边形。通过图像像素坐标系可以得到，棋盘格中心白色区域的平行四边形abcd的各个顶点坐标和质心坐标m，分别进行标记：a(x1,y1)，b(x2，y2)，c(x3，y3)，d(x4，y4)，m(x0，y0)。
[0050]
定义整个棋盘格区域点集合为u(x，y)，棋盘格中心白色区域的平行四边形的点集合为r
0，0
(x，y)，则所有的感兴趣区域roi都可以通过对r
0，0
(x，y)沿着向量或正反方向平移得到，定义方向为正方向。
[0051]
在图3中，左侧下方的平行四边形所示的感兴趣区域roi，其是由r
0，0
(x，y)沿着方向平移5a再向方向平移3b得到，将其定义为：
[0052]
roi-5a，3b
(x，y)＝r-5a，3b
(x，y)∩u(x，y)。
[0053]
在图3中，基于用于标定的棋盘格4个顶角都为黑色格子，所以其内角点个数必是偶数，棋盘格的内角点个数用2m
×
2n表示，例如本发明中使用的棋盘格内角点个数为6
×
4。在内角点个数为2m
×
2n的棋盘格中，提取得到所有感兴趣区域roi的集合roi
num
(x，y)为：
[0054]
[0055]
其中，roi
±
(2i 1)a，
±
(2j 1)b
(x，y)代表棋盘格区域内每一个包含角点区域的感兴趣区域。
[0056]
通过上述计算，得到的roi
num
(x，y)即为感兴趣区域处理之后的结果。
[0057]
经过感兴趣区域roi选择，能够缩短角点检测的时间，同时也在很大程度上降低了外角点以及边缘点对检测结果造成的干扰。
[0058]
s2，harris角点检测。
[0059]
在感兴趣区域选择之后，再对每一个感兴趣区域进行harris角点检测，将传统的harris角点检测算法遍历整幅图像的做法改为遍历每一个感兴趣区域，这样既能减少harris角点检测的耗时，又能避免棋盘格以外区域的干扰。
[0060]
在本发明实施例中，针对传统harris角点检测算法的固有缺陷以及应用于模糊图像角点检测方面的不足，对于harris角点检测算法的参数设定如下：
[0061]
将遍历sobel算子的大小由3pixel
×
3pixel调整为7pixel
×
7pixel，该算子由高斯函数得出，适当增大sobel算子大小能保证感兴趣区域内的候选角点不丢失，对模糊图像进行检测时宜适当增大sobel算子宽度。
[0062]
在进行角点响应阈值检测时，因模糊图像的角点相应值r较小，同时要保证角点不丢失，设置一个很小的阈值是必要的，设置角点响应阈值th＝10-2
。
[0063]
经过harris角点检测之后，输出结果为每一个感兴趣区域roi及其感兴趣区域roi以内的检测角点坐标。
[0064]
s3,ransac算法角点定位
[0065]
在对感兴趣区域进行harris角点检测过程中，得到感兴趣区域roi及其感兴趣区域roi以内的检测角点坐标。在该过程中，很难通过阈值的选取来确定准确的角点位置，通过设置一个较小的阈值，虽然能保证特征点不丢失，但是也避免不了角点聚簇的现象。
[0066]
参照图4，在角点检测过程中出现了角点聚簇的现象，通过观察聚簇角点的分布特征，在每一个感兴趣区域roi内分布呈现线性，因此，本技术实施例采用随机抽样一致算法ransac取代传统的非极大值抑制方法进行处理。
[0067]
ransac算法即随机抽样一致算法，可以理解为假定模型，例如直线方程。通过随机抽取2个样本点，对模型进行拟合，由于不是严格线性，数据点都有一定波动，假设容差范围为sigma，找出距离拟合曲线容差范围内的点，并统计点的个数；重新随机选取2个样本点，重复前面两步的操作，直到结束迭代。每一次拟合后，容差范围内都有对应的数据点数，找出数据点个数最多的情况，就是最终的拟合结果。
[0068]
ransac算法可以获得穿过聚簇角点群的拟合度最高的直线方程，在理想情况下，ransac算法拟合出来的直线方程将会穿过角点所在的位置。模糊的棋盘格图像角点处因离黑色区域的距离较远，角点应位于某一个roi区域内ransac算法拟合出的线段上的灰度值最大的点。通过对比ransac算法拟合出的线段附近的灰度梯度，可得到灰度值最大的整像素点坐标ci(xi，yi)，也即候选角点坐标。
[0069]
在本实施例中，根据感兴趣区域roi及其感兴趣区域roi以内的检测角点坐标，经过ransac算法处理以及灰度梯度对比之后，输出结果为所有感兴趣区域roi及其感兴趣区域roi以内几个整像素点，即候选角点的坐标。
[0070]
将在每一个感兴趣区域roi内得到的多个候选角点定义为：
[0071]
c1(x1，y1)，c2(x2，y2)，c3(x3，y3)，...，cn(xn，yn)，n∈z
*
。
[0072]
s4，亚像素级角点定位。
[0073]
根据所有感兴趣区域roi内得到的多个候选角点，进行亚像素级角点定位。
[0074]
基于模糊图像角点处相应较弱，构造响应函数a，公式表达为：
[0075]
其中，i
x
，iy是图像i(x，y)的偏导数，即图像i(x，y)在x和y方向上的灰度梯度。
[0076]
通过坐标加权平均法，以a为权处理选取的角点来完成亚像素定位，公式表达为：
[0077]
其中，e表示某一个感兴趣区域roi内角点距离的平方和，ki和si分别表示某一个roi内角点权值和区域内角点与准确角点距离的平方，
[0078]
其中，si＝|x
*-xi|2 |y
*-yi|2，x
*
，y
*
和xi，yi分别表示准确角点的坐标和某一个roi内角点的坐标。
[0079]
根据最小二乘法，使得e最小值的坐标(x
*
，y
*
)应与准确角点的坐标一致，即e分别对x
*
,y
*
求偏导数有：
[0080][0081][0082]
对该公式求解得到：
[0083][0084][0085]
通过计算得到c
*
(x
*
,y
*
)即为亚像素精确化的角点坐标。
[0086]
本发明提出的长焦相机标定的高精度角点检测方法，利用感兴趣区域roi选择，harris角点检测，ransac算法处理，亚像素精确化等步骤，使得对长焦相机采集的棋盘格图像进行角点检测时更加方便快捷，精度高的同时耗时也更少，通过自动化程序也使得角点检测及相机参数的提取操作步骤更加简单。
[0087]
本发明实施例还提出了一种长焦相机标定的高精度角点检测系统，包括：
[0088]
roi选择模块，基于长焦相机采集的棋盘格图像，对进行感兴趣区域roi选择处理；
[0089]
角点检测模块，用于对所有感兴趣区域roi进行harris角点检测；
[0090]
ransac处理模块，用于进行随机抽样一致算法ransac处理；
[0091]
角点定位模块，用于进行亚像素级角点定位处理，得到棋盘格图像的角点坐标。
[0092]
基于本发明实施例提出的长焦相机标定的高精度角点检测方法，本发明实施例还提出了一种长焦相机的高精度标定方法，应用该长焦相机标定的高精度角点检测方法。相应的，该长焦相机的高精度标定方法同样具有上述高精度角点检测方法的技术效果。
[0093]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。