一种红外相机标定方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种红外相机标定方法。


背景技术：

2.近年来，随着人工智能的不断发展，计算机视觉也得到了广泛的应用。相机作为工业视觉必不可少的部分，其重要性也越来越突出。相机的标定是为了求解相机的内外参数，传统的标定板无法应用于红外相机的标定，一般会选择制作特殊的标定板，例如传统的标定板后面打上特殊的光源等，这对于光源的平面度及一致性要求比较高，而且标定板体积重量较大，难操作，标定效果不好。


技术实现要素：

3.发明目的：本发明针对上述不足，提出了一种红外相机标定方法，将反光球安装在一块平面板上进行标定，既可以做得很轻便，也具有很好的识别效果。
4.技术方案：
5.一种红外相机标定方法，包括步骤：
6.(1)标定板上安装有已知数量且不对称的反光球，采集反光球标定板的图像并对图像进行二值化处理；
7.(2)对二值化图像进行连通域查找得到图像上的各连通块；
8.(3)对步骤(2)得到的各连通块进行去噪得到最终反光球标记点；
9.(4)通过所述标定板上反光球的数量和位置关系对步骤(4)得到所述反光球标记点进行排序。
10.所述步骤(4)对所述反光球标记点进行排序具体为：
11.(41)根据反光球成像为圆形，计算图像上各反光球成像的圆形中每两个圆形圆心之间的距离，并选取若干对距离最远圆形的位置，据此得到距离最远的圆形的圆心；
12.(42)在选取的圆形中对每两个圆形的圆心通过计算得到若干直线，并分别计算得到的直线所经过的圆形数量；
13.(43)通过各直线经过圆形的数量及反光球标定板的边界处的反光球设计数量确定图像上的各边界；
14.(44)以步骤(43)中两条相交边界分别作为行边界和列边界，分别计算图像中所有圆形的圆心到行边界和列边界的距离并从小到大排序，并据此得到图像上各圆形所处的行与列，进而得到对应反光球的具体位置。
15.所述步骤(43)中，根据所述反光球标定板上反光球的不对称性来区分图像上的各边界。
16.所述反光球标定板各边界上的反光球数量均不相同，所述步骤(43)中，通过各直线经过圆形的数量确定图像上的各边界。
17.所述步骤(3)具体为：
18.(31)计算各连通块的质心位置及各连通块的边界点与其质心位置的距离，并据此计算得到各连通块的标准差，将其从小到大排序；标定板上反光球标记点的数量为t，选取排序前t0个连通块作为候选圆形集，t0＞t；
19.(32)计算候选圆形集中所有候选圆形质心的平均值，并据此计算每一候选圆形的质心位置到该平均值的距离，将其从小到大排序；以l作为迭代步长，选取排序前tk个候选圆形并更新候选圆形集，tk＜t0；
20.(33)重复步骤(32)，直至得到t个候选圆形即为最终t个反光球标记点。
21.所述步骤(32)中，每次迭代后，判断选取的tk与t之间的差值是否小于设定的迭代步长l，若小于，则将选取的tk与t的差值作为新的迭代步长；若不小于，则继续以之前的迭代步长l进行迭代。
22.还包括加工误差消除步骤：通过三坐标法测量得到标定板上每个反光球的位置后，再根据前述步骤得到的所有反光球在图像上投影的圆形的圆心坐标进行匹配，然后进行标定。
23.所述步骤(2)具体为：对二值化图像进行行遍历得到各行的连通区域，对各连通区域进行列聚类得到二值化图像上的各连通块。
24.有益效果：本发明采用反光球作为标定点，相对于圆形标定板，无论在什么角度，相机成像得到的标记点形状都是圆形，从而可以实现红外相机的标定，且标定过程简单，识别效果好。
附图说明
25.图1为本发明的反光球标定板的示意图；
26.图2为本发明红外相机标定方法的流程图；
27.图3为红外相机拍摄得到的原始图像；
28.图4为本发明阈值分割后得到的二值化图；
29.图5为本发明同一行连通区域的分类示意图；
30.图6为本发明的列连通聚类图；
31.图7为列连通的两种边界情况；
32.图8为本发明的圆心识别拟合示意图；
33.图9为本发明排序后的反光球示意图。
具体实施方式
34.下面结合附图和具体实施例，进一步阐明本发明。
35.图1为反光球标定板示意图，如图1所示，本发明在标定板上固定安装已知数量的反光球形成反光球标定板，本发明的反光球标定板相对于圆形标定板，无论在什么角度，相机成像得到的标记点形状都是圆形，而圆形标定板在角度偏差过大的情况下，相机成像得到的标记点形状会形成椭圆。
36.本发明中，在制作本发明的反光球标定板时，可以任意规定标定板的形状及反光球的球间距，只要不是对称图案即可(方便排序，建立坐标系)。由于图像在拍摄过程中存在畸变以及透视投影变换的原因，不能用距离来判断反光球间距和排序，本发明对于反光球
的排序采用反光球的数量和位置关系来判断。
37.在本发明中，反光球标定板上各边界上反光球的数量不同；进一步地，反光球标定板上的反光球呈行列式排布。
38.图2为本发明红外相机标定方法的流程图，如图2所示，本发明的红外相机标定方法包括如下步骤：
39.(1)通过红外相机采集反光球标定板得到反光球标定板的原始图像，如图3所示，并对其使用局部自适应阈值方法进行二值化处理得到二值化图像，如图4所示，其中，二值化图像中0代表黑色，1代表白色；
40.经过步骤(1)二值化处理后的图像上的圆形有这样的性质：同一行上的圆形内像素是连通的，列上的像素也是连通的；
41.(2)对二值化图像进行行遍历得到各行的连通区域；
42.对经过步骤(1)二值化处理后的图像从左往右进行行遍历，其中，i(x,y)表示在步骤(1)二值化处理后的图像上点(x,y)位置处的像素值，当遍历得到某一行上第u点的像素值iu(x,y)＝1时，则定义其为该行上某一连通区域的左边界m，直至遍历得到在第u点的基础上再遍历v个点的像素值i
u v
(x,y)＝0时，则i
u v-1
(x,y)＝1为该连通区域的右边界n；以此类推可以将每行连通的像素点进行分类得到各连通区域c1[m,n],
…
,cw[m,n]，其中，w表示遍历得到的连通区域的数量；如图5所示，最终得到所有行的连通区域分类结果：
[0043]ri
＝{c1,..cw}
[0044]
其中，i表示第i行；
[0045]
(3)对步骤(2)得到的各连通区域进行列聚类得到各连通块；
[0046]
(31)相邻行之间的连通区域在边界处有交集则认为两个连通区域在列上连通；
[0047]
则从r1开始的第一个连通区域开始，遍历查找r2中与r1某一连通区域相连通的区域，直至遍历完r1所有的连通区域，得到r2与r1之间在列上的所有连通区域；相邻列之间如果连通的话，其有可能存在的两种边界情况如图7所示，相邻行之间的连通区域必须有交集，假设相邻行所涉的连通区域分别为第i行的第w1个连通区域和第i 1行的第w2个连通区域，公式描述为：
[0048]
con＝！(ri.c
w1
.n《r
i 1
.c
w2
.m||r
i 1
.c
w2
.n《ri.c
w1
.m)
[0049]
其中，ri.c
w1
.m表示第i行的第w1个连通区域的左边界，ri.c
w1
.n表示第i行的第w1个连通区域的右边界，r
i 1
.c
w2
.m表示第i 1行的第w2个连通区域的左边界，r
i 1
.c
w2
.n表示第i 1行的第w2个连通区域的右边界，ri.c
w1
.n《r
i 1
.c
w2
.m表示第i行的第w1个连通区域的右边界与第i 1行的第w2个连通区域的左边界没有交集，r
i 1
.c
w2
.n《ri.c
w1
.m表示第i 1行的第w2个连通区域的右边界与第i行第w1个连通区域的左边界没有交集；
[0050]
(32)根据上式对相邻行之间进行连通区域遍历查找，如果r2中有与r1某一连通区域相连通的区域，则将两个区域合并；
[0051]
(33)依次查找r3中有与r2某一连通区域相连通的区域，以此类推，直到遍历完图像得到所有连通块，如图6所示；连通块可以描述为pq＝{i1,..ij}，其中，pq表示第q个连通块，i1,..ij为连通块的边界点，j表示连通块边界点的数量；
[0052]
本发明中，是通过依次进行行遍历和列遍历得到的连通块，但本发明并不止于此，本发明还可以通过采用黑像素点的连通区域查找获得二值化处理后的图像上的各连通块。
[0053]
(4)列聚类完成后，会得到图像上很多连通的块，但是我们的目标是得到标定板上的圆形，其中还有很多噪声：圆形的特征是边界上所有点到圆心的距离相等，在采集标定板的原始图像时，会将其他不是标定板的物品一并采集，经过二值化后会存在很多不属于标定板的噪声，所以这里通过求各连通块内所有边界点到其质心的距离的标准差来去除噪声，具体为：
[0054]
其中，某一连通块的质心(x,y)：其中，n表示该连通块内点的数量，(x
t
,y
t
)表示该连通块内某一点；
[0055]
则某一连通块第j个边界点到其质心位置的距离为：
[0056]
则可得到该连通块所有边界点到其质心位置的距离的标准差为则可得到该连通块所有边界点到其质心位置的距离的标准差为其中，为该连通块所有边界点到其质心位置的距离的平均值；
[0057]
因为圆形的dev接近0，比其他形状的连通块的标准差小，将所有连通块的dev按照从小到大排序，因为标定板上反光球标记点的数量已知为t，则选取前t0个连通块作为候选圆形集，其中，t0＞t，且t0根据实际需求设定，在本实施例中，t0＝t 20；
[0058]
(5)因为拍照角度问题，投影映射和畸变会导致图像变形，反光球之间的距离上会有些偏差，但是在反光球标定板上反光球是比较集中的，所以根据步骤(4)得到的图像上每一候选圆形的质心位置计算得到所有候选圆形质心的平均值cen，计算每一候选圆形的质心位置到该平均值cen的距离并将其从小到大排序；以l作为迭代步长，选取前tk个作为候选圆形并更新候选圆形集，tk＜t0；其中，迭代步长l根据实际需求设定；
[0059]
(6)重复步骤(5)，直至得到t个圆形即为最终t个反光球标记点；
[0060]
在本发明中，每次迭代后，判断选取的tk与t之间的差值是否小于设定的迭代步长l，若小于，则将选取的tk与t的差值作为新的迭代步长；若不小于，则继续之前的迭代步长l进行迭代；
[0061]
本发明中，迭代步长也可以随着迭代逐渐减小，迭代步长的减小幅度根据实际需求确定；进一步地，迭代步长的减小幅度可以设置为1；
[0062]
(7)计算步骤(6)得到的t个圆形的亚像素边界点，然后拟合得到其圆心，即可得到图像上各圆形的圆心坐标，如图8所示；
[0063]
(8)排序：
[0064]
(81)计算图像上每两个圆形的圆心之间的距离，并将计算结果进行排序，选取若干对距离最远的圆形的位置，据此得到相应圆形的圆心；
[0065]
(82)在选取的圆形中对每两个圆形的圆心通过直线方程计算得到若干直线，并分别计算图像上各圆形的圆心到每一直线的距离，若某一圆形的圆心与某一直线之间的距离等于零，则认为该直线经过该圆形；
[0066]
(83)通过各直线经过圆形的数量及反光球标定板的设计参数确定图像上的各边界；
[0067]
本发明中，根据反光球标定板上排布的反光球的不对称性来区分图像上的各边界；
[0068]
进一步地，本发明中的反光球标定板各边界上的反光球数量均不相同，那么可以
直接通过各直线经过圆形的数量确定图像上的各边界；
[0069]
本发明中反光球标定板上各边界上的反光球的数量并不限于均不相同，只需各边界上的反光球的数量不对称即可。
[0070]
(84)以步骤(83)中两条相交边界分别作为行边界和列边界，分别计算图像中所有圆形的圆心到行边界和列边界的距离并从小到大排序，并据此确定图像中具体的行与列，进而得到图像上各圆形所处的行与列，进而得到对应反光球的具体位置，如图9所示。本发明具体实施例中，反光球标定板上的反光球呈行列式排布，那么就具有四条边界，具体的边界确定流程如下：
[0071]
计算图像上两两圆形的圆心之间距离，并将计算结果进行排序，得到距离最远的两对圆形的位置，并据此得到对应圆形的圆心位置{p0,p1,p2,p3}；通过四个圆形中两两的圆心之间经过直线方程计算得到6条直线，并计算图像上其他圆形的圆心到每一直线的距离，若某一圆形的圆心与某一直线之间的距离等于零，则认为该直线经过该圆，最终得到图像的各边界，也即标定板上反光球构成的边界；例如本实施例已知标定板上四个边界直线位置对应反光球的数量分别为4、5、6、7，则据此可以确定图像中四条边的位置。
[0072]
本发明中，图像由于在拍摄过程中存在畸变，造成其他圆形的圆心到该直线的距离存在误差，所以并不是该直线经过的圆形的圆心到该直线的距离都等于0，则可以设定一个阈值，只要不超过该阈值，都认为该直线经过该圆形，其中阈值设定可以为大于0、小于两相邻圆形的圆心距离的一半的值的范围，本发明的实施例中相邻圆形的圆形距离最小为60mm，则设定阈值为2mm。
[0073]
本发明设计的反光球标定板还有一个好处是可以用三坐标进行测量，这样加工精度不高的时候，还可以通过测量确保精度，在通过三坐标法测量得到标定板上每个反光球的位置后，再根据提取的圆心坐标匹配，然后进行标定，进而可以消除加工误差。
[0074]
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。