一种用于可见光相机、红外相机联合标定装置及标定方法与流程

1.本发明属于机器视觉相机标定技术领域，具体涉及一种用于可见光相机、红外相机联合标定装置及标定方法。


背景技术：

2.可见光相机可以获得丰富的高分辨率、高清晰度的纹理细节信息，红外相机对场景内的物体温度变化敏感，可以获得物体的温度热力学分布信息，二者技术的局限性是相互独立且通常不会同时发生的，因此，可见光相机和红外相机联合标定进行成像、检测在遥感、安防监控、工业检测等行业获得了广泛应用。
3.目前针对双相机标定的装置及方法大多基于双目可见光相机，基于可见光相机的单目、双目标定装置及方法已经较为成熟，针对可见光相机的标定装置常采用棋盘格标定板，采用张正友提出的标定方法估计相机的各项参数。针对不同光谱下的双相机标定算法研究较少，涉及到红外相机的相机系统的标定存在以下问题：
4.用于相机标定的标准棋盘格方法依赖于棋盘格的色差，然而由于红外相机的特性，只能获取温度辐射差点，用于可见光相机的棋盘格标定板无法形成热辐射差值，对于红外相机标定板的设计，普遍采用可加热的的棋盘格，通过构建两种不同材料的棋盘格造成较大的热辐射率和温度差，以此使得红外相机获得呈现棋盘格图案的热力图，但是相邻棋盘格之间的热串扰非常严重，因此相邻棋盘格之间的温度梯度非常小，这将导致角点检测精度的下降。此外，可见光相机与红外相机是在不同光谱下成像的，因此需要提出一种既可作用于可见光相机、又可作用于热力学分布的标定板。
5.由于红外相机分辨率小、噪声大，其拍摄图像往往不如可见光相机所拍摄的图像清晰，温度差值大的边界区域明暗对比度没有实际情况下清晰，这就使得红外相机的标定具有很大的困难。


技术实现要素：

6.为解决上述问题，本发明提供了一种用于可见光相机、红外相机联合标定的装置及方法，采用发热镂空的标定板，可同时用作可见光相机、红外相机的标定。
7.为了克服现有技术的缺陷，本发明具体技术方案如下：
8.一种可见光相机、红外相机联合标定装置，该标定装置采用发热标定板，由黑色镂空发热板、led圆柱形灯柱、壳体、电源、开关组成；其中，所述镂空发热板设置在壳体中并过壳体与电源连接，其内均匀设置多个通孔，该通孔内设置相适应的led圆柱形灯柱，led圆柱形灯柱通过壳体与电源连接，所述开关用于控制电源输出使所述镂空发热板发热或者所述led圆柱形灯柱发光；
9.所述镂空发热板发热时，与通孔之间形成均匀温度差，以用于红外相机捕获清晰温度图像；
10.所述led圆柱形灯柱发光时，与黑色镂空发热板形成色差，以用于可见光相机捕获
清晰图像。
11.具体地，镂空发热板为一种传导高温电阻发热板，该板通过壳体与电源连接，接通电源可均匀加热，并对该板设置了9
×
12的均匀圆通孔，接通电源时，通过调节壳体上设置的开关可使该板发热，其中镂空圆通孔部分不发热，其余部分均匀发热，使得板与圆通孔之间形成均匀的温度差，使红外相机可以捕获清晰的温度图像。
12.具体地，led圆柱形灯柱的数量规格尺寸与镂空发热板镂空部分相同，内嵌于镂空发热板镂空部分，led圆柱形灯柱与镂空发热板镂空部分的接触表面涂抹一层绝热材料，防止镂空发热板加热时产生热串扰，led圆柱形灯柱通过壳体与电源连接，接通电源后可通过调节壳体上设置的开关点亮，点亮后发白光，与黑色镂空发热板形成强烈的色差，可使可见光相机捕获清晰图像。
13.具体地，壳体采用绝热材料制作，包裹住镂空发热板与led圆柱形灯柱，目的是为了防止镂空发热板发热时热量传导出别处，并内置电线与电源连接通过开关控制镂空发热板发热及led圆柱形灯柱点亮与否。
14.本发明还公开了一种可见光相机、红外相机联合标定方法，包括以下步骤：
15.步骤s1：可见光相机、红外相机分别获取标定板图像；
16.步骤s2：对获取的标定板图像进行图像处理并进行特征点提取；
17.步骤s3：可见光相机、红外相机单相机分别进行单相机标定；
18.步骤s4：在步骤s3单相机标定的基础上，可见光相机、红外相机联合标定；
19.其中，步骤s1中，采用发热标定板，发热标定板由黑色镂空发热板、led圆柱形灯柱、壳体、电源、开关组成；标定板接通电源通过开关使镂空发热板均匀发热，led圆柱形灯柱点亮；在可见光相机下，镂空发热板呈现黑色，led圆柱形灯柱点亮后发出均匀白光，形成色差，可见光相机可清晰捕获标定板图像；在红外相机下，镂空发热板均匀发热，该板产生高温，led圆柱形灯柱点亮后温度特征变化较小，形成温度差，红外相机可清晰捕获标定板热力图。
20.作为进一步的改进方案，可见光相机、红外相机联合标定方法如下：
21.步骤一：搭建试验平台。将可见光相机与红外相机用支架固定，标定板置于远处等待拍摄。
22.步骤二：采集图像。进行图像采集时，标定板接通电源通过开关使镂空发热板均匀发热，led圆柱形灯柱点亮。在可见光相机下，镂空发热板呈现黑色，led圆柱形灯柱点亮后发出均匀白光，形成色差，可见光相机可清晰捕获标定板图像；在红外相机下，镂空发热板均匀发热，该板产生高温，led圆柱形灯柱点亮后温度特征变化较小，形成温度差，红外相机可清晰捕获标定板热力图。拍摄时保证标定板在每幅图像中的成像尺寸大致占整幅图像的四分之一，将相机的视野范围分成四个象限，拍摄时保证标定板位置均匀分布在每个象限中，且在每个象限中的标定板有不同方向、角度的倾斜，所有标定板图像组合起来要能覆盖实际工况下的全部视野范围下的测量空间、视场，标定图像的数量建议在15-25张。
23.步骤三：图像处理。图像处理过程包括对可见光图像及红外图像进行图像降噪与色调映射，由于可见光图像能够捕获更高分辨率、高清晰度的纹理细节信息，可选择不进行色调映射步骤。
24.具体地，可采用高斯滤波对图像进行降噪处理。
25.具体地，对降噪后的图像进行色调映射增强图像对比度，与可见光图像中的标定图案相比，红外图像中的明暗区的强度差远小于可见光图像中的明暗区的强度差，为了获取红外图像中更加清晰的圆通孔与标定板界限，设计了一种色调映射算法优化红外图像中的像素明暗强度值，能够使每个像素明暗强度值自适应地映射成白色和黑色，使其能够增强红外图像的对比度。
26.具体地，色调映射处理函数f(i
(i,j)
)由以下公式给出：
[0027][0028]
其中，
[0029]
为映射后红外图像中第i行第j列像素的强度；
[0030]i(i,j)
为红外图像中第i行第j列像素的强度；
[0031]
为第i行第j列像素最接近的最亮点与最接近的最暗点的平均强度；
[0032]
由式计算得出；
[0033]
η为比例系数。
[0034]
步骤四：特征点提取。该过程分为两步：
[0035]
(1)提取图像中标定板圆通孔的轮廓，首先采用canny边缘检测算子检测图像中圆通孔的边缘轮廓。然后，采用最小二乘法将提取到的边缘轮廓拟合成椭圆，由于透镜变形及透视变换，圆通孔的投影一般不是圆形，而是近似于椭圆形。
[0036]
(2)基于上述所拟合的椭圆，提取各轮廓中点，建立中点坐标。在图像坐标系中，取左上角的像素点为原点，基于此建立坐标系定义检测到的圆通孔中点的坐标。
[0037]
具体地，寻找中点的方法为：检测该边缘轮廓的上、下、左、右边界点，分别连接上下边界点与左右边界点，线段交点即为该处中点。
[0038]
步骤五：可见光相机、红外相机单相机标定。理想的相机可以看作针孔成像建模，三维真实世界中的3d空间点和该点在图像坐标系中的投影坐标之间的关系可用下式描述。
[0039][0040]
其中，
[0041]
为图像坐标系中的2d像素点m＝[u,v]
t
的齐次坐标；
[0042]
为世界坐标系中的3d空间点m＝[xw,yw,zw]
t
的齐次坐标；
[0043]
为相机的内参矩阵，，(f
x
,fy)为以像素为单位的焦距，(u0,v0)为相机主点，以像素为单位；
[0044]
[r t]为相机的外参矩阵，r是3
×
3的旋转矩阵，t是3
×
1的平移矩阵。
[0045]
上述相机内外参数矩阵不考虑镜头失真，因为理想的针孔模型不含有镜头，真实相机的镜头不可避免的会产生畸变，可通过如下等式进行修正：
[0046][0047]
其中，
[0048]
(u,v)为理想的(即无畸变的)图像坐标系像素坐标；
[0049]
(u
′
,v
′
)为实际的图像坐标系像素坐标；
[0050]
k1、k2、k2为相机的径向畸变系数；
[0051]
p1、p2为相机的切向畸变系数；
[0052]
r2＝u2 v2。
[0053]
步骤六：可见光相机、红外相机联合标定。基于步骤五中单相机标定所得出的可见光相机与红外相机的参数矩阵，建立世界坐标系下两相机之间的位置：
[0054][0055]
其中，
[0056]
[x
vis
,y
vis
,z
vis
]
t
、[x
ir
,y
ir
,z
ir
]
t
分别为可见光相机、红外相机在世界坐标系下的坐标；
[0057]
r、t分别为双目系统的旋转矩阵、平移矩阵。
[0058]
本发明具有的有益效果是：
[0059]
(1)本发明提出的一种发热镂空的标定板，标定板自身采用高温电阻材料，可有效防止加热受热不均问题；采用镂空出9
×
12均匀分布的圆的标定板设计，以圆心坐标代替传统棋盘格标定板棋盘格之间的角点坐标，在红外相机的拍摄下可有效减少热串扰现象的影响，鲁棒性高；此外，该标定板可同时用作可见光相机、红外相机的标定。
[0060]
(2)针对红外相机分辨率小、噪声大，其拍摄图像往往不如可见光相机所拍摄的图像清晰，温度差值大的边界区域明暗对比度没有实际情况下清晰的问题，本发明提出的一种色调映射方法，能够优化红外图像中像素的明暗强度值，增强红外图像的对比度，有利于在红外图像中获取更加清晰的圆通孔与标定板界限。
[0061]
(3)由于相机镜头透镜变形及透视变换，圆通孔的投影一般不是圆形，而是近似于椭圆形，寻找椭圆形中心比圆心更加复杂，本发明提出一种寻找椭圆中心的方法便于更易获取相机标定所需的特征点。
附图说明
[0062]
图1为本发明实施例所述的标定板的主视图；
[0063]
图2为本发明实施例所述的标定板的结构示意图；
[0064]
图3为本发明实施例所述的相机标定示意图；
[0065]
图4为本发明实施例所述的红外相机标定流程图；
[0066]
图5为本发明实施例所述的红外相机视野范围划分象限示意图；
[0067]
图6为本发明实施例所述的寻找中点示意图；
[0068]
图7为本发明实施例所述的可见光相机、红外相机联合标定流程图。
具体实施方式
[0069]
以下结合具体的实施例对本发明作进一步说明。
[0070]
实施例一
[0071]
如图1—图2所示，图1为本发明所设计的一种标定装置1的主视图，其结构如图2所示，该标定装置1采用发热标定板，由镂空发热板1-1、led圆柱形灯柱1-2、壳体1-3、电源1-4、开关1-5组成。
[0072]
其中，镂空发热板1-1设置在壳体1-3中并过壳体1-3与电源1-4连接，其内均匀设置多个通孔，该通孔内设置相适应的led圆柱形灯柱1-2，led圆柱形灯柱1-2通过壳体1-3与电源1-4连接，开关用于控制电源1-4输出使镂空发热板1-1发热或者所述led圆柱形灯柱1-2发光；
[0073]
镂空发热板1-1发热时，与通孔之间形成均匀温度差，以用于红外相机捕获清晰温度图像；
[0074]
led圆柱形灯柱1-2发光时，与黑色镂空发热板形成色差，以用于可见光相机捕获清晰图像。
[0075]
镂空发热板1-1为一种传导高温电阻发热板，该板通过壳体1-3与电源1-4连接(接线部分未画出)，接通电源1-4可均匀加热，并对该板设置了9
×
12的均匀圆通孔，接通电源1-4时，通过调节壳体1-3上设置的开关1-5可使该板发热，其中镂空圆通孔部分不发热，其余部分均匀发热，使得板与圆通孔之间形成均匀的温度差，使红外相机可以捕获清晰的温度图像。
[0076]
led圆柱形灯柱1-2的数量规格尺寸与镂空发热板1-1镂空部分相同，内嵌于镂空发热板1-1镂空部分，led圆柱形灯柱1-2与镂空发热板1-1镂空部分的接触表面涂抹一层绝热材料(绝热材料未画出)，防止镂空发热板1-1加热时产生热串扰，led圆柱形灯柱1-2通过壳体1-3与电源1-4连接(接线部分未画出)，接通电源1-4后可通过调节壳体1-3上设置的开关1-5点亮，点亮后发白光，与黑色镂空发热板形成强烈的色差，可使可见光相机捕获清晰图像。
[0077]
壳体1-3采用绝热材料制作，包裹住镂空发热板1-1与led圆柱形灯柱1-2，目的是为了防止镂空发热板1-1发热时热量传导出别处，并内置电线与电源1-4连接通过开关1-3控制镂空发热板1-1发热及led圆柱形灯柱1-2点亮与否。
[0078]
如图3所示，相机标定时可见光相机2、红外相机3通过支架4固定，标定板1可活动。
[0079]
参见图4，本发明还提供了一种用于红外相机单相机标定标定方法，采用上述的标定装置进行红外相机3的单相机标定，包括以下步骤：
[0080]
s101，获取不同位置下的标定板1的图像。在红外相机3下，镂空发热板1-1均匀发热，该板产生高温，led圆柱形灯柱1-2温度特征变化较小，形成温度差，红外相机3可清晰捕获标定板热力图。拍摄时保证标定板在每幅图像中的成像尺寸大致占整幅图像的四分之一，如图5所示，将相机的视野范围分成四个象限，拍摄时保证标定板位置均匀分布在每个象限中，且在每个象限中的标定板有不同方向、角度的倾斜，所有标定板图像组合起来要能覆盖实际工况下的全部视野范围下的测量空间、视场，标定图像的数量建议在15-25张。
[0081]
s102，采用高斯滤波对图像进行降噪处理。
[0082]
s103，对图像进行色调映射增强对比度。与可见光图像中的标定图案相比，红外图像中的明暗区的强度差远小于可见光图像中的明暗区的强度差，为了获取红外图像中更加清晰的圆通孔与标定板界限，设计了一种色调映射算法优化红外图像中的像素明暗强度值，能够使每个像素明暗强度值自适应地映射成白色和黑色，使其能够增强红外图像的对比度。
[0083]
具体地，色调映射处理函数f(i
(i,j)
)由以下公式给出：
[0084][0085]
其中，
[0086]
为映射后红外图像中第i行第j列像素的强度；
[0087]i(i,j)
为红外图像中第i行第j列像素的强度；
[0088]
为第i行第j列像素最接近的最亮点与最接近的最暗点的平均强度；
[0089]
由式计算得出；
[0090]
η为比例系数。
[0091]
s104，采用canny边缘检测算子检测图像中圆通孔的边缘轮廓。由于透镜变形及透视变换，圆通孔的投影一般不是圆形，而是近似于椭圆形，采用最小二乘法将提取到的边缘轮廓拟合成椭圆。
[0092]
s105，提取各轮廓中点，建立中点坐标。在图像坐标系中，取左上角的像素点为原点，基于此建立坐标系定义检测到的圆通孔中点的坐标。
[0093]
具体地，参见图6，寻找中点的方法为：检测该边缘轮廓的上、下、左、右边界点(xu,yu)、(xd,yd)、(x
l
,y
l
)、(xr,yr)，连接(xu,yu)(xd,yd)与(x
l
,y
l
)(xr,yr)，线段交点即为该处中点(xc,yc)。
[0094]
s106，相机标定。图像坐标系中的2d像素点为m＝[u,v]
t
，世界坐标系中的3d空间点为m＝[xw,yw,zw]
t
，对应的齐次坐标分别为，对应的齐次坐标分别为理想的相机可以看作针孔成像建模，三维真实世界中的3d空间点和该点在图像坐标系中的投影坐标之间的关系可用等式(2)描述。
[0095][0096]
其中，
[0097]
为相机的内参矩阵，(f
x
,fy)为以像素为单位的焦距，(u0,v0)为相机主点，以像素为单位；
[0098]
[r t]为相机的外参矩阵，r是3
×
3的旋转矩阵，t是3
×
1的平移矩阵。
[0099]
上述相机矩阵不考虑镜头失真，因为理想的针孔模型不含有镜头，真实相机的镜
头不可避免的会产生畸变，可通过等式(3)进行修正。
[0100][0101]
其中，
[0102]
(u,v)为理想的(即无畸变的)图像坐标系像素坐标；
[0103]
(u
′
,v
′
)为实际的图像坐标系像素坐标；
[0104]
k1、k2、k2为相机的径向畸变系数；
[0105]
p1、p2为相机的切向畸变系数；
[0106]
r2＝u2 v2。
[0107]
基于上述操作，即可实现红外相机单相机标定。
[0108]
实施例二
[0109]
可见光相机、红外相机联合标定流程如图7所示，包括以下步骤：
[0110]
s1，可见光相机、红外相机获取标定板图像。参见图3，可见光相机2、红外相机3通过支架4固定，标定板1可活动。进行图像采集时，标定板1接通电源1-4通过开关1-5使镂空发热板1-1均匀发热，led圆柱形灯柱1-2点亮。在可见光相机2下，镂空发热板1-1呈现黑色，led圆柱形灯柱1-2点亮后发出均匀白光，形成色差，可见光相机2可清晰捕获标定板图像；在红外相机3下，镂空发热板1-1均匀发热，该板产生高温，led圆柱形灯柱1-2点亮后温度特征变化较小，形成温度差，红外相机3可清晰捕获标定板热力图。拍摄时保证标定板在每幅图像中的成像尺寸大致占整幅图像的四分之一，如图5所示，将相机的视野范围分成四个象限，拍摄时保证标定板位置均匀分布在每个象限中，且在每个象限中的标定板有不同方向、角度的倾斜，所有标定板图像组合起来要能覆盖实际工况下的全部视野范围下的测量空间、视场，标定图像的数量建议在15-25张。
[0111]
s2，图像处理，提取特征点。针对可见光图像和红外图像的图像处理及提取特征点的过程可参见实施例一、图4中的步骤s102-s105，由于可见光图像能够捕获更高分辨率、高清晰度的纹理细节信息，图4中的步骤s103可不进行。
[0112]
s3，分别对可见光相机、红外相机进行单相机标定，具体方式可参见实施例一、图4中的步骤s106。
[0113]
s4，双目标定。可见光相机2、红外相机3在世界坐标系下有以下等式(4)(5)成立。
[0114][0115][0116]
其中，
[0117]
[x
t
,x
t
,z
t
]
t
为世界坐标系下标定板1中某处圆通孔的中点坐标；
[0118]
[x
vis
,y
vis
,z
vis
]
t
、[x
ir
,y
ir
,z
ir
]
t
分别为可见光相机2、红外相机3在世界坐标系下的坐标；
[0119]rvis
、t
vis
分别为[x
t
,y
t
,z
t
]
t
相对于可见光相机2的旋转、平移矩阵；
[0120]rir
、t
ir
分别为[x
t
,y
t
,z
t
]
t
相对于红外相机3的旋转、平移矩阵。
[0121]
两式相减消去pw可得等式(6)。
[0122][0123]
即为双目系统的旋转矩阵r、平移矩阵t。
[0124]
于是，红外相机3相对于可见光相机2的位置即可表示为等式(7)。
[0125][0126]
基于上述操作，即可实现可见光相机2、红外相机3的联合标定。
[0127]
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0128]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。