一种基于GPS和IMU信息的户外摄像机定位方法及装置与流程

一种基于gps和imu信息的户外摄像机定位方法及装置
技术领域
1.本发明涉及摄像机定位技术领域，特别涉及一种基于gps和imu信息的户外摄像机定位方法及装置。


背景技术：

2.对摄像机进行精确定位，有利于对监控画面中出现的意外情况能够及时掌握，精确锁定目标摄像机和区域位置，方便视频监控管理人员及时、有效地处理意外情况。现有对摄像机的定位方法主要是使用slam建图过程中对摄像机位置进行扫描，这种方式的定位存在精度不高的问题，且对于距离较远或者位置较难接近的摄像头来说，传统的slam建图的定位方式无法满足其定位需求。


技术实现要素：

3.本发明要解决的技术问题，在于提供一种基于gps和imu信息的户外摄像机定位方法及装置，解决现有无法对远距离或难接近的摄像头的精准定位问题。
4.第一方面，本发明提供了一种基于gps和imu信息的户外摄像机定位方法，需提供设置有gps装置和imu装置的棋盘格标定板，所述棋盘格标定板表面设置有尺寸一致的黑白格子，所述方法包括：
5.步骤s1、通过摄像机获取棋盘格标定板运动视频，从所述视频中提取并筛选出不同位置和方向的棋盘格图像作为第一棋盘格图像；
6.步骤s2、利用张氏标定法对所述第一棋盘格图像进行标定，得到标定后的摄像机内参矩阵和外参矩阵，外参矩阵即棋盘格相对于摄像机的坐标变换关系；
7.步骤s3、利用坐标转换关系根据复数组所述第一棋盘格图像和所述棋盘格gps位置信息计算出所述摄像机的gps位置信息。
8.进一步的，所述棋盘格标定板上的gps和imu装置均安置于所述棋盘格标定板的中心位置，通过所述gps装置获取棋盘格标定板的位置信息，通过所述imu装置测量棋盘格标定板在三维空间中的角速度和加速度，并以此得到棋盘格标定板的位姿，所述棋盘格标定板的表面平整，且所述棋盘格标定板上的棋盘格是直角的。
9.进一步的，所述步骤s1中“通过摄像机获取棋盘格标定板运动视频”具体为：
10.将棋盘格标定板水平放置于汽车顶部，汽车在视频监控摄像机下方的视野范围内移动，并确保摄像机能拍摄到小车表面的棋盘格标定板，由摄像机录制棋盘格标定板运动过程的视频；
11.或者将棋盘格标定板通过手持放置于摄像机视野下方，将棋盘格标定板变换不同的角度进行平稳移动，由摄像机录制棋盘格标定板运动过程的视频。
12.进一步的，所述步骤s2具体包括：
13.步骤s21、对已知的棋盘格标定板建立棋盘格标定板坐标系(xb,yb,zb)，根据张氏标定法，利用计算机中的标定程序对复数张第一棋盘格图像执行标定操作，将棋盘格标定
板坐标系(xb,yb,zb)变换到相机坐标系(xc,yc,zc)，并求解出变换矩阵，所述变换矩阵线性的表达如下：
[0014][0015]
其中，r
b2c
为棋盘格标定板到摄像机的旋转矩阵，t
b2c
为棋盘格标定板到摄像机的平移矩阵；
[0016]
步骤s22、设定要拟合的方程为：
[0017][0018][0019][0020]
其中，(u,v)为摄像机上拍摄到的角点的像素标号，(xb,yb,zb)为标定板坐标系下已知的对应角点的坐标，m1表示摄像机的内参矩阵，m2表示摄像机的外参矩阵。
[0021]
步骤s23、用opencv或matlab标定工具箱中的相机标定函数进行标定，把棋盘格标定板的各种姿态作为样本导入标定工具箱，输入第一棋盘格图像尺寸、标定板横向及纵向的格点数量及格子长度，训练得到所有参数对应的值，所述参数包括f
x
,fy,u0,v0,r,t，进而得到标定后的摄像机内参矩阵m1和外参矩阵m2。
[0022]
进一步的，所述步骤s3具体包括：
[0023]
步骤s31、根据标定板坐标系变换到相机坐标系的坐标转换关系，即外参矩阵，将每一个角点已知的在标定板坐标系下的坐标与角点在相机坐标系下的坐标一一对应起来；
[0024]
步骤s32、再利用角点对应的gps位置信息和坐标转换关系，即外参矩阵，求得摄像机的gps位置信息；
[0025]
步骤s33、对求得的所有摄像机的gps位置信息，采用取中位数的原则得到摄像机准确的gps位置信息。
[0026]
第二方面，本发明提供了一种基于gps和imu信息的户外摄像机定位装置，需提供设置有gps装置和imu装置的棋盘格标定板，所述棋盘格标定板表面设置有尺寸一致的黑白格子，所述装置包括：
[0027]
数据获取模块，用于通过摄像机获取棋盘格标定板运动视频，从所述视频中提取并筛选出不同位置和方向的棋盘格图像作为第一棋盘格图像；
[0028]
转换关系计算模块，用于利用张氏标定法对所述第一棋盘格图像进行标定，得到标定后的摄像机内参矩阵和外参矩阵；以及
[0029]
摄像机位置计算模块，用于利用坐标转换关系根据复数组所述第一棋盘格图像和
所述棋盘格gps位置信息计算出所述摄像机的gps位置信息。
[0030]
进一步的，所述棋盘格标定板上的gps和imu装置均安置于所述棋盘格标定板的中心位置，通过所述gps装置获取棋盘格标定板的位置信息，通过所述imu装置测量棋盘格标定板在三维空间中的角速度和加速度，并以此得到棋盘格标定板的位姿，所述棋盘格标定板的表面平整，且所述棋盘格标定板上的棋盘格是直角的。
[0031]
进一步的，所述数据获取模块中“通过摄像机获取棋盘格标定板运动视频”具体为：
[0032]
将棋盘格标定板水平放置于汽车顶部，汽车在视频监控摄像机下方的视野范围内移动，并确保摄像机能拍摄到小车表面的棋盘格标定板，由摄像机录制棋盘格标定板运动过程的视频；
[0033]
或者将棋盘格标定板通过手持放置于摄像机视野下方，将棋盘格标定板变换不同的角度进行平稳移动，由摄像机录制棋盘格标定板运动过程的视频。
[0034]
进一步的，所述转换关系计算模块具体包括：
[0035]
对已知的棋盘格标定板建立棋盘格标定板坐标系(xb,yb,zb)，根据张氏标定法，利用计算机中的标定程序对复数张第一棋盘格图像执行标定操作，将棋盘格标定板坐标系(xb,yb,zb)变换到相机坐标系(xc,yc,zc)，并求解出变换矩阵，所述变换矩阵线性的表达如下：
[0036][0037]
其中，r
b2c
为棋盘格标定板到摄像机的旋转矩阵，t
b2c
为棋盘格标定板到摄像机的平移矩阵；
[0038]
设定要拟合的方程为：
[0039][0040][0041][0042]
其中，(u,v)为摄像机上拍摄到的角点的像素标号，(xb,yb,zb)为标定板坐标系下已知的对应角点的坐标，m1表示摄像机的内参矩阵，m2表示摄像机的外参矩阵；
[0043]
用opencv或matlab标定工具箱中的相机标定函数进行标定，把棋盘格标定板的各种姿态作为样本导入标定工具箱，输入第一棋盘格图像尺寸、标定板横向及纵向的格点数量及格子长度，训练得到所有参数对应的值，所述参数包括f
x
,fy,u0,v0,r,t，进而得到标定后的摄像机内参矩阵m1和外参矩阵m2。
[0044]
进一步的，所述摄像机位置计算模块具体包括：
[0045]
根据标定板坐标系变换到相机坐标系的坐标转换关系，即外参矩阵，将每一个角点已知的在标定板坐标系下的坐标与角点在相机坐标系下的坐标一一对应起来；
[0046]
再利用角点对应的gps位置信息和坐标转换关系，即外参矩阵，求得摄像机的gps位置信息；
[0047]
对求得的所有摄像机的gps位置信息，采用取中位数的原则得到摄像机准确的gps位置信息。
[0048]
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0049]
将棋盘格、gps、imu信息进行结合，使用棋盘格对户外远距离或者不可接近的摄像机进行标定，以求得标定板坐标系到相机坐标系的坐标转换关系，利用gps和imu信息对标定板进行精确定位，从而可以实现对摄像机的精准定位；本发明所采用的装置结构简单，易于实现，定位精度高，定位方法易于操作。
附图说明
[0050]
下面参照附图结合实施例对本发明作进一步的说明。
[0051]
图1为本发明一种基于gps和imu信息的户外摄像机定位方法的执行流程图；
[0052]
图2为本发明一种基于gps和imu信息的户外摄像机定位装置的结构示意图；
[0053]
图3为本发明棋盘格标定板的结构示意图。
具体实施方式
[0054]
如图1和图3所示，本发明通过提供一种基于gps和imu信息的户外摄像机定位方法，需提供设置有gps装置和imu装置的棋盘格标定板，所述棋盘格标定板表面设置有尺寸一致的黑白格子，所述方法包括：
[0055]
步骤s1、通过摄像机获取棋盘格标定板运动视频，从所述视频中提取并筛选出不同位置和方向的棋盘格图像作为第一棋盘格图像，采集图像数量约为10～20幅；
[0056]
步骤s2、利用张氏标定法对所述第一棋盘格图像进行标定，得到标定后的摄像机内参矩阵和外参矩阵，外参矩阵即棋盘格相对于摄像机的坐标转换关系；
[0057]
步骤s3、利用坐标转换关系根据复数组所述第一棋盘格图像和所述棋盘格gps位置信息计算出所述摄像机的gps位置信息。
[0058]
较佳的，所述棋盘格标定板上的gps和imu装置均安置于所述棋盘格标定板的中心位置，通过所述gps装置获取棋盘格标定板的位置信息，通过所述imu装置测量棋盘格标定板在三维空间中的角速度和加速度，并以此得到棋盘格标定板的位姿，所述棋盘格标定板的表面平整，且所述棋盘格标定板上的棋盘格是直角的。
[0059]
较佳的，所述步骤s1中“通过摄像机获取棋盘格标定板运动视频”具体为：
[0060]
将棋盘格标定板水平放置于汽车顶部，汽车在视频监控摄像机下方的视野范围内移动，并确保摄像机能拍摄到小车表面的棋盘格标定板，由摄像机录制棋盘格标定板运动过程的视频；
[0061]
或者将棋盘格标定板通过手持放置于摄像机视野下方，将棋盘格标定板变换不同的角度进行平稳移动，由摄像机录制棋盘格标定板运动过程的视频。
[0062]
较佳的，所述步骤s2具体包括：
[0063]
步骤s21、对已知的棋盘格标定板建立棋盘格标定板坐标系(xb,yb,zb)，根据张氏标定法，利用计算机中的标定程序对复数张第一棋盘格图像执行标定操作，将棋盘格标定板坐标系(xb,yb,zb)变换到相机坐标系(xc,yc,zc)，并求解出变换矩阵，所述变换矩阵线性的表达如下：
[0064][0065]
其中，r
b2c
为棋盘格标定板到摄像机的旋转矩阵，t
b2c
为棋盘格标定板到摄像机的平移矩阵；
[0066]
步骤s22、设定要拟合的方程为：
[0067][0068][0069][0070]
其中，(u,v)为摄像机上拍摄到的角点的像素标号，(xb,yb,zb)为标定板坐标系下已知的对应角点的坐标，m1表示摄像机的内参矩阵，m2表示摄像机的外参矩阵。
[0071]
步骤s23、用opencv或matlab标定工具箱中的相机标定函数进行标定，把棋盘格标定板的各种姿态作为样本导入标定工具箱，输入第一棋盘格图像尺寸、标定板横向及纵向的格点数量及格子长度，训练得到所有参数对应的值，所述参数包括f
x
,fy,u0,v0,r,t，进而得到标定后的摄像机内参矩阵m1和外参矩阵m2。
[0072]
较佳的，步骤s3具体包括：
[0073]
步骤s31、根据标定板坐标系变换到相机坐标系的坐标转换关系，即外参矩阵，将每一个角点已知的在标定板坐标系下的坐标与角点在相机坐标系下的坐标一一对应起来；
[0074]
步骤s32、再利用角点对应的gps位置信息(x
p
,y
p
,z
p
)和坐标转换关系，即外参矩阵m2，求得摄像机的gps位置信息(xq,yq,zq)；
[0075][0076]
步骤s33、对求得的所有摄像机的gps位置信息，采用取中位数的原则得到摄像机准确的gps位置信息。
[0077]
如图2和图3所示，本发明提供了一种基于gps和imu信息的户外摄像机定位装置，需提供设置有gps装置和imu装置的棋盘格标定板，所述棋盘格标定板表面设置有尺寸一致的黑白格子，所述装置包括：
[0078]
数据获取模块，用于通过摄像机获取棋盘格标定板运动视频，从所述视频中提取并筛选出不同位置和方向的棋盘格图像作为第一棋盘格图像；采集图像数量约为10～20幅；
[0079]
转换关系计算模块，用于利用张氏标定法对所述第一棋盘格图像进行标定，得到标定后的摄像机内参矩阵和外参矩阵，外参矩阵即棋盘格相对于摄像机的坐标转换关系；以及
[0080]
摄像机位置计算模块，用于利用坐标转换关系根据复数组所述第一棋盘格图像和所述棋盘格gps位置信息计算出所述摄像机的gps位置信息。
[0081]
进一步的，所述棋盘格标定板上的gps和imu装置均安置于所述棋盘格标定板的中心位置，通过所述gps装置获取棋盘格标定板的位置信息，通过所述imu装置测量棋盘格标定板在三维空间中的角速度和加速度，并以此得到棋盘格标定板的位姿，所述棋盘格标定板的表面平整，且所述棋盘格标定板上的棋盘格是直角的。
[0082]
较佳的，所述数据获取模块中“通过摄像机获取棋盘格标定板运动视频”具体为：
[0083]
将棋盘格标定板水平放置于汽车顶部，汽车在视频监控摄像机下方的视野范围内移动，并确保摄像机能拍摄到小车表面的棋盘格标定板，由摄像机录制棋盘格标定板运动过程的视频；
[0084]
或者将棋盘格标定板通过手持放置于摄像机视野下方，将棋盘格标定板变换不同的角度进行平稳移动，由摄像机录制棋盘格标定板运动过程的视频。
[0085]
较佳的，所述转换关系计算模块具体包括：
[0086]
对已知的棋盘格标定板建立棋盘格标定板坐标系(xb,yb,zb)，根据张氏标定法，利用计算机中的标定程序对复数张第一棋盘格图像执行标定操作，将棋盘格标定板坐标系(xb,yb,zb)变换到相机坐标系(xc,yc,zc)，并求解出变换矩阵，所述变换矩阵线性的表达如下：
[0087][0088]
其中，r
b2c
为棋盘格标定板到摄像机的旋转矩阵，t
b2c
为棋盘格标定板到摄像机的平移矩阵；
[0089]
设定要拟合的方程为：
[0090]
[0091][0092][0093]
其中，(u,v)为摄像机上拍摄到的角点的像素标号，(xb,yb,zb)为标定板坐标系下已知的对应角点的坐标，m1表示摄像机的内参矩阵，m2表示摄像机的外参矩阵。
[0094]
用opencv或matlab标定工具箱中的相机标定函数进行标定，把棋盘格标定板的各种姿态作为样本导入标定工具箱，输入第一棋盘格图像尺寸、标定板横向及纵向的格点数量及格子长度，训练得到所有参数对应的值，所述参数包括f
x
,fy,u0,v0,r,t，进而得到标定后的摄像机内参矩阵m1和外参矩阵m2。
[0095]
较佳的，所述摄像机位置计算模块具体包括：
[0096]
根据标定板坐标系变换到相机坐标系的坐标转换关系，即外参矩阵，将每一个角点已知的在标定板坐标系下的坐标与角点在相机坐标系下的坐标一一对应起来；
[0097]
再利用角点对应的gps位置信息(x
p
,y
p
,z
p
)和坐标转换关系，即外参矩阵m2，求得摄像机的gps位置信息(xq,yq,zq)；
[0098][0099]
对求得的所有摄像机的gps位置信息，采用取中位数的原则得到摄像机准确的gps位置信息。
[0100]
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明通过将棋盘格、gps、imu信息进行结合，使用棋盘格对户外远距离或者不可接近的摄像机进行标定，以求得标定板坐标系到相机坐标系的坐标转换关系，利用gps和imu信息对标定板进行精确定位，从而可以实现对摄像机的精准定位；本发明所采用的装置结构简单，易于实现，定位精度高，定位方法易于操作。
[0101]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。