一种图像传感器和陀螺仪的时间同步标定装置及方法与流程

1.本发明涉及机器视觉技术领域，特别是涉及一种图像传感器和陀螺仪的时间同步标定装置及方法。


背景技术：

2.同时定位和建图(slam)技术是智能移动机器人的关键。在实际应用中，纯视觉的slam方案在高速运动或弱纹理场景存在前后帧图像失配问题，纯惯导方案因加速度计、陀螺仪等的零漂问题而无法长时间独立工作，而视觉惯性信息融合的slam方案在鲁棒性方面优势明显。时间同步是实现视觉惯性传感器数据融合的基础要求，现有视觉惯性传感器的时间同步方案有：(1)直接触发同步，即以惯性传感器固定频率输出的基准信号(中断信号、就绪信号等)作为触发信号，启动图像传感器的单帧图像数据采集过程；(2)补偿触发同步，该方案考虑了图像的曝光时间，并通过补偿的方式将惯性传感器输出的基准信号和图像传感器的曝光中间时刻对齐；(3)系统时间同步，通过后端主控单元接收到的图像数据和惯性数据的系统时间作为时间戳同步。以上传感器同步方案均未考虑惯性传感器的采集同步。与视觉惯性传感器同步方案相对应，时间偏差标定方法有：(1)互相关法，仅在时间偏差较小时有效；(2)时间戳的增量时钟同步(ticsync)法，需要各传感器提供时间戳支持，这在大多数应用中不具备条件；(3)时间延迟迭代最近点法(td
‑
icp)，标定精度仅能达到1ms～2ms，(4)连续时间批量估计法，标定过程易受光照、运动模糊等影响，标定重复精度较差。


技术实现要素：

3.本发明所要解决的技术问题是提供一种图像传感器和陀螺仪的时间同步标定装置及方法，实现了陀螺仪基准时间相对于陀螺仪采集时刻的时间偏差标定。
4.本发明解决其技术问题所采用的技术方案是：提供一种图像传感器和陀螺仪的时间同步标定装置，包括：摆锤，与连杆的一端刚性相连，用于安装图像传感器和陀螺仪；旋转轴，与连杆的另一端相连，与所述摆锤配合形成平面单摆；弧形刻度盘，放置时使得所述弧形刻度盘的圆心与所述旋转轴重合，且所述图像传感器在运动过程中能够获取所述弧形刻度盘的刻度图像；数据采集模块，用于记录所述陀螺仪的基准时间和所述图像传感器的图像时间戳，同时获取所述摆锤重心的角位移数据和角速度数据，并建立所述角位移数据与所述图像传感器的图像时间戳的对应关系以及所述角速度数据与所述陀螺仪的基准时间的对应关系；计算模块，用于根据所述角位移数据与所述图像传感器的图像时间戳的对应关系拟合角位移函数，根据所述角速度数据与所述陀螺仪的基准时间拟合角速度函数，并基于拟合函数及相位差关系建立所述图像传感器与所述陀螺仪之间的时间关系。
5.所述数据采集模块包括：图像数据接收单元，用于接收所述图像传感器输出的图像数据信号；角速度数据接收单元，用于接收所述陀螺仪输出的角速度数据信号；计时器单元，用于捕获所述图像传感器输出的图像基准信号以获得图像基准时间，同时捕获所述陀螺仪输出的陀螺仪基准信号以获得陀螺仪基准时间；图像数据时间戳获取单元，用于根据
所述图像基准时间和所述图像传感器的时序参数获得以曝光中间时刻对齐的图像时间戳；图像数据输出单元，用于将匹配后的所述图像数据信号与所述图像时间戳输出至所述计算模块；角速度数据输出单元，用于将匹配后的所述陀螺仪基准时间与所述角速度数据信号输出至所述计算模块。
6.所述计算模块通过f(t)≈p
1 sin(p2t p3) p4或f(t)≈p1cos(p2t p3) p4对所述摆锤重心的所述角位移函数和角速度函数进行拟合，其中，f(t)为所述摆锤重心的角位移和角速度函数的通用表示，p1表示幅值，p2表示角频率，p3表示初相位，p4表示偏移。
7.所述图像传感器与所述陀螺仪之间的时间关系表示为δt＝t2‑
t1＝t2‑
t3 t/4，其中，δt表示所述陀螺仪的基准时间与采集时间的偏差，t1表示理想角速度函数的极大值点或极小值点对应的时间，t2表示存在所述陀螺仪的基准时间与采集时间的偏差δt输出的情况下，所述角速度函数的极大值或极小值对应的时间，t3表示所述角位移函数的极大值点或极小值点对应的时间，t表示所述单摆的周期。
8.所述的图像传感器和陀螺仪的同步标定装置还包括补光灯，所述补光灯为环形补光灯，且中心轴与所述图像传感器的光轴重合。
9.本发明解决其技术问题所采用的技术方案是：还提供一种图像传感器和陀螺仪的同步标定方法，使用上述图像传感器和陀螺仪的同步标定装置，包括以下步骤：
10.(1)设置所述单摆的初始角位移，并在所述单摆的摆动过程中通过所述图像传感器采集所述弧形刻度盘的刻度图像，通过所述陀螺仪采集摆锤重心的角速度数据，同时记录所述图像传感器的图像时间戳和陀螺仪的基准时间；
11.(2)将弧形刻度盘的刻度图像转换为角位移数据，根据所述角位移数据与所述图像传感器的图像时间戳的对应关系拟合角位移函数，根据所述角速度数据与所述陀螺仪的基准时间拟合角速度函数；
12.(3)根据拟合得到的所述角位移函数和角速度函数求取极值，结合所述图像传感器与所述陀螺仪之间的时间关系得到陀螺仪的基准时间与采集时间的偏差。
13.有益效果
14.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明基于普通单摆结构，在约束摆锤和连杆的运动的同时增加刻度盘结构，借助刻度盘实现图像传感器对单摆重心角位移的测量，借助单摆的刚性旋转运动特性实现陀螺仪对单摆重心角速度的测量，利用平面单摆运动中单摆重心处角位移函数和角速度函数的相位差关系，建立图像传感器与陀螺仪之间的时间关系，从而完成图像传感器和陀螺仪的时间同步标定。相比其它纯软件的时间同步标定方法，本发明结合传感器硬件设计、同步标定装置设计和数值估计完成时间同步标定，具有对陀螺仪噪声不敏感、支持传感器数据速率高，标定结果重复精度高(实验精度为10us级)等特点，可基于多次重复测量提高标定结果的准确性。
附图说明
15.图1是本发明的原理示意图；
16.图2是本发明中数据采集模块的结构示意图；
17.图3是本发明中图像传感器和陀螺仪在平面单摆运动中的相位差示意图。
具体实施方式
18.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
19.本发明的实施方式涉及一种图像传感器和陀螺仪的时间同步标定装置，如图1所示，包括：
20.旋转轴1，即平面单摆的旋转中心。旋转轴1是平面单摆标定装置的基准，旋转轴1设计应尽可能减小单摆的摩擦阻力，并约束其三轴平移运动及绕x轴、y轴的旋转运动。
21.连杆2与摆锤3。连杆2与旋转轴1垂直安装，连杆2的结构设计在满足刚性要求的前提下应尽可能降低质量和空气阻力。摆锤3安装在远离旋转轴1的连杆2末端，并提供图像传感器4和惯性测量单元(内含陀螺仪5)的安装固定功能。摆锤3可以设置重心调整质量块，重心调整质量块可以安装在远离旋转轴1的连杆2末端，通过增加质量块的数量可增加单摆重心与旋转中心的距离，同时增加单摆周期。
22.弧形刻度盘6，该刻度盘放置时使得弧形刻度盘6的圆心与单摆的旋转中心重合，该结构是将图像传感器4的图像数据转换为角位移数据的关键。在刻度盘表面可以添加漫反射性能好的材料，消除补光灯在金属刻度盘的强反光。
23.补光灯，本实施方式中采用环形补光灯，并使环形补光灯的中心轴与相机光轴重合，保证相机光源稳定，同时缩短图像传感器的曝光时间，减小运动模糊。
24.同步标定装置的摆动周期是重要的设计参数，周期过小则增加相机成像过程中运动模糊的程度，周期过大则陀螺仪数据的信噪比较低。相机光轴在曝光时间内扫过的刻度盘弧长越长则运动模糊越严重。将相机分别安装在刻度盘外侧和内侧的对比分析可知，当单摆角速度相同且相机曝光时长不变时，相机安装在刻度盘外侧有利于减小相机的运动模糊。
25.数据采集模块，用于记录所述图像传感器和陀螺仪的基准时间，并获取所述摆锤重心的角位移函数和角速度函数。如图2所示，所述数据采集模块包括：图像数据接收单元，用于接收所述图像传感器输出的图像数据信号；角速度数据接收单元，用于接收所述陀螺仪输出的角速度数据信号；计时器单元，用于捕获所述图像传感器输出的图像基准信号以获得图像基准时间，同时捕获所述陀螺仪输出的陀螺仪基准信号以获得陀螺仪基准时间；图像数据时间戳获取单元，用于根据所述图像基准时间和所述图像传感器的时序参数获得以曝光中间时刻对齐的图像时间戳；图像数据输出单元，用于将匹配后的所述图像数据信号与所述图像时间戳输出至所述计算模块；角速度数据输出单元，用于将匹配后的所述陀螺仪基准时间与所述角速度数据信号输出至所述计算模块。本实施方式中将图像传感器和陀螺仪分别接入数据采集模块，数据采集模块在接入传感器数据的同时，利用高精度计时单元分别捕获图像传感器和陀螺仪的基准信号并记录为图像基准时间和陀螺仪基准时间。图像传感器结合图像基准时间和严格的内部时序信息获得以曝光中间时刻对齐的图像时间戳。
26.本实施方式在数据采集时，利用图像传感器和陀螺仪分别获取摆锤重心c点的角位移和角速度数据。当单摆静止时，摆锤重心c点在ox轴上，此时图像传感器光轴对应的刻
度记为θ0。当单摆摆动时，由于刻度盘圆心与平面单摆的旋转中心重合，则oc相对ox轴的角位移θ
c
与图像传感器(简称cam)光轴对应的刻度值θ
cam
在摆锤的运动过程中保持不变。则摆锤重心c点的角位移可表示为：
27.θ
c
＝θ
cam
‑
θ0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
28.假如陀螺仪的安装位置为i点，由于陀螺仪和摆锤刚性连接且以o为中心做旋转运动，则i点和c点的角速度相同，即：
29.ω
c
＝ω
i
＝ω
imu
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
30.式中，ω
c
为摆锤重心c点的角速度，ω
i
为i点的角速度，ω
imu
为陀螺仪测得的角速度。至此，通过图像传感器和陀螺仪分别获得了摆锤重心c点的角位移数据和角速度数据，基于该数据可以得到角位移函数和角速度函数。
31.计算模块，用于根据所述角位移数据与所述图像传感器的基准时间的对应关系拟合角位移函数，根据所述角速度数据与所述陀螺仪的基准时间拟合角速度函数，并基于拟合函数及相位差关系建立所述图像传感器与所述陀螺仪之间的时间关系。
32.其中，函数拟合是指角位移函数和角速度函数在弱阻尼振动中的关系并建立拟合方程。
33.当运动速度不大时，在空气中运动的物体所受到的阻力可忽略压力项并以粘性项表示，粘性阻力f的方向与运动物体的速度相反且大小与速率成正比：
[0034][0035]
式中，γ为阻力系数，v
c
为摆锤的线速度，l为单摆的长度，忽略轴承摩擦力并对摆锤重心c点受力分析可得：
[0036]
ma
t
＝
‑
mgsinθ
c
f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0037]
式中，m为摆锤的质量，a
t
为摆锤的切向加速度，g为重力加速度，f为粘性阻力，θ
c
为角位移。当θ
c
较小时，θ
c
≈sinθ
c
，由牛顿第二定律得物理的运动微分方程：
[0038][0039]
令则上式可表示为：
[0040][0041]
式中，ω0为单摆阻尼为0时的固有角频率，δ为阻尼系数。当时为弱阻尼振动，则微分方程的解为：
[0042][0043]
式中，θ
m
为初始摆幅，为初始相位角，对上式求导，得：
[0044][0045]
当|δ|＜＜|ω0|时忽略微小项，上式可以写成：
[0046][0047]
从上式可知，摆锤重心c的角位移方程和角速度方程具有相同的角频率，但相位上相差四分之一周期。在单个周期内，重心的角位移方程和角速度方程可利用下式拟合：
[0048]
f(t)≈p1sin(p2t p3) p4ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0049]
式中，f(t)为角位移和角速度函数的通用表示，p1、p2、p3、p4分别为幅值、角频率、初相位、偏移等参数。值得一提的是，本实施方式中在单个周期内，重心的角位移方程和角速度方程也可利用f(t)＝p1cos(p2t p3) p4进行拟合，各个参数的含义同上。
[0050]
图像传感器数据与角速度数据的时间偏差分析与计算具体如下：
[0051]
平面单摆结构中，摆锤重心c点理想的角位移函数和角速度函数基于传感器采集时间定义的时间戳。理想角速度函数和理想角位移函数相邻极大(极小)值点对应时间分别记为t1和t3，则有t1＝t3‑
t/4，其中t表示拟合函数的周期，如图3所示。在图像传感器获得图像时间戳的前提下，理想角位移函数可以使用拟合角位移函数表示。
[0052]
真实传感器对物理量的测量存在延时输出情况。陀螺仪实际测量值的拟合角速度函数对应的极大值或极小值的时间为t2，则陀螺仪的中断输出延时δt可表示为：
[0053]
δt＝t2‑
t1＝t2‑
t3 t/4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0054]
至此，则完成了基于单个摆动周期数据的陀螺仪的中断输出延时标定，但单周期数据的噪声可能对标定结果产生较大的影响，适当的数据预处理对于提高数据的准确度是必要的，例如可以通过多个单摆周期测得的数据求取平均值的方式来降低噪声。
[0055]
下面通过一个具体的实施例来进一步说明本发明。
[0056]
图像传感器和陀螺仪的标定过程中，图像传感器和惯性测量单元(内含陀螺仪)位于同一块电路板上，图像传感器成像面的行方向记为u轴，列方向记为v轴，陀螺仪的x
i
轴和与y
i
轴分别与图像传感器的u轴和v轴平行。
[0057]
1)准备工作。
[0058]
首先，调整相机镜头视场角或更换小视场角镜头。相机的镜头不影响相机的时序，使用小视场(或长焦距)的镜头有利于提高图像数据的像素角精度。第二，将待标定传感器安装固定于摆捶之上，使相机朝向刻度盘并使其光轴垂直于刻度盘弧面，图像传感器的u轴或陀螺仪的x
i
轴与单摆平面平行。
[0059]
2)数据采集及图像数据向角位移数据的转化。
[0060]
将单摆的初始角位移设置在17
°
左右并释放，在单摆左右摆动中，相机采集刻度盘的图片，陀螺仪采集单摆重心c的角速度数据。由于相机视场角小，相机拍摄到的相邻帧区域可近似为平面，基于图像的模板匹配算法，可获得两帧图像之间的列位移δu和行位移δv。相机成像面的u轴与单摆平面平行时，可用δu表示两帧之间的像素位移，则帧间角位移＝常量系数
×
δu，故单摆重心的角位移函数可用δu的累加和表示。单摆重心的角速度函数可直接基于陀螺仪的读数获得。
[0061]
基于实测数据分析，在单摆释放初期，单摆前后摆动较大导致传感器数据不理想；而单摆衰减后期，摆幅过低时陀螺仪数据信噪比降低。这两种情况的传感器数据应作为无效数据在函数拟合前过滤掉。
[0062]
3)角位移函数和角速度函数的拟合。以一个单摆周期为单元，基于最小二乘法和
拟合函数(式10)，分别对角位移
‑
时间戳数据和角速度
‑
输出中断时间数据进行函数拟合，基于函数拟合结果求取极值点，再结合同步标定原理(式11)得到所述图像传感器与所述陀螺仪之间的时间关系，完成单个摆动周期数据的陀螺仪的中断输出延时标定。
[0063]
4)重复第3步，逐个完成单个摆动周期的标定，并去除异常的标定结果，对其余单周期标定结果取均值即为作为一次单摆实验的最终标定结果。