一种图像传感器和加速度计的同步标定装置及方法与流程

1.本发明涉及机器视觉技术领域，特别是涉及一种图像传感器和加速度计的同步标定装置及方法。


背景技术：

2.视觉惯性信息融合的同时定位和建图(slam)方案在鲁棒性方面相比单一传感器方案优势明显。时间同步是实现视觉惯性传感器数据融合的基础要求，现有视觉惯性传感器的时间同步方案有：(1)直接触发同步法适用于具有外部触发功能的传感器。由于基于mems工艺的加速度计往往没有外部触发功能，因此以常用加速度计输出的基准信号(中断信号、就绪信号等)作为触发信号，触发具有外部触发功能的图像传感器完成图像数据采集；(2)补偿触发同步法，该方案考虑了图像的曝光时间，并通过补偿的方式将惯性传感器输出的基准信号和图像传感器的曝光中间时刻对齐；(3)系统时间同步，通过后端主控单元接收到的图像数据和惯性数据的系统时间作为时间戳同步。以上传感器同步方案均未考虑加速度计从采集到输出的时间延时。与视觉惯性传感器同步方案相对应，时间偏差标定方法有：(1)互相关法，该方法仅在时间偏差较小时有效；(2)时间戳的增量时钟同步(ticsync)法，需要各传感器具备独立的时间戳功能，这在大多数应用中不具备条件；(3)时间延迟迭代最近点法(td
‑
icp)，标定精度仅能达到1～2ms，(4)连续时间批量估计法，标定过程易受光照、运动模糊等影响，标定重复精度较差。


技术实现要素：

3.本发明所要解决的技术问题是提供一种图像传感器和加速度计的同步标定装置及方法，能够为加速度计提供精准的时间戳信息，从而为视觉惯性slam应用提供数据保障。
4.本发明解决其技术问题所采用的技术方案是：提供一种图像传感器和加速度计的同步标定装置，包括：托架，置于基座上，用于放置加速度计和图像传感器；复合弹簧机构，一端与所述托架刚性相连，另一端与所述基座上的固定端相连，与所述托架配合形成弹簧振子；平面刻度，水平放置使得所述图像传感器在运动过程中能够获取所述平面刻度的图像；数据采集模块，用于记录所述加速度计的基准时间和所述图像传感器的图像时间戳，同时获取所述托架重心的位移数据和加速度数据，并建立所述位移数据与所述图像传感器的图像时间戳的对应关系以及所述加速度数据与所述加速度计的基准时间的对应关系；计算模块，用于根据所述位移数据与所述图像传感器的图像时间戳的对应关系拟合位移函数，根据所述加速度数据与所述加速度计的基准时间的对应关系拟合加速度函数，并基于拟合函数及相位差关系建立所述图像传感器与所述加速度计之间的时间关系。
5.所述数据采集模块包括：图像数据接收单元，用于接收所述图像传感器输出的图像数据信号；加速度数据接收单元，用于接收所述加速度计输出的加速度数据信号；计时器单元，用于捕获所述图像传感器输出的图像基准信号以获得图像基准时间，同时捕获所述加速度计输出的加速度计基准信号以获得加速度计基准时间；图像数据时间戳获取单元，
用于根据所述图像基准时间和所述图像传感器的时序参数获得以曝光中间时刻对齐的图像时间戳；图像数据输出单元，用于将匹配后的所述图像数据信号与所述图像时间戳输出至所述计算模块；加速度数据输出单元，用于将匹配后的所述加速度计基准时间与所述加速度数据信号输出至所述计算模块。
6.所述计算模块通过f(t)≈p
1 cos(p2t p3) p4或f(t)≈p
1 sin(p2t p3) p4对所述托架重心的所述位移函数和加速度函数进行拟合，其中，f(t)为所述托架重心的角位移和角速度函数的通用表示，p1表示幅值，p2表示角频率，p3表示初相位，p4表示偏移。
7.所述图像传感器与所述加速度计之间的时间关系表示为δt＝t2‑
t1＝t2‑
t3 t/2，其中，δt表示所述加速度计的基准时间与采集时间的偏差，t1表示理想加速度函数的极大值点或极小值点对应的时间，t2表示存在所述加速度计的基准时间与采集时间的偏差δt输出的情况下，所述加速度函数的极大值或极小值对应的时间，t3表示所述位移函数的极大值点或极小值点对应的时间，t表示所述弹簧振子的周期。
8.所述的图像传感器和加速度计的同步标定装置还包括补光灯，所述补光灯为环形补光灯，且中心轴与所述图像传感器的光轴重合。
9.本发明解决其技术问题所采用的技术方案是：还提供一种图像传感器和加速度计的同步标定方法，使用上述图像传感器和加速度计的同步标定装置，包括以下步骤：
10.(1)设置所述弹簧振子的初始位移，并在所述弹簧振子振动过程中通过所述图像传感器采集所述平面刻度的图像，通过所述加速度计采集托架重心的加速度数据，同时记录所述图像传感器的图像时间戳和加速度计的基准时间；
11.(2)将所述平面刻度的图像转换为位移数据，根据所述位移数据与所述图像传感器的图像时间戳的对应关系拟合位移函数，根据所述加速度数据与所述加速度计的基准时间拟合加速度函数；
12.(3)根据拟合得到的所述位移函数和加速度函数求取极值，结合所述图像传感器与所述加速度计之间的时间关系得到加速度计的基准时间与采集时间的偏差。
13.有益效果
14.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明在普通弹簧振子结构中增加平面刻度结构，借助平面刻度实现图像传感器对托架重心位移的测量，借助弹簧振子的直线往复运动特性实现加速度计对托架重心加速度的测量，利用弹簧振子运动中托架重心处位移函数和加速度函数的相位差关系，建立图像传感器与加速度计之间的时间关系，从而完成图像传感器和加速度计的时间同步标定。相比其它纯软件的时间同步标定方法，本发明结合传感器硬件设计、同步标定装置设计和数值估计完成时间同步标定，具有对加速度计噪声不敏感、支持传感器数据速率高，标定结果重复精度高等特点，可基于多次重复测量提高标定结果的准确性。
附图说明
15.图1是本发明的原理示意图；
16.图2是本发明中数据采集模块的结构示意图；
17.图3是本发明中图像传感器和加速度计在弹簧振子运动中的相位差示意图。
具体实施方式
18.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
19.本发明的实施方式涉及一种图像传感器和加速度计的同步标定装置，如图1所示，包括：
20.复合弹簧结构5，用于提供可调的复合弹性系数，结合托架3的质量调整弹簧振子振动周期。同步标定装置的振动周期是重要的设计参数，周期过小则增加图像传感器成像过程中运动模糊的程度，周期过大则加速度计数据的信噪比较低。
21.基座4与托架3，基座4与托架3均水平放置，基座4用于约束托架3沿弹簧伸缩的方向做直线运动。基座4平面可以使用高硬度材料并使表面光滑，托架3可选用轮式结构以降低托架与基座的摩擦力，其上设置有图像传感器1和加速度计2。
22.平面刻度6，平面刻度6同样水平放置，并与图像传感器1的运动方向一致，该结构是将图像数据转换为位移数据的关键，在平面刻度的刻度盘表面还可以添加漫反射性能好的材料，用以消除补光灯在金属刻度盘的强反光。
23.补光灯，本实施方式中采用环形补光灯，并使环形补光灯的中心轴与相机光轴重合，保证相机光源稳定，同时缩短图像传感器的曝光时间，减小运动模糊。
24.数据采集模块，用于记录所述图像传感器和加速度计的基准时间，并获取所述托架重心的位移函数和加速度函数。如图2所示，所述数据采集模块包括：图像数据接收单元，用于接收所述图像传感器输出的图像数据信号；加速度数据接收单元，用于接收所述加速度计输出的加速度数据信号；计时器单元，用于捕获所述图像传感器输出的图像基准信号以获得图像基准时间，同时捕获所述加速度计输出的加速度计基准信号以获得加速度计基准时间；图像数据时间戳获取单元，用于根据所述图像基准时间和所述图像传感器的时序参数获得以曝光中间时刻对齐的图像时间戳；图像数据输出单元，用于将匹配后的所述图像数据信号与所述图像时间戳输出至所述计算模块；加速度数据输出单元，用于将匹配后的所述加速度计基准时间与所述加速度数据信号输出至所述计算模块。本实施方式中将图像传感器和加速度计分别接入数据采集模块，数据采集模块在接入传感器数据的同时，利用高精度计时单元分别捕获图像传感器和加速度计的基准信号并记录为图像基准时间和加速度计基准时间。图像传感器结合图像基准时间和严格的内部时序信息获得以曝光中间时刻对齐的图像时间戳。
25.本实施方式在数据采集时，利用图像传感器和加速度计分别获取托架重心c的位移s
c
和加速度a
c
。当弹簧振子静止时，图像传感器的光轴对应的刻度记为d0，该点为弹簧振子的振动中心。当弹簧振子运动时，图像传感器的光轴对应的刻度值为d
cam
，则托架的位移可表示为：
26.s
c
＝d
cam
‑
d0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
27.假如加速度计的安装位置为a点，加速度计和托架刚性连接且沿导轨做直线运动，则a点和托架重心c的加速度相同，即：
28.a
c
＝a
a
＝a
acc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
29.式中，a
c
为托架重心c的加速度，a
a
为a点的加速度，a
acc
为加速度计测得的加速度。至此，通过图像传感器和加速度计分别获得了托架重心c的位移数据和加速度数据。基于该数据可以得到位移函数和加速度函数。
30.计算模块，用于根据所述位移数据与所述图像传感器的基准时间的对应关系拟合位移函数，根据所述加速度数据与所述加速度计的基准时间的对应关系拟合加速度函数，并基于拟合函数及相位差关系建立所述图像传感器与所述加速度计之间的时间关系。
31.其中，函数拟合是指位移函数和加速度函数在弱阻尼振动中的关系并建立拟合方程。
32.当忽略托架和基座的摩擦力且托架运动速度不大时，托架在空气中运动的物体所受到的阻力可忽略压力项并以粘性项表示，粘性阻力f的方向与运动物体的速度相反且大小与速率成正比：
[0033][0034]
式中，γ为阻力系数，v
c
为物体运动速度即托架重心c的运动速度。忽略轴承摩擦力并对托架重心c进行受力分析可得：
[0035]
ma
c
＝
‑
ks
c
f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0036]
式中，m为托架的质量，a
c
为托架重心c的加速度，s
c
为托架位移，k为弹簧的弹性系数，f为粘性阻力。由牛顿第二定律得物理的运动微分方程：
[0037][0038]
令则上式可表示为：
[0039][0040]
式中，ω0为弹簧振子阻尼为0时的固有角频率，δ为阻尼系数。当δ2＜ω
02
时为弱阻尼振动，则微分方程的解为：
[0041][0042]
式中，s
m
为初始振幅，为初始相位角，令对上式二次求导，得：
[0043][0044]
当|δ|＜＜|ω0|时，上式可以写成：
[0045][0046]
从上式可知，托架重心c的位移方程和加速度方程具有相同的角频率，但相位上相差1/2周期。在单个周期内，重心的角位移方程和角速度方程可利用下式拟合：
[0047]
f(t)≈p1cos(p2t p3) p4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0048]
式中，f(t)为所述托架重心的角位移和角速度函数的通用表示，p1、p2、p3、p4分别为幅值、角频率、初相位、偏移等参数。值得一提的是，本实施方式中在单个周期内，重心的位移方程和加速度方程也可利用f(t)＝p1sin(p2t p3) p4进行拟合，各个参数的含义同上。
[0049]
图像传感器数据与加速度计数据的时间偏差分析与计算具体如下：
[0050]
弹簧振子标定装置中，托架重心c理想的位移函数和加速度函数基于传感器采集时间定义的时间戳。理想加速度函数和理想位移函数相邻极大(极小)值点对应时间分别记为t1和t3，则有t1＝t3‑
t/2，其中，t表示拟合函数的周期，如图3所示。同一周期内，理想加速度函数的极大(小)值与理想位移函数的极小(大)值同时发生。在图像传感器获得图像时间戳的前提下，理想位移函数可以使用拟合位移函数表示。
[0051]
真实传感器对物理量的测量存在延时输出情况。加速度计实际测量值的拟合加速度函数对应的极大值或极小值的时间为t2，则加速度计的中断输出延时δt可表示为：
[0052]
δt＝t2‑
t1＝t2‑
t3 t/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0053]
至此，则完成了基于单个振动周期数据的加速度计的中断输出延时标定，但单周期数据的噪声可能对标定结果产生较大的影响，适当的数据预处理对于提高数据的准确度是必要的，例如可以通过对多个弹簧振子周期测得的数据求取平均值的方式来降低噪声。
[0054]
下面通过一个具体的实施例来进一步说明本发明。
[0055]
图像传感器和加速度计的标定过程中，图像传感器和惯性测量单元(内含加速度计)位于同一块电路板上，图像传感器成像面的行方向记为u轴，列方向记为v轴，加速度计的x
i
轴和与y
i
轴分别与图像传感器的u轴和v轴平行。
[0056]
1)准备工作。
[0057]
首先，调整相机镜头视场角或更换小视场角镜头。相机的镜头不影响相机的时序，使用小视场角(或长焦距)的镜头有利于提高图像数据的像素角精度。第二，将待标定传感器固定于托架之上，使相机光轴朝向平面刻度并垂直于刻度面，图像传感器的u轴或加速度计的x
i
轴与弹簧振子的运动轨迹平行。
[0058]
2)数据采集及图像数据向位移数据的转化。
[0059]
通过拉伸或压缩复合弹簧，设置弹簧振子的初始位移。在弹簧振子振动过程中，相机采集平面刻度的图片，加速度计采集托架重心c的加速度数据。基于图像的模板匹配算法，可获得两帧图像之间的列位移δu和行位移δv。相机成像面的u轴与弹簧振子的运动轨迹平行时，可用δu表示两帧之间的像素位移，则帧间位移＝常量系数
×
δu，故托架重心的位移函数可用δu的累加和表示。托架重心的加速度函数可直接基于加速度计的读数获得。
[0060]
随着弹簧振子的衰减，振幅过低时加速度计数据信噪比降低，此时的传感器数据应作为无效数据在函数拟合前过滤掉。
[0061]
3)位移函数和加速度函数的拟合。以一个振动周期为单元，基于最小二乘法和拟合函数(式10)，分别对位移
‑
时间戳数据和加速度
‑
输出中断时间数据进行函数拟合，基于函数拟合结果求取极值点，再结合同步标定原理(式11)得到所述图像传感器与所述加速度计之间的时间关系，完成单个振动周期数据的加速度计的中断输出延时标定。
[0062]
4)重复第3步，逐个完成单个振动周期的标定，并去除异常的标定结果，对其余单周期标定结果取均值即为作为一次振动实验的最终标定结果。
[0063]
不难发现，本发明在普通弹簧振子结构中增加平面刻度结构，借助平面刻度实现图像传感器对托架重心位移的测量，借助弹簧振子的直线往复运动特性实现加速度计对托架重心加速度的测量，利用弹簧振子运动中托架重心处位移函数和加速度函数的相位差关系，建立图像传感器与加速度计之间的时间关系，从而完成图像传感器和加速度计的时间
同步标定。相比其它纯软件的时间同步标定方法，本发明结合传感器硬件设计、同步标定装置设计和数值估计完成时间同步标定，具有对加速度计噪声不敏感、支持传感器数据速率高，标定结果重复精度高等特点，可基于多次重复测量提高标定结果的准确性。