一种基于统计分析的毫米波雷达与视觉相机动态标定方法与流程

1.本发明属于自动驾驶领域，特别涉及一种基于统计分析的毫米波雷达与视觉相机动态标定方法。


背景技术：

2.随着自动驾驶汽车的研究不断深入和产业化不断加快，目前智能车辆的控制算法已经比较成熟，从而提高了对智能汽车周围行人、车辆等环境感知数据输入的要求。解决途径之一是增加车辆传感器，这样就不得不进行传感器间的标定，将传感器数据进行匹配，为后续的识别和预测算法提供可靠的数据支撑。
3.对于毫米波雷达和视觉相机来说，其标定方法分为两种，一是利用坐标转化矩阵，将将视觉相机和雷达各自所在的坐标系转换到同一个基坐标系，在调整两者的相对位置；另一种方法是利用坐标转化矩阵，将雷达坐标系转换到视觉相机坐标系，在调整毫米波雷达相对视觉相机的相对位置。两种方法都对毫米波雷达和相机的安装精度和两者的位置测量精度要求很高，而且精度越高，转换矩阵就越容易收敛，就越容易标定毫米波雷达和视觉相机的数据；相反，安装精度越低，转换矩阵的参数越不容易收敛，就越不容易标定毫米波雷达和视觉相机的数据。所以，安装、测量精度和标定效果相矛盾，而高精度伴随高成本，这就给毫米波雷达与视觉相机的标定工作带来两难选择。


技术实现要素：

4.本发明的目的在于利用动态标定物，采集毫米波雷达和视觉相机投影动态数据，采用统计分析的方法分步骤确定旋转角和位移，在不需要测量两者间相对位置的情况下，快速完成标定，并保证标定质量。
5.为实现上述目的，本发明提供了基于统计分析的毫米波雷达与视觉相机动态标定方法，包括：
6.建立毫米波雷达和视觉相机的坐标系，确定旋转角、位移量和动态标定物移动位置；
7.根据所述旋转角、位移量和动态标定物移动位置采集毫米波雷达和视觉相机投影动态数据，采用统计分析的方法确定毫米波雷达相对视觉相机的旋转角和位移量。
8.可选的，建立毫米波雷达和视觉相机自身坐标系，确定旋转角-位移和标定物位置，包括：
9.分别以待标定平台上的毫米波雷达和视觉相机的各自中心位置为原点建立ocxcyczc和orxryrzr坐标系；
10.将orxryrzr坐标系通过旋转和位移转换到ocxcyczc坐标系，确定毫米波雷达相对视觉相机的三个旋转角为β-π和γ，位移为x，y和z；
11.调整标定物初始位置距地面的高度等于毫米波雷达距地面的高度，且其动态移动
过程中与ocxczc平面平行。
12.可选的，标定物沿oryr方向从(xa,ya)至(xa,yb)往复移动，采集其特征点的位置信息，确定γ，包括：
13.将标定物沿oryr方向从(xa,ya)至(xa,yb)往复移动，并在高度位于初始位置，采集标定物在雷达坐标系下的位置数据(xr,yr)；
14.对毫米波雷达位置数据进行线性拟合，得到其拟合方程其中为拟合方程斜率；
15.将拟合方程斜率转换为所求旋转角γ，则此时
16.取n次不同标定物的始末位置，获得第n次旋转角γn，取γn的均值作为所求旋转角最终结果
17.可选的，移动标定物到初始位置，调节其特征点到地面距离，确定α，包括：
18.将标定物固定在l＝l
α1
处，改变标定物高度，从初始位置h处，以δh为步长向上或向下移动；
19.记第一次检测到标定物信号时，标定物到地面的距离为h
α0
，记第一次丢失标定物信号时，标定物到地面的距离为h
α1
；
20.将标定物、地面和雷达间的相对位置关系转换为所求旋转角α，则此时
21.取n次不同标定物的初始位置，获得第n次旋转角αn，取αn的均值作为所求旋转角最终结果
22.可选的，移动标定物到初始位置，调节其特征点到地面距离，确定β，包括：
23.将标定物固定在(x
β1
,l
β1
)处，改变标定物高度的初始位置h，调节标定物到地面的距离，从h处以δh为步长向上或向下移动；
24.记第一次测得标定物信号时，标定物到地面的距离为h
β0
，记第一次丢失标定物信号时，标定物到地面的距离为h
β1
；
25.将标定物、地面和雷达间的相对位置关系转换为所求旋转角β，则此时
26.在l
β
＝l
β1
时，取i次不同x
β
，获得第i次旋转角βi，取βi的均值
27.改变l
β1
，取n次不同l
β
，获得第n次旋转角β
in
，取β
in
的均值作为旋转角最终结果
28.可选的，移动标定物到初始位置，采集像素坐标系下其特征点沿oiyi方向投影和到毫米波雷达的距离，确定z，包括：
29.将标定物固定在l＝lz处，记录此时标定物上特征点在像素平面上沿oiyi方向投影y
i0
和毫米波雷达的距离为d
z0
；
30.改变标定物位置l＝l
(z 1)
，获得y
i1
和d
z1
；
31.将标定物、地面和雷达间的相对位置关系转换为所求位移量z，则此时
32.取n次不同标定物的初始位置，重复以上步骤获得第n次位移量zn，取zn的均值作为所求位移量的最终结果
33.可选的，移动标定物到初始位置，采集像素坐标系下其特征点和整体像素沿oixi方向的投影，确定x，包括：
34.将标定物固定在l＝lz处，记录此时标定物上特征点在像素平面上沿oiyi方向投影y
i0
和毫米波雷达的距离为d
z0
；
35.改变标定物位置l＝l
(z 1)
，获得y
i1
和d
z1
；
36.将标定物、地面和雷达间的相对位置关系转换为所求位移量z，则此时
37.取n次不同标定物的初始位置，重复以上步骤获得第n次位移量zn，取zn的均值作为所求位移量的最终结果
38.将标定物固定在l＝l
x
处，将标定物整体轮廓通过n[xc,yc,zc]
t
，特征点通过n(m l)[xr,yr,zr]
t
同时投影到像素坐标系，采集毫米波雷达沿oixi方向的投影x1；
[0039]
调整位移量δx1，使x1位于标定物的像素投影oixi方向中心，则此时所求位移量x＝δx1；
[0040]
取n次不同标定物的初始位置，重复以上步骤获得第n次位移量xn，取xn的均值作为所求位移量的最终结果
[0041]
n为视觉性相机内参矩阵，m为旋转矩阵，
l为位移向量，l＝(x,y,z)
t
。
[0042]
可选的，移动标定物到初始位置，采集像素坐标系下其特征点和整体像素沿oiyi方向的投影，确定y，包括：
[0043]
将标定物固定在l＝ly处，将标定物整体轮廓通过n[xc,yc,zc]
t
，特征点通过n(m l)[xr,yr,zr]
t
同时投影投影到像素坐标系，采集毫米波雷达沿oiyi方向的投影y1；
[0044]
调整位移量δy1，使y1位于标定物的像素投影oiyi方向中心，则此时所求位移量y＝δy1；
[0045]
取n次不同标定物的初始位置，重复以上步骤获得第n次位移量yn，取yn的均值作为所求位移量的最终结果
[0046]
本发明技术效果：本发明一方面不需要精确的测量毫米波雷达和视觉相机的相对位置关系，不需要精密的距离和角度测量仪器，减少测量成本和标定难度；另一方面，采用统计分析的方法，在不同坐标系下，将旋转矩阵和位移向量的参数彼此间解耦并分别确定，与同时对多参数寻优的方法相比，简化了确定参数的运算过程，且收敛性更高。
附图说明
[0047]
构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0048]
图1为本发明实施例一基于统计分析的毫米波雷达与视觉相机动态标定方法的流程示意图；
[0049]
图2为本发明实施例一毫米波雷达和视觉摄像头坐标系示意图；
[0050]
图3为本发明实施例一待标定平台和标定物的位置的示意图；
[0051]
图4为本发明实施例一标定物在像素平面的投影图；
[0052]
其中，1、待标定平台；2、毫米波雷达；3、视觉相机；4、标定物。
具体实施方式
[0053]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0054]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0055]
如图1所示，本实施例中基于统计分析的毫米波雷达与视觉相机动态标定方法，包括：
[0056]
建立毫米波雷达和视觉相机的坐标系，确定旋转角、位移量和动态标定物移动位置；
[0057]
根据所述旋转角、位移量和动态标定物移动位置采集毫米波雷达和视觉相机投影动态数据，采用统计分析的方法确定毫米波雷达相对视觉相机的旋转角和位移量。
[0058]
步骤1、建立毫米波雷达和视觉相机自身坐标系，确定旋转角-位移和标定物位置；
[0059]
步骤2、标定物沿oryr方向从(xa,ya)至(xa,yb)往复移动，采集其特征点的位置信息，确定γ；
[0060]
步骤3、移动标定物到初始位置，调节其特征点到地面距离，确定α；
[0061]
步骤4、移动标定物到初始位置，调节其特征点到地面距离，确定β；
[0062]
步骤5、移动标定物到初始位置，采集像素坐标系下其特征点沿oiyi方向投影和到毫米波雷达的距离，确定z；
[0063]
步骤6、移动标定物到初始位置，采集像素坐标系下其特征点和整体像素沿oixi方向的投影，确定x；
[0064]
步骤7、移动标定物到初始位置，采集像素坐标系下其特征点和整体像素沿oiyi方向的投影，确定y。
[0065]
步骤1包括：
[0066]
步骤1.1：分别以待标定平台上的毫米波雷达和视觉相机的各自中心位置为原点建立ocxcyczc和orxryrzr坐标系；
[0067]
步骤1.2：将orxryrzr坐标系通过旋转和位移转换到ocxcyczc坐标系，确定毫米波雷达相对视觉相机的三个旋转角为β-π和γ，位移为x，y和z。
[0068]
步骤1.3：调整标定物初始位置距地面的高度等于毫米波雷达距地面的高度，且其动态移动过程中与ocxczc平面平行。
[0069]
步骤2包括：
[0070]
步骤2.1：将标定物沿oryr方向从(xa,ya)至(xa,yb)往复移动，并在高度位于初始位置，采集标定物在雷达坐标系下的位置数据(xr,yr)；
[0071]
步骤2.2：对毫米波雷达位置数据进行线性拟合，得到其拟合方程其中为拟合方程斜率；
[0072]
步骤2.3：将拟合方程斜率转换为所求旋转角γ，则此时
[0073]
步骤2.4：取n次不同标定物的始末位置，重复以上步骤获得第n次旋转角γn，取γn的均值作为所求旋转角最终结果
[0074]
步骤3包括：
[0075]
步骤3.1：将标定物固定在l＝l
α1
处，改变标定物高度，从初始位置h处，以δh为步长向上或向下移动；
[0076]
步骤3.2：记第一次检测到标定物信号时，标定物到地面的距离为h
α0
，记第一次丢失标定物信号时，标定物到地面的距离为h
α1
；
[0077]
步骤3.3：将标定物、地面和雷达间的相对位置关系转换为所求旋转角α，则此时
[0078]
步骤3.4：取n次不同标定物的初始位置，重复以上步骤获得第n次旋转角αn，取αn的均值作为所求旋转角最终结果
[0079]
步骤4包括：
[0080]
步骤4.1：将标定物固定在(x
β1
,l
β1
)处，改变标定物高度的初始位置h，调节标定物到地面的距离，从h处以δh为步长向上或向下移动；
[0081]
步骤4.2：记第一次测得标定物信号时，标定物到地面的距离为h
β0
，记第一次丢失标定物信号时，标定物到地面的距离为h
β1
，；
[0082]
步骤4.3：将标定物、地面和雷达间的相对位置关系转换为所求旋转角β，则此时
[0083]
步骤4.4：在l
β
＝l
β1
时，取i次不同x
β
，重复步骤4.1至步骤4.3获得第i次旋转角βi，取βi的均值
[0084]
步骤4.5：改变l
β1
，取n次不同l
β
，重复以上步骤4.1至步骤4.4获得第n次旋转角β
in
，取β
in
的均值作为旋转角最终结果
[0085]
步骤5包括：
[0086]
步骤5.1：将标定物固定在l＝lz处，记录此时标定物上特征点在像素平面上沿oiyi方向投影y
i0
和毫米波雷达的距离为d
z0
；
[0087]
步骤5.2：改变标定物位置l＝l
(z 1)
，按照步骤5.1获得y
i1
和d
z1
；
[0088]
步骤5.3：将标定物、地面和雷达间的相对位置关系转换为所求位移量z，则此时
[0089]
步骤5.4：取n次不同标定物的初始位置，重复以上步骤获得第n次位移量zn，取zn的均值作为所求位移量的最终结果
[0090]
步骤6包括：
[0091]
步骤6.1：将标定物固定在l＝l
x
处，将标定物整体轮廓通过n[xc,yc,zc]
t
，特征点通过n(m l)[xr,yr,zr]
t
同时投影到像素坐标系，采集毫米波雷达沿oixi方向的投影x1；
[0092]
步骤6.2：调整位移量δx1，使x1位于标定物的像素投影oixi方向中心，则此时所求位移量x＝δx1；
[0093]
步骤6.3：取n次不同标定物的初始位置，重复以上步骤获得第n次位移量xn，取xn的
均值作为所求位移量的最终结果
[0094]
n为视觉性相机内参矩阵，m为旋转矩阵，l为位移向量，l＝(x,y,z)
t
。
[0095]
步骤7包括：
[0096]
步骤7.1：将标定物固定在l＝ly处，将标定物整体轮廓通过n[xc,yc,zc]
t
，特征点通过n(m l)[xr,yr,zr]
t
同时投影投影到像素坐标系，采集毫米波雷达沿oiyi方向的投影y1；
[0097]
步骤7.2：调整位移量δy1，使y1位于标定物的像素投影oiyi方向中心，则此时所求位移量y＝δy1；
[0098]
步骤7.3：取n次不同标定物的初始位置，重复以上步骤获得第n次位移量yn，取yn的均值作为所求位移量的最终结果
[0099]
如图2所示，其中oczc和oryr指向待标定运动平台正前方，ocyc和oryc指向待标定运动平台正上方，ocxc指向待标定运动平台正右方，ocxr指向待标定运动平台正左方。α,β,γ分别为绕轴orxr，oryr，orzr的旋转角，x,y,z分别为沿轴orxr，oryr，orzr的位移量。
[0100]
如图3所示，l指标定物距毫米波雷达的距离，a，b位置的横坐标一致，纵坐标不同；所谓的的标定物特征点需反应标定物到毫米波雷达的位置信息。
[0101]
如图4所示，标定物沿oczc方向移动，其在视觉相机的像素平面oiyi轴上的投影和到视觉相机的距离的比值为定值，利用标定物在不同位置的在像素平面的投影可以确定位移量z。
[0102]
本发明一方面不需要精确的测量毫米波雷达和视觉相机的相对位置关系，不需要精密的距离和角度测量仪器，减少测量成本和标定难度；另一方面，采用统计分析的方法，在不同坐标系下，将旋转矩阵和位移向量的参数彼此间解耦并分别确定，与同时对多参数寻优的方法相比，简化了确定参数的运算过程，且收敛性更高。
[0103]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。