一种毫米波雷达与可见光传感器的数据标定方法

1.本发明涉及一种毫米波雷达与可见光传感器数据标定方法，特别是联合单应性变换和数据关联算法对毫米波雷达与可见光传感器进行数据标定的方法。


背景技术：

2.目前，高级辅助驾驶系统(adas)主要采用毫米波雷达与可见光传感器进行环境感知。其中毫米波雷达具有远距离探测、全天候工作、车速测量等能力，成本低，并且不受天气和光线条件影响，在雨雪、烟雾等恶劣环境下优势显著。但其目标识别能力差，分辨率低。而可见光传感器的目标识别能力强，可以识别车道线和交通指示牌，但易受环境、天气影响，尤其大雾、雨雪天气，其感知能力显著降低。因此，通过将毫米波雷达与可见光传感器进行数据融合，进行优势互补，才能更准确的感知车辆周围环境，提高adas系统的准确性和鲁棒性。由于毫米波雷达与可见光传感器的安装位置不同，为了使雷达与可见光传感器采集到的信息在空间位置上一致，必须对两种传感器进行数据标定，以确保两种传感器获得的数据有一个统一的参照标准，并能互相转换。


技术实现要素：

3.本发明的目的是提供一种简单易行、准确度高的毫米波雷达与可见光传感器数据标定方法，以获得两种传感器的一个统一参考标准，能准确地将毫米波雷达获取的目标位置信息标定到可见光传感器图像上。
4.为了解决上述技术问题，本发明提出一种联合单应性变换和数据关联的毫米波雷达与可见光传感器数据标定方法。所述技术方案如下：
5.第一方面，提供了一种毫米波雷达与可见光传感器的数据标定方法，所述方法包括：在标定场中放置六块金属面板；
6.将毫米波雷达与可见光传感器同时获取所述标定场中所述金属面板的所述毫米波雷达的数据与所述可见光传感器的图像，获得六组所述毫米波雷达与所述可见光传感器对齐数据集(xr,yr)与(u,v)；
7.将得到的六组所述对齐数据集(xr,yr)与(u,v)，计算出所述毫米波雷达的扫描平面坐标系与所述可见光传感器图像的平面坐标系之间转换的单应性矩阵h；
8.将所述单应性矩阵h通过单应性变换将所述毫米波雷达的目标转换到所述可见光传感器的图像上；
9.所述可见光传感器通过目标检测算法得到所述可见光传感器目标位置信息，采用最近邻算法对所述毫米波雷达的目标与所述可见光传感器的目标进行匹配及多目标的数据关联；
10.根据关联匹配结果，确定所述毫米波雷达与所述可见光传感器的数据标定。
11.进一步的，每一块所述金属面板的尺寸为30mm*30mm。
12.进一步的，所述单应性矩阵h为两传感器数据之间的空间坐标变换参数矩阵，h＝
[h
′
1 h'
2 h
′3]'。
[0013]
进一步的，所述毫米波雷达与所述可见光传感器的相似度量方法为通过计算目标间的欧式距离确定。
[0014]
第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令被电子设备内的处理器执行时实现如上中任一所述的毫米波雷达与可见光传感器的数据标定方法。
[0015]
第三方面，提供一种终端设备，所述终端设备包括：
[0016]
存储器和处理器；
[0017]
所述存储器中存储有至少一条程序指令；
[0018]
所述处理器，通过加载并执行所述至少一条程序指令以实现如上中任一所述的毫米波雷达与可见光传感器的数据标定方法。
[0019]
本发明实施例提供的技术方案带来的有益效果是：
[0020]
本发明的毫米波雷达与可见光传感器的数据标定方法，提供一种简单易行、准确度高的毫米波雷达与可见光传感器数据标定方法，以获得两种传感器的一个统一参考标准，能准确地将毫米波雷达获取的目标位置信息标定到可见光传感器图像上。本发明的毫米波雷达与可见光传感器的数据标定方法，避免了繁琐的传感器内外参数的求取，标定效率高，并且提高了标定的精度，能够得到准确、稳定的标定结果。
附图说明
[0021]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]
图1是毫米波雷达与可见光传感器的数据采集平台及其安装位置示意图；
[0023]
图2是毫米波雷达坐标系(xr,yr,zr)、可见光传感器坐标系(xc,yc,zc)、毫米波雷达扫描平面坐标系(xr,yr)、可见光传感器图像平面坐标系(u,v)之间的转换关系示意图，其中与表示目标物体与毫米波雷达之间的径向距离和方位角；
[0024]
图3是可见光传感器获取的金属面板图像及毫米波雷达获取的金属面板位置距离数据图；
[0025]
图4是通过单应性变换将毫米波雷达目标投射到可见光传感器图像中自然场景下测试示意图；
[0026]
图5是联合了单应性变换和数据关联算法的毫米波雷达与可见光传感器标定结果示意图。
具体实施方式
[0027]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0028]
请参阅图1-图5，本发明的一个实施例提供了一种毫米波雷达与可见光传感器的数据标定方法，该毫米波雷达与可见光传感器的数据标定方法包括：在标定场中放置六块
金属面板，每一块所述金属面板的尺寸为30mm*30mm，利用毫米波雷达与可见光传感器同时采集数据，其中毫米波雷达与可见光传感器数据采集平台和传感器安装位置如图1所示；
[0029]
将毫米波雷达与可见光传感器同时获取所述标定场中所述金属面板的所述毫米波雷达的数据与所述可见光传感器的图像，获得六组所述毫米波雷达与所述可见光传感器对齐数据集(xr,yr)与(u,v)；具体的，根据传感器安装位置，建立两传感器之间各坐标系的转换关系，如图2所示,其中(xc,yc,zc)、(xr,yr,zr)分别表示可见光传感器坐标系和毫米波雷达坐标系，(xr,yr)、(u,v)分别表示毫米波雷达扫描平面坐标系和可见光传感器图像平面坐标系，r和α表示目标物体与毫米波雷达之间的径向距离和方位角，由于毫米波雷达采集的数据信息是建立在极坐标系下的，通过三角函数式将其转换到笛卡尔坐标系下，转换公式如下所示：在标定场中，可见光传感器获取的金属面板图像及毫米波雷达获取的金属面板位置距离数据如图3所示。
[0030]
将得到的六组所述对齐数据集(xr,yr)与(u,v)，计算出所述毫米波雷达的扫描平面坐标系与所述可见光传感器图像的平面坐标系之间转换的单应性矩阵 h，即，两传感器数据之间的空间坐标变换参数矩阵，h＝[h
′
1 h'
2 h
′3]'，计算公式如下所示；令hi＝[h
i1 h
i2 h
i3
]'，u＝[u
1 u
2 l un]'，v＝[v
1 v
2 l vn]'，in×1＝[1 1 l 1]'，其中n为毫米波雷达与可见光传感器采集目标点对齐数据，此处n＝6；
[0031]
将所述单应性矩阵h通过单应性变换将所述毫米波雷达的目标转换到所述可见光传感器的图像上，转换公式如下所示：
[0032][0033]
在自然场景中测试效果如图4所示，图中黑色圆点为投射的毫米波雷达目标点；
[0034]
所述可见光传感器通过目标检测算法得到所述可见光传感器目标位置信息，采用最近邻算法对所述毫米波雷达的目标与所述可见光传感器的目标进行匹配及多目标的数据关联；
[0035]
具体的，所述毫米波雷达与所述可见光传感器的相似度量方法为通过计算目标间的欧式距离确定。利用可见光传感器目标检测算法-yolov4回归得到可见光传感器目标位置信息，采用最近邻算法对毫米波雷达与可见光传感器目标进行匹配及多目标的数据关联，最近邻数据关联示意图如图5所示，其中c1、c2 表示可见光传感器目标，r1、r2、r3表示
通过单应性变换投射到可见光传感器图像上的毫米波雷达目标，其关联流程如下：
[0036]
(1)建立关联门，确定关联门限：椭圆关联门。
[0037]
(2)门限过滤：设置边界条件，将r3过滤掉。
[0038]
(3)确定相似性度量方法：欧氏距离，计算公式如下所示：
[0039][0040]
(4)建立关联矩阵:
[0041]
(5)确定关联判定准则：代价值最小，形成关联对
[0042]
(6)形成关联对：c1→
r1,c2→
r2[0043]
根据关联匹配结果，完成毫米波雷达与可见光传感器的精确标定，标定结果如图5所示。
[0044]
本发明一个实施例还提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令被电子设备内的处理器执行时实现如上中任一所述的毫米波雷达与可见光传感器的数据标定方法。
[0045]
本发明一个实施例还提供的提供一种终端设备，所述终端设备包括存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现如上中任一所述的毫米波雷达与可见光传感器的数据标定方法。
[0046]
本发明的毫米波雷达与可见光传感器的数据标定方法，针对毫米波雷达与可见光传感器联合标定的准确性和鲁棒性问题，本文提出一种联合单应性变换与数据关联的毫米波雷达与可见光传感器空间标定方法。首先，应用单应性变换将雷达扫描平面坐标系与可见光传感器图像平面坐标系进行转换，利用求得的单应性矩阵将雷达目标转换到可见光传感器图像中；然后，利用可见光传感器目标检测算法-yolov4回归得到可见光传感器目标的位置信息；最后，采用最近邻算法，将可见光传感器目标与雷达目标进行匹配和多目标数据关联，根据关联匹配结果，完成毫米波雷达与可见光传感器的精确标定。通过真实传感器数据的实验结果表明，本发明算法不仅避免了繁琐的传感器内外参数的求取，且有效的提高了在遮挡和多目标场景下雷达与可见光传感器标定的精度。本发明的优点是：避免了繁琐的传感器内外参数的求取，标定效率高，并且提高了标定的精度，能够得到准确、稳定的标定结果。
[0047]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0048]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。