多传感数据融合方法、装置、计算机设备和存储介质与流程

1.本公开实施例涉及道路交通数据采集技术领域，特别是涉及一种多传感数据融合方法、装置、计算机设备和存储介质。


背景技术：

2.随着智能交通行业的快速发展，基于道路交通数据采集进行智能目标检测是本领域的一个重要研究方向。
3.目前，相机对目标的纹理、颜色信息获取更完备，在类别判定、颜色定义上更充分，但缺乏深度定位信息，且受光照影响较大；激光雷达对目标的位置、尺寸信息更完整，且探测精度高，但检测范围有限，受天气影响严重，抗干扰能力差；毫米波雷达抗干扰能力强，检测范围远，但定位和分类精度相对较差。
4.由于单一传感器对交通场景的检测具有一定局限性，因此，融合多传感器的融合感知系统对提升交通态势的感知更加重要。


技术实现要素：

5.基于此，有必要针对上述单一传感器对交通场景的检测具有局限性的问题，提供一种多传感数据融合方法、装置、计算机设备和存储介质。
6.一种多传感数据融合方法，包括如下步骤：
7.获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
8.对视频进行目标检测，得到视频检测结果；
9.对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
10.对毫米波点云进行目标检测，得到毫米波点云检测结果；
11.将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
12.对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
13.对多类匹配结果进行融合处理，得到多传感数据融合结果。
14.在其中一个实施例中，对多类匹配结果进行融合处理，得到多传感数据融合结果，包括：
15.若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，
第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果；
16.若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果；
17.若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果；
18.若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
19.在其中一个实施例中，该方法还包括：
20.根据目标坐标系的空间位置，将未匹配成功的目标与融合结果同时输出，其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
21.在其中一个实施例中，目标坐标系为图像坐标系，将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果，包括：
22.利用标定参数将激光雷达点云检测结果以及毫米波点云检测结果转换至视频检测结果所在的图像坐标系。
23.在其中一个实施例中，对视频进行目标检测，得到视频检测结果，包括：
24.利用视频检测算法和跟踪算法处理视频得到视频检测结果，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
25.在其中一个实施例中，对激光雷达点云进行目标检测，得到激光雷达点云检测结果，包括：
26.利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
27.在其中一个实施例中，对毫米波点云进行目标检测，得到毫米波点云检测结果；包括：
28.利用数字波束形成dbf算法以及dsp算法处理毫米波点云，得到目标的位置、速度以及航向角。
29.在其中一个实施例中，对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，包括：
30.获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框；
31.根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比；
32.根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度；
33.根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
34.一种多传感数据融合装置，该装置包括：
35.获取模块，用于获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
36.第一目标检测模块，用于对视频进行目标检测，得到视频检测结果；
37.第二目标检测模块，用于对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
38.第三目标检测模块，用于对毫米波点云进行目标检测，得到毫米波点云检测结果；
39.空间同步模块，用于将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
40.匹配模块，用于对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
41.融合模块，用于对多类匹配结果进行融合处理，得到多传感数据融合结果。
42.一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：
43.获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
44.对视频进行目标检测，得到视频检测结果；
45.对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
46.对毫米波点云进行目标检测，得到毫米波点云检测结果；
47.将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
48.对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
49.对多类匹配结果进行融合处理，得到多传感数据融合结果。
50.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
51.获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
52.对视频进行目标检测，得到视频检测结果；
53.对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
54.对毫米波点云进行目标检测，得到毫米波点云检测结果；
55.将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
56.对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
57.对多类匹配结果进行融合处理，得到多传感数据融合结果。
58.本技术实施例提供的技术方案带来的有益效果至少包括：
59.上述多传感数据融合方法、装置、计算机设备和存储介质。将通过相机、激光雷达以及毫米波雷达获取的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，然后对多类匹配结果进行融合处理，得到多传感数据融合结果。该多传感数据融合结果包含多种类型，因此其在发挥多源传感器融合结果具有更丰富特征的前提下，更加灵活的发挥各个传感器的优势，相对于传统的多传感数据融合，本实施例的方案可以增加多传感器的数据利用率，增强了检测区域的环境感知。
附图说明
60.图1为本技术实施例提供的多传感数据融合方法的实施环境的示意图；
61.图2为本技术实施例提供的一种多传感器的覆盖范围的示意图；
62.图3为本技术实施例提供的一种相机畸变示意图；
63.图4为本技术实施例提供的一种多传感数据融合方法的流程图；
64.图5为本技术实施例提供的一种进行目标匹配的方法的流程图；
65.图6为本技术实施例提供的一种进行融合处理的方法的流程图；
66.图7为本技术实施例提供的一种多传感数据融合装置的框图；
67.图8为本技术实施例提供的一种计算机设备的内部结构图。
具体实施方式
68.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
69.随着智能交通行业的快速发展，基于道路交通数据采集进行智能目标检测是本领域的一个重要研究方向。
70.目前，对道路上的车辆行驶区域进行目标检测的过程一般包括以下内容：在道路侧安装路侧基站，路侧基站中设置有目标检测传感器，通过路侧基站对待测区域进行检测，
以获取目标检测传感器采集到的数据，根据目标检测传感器采集到的数据获取待测区域内的目标物的目标信息。
71.基于上述问题，本技术实施例提供的多传感数据融合方法、装置、计算机设备和存储介质。将通过相机、激光雷达以及毫米波雷达获取的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，然后对多类匹配结果进行融合处理，得到多传感数据融合结果。各个传感器有各自优势与劣势，例如，相机对目标的纹理、颜色信息获取更完备，在类别判定、颜色定义上更充分，但缺乏深度定位信息，且受光照影响较大；激光雷达对目标的位置、尺寸信息更完整，且探测精度高，但检测范围有限，受天气影响严重，抗干扰能力差；毫米波雷达抗干扰能力强，检测范围远，但定位和分类精度相对较差。该多传感数据融合结果结合相机、激光雷达、毫米波雷达各自的数据优势，弥补各自的劣势，相对单一传感器提升了感知精度、感知范围，增强检测效果。
72.下面，将对本技术实施例提供的多传感数据融合方法所涉及到的实施环境进行简要说明。
73.图1为本技术实施例提供的多传感数据融合方法所涉及到的一种实施环境的示意图，如图1所示，该实施环境可以包括路侧基站101和路侧单元102。可选的，路侧基站101包括多个传感器，可选的，该多个传感器可以包括但不限于激光雷达、毫米波雷达和相机。
74.可选的，激光雷达的类型可以是8线、16线、24线、32线、64线或者128线的激光雷达；相机的类型可以是枪型相机、半球型相机或者球型相机。毫米波雷达的类型可以是77g、24g的毫米波雷达。
75.一般而言，路侧基站安装在道路侧的交通立杆或者交通横杆上，一般而言，路侧基站距离地面的高度为4～6米，通过较高的高度可以扩大路侧基站中各个传感器的覆盖范围。
76.可选的，本技术实施例中，多个传感器在待测区域内的覆盖范围不同，且存在重叠区域。如图2所示，其示例性地示出了一种多传感器的覆盖范围的示意图。通常情况下，毫米波雷达的覆盖范围大约在30～300米，a区域，激光雷达的覆盖范围大约在5～100米，c区域，相机的覆盖范围大约在4～120米，b区域。
77.本技术实施例中，路侧基站在安装好之后，需要进行下述操作：
78.1，初始化。路侧基站安装好之后，需要调整多个传感器的采样频率。以多个传感器为激光雷达、毫米波雷达和相机为例进行说明，需要调整相机、毫米波雷达与激光雷达的采样频率，使得三个传感器的频率相同或者近似相同。例如，可以调整该三个传感器的频率之差小于频率阈值。以便于该三个传感器分别在各自的覆盖范围内采集数据。
79.2，数据时间同步。本技术实施例中，在对三个传感器的采样频率进行调整之后，还需要对三个传感器进行时间同步处理，具体的：实时获取激光雷达、相机和毫米波雷达精确到毫秒的时间戳t1、t2、t3(如果不能直接获取，可以通过时间轴匹配转换转成同一时间轴下的时间戳，基准时间轴为t，根据时间轴转换差值δt，转换时间t’＝t-δt)；然后计算时间戳差值的绝对值|tx-ty|并判断是否小于某一设定好的固定值δ，例如可以设定为δ＝10ms；若绝对值小于δ，则认为这两帧数据为同一时刻获取到的；若绝对值大于δ，则按照一定的帧率寻找下一帧进行时间匹配。需要说明的是，也可以采用其他方式进行时间同步处理，本技术实施例不对此进行限制。
80.3、系统标定。获取相机的内参，相机内参定义：相机内参是将相机坐标系下的三维坐标点投影成像平面，主要包括内参矩阵和畸变系数。
81.其中，内参矩阵可以表示为：
[0082][0083]
其中，内参矩阵内各值只与相机内部参数有关，且不随物体位置变化而变化。其中，f表示焦距，dx、dy表示像素/每毫米，u0、v0表示图像坐标系中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
[0084]
其中，畸变系数可以消除相机凸透镜的畸变效应，主要包括径向畸变和切向畸变。径向畸变为由于透镜形状的制造工艺导致，包括桶形畸变和枕形畸变，如图3所示。
[0085]
径向畸变系数可以表示如下：
[0086][0087]
切向畸变系数可以表示如下：
[0088][0089]
其中，k1、k2、k3、p1和p2为畸变参数。
[0090]
可以获取毫米波雷达和激光雷达之间的坐标转换矩阵，基于该坐标转换矩阵将毫米波雷达坐标系下的三维坐标转换至激光雷达坐标系下。然后，可以根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将激光雷达坐标系下的三维坐标映射至图像坐标系下，从而得到图像坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果。本技术实施例中，基于坐标转换矩阵、内参矩阵以及外参矩阵可以实现对上述三个传感器采集到的检测数据进行空间同步。
[0091]
请参考图4，其示出了本技术实施例提供的一种多传感数据融合方法的流程图，该多传感数据融合方法可以应用于图1所示的路侧单元中，该多传感数据融合方法包括：
[0092]
步骤401，路侧单元获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云。
[0093]
本技术实施例中，毫米波雷达对毫米波雷达检测区域进行检测，得到毫米波点云，并将毫米波点云发送给路侧单元。其中，毫米波点云为毫米波点云数据，其包括毫米波雷达检测区域内的目标的多个点的数据，点的数据可以是指点的位置、速度以及航向角。
[0094]
本技术实施例中，激光雷达对激光雷达检测区域进行检测，得到激光雷达点云，并将激光雷达点云发送给路侧单元，其中，激光雷达点云为激光雷达点云数据，其包括激光雷达检测区域内的多个目标的多个点的数据，点的数据可以是指点的位置，尺寸，速度和航向角。
[0095]
相机对相机检测区域进行检测得到视频，并将视频发送给路侧单元。
[0096]
步骤402，路侧单元对视频进行目标检测，得到视频检测结果。
[0097]
可选的，本技术实施例中，路侧单元可以利用视频检测算法和跟踪算法处理视频得到的视频检测结果，其中，视频检测算法的实质为图像检测算法，路侧单元可以对视频进行分帧处理，得到多帧图像；然后利用图像检测算法对每帧图像进行目标检测，得到每帧图像中的目标的类别、置信度和颜色，基于每帧图像中检测出来的目标和图像追踪算法确定目标的行驶轨迹，基于目标的行驶轨迹确定目标的速度，基于此，可以得到视频检测结果。其中，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
[0098]
步骤403，路侧单元对激光雷达点云进行目标检测，得到激光雷达点云检测结果。
[0099]
本技术实施例中，路侧单元可以利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果。可选的，路侧单元可以利用已经训练好的second模型等点云检测模型以及sort(中文：分类)等跟踪算法对激光雷达点云进行目标检测，得到激光雷达点云检测结果，其中，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
[0100]
步骤404，路侧单元对毫米波点云进行目标检测，得到毫米波点云检测结果。
[0101]
毫米波雷达对毫米波雷达检测区域进行检测的过程如下：毫米波雷达发射电磁波扫描整个毫米波雷达检测区域，毫米波雷达检测区域内所有目标反射回波信号被毫米波雷达接收到；毫米波雷达收到回波信号，先做高速信号采集和模数转换(ad转换)得到毫米波点云；然后基于毫米波点云，利用相控阵雷达的数字波束形成(dbf)算法，对目标作波达方向估计(doa估计)，测量目标方位角；每一路波束信号送给数字信号处理单元，数字信号处理单元基于数字信号处理(dsp)算法处理毫米波点云，得到毫米波点云检测结果，毫米波点云检测结果包括目标的位置、速度以及航向角。
[0102]
步骤405，路侧单元将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果。
[0103]
可选的，目标坐标系为图像坐标系，图像坐标系为二维坐标系。本技术实施例中，路侧单元可以基于坐标转换矩阵将毫米波点云检测结果中包括的目标的三维坐标转换至激光雷达坐标系下，得到毫米波点云检测结果包括的目标在激光雷达坐标系下的三维坐标。然后基于预先确定好的标定参数将激光雷达坐标系下的三维坐标映射至图像坐标系中，得到图像坐标系下的毫米波点云检测结果包括的目标的二维坐标。同时，路侧单元还可以基于预先确定好的标定参数将激光雷达点云检测结果包括的目标在激光雷达坐标系下的三维坐标映射至图像坐标系中，得到图像坐标系下的激光雷达点云检测结果包括的目标的二维坐标。
[0104]
步骤406，路侧单元对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果。
[0105]
其中，多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标。
[0106]
步骤407，路侧单元对多类匹配结果进行融合处理，得到多传感数据融合结果。
[0107]
本技术实施例提供的多传感数据融合方法，将通过相机、激光雷达以及毫米波雷达获取的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果，然后对多类匹配结果进行融合处理，得到多传感数据融合结果。该多传感数据融合结果包含多种类型，因此其在发挥多源传感器融合结果具有更丰富特征的前提下，更加灵活的发挥各个传感器的优势，相对于传统的多传感数据融合，本实施例的方案可以增加多传感器的数据利用率，增强了检测区域的环境感知。
[0108]
由于各传感器在实际工作中，三个传感器的检测区域不同，即三个传感器的检测区域并没有完全交叠，因此会出现，某一目标物仅被三个传感器中的一个传感器检测出来，而没有被其他传感器检测出来的情况。针对这种情况，为了保证检测结果的全面性和准确性，本技术实施例提出了将未匹配成功的目标与述融合结果同时输出的方案，该技术方案包括以下内容：
[0109]
路侧单元根据目标坐标系的空间位置，将未匹配成功的目标与上述实施例中的融合结果同时输出。
[0110]
其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
[0111]
本技术实施例中，未匹配成功的目标为视频检测结果中未匹配成功的目标，则从视频检测结果中获取该目标的位置、速度、类别、置信度和颜色，并将该目标的位置、速度、类别、置信度和颜色作为该目标指向的目标物的位置、速度、类别、置信度和颜色。
[0112]
未匹配成功的目标为激光雷达点云检测结果中未匹配成功的目标，则从激光雷达点云检测结果中获取该目标的位置，尺寸，速度和航向角，并将该目标的位置，尺寸，速度和航向角作为该目标指向的目标物的位置，尺寸，速度和航向角。
[0113]
未匹配成功的目标为毫米波雷达点云检测结果中未匹配成功的目标，则从毫米波雷达点云检测结果中获取该目标的位置，尺寸，速度和航向角，并将该目标的位置，尺寸，速度和航向角作为该目标指向的目标物的位置，尺寸，速度和航向角。
[0114]
在得到未匹配成功的目标所指向的目标物的目标信息之后，将该目标信息与融合结果共同输出。
[0115]
本技术实施例，通过将未匹配成功的目标与融合结果同时输出，解决了目标物被一个传感器检测出来，而未被其他传感器检测出来导致的漏检的问题。提高了多传感数据融合结果的准确性。
[0116]
在一种可选的实现方式中，如图5所示，路侧单元对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果的过程可以包括以下内容：
[0117]
步骤501，路侧单元获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框。
[0118]
本技术实施例中，检测框为目标的最小边界框；
[0119]
下面，以目标坐标系为图像坐标系为例进行说明：路侧单元获取视频检测结果中包括的目标在图像坐标系中的位置，并根据目标的位置确定目标的检测框的位置，根据目标的尺寸确定检测框的尺寸。同时，路侧单元可以根据激光雷达点云检测结果确定激光雷
达点云检测结果包括的目标在图像坐标系中的位置，并根据目标的位置确定目标的检测框的位置，根据目标的尺寸确定检测框的尺寸。路侧单元可以根据毫米波点云检测结果确定毫米波点云检测结果包括的目标在图像坐标系中的位置，并根据目标的位置确定目标的检测框的位置，根据目标的尺寸确定检测框的尺寸。
[0120]
步骤502，路侧单元根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比。
[0121]
本技术实施例中，路侧单元可以根据图像坐标系下各目标的检测框的位置以及各目标的检测框的尺寸计算任意两个目标对应的检测框的交并比。
[0122]
步骤503，路侧单元根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度。
[0123]
本技术实施例中，路侧单元还可以获取在图像坐标系下，视频检测结果包括的目标的轨迹和速度；获取激光雷达点云检测结果包括的目标的速度和轨迹以及获取毫米波雷达安检测结果包括的目标的轨迹和速度。
[0124]
步骤504，路侧单元根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
[0125]
本技术实施例中，路侧单元根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果的过程可以包括以下内容：
[0126]
首先，路侧单元可以计算各个目标与其他任意一个目标的检测框的交并比，得到多个交并比结果，对于每个交并比结果，比较该交并比结果与交并比阈值的大小，若交并比结果大于交并比阈值，则获取该交并比结果对应的两个目标的轨迹和速度，分别计算该两个目标的轨迹相似度和速度相似度，若轨迹相似度大于轨迹阈值，且速度相似度大于速度阈值，则确定该交并比结果对应的两个目标匹配成功。若交并比结果小于交并比阈值，或者两个目标的轨迹相似度小于轨迹阈值，或者两个目标的速度相似度小于速度阈值，则确定该交并比结果对应的两个目标未匹配成功。
[0127]
进一步的，本技术实施例中，若该匹配成功的交并比结果对应的两个目标分别为视频检测结果包括的目标和激光雷达点云检测结果包括的目标，则确定该匹配结果为第一类匹配结果。若该匹配成功的交并比结果对应的两个目标分别为激光雷达点云检测结果包括的目标和毫米波雷达点云检测结果包括的目标，则确定该匹配结果为第二类匹配结果。若该匹配成功的交并比结果对应的两个目标分别为视频检测结果包括的目标和毫米波雷达点云检测结果包括的目标，则确定该匹配结果为第三类匹配结果。若该匹配成功的交并比结果对应的目标分别为视频检测结果包括的目标、激光雷达点云检测结果包括的目标和毫米波雷达点云检测结果包括的目标，则确定该匹配结果为第四类匹配结果。
[0128]
本技术实施例中，如图6所示，步骤s407包括以下内容：
[0129]
步骤601，若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果。
[0130]
本技术实施例中，第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标，表示，视频检测结果包括的目标与激光雷达点云检测结果包括的目标为同一目标物，该目标物的目标信息通过视频检测结果和激光雷达点云检测结果融合得到，该
融合过程为：将视频检测结果包括的目标的颜色和类别作为该目标物的颜色和类别，将激光雷达点云检测结果包括的目标的位置、速度以及航向角作为该目标物的位置、速度以及航向角，得到的目标物的目标信息即为融合结果。
[0131]
步骤602，若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果。
[0132]
本技术实施例中，第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标，表示，激光雷达点云检测结果包括的目标与毫米波点云检测结果包括的目标为同一目标物，该目标物的目标信息基于激光雷达点云检测结果包括的目标的位置、速度以及航向角确定，该融合过程为：将激光雷达点云检测结果包括的目标的位置、速度以及航向角作为该目标物的位置、速度以及航向角，得到的目标物的目标信息即为融合结果。
[0133]
步骤603，若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果。
[0134]
本技术实施例中，第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标，表示，视频检测结果包括的目标与毫米波点云检测结果包括的目标为同一目标物，该目标物的目标信息通过视频检测结果和毫米波点云检测结果融合得到，该融合过程为：将视频检测结果包括的目标的颜色和类别作为该目标物的颜色和类别，将毫米波点云检测结果包括的目标的位置、速度以及航向角作为该目标物的位置、速度以及航向角，得到的目标物的目标信息即为融合结果。
[0135]
步骤604，若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
[0136]
本技术实施例中，第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标，表示，视频检测结果包括的目标与激光雷达点云检测结果包括的目标以及毫米波点云检测结果包括的目标为同一目标物，该目标物的目标信息通过视频检测结果和激光雷达点云检测结果融合得到，该融合过程为：将视频检测结果包括的目标的颜色和类别作为该目标物的颜色和类别，将激光雷达点云检测结果包括的目标的位置、速度以及航向角作为该目标物的位置、速度以及航向角，得到的目标物的目标信息即为融合结果。
[0137]
应该理解的是，虽然图4-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4-图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0138]
请参考图7，其示出了本技术实施例提供的一种多传感数据融合装置的框图，该多
传感数据融合装置可以配置在图1所示实施环境中的路侧单元中，如图7所示，该多传感数据融合装置可以包括获取模块701，第一目标检测模块702，第二目标检测模块703，第三目标检测模块704，空间同步模块705，匹配模块706和融合模块707，其中：
[0139]
获取模块701，用于获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
[0140]
第一目标检测模块702，用于对视频进行目标检测，得到视频检测结果；
[0141]
第二目标检测模块703，用于对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
[0142]
第三目标检测模块704，用于对毫米波点云进行目标检测，得到毫米波点云检测结果；
[0143]
空间同步模块705，用于将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
[0144]
匹配模块706，用于对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
[0145]
融合模块707，用于对多类匹配结果进行融合处理，得到多传感数据融合结果。
[0146]
在其中一个实施例中，融合模块707还用于：
[0147]
若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果；
[0148]
若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果；
[0149]
若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果；
[0150]
若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
[0151]
在其中一个实施例中，融合模块707还用于：
[0152]
根据目标坐标系的空间位置，将未匹配成功的目标与融合结果同时输出，其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
[0153]
在其中一个实施例中，空间同步模块705还用于：
[0154]
利用标定参数将激光雷达点云检测结果以及毫米波点云检测结果转换至视频检测结果所在的图像坐标系。
[0155]
在其中一个实施例中，第一目标检测模块702还用于：
[0156]
利用视频检测算法和跟踪算法处理视频得到视频检测结果，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
[0157]
在其中一个实施例中，第二目标检测模块703还用于：
[0158]
利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
[0159]
在其中一个实施例中，第三目标检测模块704还用于：
[0160]
利用数字波束形成dbf算法以及dsp算法处理毫米波点云，得到目标的位置、速度以及航向角。
[0161]
在其中一个实施例中，匹配模块706还用于：
[0162]
获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框；
[0163]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比；
[0164]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度；
[0165]
根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
[0166]
关于多传感数据融合装置的具体限定可以参见上文中对于多传感数据融合方法的限定，在此不再赘述。上述多传感数据融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0167]
在本技术的一个实施例中，提供了一种计算机设备，该计算机设备可以为服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种多传感数据融合方法。
[0168]
本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0169]
在本技术的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0170]
获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
[0171]
对视频进行目标检测，得到视频检测结果；
[0172]
对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
[0173]
对毫米波点云进行目标检测，得到毫米波点云检测结果；
[0174]
将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
[0175]
对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
[0176]
对多类匹配结果进行融合处理，得到多传感数据融合结果。
[0177]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0178]
若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果；
[0179]
若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果；
[0180]
若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果；
[0181]
若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
[0182]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0183]
根据目标坐标系的空间位置，将未匹配成功的目标与融合结果同时输出，其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
[0184]
在本技术的一个实施例中，目标坐标系为图像坐标系，处理器执行计算机程序时还实现以下步骤：
[0185]
利用标定参数将激光雷达点云检测结果以及毫米波点云检测结果转换至视频检测结果所在的图像坐标系。
[0186]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0187]
利用视频检测算法和跟踪算法处理视频得到视频检测结果，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
[0188]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0189]
利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
[0190]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0191]
利用数字波束形成dbf算法以及dsp算法处理毫米波点云，得到目标的位置、速度以及航向角。
[0192]
在本技术的一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0193]
获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框；
[0194]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比；
[0195]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度；
[0196]
根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
[0197]
本技术实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0198]
在本技术的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0199]
获取同一场景、同一时刻的视频，激光雷达点云以及毫米波点云；
[0200]
对视频进行目标检测，得到视频检测结果；
[0201]
对激光雷达点云进行目标检测，得到激光雷达点云检测结果；
[0202]
对毫米波点云进行目标检测，得到毫米波点云检测结果；
[0203]
将视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行空间同步处理，得到目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果；
[0204]
对目标坐标系下的视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果进行目标匹配，得到多类匹配结果；多类匹配结果包括第一类匹配结果，第二类匹配结果，第三类匹配结果以及第四类匹配结果中的至少两种；第一类匹配结果为视频检测结果与激光雷达点云检测结果中匹配成功的目标；第二类匹配结果为激光雷达点云检测结果与毫米波点云检测结果中匹配成功的目标；第三类匹配结果为视频检测结果与毫米波点云检测结果中匹配成功的目标；第四类匹配结果为视频检测结果，激光雷达点云检测结果以及毫米波雷达点云检测结果中匹配成功的目标；
[0205]
对多类匹配结果进行融合处理，得到多传感数据融合结果。
[0206]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：若多类匹配结果为第一类匹配结果，则多传感数据融合结果包括第一融合结果，第一融合结果为基于视频检测结果的颜色、类别，以及激光雷达点云检测结果的位置、速度以及航向角，进行第一类匹配结果进行融合，输出的融合结果；
[0207]
若多类匹配结果为第二类匹配结果，则多传感数据融合结果包括第二融合结果，第二融合结果为基于激光雷达点云检测结果的位置、速度以及航向角进行第二类匹配结果进行融合，输出的融合结果；
[0208]
若多类匹配结果为第三类匹配结果，则多传感数据融合结果包括第三融合结果，
第三融合结果为基于视频检测结果的颜色、类别以及毫米波雷点云检测结果的位置、速度以及航向角进行第三类匹配结果进行融合，输出的融合结果；
[0209]
若多类匹配结果为第四类匹配结果，则多传感数据融合结果包括第四融合结果，第四融合结果为基于视频检测结果的颜色、类别以及激光雷达点云检测结果的位置、速度以及航向角进行第四类匹配结果进行融合，输出的融合结果。
[0210]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：根据目标坐标系的空间位置，将未匹配成功的目标与融合结果同时输出，其中，未匹配成功的目标包括视频检测结果中未匹配成功的目标，激光雷达点云检测结果中未匹配成功的目标，毫米波雷达点云检测结果中未匹配成功的目标中的一种或几种。
[0211]
在本技术的一个实施例中，目标坐标系为图像坐标系，计算机程序被处理器执行时还可以实现以下步骤：利用标定参数将激光雷达点云检测结果以及毫米波点云检测结果转换至视频检测结果所在的图像坐标系。
[0212]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：利用视频检测算法和跟踪算法处理视频得到视频检测结果，视频检测结果包括目标的位置、速度、类别、置信度和颜色。
[0213]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：利用点云检测模型以及跟踪算法处理激光雷达点云，输出得到激光雷达点云检测结果，激光雷达点云检测结果包括目标的位置，尺寸，速度和航向角。
[0214]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：利用数字波束形成dbf算法以及dsp算法处理毫米波点云，得到目标的位置、速度以及航向角。
[0215]
在本技术的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果在目标坐标系下的检测框；
[0216]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的目标在目标坐标系下的位置，计算各目标对应检测框的交并比；
[0217]
根据视频检测结果，激光雷达点云检测结果以及毫米波点云检测结果中的在目标坐标系下各目标的轨迹和速度；
[0218]
根据各目标的对应检测框的交并比以及各目标的轨迹和速度，得到多类匹配结果。
[0219]
本技术实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0220]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0221]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0222]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。