基于场景感知的v2x多传感器融合方法及装置
技术领域
1.本发明属于汽车行业技术领域，具体涉及一种基于场景感知的v2x多传感器融合方法及装置。
背景技术：
2.随着汽车行业向智能化、网联化发展的进程越来越快，v2x与单车智能的融合成为必然趋势。现有技术更多是简单地将v2x信息作为单车传感器信息的补充，如公开的专利申请文件cn114419591a中描述了一种基于c-v2x的多传感器信息融合车辆检测方法，主要是在激光雷达和摄像头融合检测的技术上通过车-车通信来补充。或者如公开的专利申请文件cn109922439a中描述了一种多传感器数据的融合方法，只要是对v2x和其他传感器采集的数据进行筛选和优先级排序，以此作为融合结果进行输出。或者如公开的专利申请文件cn113947158a中描述了用于智能车辆的数据融合方法和装置，采用了卡尔曼滤波对融合数据进行处理，以及xgboost模型解决多传感器数据不确定的问题，未考虑环境对传感器的影响。
3.综上所述，现有技术方案更多关注单车智能传感器，如激光雷达、摄像头、毫米波雷达等自身的数据融合，v2x信息只是作为一个补充手段，或用于判断感知检测延时，没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失。
技术实现要素：
4.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于场景感知的v2x多传感器融合方法及装置，以解决现有技术中没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失的问题。
5.为实现以上目的，本发明采用如下技术方案：一种基于场景感知的v2x多传感器融合方法，包括：获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；对时间同步后的传感器数据进行预处理，得到待处理数据；对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
6.进一步的，所述车载obu终端用于获取v2x信息，所述v2x信息包括：车辆id、位置信息、gnss精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、
纬度、高度；所述车载导航终端用于获取gnss信息，所述gnss信息包括：经度、纬度、高度及时间戳；所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
7.进一步的，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，所述对时间同步后的传感器数据进行预处理，包括：采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，得到目标检测结果；分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，采用预训练的cnn神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；将所有的目标检测结果确定为待处理数据；其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
8.进一步的，所述采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，包括：根据车辆自身的车载obu终端采集的v2x信息，以及获取的其他车辆的车载obu终端采集的其他车辆的v2x信息，得到v2x目标检测的鸟瞰图；所述鸟瞰图包括自车和其他车辆在鸟瞰图中的位置、车辆的尺寸及相对方位。
9.进一步的，所述对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数，包括：根据获取的待处理数据，分别获取车载obu终端到激光雷达的目标检测相关系数、车载obu终端到摄像头的目标检测相关系数、车载obu终端到毫米波雷达的目标检测相关系数、激光雷达到车载obu终端的目标检测相关系数、激光雷达到毫米波雷达的目标检测相关系数、激光雷达到摄像头目标检测的相关系数、毫米波雷达到车载obu终端的目标检测相关系数、毫米波雷达到激光雷达目标检测相关系数以及毫米波雷达到摄像头的目标检测相关系数。
10.进一步的，所述基于所述目标检测相关系数得到各个传感器的置信度，包括：分别计算各个传感器对其他传感器的目标检测相关系数之和；对所述各个传感器得到的目标检测相关系数之和进行归一化，得到各个传感器的置信度。
11.进一步的，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：
如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；如果摄像头的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值2，激光雷达的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
12.进一步的，所述根据判断后的场景确定输入的传感器的类型，包括：如果为晴朗天场景，则输入的传感器的类型包括车载obu终端、激光雷达、摄像头以及毫米波雷达；如果为雨天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雾天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雪天场景，则输入的传感器的类型包括车载obu终端及毫米波雷达；如果为遮挡场景，则输入的传感器的类型以车载obu终端为主，根据其他传感器到车载obu终端的目标检测相关系数大小选择其他传感器；如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
13.进一步的，采用gps卫星终端对所述车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
14.本技术实施例提供一种基于场景感知的v2x多传感器融合装置，包括：获取模块，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块，用于对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；融合模块，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
15.本发明采用以上技术方案，能够达到的有益效果包括：本发明提供一种基于场景感知的v2x多传感器融合方法及装置，将各个传感器采
集的传感器数据进行时间同步，得到时间同步后的传感器数据；对各个传感器数据进行预处理，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。本技术可以有效地解决不同场景下的多传感器数据融合问题，使v2x在智能网联汽车中发挥更大的作用。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明基于场景感知的v2x多传感器融合方法的步骤示意图；图2为本发明基于场景感知的v2x多传感器融合方法的流程示意图；图3为本发明基于场景感知的v2x多传感器融合装置的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
19.下面结合附图介绍本技术实施例中提供的一个具体的基于场景感知的v2x多传感器融合方法及装置。
20.如图1所示，本技术实施例中提供的基于场景感知的v2x多传感器融合方法，包括：s101，获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；如图2所示，所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；一些实施例中，所述车载obu终端用于获取v2x信息，所述v2x信息包括：车辆id、位置信息、gnss精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、纬度、高度；一些实施例中，采用gps卫星终端对所述车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
21.所述车载导航终端用于获取gnss信息，所述gnss信息包括：经度、纬度、高度及时间戳；所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
22.需要说明的是，由于不同的传感器具有不同的数据采集周期，因此时间同步对v2x通信的多传感器融合来说非常重要。例如v2x的采集频率是100ms，激光雷达和毫米波雷达的数据更新时间为几十ms不等，摄像头的采集频率是20-30fps。具体实施过程中，以数据采集周期最短的传感器为参考，确定该系统数据采集周期t，各个传感器根据自身的数据采集频率进行传感器时间同步，以车载obu终端的v2x信息为例说明如下：假设系统数据采集周期确定为tms，由于v2x自身的更新时间为100ms，需要根据v2x的时间戳，按照100/t的时间间隔对v2x数据进行插值，得到以tms为周期的时间同步后的v2x数据。
23.对于激光雷达和毫米波雷达来说，可以根据当时的车速进行线性或非线性插值，得到时间同步后的激光雷达和毫米波雷达数据。
24.对于摄像头来说，可以以当时的车速为依据，采用光流法进行补帧，得到时间同步后的摄像头数据。
25.s102，对时间同步后的传感器数据进行预处理，得到待处理数据；首先，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，具体的，采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，得到目标检测结果；分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，采用预训练的cnn神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；将所有的目标检测结果确定为待处理数据；其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
26.具体的，本技术采用卡尔曼滤波器对v2x信息与gnss信息进行融合处理，提高位置、速度等信息的精度。根据车载obu终端采集的信息，以及通过其他车辆的车载obu终端得到其他车辆的v2x信息，得到v2x目标检测的鸟瞰图，包含自车和其他车辆在鸟瞰图中的位置，车辆的尺寸，相对方位等。
27.将激光雷达的点云数据在垂直于高度的方向进行投影，得到激光雷达点云数据的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到激光雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置、类型、检测置信度等信息。
28.将毫米波雷达的数据在垂直于高度的方向进行投影，得到毫米波雷达数据的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到毫米波雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
29.将摄像头信息采用拟透视变换，得到摄像头的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到摄像头的目标检测结果；目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
30.s103，对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检
测相关系数；具体的，对各个传感器得到的目标检测结果进行两两比较，得出两两传感器之间的目标检测相关系数，下面以v2x和激光雷达信息为例，假设v2x得到某个目标在v2x鸟瞰图上的bounding box的面积为sv，激光雷达得到同一个目标在激光雷达鸟瞰图上的面积为sd，通过以下方式计算v2x目标检测到激光雷达目标检测的相关系数。
31.（1）其中，表示v2x检测得到目标在鸟瞰图中的面积与激光雷达得到目标在鸟瞰图中面积相交部分的面积。同理，可分别得到v2x目标检测到毫米波雷达目标检测，以及v2x目标检测到摄像头目标检测的相关系数。
32.通过以下公式得到激光雷达到v2x的目标检测相关系数，（2）同理，可分别得到激光雷达到毫米波雷达的目标检测相关系数，以及激光雷达到摄像头目标检测的相关系数。
33.采用同样的方式，可分别得到毫米波雷达到其他三种传感器的目标检测相关系数，以及摄像头到其他三种传感器的目标检测相关系数。
34.s104，基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；其次，采用加和及归一化的方法，得到各类传感器的置信度分数。具体方法如下：（3）其中，表示v2x目标检测对其他传感器目标检测相关系数之和。以公式（3）的计算方法，分别得到。其中，表示激光雷达的目标检测相关系数，表示毫米波雷达的目标检测相关系数，表示摄像头的目标检测相关系数。
35.采用以下方式进行归一化，得到v2x的置信度，其他传感器也是采用相同方式得到各自的置信度。
36.（4）最后，以置信度分数为依据，进行场景判断，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；如果摄像头的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值2，激
光雷达的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
37.s105，根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
38.一些实施例中，所述根据判断后的场景确定输入的传感器的类型，包括：如果为晴朗天场景，则输入的传感器的类型包括车载obu终端、激光雷达、摄像头以及毫米波雷达；如果为雨天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雾天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雪天场景，则输入的传感器的类型包括车载obu终端及毫米波雷达；如果为遮挡场景，则输入的传感器的类型以车载obu终端为主，根据其他传感器到车载obu终端的目标检测相关系数大小选择其他传感器；如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
39.可以理解的是，本技术中采用自适应融合算法根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
40.基于场景感知的v2x多传感器融合方法的工作原理为：首先，将v2x信息、gnss信息、激光雷达、摄像头、毫米波雷达数据接入中央计算平台进行时间同步，得到时间同步后的v2x数据、激光雷达数据、摄像头数据、毫米波雷达数据；其次，将v2x信息进行卡尔曼滤波处理，提高数据的精度。将激光雷达数据、摄像头数据、毫米波雷达数据分别通过一个cnn神经网络，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。
41.一些实施例中，如图3所示，本技术实施例提供一种基于场景感知的v2x多传感器融合装置，包括：获取模块201，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块202，用于对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块203，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块204，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所
述置信度进行场景判断；融合模块205，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
42.本技术提供的基于场景感知的v2x多传感器融合装置的工作原理为，获取模块201获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块202对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块203对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块204基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；融合模块205根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
43.可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
44.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
45.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
46.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
47.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
48.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
技术领域
1.本发明属于汽车行业技术领域，具体涉及一种基于场景感知的v2x多传感器融合方法及装置。
背景技术：
2.随着汽车行业向智能化、网联化发展的进程越来越快，v2x与单车智能的融合成为必然趋势。现有技术更多是简单地将v2x信息作为单车传感器信息的补充，如公开的专利申请文件cn114419591a中描述了一种基于c-v2x的多传感器信息融合车辆检测方法，主要是在激光雷达和摄像头融合检测的技术上通过车-车通信来补充。或者如公开的专利申请文件cn109922439a中描述了一种多传感器数据的融合方法，只要是对v2x和其他传感器采集的数据进行筛选和优先级排序，以此作为融合结果进行输出。或者如公开的专利申请文件cn113947158a中描述了用于智能车辆的数据融合方法和装置，采用了卡尔曼滤波对融合数据进行处理，以及xgboost模型解决多传感器数据不确定的问题，未考虑环境对传感器的影响。
3.综上所述，现有技术方案更多关注单车智能传感器，如激光雷达、摄像头、毫米波雷达等自身的数据融合，v2x信息只是作为一个补充手段，或用于判断感知检测延时，没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失。
技术实现要素：
4.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于场景感知的v2x多传感器融合方法及装置，以解决现有技术中没有充分考虑不同场景下各类传感器的优势和劣质，造成智能网联汽车对行车环境感知能力的缺失的问题。
5.为实现以上目的，本发明采用如下技术方案：一种基于场景感知的v2x多传感器融合方法，包括：获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；对时间同步后的传感器数据进行预处理，得到待处理数据；对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
6.进一步的，所述车载obu终端用于获取v2x信息，所述v2x信息包括：车辆id、位置信息、gnss精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、
纬度、高度；所述车载导航终端用于获取gnss信息，所述gnss信息包括：经度、纬度、高度及时间戳；所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
7.进一步的，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，所述对时间同步后的传感器数据进行预处理，包括：采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，得到目标检测结果；分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，采用预训练的cnn神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；将所有的目标检测结果确定为待处理数据；其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
8.进一步的，所述采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，包括：根据车辆自身的车载obu终端采集的v2x信息，以及获取的其他车辆的车载obu终端采集的其他车辆的v2x信息，得到v2x目标检测的鸟瞰图；所述鸟瞰图包括自车和其他车辆在鸟瞰图中的位置、车辆的尺寸及相对方位。
9.进一步的，所述对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数，包括：根据获取的待处理数据，分别获取车载obu终端到激光雷达的目标检测相关系数、车载obu终端到摄像头的目标检测相关系数、车载obu终端到毫米波雷达的目标检测相关系数、激光雷达到车载obu终端的目标检测相关系数、激光雷达到毫米波雷达的目标检测相关系数、激光雷达到摄像头目标检测的相关系数、毫米波雷达到车载obu终端的目标检测相关系数、毫米波雷达到激光雷达目标检测相关系数以及毫米波雷达到摄像头的目标检测相关系数。
10.进一步的，所述基于所述目标检测相关系数得到各个传感器的置信度，包括：分别计算各个传感器对其他传感器的目标检测相关系数之和；对所述各个传感器得到的目标检测相关系数之和进行归一化，得到各个传感器的置信度。
11.进一步的，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：
如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；如果摄像头的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值2，激光雷达的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
12.进一步的，所述根据判断后的场景确定输入的传感器的类型，包括：如果为晴朗天场景，则输入的传感器的类型包括车载obu终端、激光雷达、摄像头以及毫米波雷达；如果为雨天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雾天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雪天场景，则输入的传感器的类型包括车载obu终端及毫米波雷达；如果为遮挡场景，则输入的传感器的类型以车载obu终端为主，根据其他传感器到车载obu终端的目标检测相关系数大小选择其他传感器；如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
13.进一步的，采用gps卫星终端对所述车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
14.本技术实施例提供一种基于场景感知的v2x多传感器融合装置，包括：获取模块，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块，用于对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；融合模块，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
15.本发明采用以上技术方案，能够达到的有益效果包括：本发明提供一种基于场景感知的v2x多传感器融合方法及装置，将各个传感器采
集的传感器数据进行时间同步，得到时间同步后的传感器数据；对各个传感器数据进行预处理，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。本技术可以有效地解决不同场景下的多传感器数据融合问题，使v2x在智能网联汽车中发挥更大的作用。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明基于场景感知的v2x多传感器融合方法的步骤示意图；图2为本发明基于场景感知的v2x多传感器融合方法的流程示意图；图3为本发明基于场景感知的v2x多传感器融合装置的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
19.下面结合附图介绍本技术实施例中提供的一个具体的基于场景感知的v2x多传感器融合方法及装置。
20.如图1所示，本技术实施例中提供的基于场景感知的v2x多传感器融合方法，包括：s101，获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；如图2所示，所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；一些实施例中，所述车载obu终端用于获取v2x信息，所述v2x信息包括：车辆id、位置信息、gnss精度、速度、方向、加速度、车辆尺寸、车辆类型及时间戳；所述位置信息包括经度、纬度、高度；一些实施例中，采用gps卫星终端对所述车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达采集的传感器数据进行时间同步。
21.所述车载导航终端用于获取gnss信息，所述gnss信息包括：经度、纬度、高度及时间戳；所述激光雷达用于获取激光雷达信息，所述激光雷达信息包括：角度、距离、反射强度及时间戳；所述摄像头用于获取摄像头信息，所述摄像头信息包括：当前帧图像信息及时间戳；所述毫米波雷达用于获取毫米波雷达信息，所述毫米波雷达信息包括：距离、角度、速度及时间戳。
22.需要说明的是，由于不同的传感器具有不同的数据采集周期，因此时间同步对v2x通信的多传感器融合来说非常重要。例如v2x的采集频率是100ms，激光雷达和毫米波雷达的数据更新时间为几十ms不等，摄像头的采集频率是20-30fps。具体实施过程中，以数据采集周期最短的传感器为参考，确定该系统数据采集周期t，各个传感器根据自身的数据采集频率进行传感器时间同步，以车载obu终端的v2x信息为例说明如下：假设系统数据采集周期确定为tms，由于v2x自身的更新时间为100ms，需要根据v2x的时间戳，按照100/t的时间间隔对v2x数据进行插值，得到以tms为周期的时间同步后的v2x数据。
23.对于激光雷达和毫米波雷达来说，可以根据当时的车速进行线性或非线性插值，得到时间同步后的激光雷达和毫米波雷达数据。
24.对于摄像头来说，可以以当时的车速为依据，采用光流法进行补帧，得到时间同步后的摄像头数据。
25.s102，对时间同步后的传感器数据进行预处理，得到待处理数据；首先，对各个传感器进行坐标转换，以对各个传感器的坐标统一为以自车两后轮中心为原点的东北天坐标系中，具体的，采用卡尔曼滤波器对v2x信息及gnss信息进行融合处理，得到目标检测结果；分别根据激光雷达信息、摄像头信息以及毫米波雷达信息得到激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图，采用预训练的cnn神经网络对激光雷达信息、摄像头信息以及毫米波雷达信息的鸟瞰图进行目标检测，分别得到激光雷达、摄像头以及毫米波雷达的目标检测结果；将所有的目标检测结果确定为待处理数据；其中，所述激光雷达的目标检测结果为，激光雷达在鸟瞰图中标注目标位置、类型及检测置信度；所述摄像头的目标检测结果为，摄像头在鸟瞰图中标注目标位置、类型及检测置信度；所述毫米波雷达的目标检测结果为，毫米波雷达在鸟瞰图中标注目标位置、类型及检测置信度。
26.具体的，本技术采用卡尔曼滤波器对v2x信息与gnss信息进行融合处理，提高位置、速度等信息的精度。根据车载obu终端采集的信息，以及通过其他车辆的车载obu终端得到其他车辆的v2x信息，得到v2x目标检测的鸟瞰图，包含自车和其他车辆在鸟瞰图中的位置，车辆的尺寸，相对方位等。
27.将激光雷达的点云数据在垂直于高度的方向进行投影，得到激光雷达点云数据的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到激光雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置、类型、检测置信度等信息。
28.将毫米波雷达的数据在垂直于高度的方向进行投影，得到毫米波雷达数据的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到毫米波雷达的目标检测结果；其中，目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
29.将摄像头信息采用拟透视变换，得到摄像头的鸟瞰图，将所述鸟瞰图输入至训练cnn神经网络，得到摄像头的目标检测结果；目标检测结果为在鸟瞰图中标注目标位置，类型，检测置信度等信息。
30.s103，对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检
测相关系数；具体的，对各个传感器得到的目标检测结果进行两两比较，得出两两传感器之间的目标检测相关系数，下面以v2x和激光雷达信息为例，假设v2x得到某个目标在v2x鸟瞰图上的bounding box的面积为sv，激光雷达得到同一个目标在激光雷达鸟瞰图上的面积为sd，通过以下方式计算v2x目标检测到激光雷达目标检测的相关系数。
31.（1）其中，表示v2x检测得到目标在鸟瞰图中的面积与激光雷达得到目标在鸟瞰图中面积相交部分的面积。同理，可分别得到v2x目标检测到毫米波雷达目标检测，以及v2x目标检测到摄像头目标检测的相关系数。
32.通过以下公式得到激光雷达到v2x的目标检测相关系数，（2）同理，可分别得到激光雷达到毫米波雷达的目标检测相关系数，以及激光雷达到摄像头目标检测的相关系数。
33.采用同样的方式，可分别得到毫米波雷达到其他三种传感器的目标检测相关系数，以及摄像头到其他三种传感器的目标检测相关系数。
34.s104，基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；其次，采用加和及归一化的方法，得到各类传感器的置信度分数。具体方法如下：（3）其中，表示v2x目标检测对其他传感器目标检测相关系数之和。以公式（3）的计算方法，分别得到。其中，表示激光雷达的目标检测相关系数，表示毫米波雷达的目标检测相关系数，表示摄像头的目标检测相关系数。
35.采用以下方式进行归一化，得到v2x的置信度，其他传感器也是采用相同方式得到各自的置信度。
36.（4）最后，以置信度分数为依据，进行场景判断，所述场景包括：晴朗天场景、雨天场景、雾天场景、雪天场景、遮挡场景及电磁环境恶劣场景，所述基于所述置信度进行场景判断，包括：如果各个传感器之间的置信度差别不大于阈值1时，确定为晴朗天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值2且小于等于阈值3时，确定为雨天场景；如果摄像头的置信度与其他传感器的置信度差别均大于阈值3时，确定为雾天场景；如果摄像头的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值2，激
光雷达的置信度与车载obu终端、毫米波雷达的置信度差别均大于阈值4时，确定为雪天场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值6时，确定为遮挡场景；如果车载obu终端的置信度与其他传感器的置信度差别均大于阈值5，且其他传感器之间的置信度差别不大于阈值7时，确定为电磁环境恶劣场景。
37.s105，根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
38.一些实施例中，所述根据判断后的场景确定输入的传感器的类型，包括：如果为晴朗天场景，则输入的传感器的类型包括车载obu终端、激光雷达、摄像头以及毫米波雷达；如果为雨天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雾天场景，则输入的传感器的类型包括车载obu终端、激光雷达以及毫米波雷达；如果为雪天场景，则输入的传感器的类型包括车载obu终端及毫米波雷达；如果为遮挡场景，则输入的传感器的类型以车载obu终端为主，根据其他传感器到车载obu终端的目标检测相关系数大小选择其他传感器；如果为电磁环境恶劣场景，则输入的传感器的类型包括激光雷达、摄像头以及毫米波雷达。
39.可以理解的是，本技术中采用自适应融合算法根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
40.基于场景感知的v2x多传感器融合方法的工作原理为：首先，将v2x信息、gnss信息、激光雷达、摄像头、毫米波雷达数据接入中央计算平台进行时间同步，得到时间同步后的v2x数据、激光雷达数据、摄像头数据、毫米波雷达数据；其次，将v2x信息进行卡尔曼滤波处理，提高数据的精度。将激光雷达数据、摄像头数据、毫米波雷达数据分别通过一个cnn神经网络，得到各自的输出结果；然后，对各个传感器输出信息进行两两比较，得出两两传感器之间的目标检测相关系数，基于相关系数得到各类传感器的置信度分数，以置信度分数为依据，进行场景判断；最后，根据场景确定传感器融合的输入传感器类型，训练神经网络得到各传感器的权重，得到最终的融合结果。
41.一些实施例中，如图3所示，本技术实施例提供一种基于场景感知的v2x多传感器融合装置，包括：获取模块201，用于获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块202，用于对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块203，用于对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块204，用于基于所述目标检测相关系数得到各个传感器的置信度，基于所
述置信度进行场景判断；融合模块205，用于根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
42.本技术提供的基于场景感知的v2x多传感器融合装置的工作原理为，获取模块201获取各个传感器采集的传感器数据，对所述传感器数据进行时间同步；所述传感器包括：车载obu终端、车载导航终端、激光雷达、摄像头以及毫米波雷达；处理模块202对时间同步后的传感器数据进行预处理，得到待处理数据；比较模块203对各个传感器的待处理数据进行两两比较，得到两个传感器之间的目标检测相关系数；判断模块204基于所述目标检测相关系数得到各个传感器的置信度，基于所述置信度进行场景判断；融合模块205根据判断后的场景确定输入的传感器的类型，根据预设的神经网络确定输入的各个传感器的权重，根据所述权重对相应的传感器采集的数据进行融合，得到融合结果。
43.可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
44.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
45.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
46.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
47.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
48.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
