一种车辆变道检测方法、装置及系统与流程

1.本发明涉及智能驾驶技术领域，尤其涉及一种车辆变道检测方法、车辆变道检测装置及车辆变道检测系统。


背景技术：

2.近年来，国内机动车的数量日益增加，这也导致了大量交通事故的产生，在日常行车过程中，经常会有车辆在危险距离强行变道或者别车，造成安全事故。因此，如何能够合理有效且高精度地解决此类问题成了关键。而环境感知技术作为自动驾驶系统的重要组成部分，就可以有效地解决此类问题。一般的环境感知包括摄像头、激光雷达、毫米波雷达、超声波雷达等传感器技术，这些传感器可以有效地检测相应目标的各种信息，如类别、速度、距离、角度、高度等，且各有优势。
3.而常见的道路检测系统使用的是摄像头或者摄像头与雷达的结合，摄像头用来对前方目标进行检测、提供该目标的类别距离速度等信息，但距离速度存在误差，且摄像头不利于在雨雪等恶劣天气工作。而摄像与雷达融合的技术，摄像头主要用于识别道路上前方目标的种类，而雷达主要用来检测距离速度等高精度信息，以此来达到信息融合，可以有效地检测出前方危险的目标的各种信息，从而做出紧急制动，避免危险。
4.现有技术如摄像头受雨雪，光线等因素影响、激光雷达造价较高，3d毫米波雷达精度较低，会造成一定的安全隐患。
5.因此，如何能够提高一种高精度的检测方式成为本领域技术人员亟待解决的技术问题。


技术实现要素：

6.本发明提供了一种车辆变道检测方法、车辆变道检测装置及车辆变道检测系统，解决相关技术中存在的检测精度低的问题。
7.作为本发明的第一个方面，提供一种车辆变道检测方法，其中，包括：获取车辆前方目标的视觉图像信息以及雷达点云检测信息，其中所述视觉图像信息为视觉检测装置实时采集到的车辆前方目标的图像信息，所述雷达点云检测信息为毫米波雷达装置实时采集到的车辆前方目标的点云信息；根据所述视觉图像信息确定车辆前方目标的第一属性信息，以及根据所述雷达点云检测信息确定车辆前方目标的第二属性信息；根据所述第一属性信息和所述第二属性信息确定所述视觉图像信息和所述雷达点云检测信息是否为车辆前方同一目标；当确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标时，将所述第一属性信息与所述第二属性信息进行融合，确定所述车辆前方目标的预测轨迹信息；根据所述车辆前方目标的预测轨迹信息生成预警信息。
8.进一步地，根据所述视觉图像信息确定车辆前方目标的第一属性信息，包括：
根据所述视觉图像信息确定车辆前方的所有第一目标列表；根据所述第一目标列表确定第一属性信息，其中所述第一属性信息包括目标的位置框信息、距离信息、速度信息和类别信息。
9.进一步地，根据所述雷达点云检测信息确定车辆前方目标的第二属性信息，包括：根据所述雷达点云检测信息确定车辆前方的所有目标数据的检测信息；对所述所有目标数据的检测信息进行聚类处理，得到车辆前方的所有第二目标列表；根据所述第二目标列表确定第二属性信息，其中所述第二属性信息包括目标的检测框、速度信息、距离信息和角度信息。
10.进一步地，根据所述第一属性信息和所述第二属性信息确定所述视觉图像信息和所述雷达点云检测信息是否为车辆前方同一目标，包括：计算所述第一属性信息和第二属性信息的相似度；若所述第一属性信息和第二属性信息的相似度大于第一预设阈值，则确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标。
11.进一步地，将所述第一属性信息与所述第二属性信息进行融合，确定所述车辆前方目标的预测轨迹信息，包括：将所述第一属性信息与所述第二属性信息进行融合，确定车辆前方目标的属性信息；获取当前针对车辆前方目标的累计帧数，并根据所述累计帧数确定车辆前方目标的轨迹预测模型；根据所述轨迹预测模型确定车辆前方目标的预测轨迹信息。
12.进一步地，获取当前针对车辆前方目标的累计帧数，并根据所述累计帧数确定车辆前方目标的轨迹预测模型，包括：判断当前针对车辆前方目标的累计帧数是否大于第二预设阈值；若所述累计帧数大于所述第二预设阈值，则选取最后预设帧数的数据进行训练，获得轨迹预测模型。
13.进一步地，根据所述车辆前方目标的预测轨迹信息生成预警信息，包括：根据所述车辆前方目标的预测轨迹信息确定当前车辆前方目标的实时位置；根据所述当前车辆前方目标的实时位置与当前车辆的距离判断当前车辆前方目标是否为危险目标；若判定当前车辆前方目标为危险目标，则生成预警信息，并根据所述预警信息进行减速。
14.进一步地，根据所述当前车辆前方目标的实时位置与当前车辆的距离判断当前车辆前方目标是否为危险目标，包括：计算所述当前车辆前方目标的实时位置与当前车辆的实时距离；判断所述实时距离是否在安全距离范围内；若所述实时距离在所述安全距离范围内，则判定当前车辆前方目标为非危险目标；若所述实时距离不在所述安全距离范围内，则判定当前车辆前方目标为危险目
标。
15.作为本发明的另一个方面，提供一种车辆变道检测装置，用于实现前文所述的车辆变道检测方法，其中，包括：获取模块，用于获取车辆前方目标的视觉图像信息以及雷达点云检测信息，其中所述视觉图像信息为视觉检测装置实时采集到的车辆前方目标的图像信息，所述雷达点云检测信息为毫米波雷达装置实时采集到的车辆前方目标的点云信息；第一确定模块，用于根据所述视觉图像信息确定车辆前方目标的第一属性信息，以及根据所述雷达点云检测信息确定车辆前方目标的第二属性信息；第二确定模块，用于根据所述第一属性信息和所述第二属性信息确定所述视觉图像信息和所述雷达点云检测信息是否为车辆前方同一目标；融合模块，用于当确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标时，将所述第一属性信息与所述第二属性信息进行融合，确定所述车辆前方目标的预测轨迹信息；预警模块，用于根据所述车辆前方目标的预测轨迹信息生成预警信息。
16.作为本发明的另一个方面，提供一种车辆变道检测方法，其中，包括：毫米波雷达装置、视觉检测装置和前文所述的车辆变道检测装置，所述毫米波雷达装置和视觉检测装置均与所述车辆变道检测装置通信连接，所述毫米波雷达装置用于实时采集车辆前方目标的点云信息，所述视觉检测装置用于实时采集车辆前方目标的图像信息，所述车辆变道检测装置用于根据所述图像信息和所述点云信息进行融合处理，确定车辆前方目标的预测轨迹信息，并根据所述预测轨迹信息生成预警信息。
17.本发明提供的车辆变道检测方法，通过4d毫米波雷达的高精度测高，进而检测出前方目标的体积，以此来判断目标的危险程度，如大卡车具有一定危险性。并且根据摄像头输出的类别信息，与高度信息相结合，利用近大远小来辅助判断前方目标的距离，且利用神经网络进行属性预测。本发明提供的车辆变道检测方法能够通过摄像头与4d毫米波雷达的融合，获得前方车辆的行进状态，对有变道趋势的车进行精准检测，从而进行有效预警与干预。
附图说明
18.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：图1为本发明提供的车辆变道检测方法的流程图。
19.图2为本发明提供的车辆变道检测方法的具体实施方式流程图。
具体实施方式
20.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
21.为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
22.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.在本实施例中提供了一种车辆变道检测方法，图1是根据本发明实施例提供的车辆变道检测方法的流程图，如图1所示，包括：s100、获取车辆前方目标的视觉图像信息以及雷达点云检测信息，其中所述视觉图像信息为视觉检测装置实时采集到的车辆前方目标的图像信息，所述雷达点云检测信息为毫米波雷达装置实时采集到的车辆前方目标的点云信息；在本发明实施例中，所述毫米波雷达装置具体可以为4d毫米波雷达，所述视觉检测装置具体可以为摄像机实现。
24.具体可以利用安装在当前车辆上的摄像机采集车辆前方目标的视觉图像信息，以及利用安装在当前车辆上的毫米波雷达装置采集车辆前方目标的雷达点云检测信息。
25.s200、根据所述视觉图像信息确定车辆前方目标的第一属性信息，以及根据所述雷达点云检测信息确定车辆前方目标的第二属性信息；具体地，如图2所示，在本发明实施例中，摄像头检测后输出检测出的所有目标列表，包括位置框信息，解算后的距离速度，类别等信息。4d毫米波雷达对前方所有目标一帧数据的检测。其中包括对所有目标的聚类追踪，并输出目标列表。
26.具体地，根据所述视觉图像信息确定车辆前方目标的第一属性信息，包括：根据所述视觉图像信息确定车辆前方的所有第一目标列表；根据所述第一目标列表确定第一属性信息，其中所述第一属性信息包括目标的位置框信息、距离信息、速度信息和类别信息。
27.具体地，根据所述雷达点云检测信息确定车辆前方目标的第二属性信息，包括：根据所述雷达点云检测信息确定车辆前方的所有目标数据的检测信息；对所述所有目标数据的检测信息进行聚类处理，得到车辆前方的所有第二目标列表；根据所述第二目标列表确定第二属性信息，其中所述第二属性信息包括目标的检测框、速度信息、距离信息和角度信息。
28.应当理解的是，雷达获取目标列表内所有目标的速度距离角度等信息。
29.s300、根据所述第一属性信息和所述第二属性信息确定所述视觉图像信息和所述雷达点云检测信息是否为车辆前方同一目标；在本发明实施例中，计算所述第一属性信息和第二属性信息的相似度；若所述第一属性信息和第二属性信息的相似度大于第一预设阈值，则确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标。
30.具体地，判断摄像头与雷达的目标检测列表内属性的相似度，以及检测框的重合度，若达到一定阈值则可判定摄像头与雷达检测到的是同一个目标。
31.s400、当确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标时，将所述第一属性信息与所述第二属性信息进行融合，确定所述车辆前方目标的预测轨迹信息；在本发明实施例中，将所述第一属性信息与所述第二属性信息进行融合，确定车辆前方目标的属性信息；获取当前针对车辆前方目标的累计帧数，并根据所述累计帧数确定车辆前方目标的轨迹预测模型；根据所述轨迹预测模型确定车辆前方目标的预测轨迹信息。
32.进一步地，获取当前针对车辆前方目标的累计帧数，并根据所述累计帧数确定车辆前方目标的轨迹预测模型，包括：判断当前针对车辆前方目标的累计帧数是否大于第二预设阈值；若所述累计帧数大于所述第二预设阈值，则选取最后预设帧数的数据进行训练，获得轨迹预测模型。
33.在本发明实施例中，判断当前累计帧数，若小于s则返回继续累计，若大于s则进入s8。步骤s8，对已累计的帧数进行滑窗，窗大小设为s，每多一帧累计则向后滑动一步，即取累计帧数数据的最后s个。将窗口内累计帧数的数据作为s9步的输入，输入属性包括历史帧数目标的，距离、速度、角度、高度、体积、类别。步骤s9，将s帧数据送入训练好的神经网络中。
34.步骤s10，根据s帧时间序列内的数据来预测未来多帧a目标的运动轨迹、速度、距离、角度、高度、体积、类别等属性。
35.步骤s11，判断，如果预测的未来帧，目标a位于本车正前方一定范围内，且距离小于安全距离d、或距离大于d小于e（一定范围），但高度约为大卡车的高度，则判断前方目标虽然在安全距离内，但有危险目标应减速，则进入s12，不是则继续累计帧数。步骤s12，进行主动干预减速等操作。
36.s500、根据所述车辆前方目标的预测轨迹信息生成预警信息。
37.在本发明实施例中，根据所述车辆前方目标的预测轨迹信息确定当前车辆前方目标的实时位置；根据所述当前车辆前方目标的实时位置与当前车辆的距离判断当前车辆前方目标是否为危险目标；若判定当前车辆前方目标为危险目标，则生成预警信息，并根据所述预警信息进行减速。
38.综上，本发明实施例提供的车辆变道检测方法，通过4d毫米波雷达的高精度测高，进而检测出前方目标的体积，以此来判断目标的危险程度，如大卡车具有一定危险性。并且根据摄像头输出的类别信息，与高度信息相结合，利用近大远小来辅助判断前方目标的距离，且利用神经网络进行属性预测。本发明提供的车辆变道检测方法能够通过摄像头与4d毫米波雷达的融合，获得前方车辆的行进状态，对有变道趋势的车进行精准检测，从而进行有效预警与干预。
39.作为本发明的另一个实施例，提供一种车辆变道检测装置，用于实现前文所述的车辆变道检测方法，其中，包括：
获取模块，用于获取车辆前方目标的视觉图像信息以及雷达点云检测信息，其中所述视觉图像信息为视觉检测装置实时采集到的车辆前方目标的图像信息，所述雷达点云检测信息为毫米波雷达装置实时采集到的车辆前方目标的点云信息；第一确定模块，用于根据所述视觉图像信息确定车辆前方目标的第一属性信息，以及根据所述雷达点云检测信息确定车辆前方目标的第二属性信息；第二确定模块，用于根据所述第一属性信息和所述第二属性信息确定所述视觉图像信息和所述雷达点云检测信息是否为车辆前方同一目标；融合模块，用于当确定所述视觉图像信息和所述雷达点云检测信息为车辆前方同一目标时，将所述第一属性信息与所述第二属性信息进行融合，确定所述车辆前方目标的预测轨迹信息；预警模块，用于根据所述车辆前方目标的预测轨迹信息生成预警信息。
40.关于本发明实施例提供的车辆变道检测装置的具体工作原理可以参照前文的车辆变道检测方法的描述，此处不再赘述。
41.作为本发明的另一个实施例，提供一种车辆变道检测方法，其中，包括：毫米波雷达装置、视觉检测装置和前文所述的车辆变道检测装置，所述毫米波雷达装置和视觉检测装置均与所述车辆变道检测装置通信连接，所述毫米波雷达装置用于实时采集车辆前方目标的点云信息，所述视觉检测装置用于实时采集车辆前方目标的图像信息，所述车辆变道检测装置用于根据所述图像信息和所述点云信息进行融合处理，确定车辆前方目标的预测轨迹信息，并根据所述预测轨迹信息生成预警信息。
42.关于本发明实施例提供的车辆变道检测系统的具体工作原理可以参照前文的车辆变道检测方法的描述，此处不再赘述。
43.在本发明实施例中，所述毫米波雷达装置具体可以为4d毫米波雷达，所述视觉检测装置具体可以为摄像机实现。
44.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。