车载防碰撞预警方法、装置、计算机设备及存储介质与流程

1.本发明涉及一种车载防碰撞预警方法及装置，尤其是指一种车载防碰撞预警方法及装置。


背景技术：

2.毫米波雷达的传输介质是波长为毫米级的毫米波，其频域范围为30～300ghz，具有较强的穿透雾、灰尘的能力，受光照条件、天气环境影响小，并且可准确获取障碍物与毫米波雷达的相对距离和速度，但目标识别信息无法获取，并且人机交互性能相比于视觉比较差。
3.视觉传感器能够识别目标种类并能直观显示检测结果，但视觉传感器受环境影响比较大，并且获得的数据是视频图像，图像处理计算量大、计算复杂、实时性差，由于摄像头分辨率和处理速度的矛盾性以及图像处理方法的局限性，视觉传感器测量数据精度较低。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种基于毫米波雷达视觉融合的车载防碰撞预警方法、装置、计算机设备及存储介质。
5.为了解决上述技术问题，本发明采用的技术方案为：一种车载防碰撞预警方法，包括，
6.将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型；
7.通过前视全光照相机获取路面图像；
8.通过毫米波雷达对路面的目标对象进行识别；
9.将毫米波雷达识别到的目标对象在前视全光照相机获取的路面图像上使用目标检测框框出；
10.将前视全光照相机获取路面的图像通过目标检测模型识别目标对象，并用目标检测框框出；
11.将毫米波雷达识别到的目标对象的目标检测框与目标检测模型识别的目标对象的目标检测框两两之间进行交并比计算，得到检测框的重合度；
12.根据检测框的重合度，通过kuhn-munkres算法进行最佳匹配计算，得到一个最佳匹配结果。
13.进一步的，将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型的步骤包括，
14.将路面图像的样本输入到squeezenet神经网络中进行特征提取，生成特征图；
15.将特征图通过rpn网络得到候选区域，候选区域包括包含目标对象的边界框信息；
16.将特征图和候选区域通过roi池化层输出后，经过全连接层进行检测计算获得目标对象的类别分数和边界框；
17.将目标对象的类别分数和边界框的预测值和标注信息计算损失函数；
18.将损失函数的损失值较大的多个样本作为疑难样本返回roi池化层；
19.将roi池化层输出的结果通过全连接层、分类层与边界框回归层，获得目标对象的类别分数与边界框；
20.重复多次以上流程，得到目标检测模型。
21.进一步的，通过毫米波雷达对路面的目标对象进行识别的步骤包括，
22.根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出自身车辆的正常行驶造成威胁的初选目标对象；
23.采用sage-husa自适应卡尔曼滤波基于目标对象的动态信息去滤除相关的扰动信息，得到目标对象的准确估计位置。
24.进一步的，根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出对自身车辆的正常行驶造成威胁的初选目标对象的步骤包括，
25.根据毫米波雷达测量得到各个目标对象的横向距离值，判断各个目标对象与自身车辆是否处于同一车道；
26.若目标对象与自身车辆处于同一车道，则将该目标对象视为对自身车辆的正常行驶造成威胁的初选目标对象。
27.本发明还提供了一种车载防碰撞预警装置，包括，
28.目标检测模型训练模块，用于将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型；
29.路面图像获取模块，用于通过前视全光照相机获取路面图像；
30.毫米波雷达识别模块，用于通过毫米波雷达对路面的目标对象进行识别；
31.雷达目标框选模块，用于将毫米波雷达识别到的目标对象在前视全光照相机获取的路面图像上使用目标检测框框出；
32.视觉目标框选模块，用于将前视全光照相机获取路面的图像通过目标检测模型识别目标对象，并用目标检测框框出；
33.交并比计算模块，用于将将毫米波雷达识别到的目标对象的目标检测框与目标检测模型识别的目标对象的目标检测框两两之间进行交并比计算，得到检测框的重合度；
34.目标检测框最佳匹配模块，用于根据检测框的重合度，通过kuhn-munkres算法进行最佳匹配计算，得到一个最佳匹配结果。
35.进一步的，目标检测模型训练模块具体用于，
36.将路面图像的样本输入到squeezenet神经网络中进行特征提取，生成特征图；
37.将特征图通过rpn网络得到候选区域，候选区域包括包含目标对象的边界框信息；
38.将特征图和候选区域通过roi池化层输出后，经过全连接层进行检测计算获得目标对象的类别分数和边界框；
39.将目标对象的类别分数和边界框的预测值和标注信息计算损失函数；
40.将损失函数的损失值较大的多个样本作为疑难样本返回roi池化层；
41.将roi池化层输出的结果通过全连接层、分类层与边界框回归层，获得目标对象的类别分数与边界框；
42.重复多次以上流程，得到目标检测模型。
43.进一步的，毫米波雷达识别模块中，通过毫米波雷达对路面的目标对象进行识别包括，
44.根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出自身车辆的正常行驶造成威胁的初选目标对象；
45.采用sage-husa自适应卡尔曼滤波基于目标对象的动态信息去滤除相关的扰动信息，得到目标对象的准确估计位置。
46.进一步的，毫米波雷达识别模块中，根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出对自身车辆的正常行驶造成威胁的初选目标对象包括，
47.根据毫米波雷达测量得到各个目标对象的横向距离值，判断各个目标对象与自身车辆是否处于同一车道；
48.若目标对象与自身车辆处于同一车道，则将该目标对象视为对自身车辆的正常行驶造成威胁的初选目标对象。
49.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的车载防碰撞预警方法。
50.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上所述的车载防碰撞预警方法。
51.本发明的有益效果在于：通过全光照相机采集路面图像，通过毫米波雷达识别路面的目标对象，将目标检测模型识别的目标检测框与毫米波雷达识别到的目标检测框进行交并比，通过匈牙利算法进行优化计算得到目标对象的精确位置，通过毫米波雷达配合全光照相机可以有效提升全天候情况下的目标识别能力，即通过毫米波与视觉融合方案可获得不同光照情况下车道目标物精确的相对速度、距离及障碍物类别。
附图说明
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的机构获得其他的附图。
53.图1为本发明实施例的车载防碰撞预警方法流程图；
54.图2为本发明实施例的目标检测模型训练流程图；
55.图3为本发明实施例的毫米波雷达物识别流程图；
56.图4为本发明实施例的车载防碰撞预警装置框图；
57.图5为本发明实施例的计算机设备的示意性框图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
60.如图1所示，本发明的第一实施例为：一种车载防碰撞预警方法，包括，
61.s10、将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型；
62.s20、通过前视全光照相机获取路面图像；
63.s30、通过毫米波雷达对路面的目标对象进行识别；
64.s40、将毫米波雷达识别到的目标对象在前视全光照相机获取的路面图像上使用目标检测框框出；
65.毫米波雷达检测到的目标对象的位置通过标定转换成图像中的像素点，再结合毫米波雷达检测到的目标对象的宽度信息，宽高比设为1:1，得到图像中雷达目标检测框，用数组表示。
66.s50、将前视全光照相机获取路面的图像通过目标检测模型识别目标对象，并用目标检测框框出；
67.图像中的目标对象通过目标检测模型检测也得到视觉目标检测框，用数组表示。
68.s60、将毫米波雷达识别到的目标对象的目标检测框与目标检测模型识别的目标对象的目标检测框两两之间进行交并比计算，得到检测框的重合度；
69.毫米波雷达和视觉在多目标对象存在的情况下可分别得到多个目标检测框，通过循环遍历的方式依次计算雷达目标检测框和视觉目标检测框的相似度，得到交并比矩阵，设立代价阈值为0.7，将交并比矩阵中的各元素取相反数并加1，如果计算后的元素数值大于代价阈值则设为代价阈值，通过以上处理后便得到代价矩阵。
70.s70、根据检测框的重合度，通过kuhn-munkres算法进行最佳匹配计算，得到一个最佳匹配结果。
71.对代价矩阵执行kuhn-munkres算法匹配策略得到雷达检测框和视觉检测框的匹配结果，得到目标对象的精确位置。
72.检测到的目标对象，也就是障碍物在显示器中被矩形框框住，矩形框左上角标注检测类别，框内有联合标定后的雷达检测圆点，雷达检测圆点上方标注该障碍物目前相对车辆的距离、速度；做出安全判断时检测框及雷达点为绿色，有碰撞危险时为红色并伴有报警声。
73.本方案通过毫米波雷达—视觉融合系统实现，毫米波雷达—视觉融合系统由毫米波雷达、前视全光照相机、数据处理存储系统和显示器组成。
74.毫米波雷达探测距离可以达到100m以上，能够得到精确的距离和速度数据，并且具有强大的目标区分能力，最多可识别64个目标；全光照相机主要用于在不同光线的情况下对图像的采集、处理，用于解决普通相机无法适应特殊光照环境的问题，相机使用微光技术和曝光控制技术，能够实现低照度和逆光状态下的清晰成像，采用全光照相机能够有效
提高系统在光线条件较差情况下对障碍物目标的检测准确率，实现全天候的辅助安全驾驶功能；数据处理存储系统配置can采集卡及2080ti显卡，通过can口接收雷达报文数据，通过网口接收相机图像数据，并支持基于深度学习的目标检测。
75.如图2所示，步骤s10、将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型的包括，
76.s11、将路面图像的样本输入到squeezenet神经网络中进行特征提取，生成特征图；
77.s12、将特征图通过rpn网络得到候选区域，候选区域包括包含目标对象的边界框信息；
78.s13、将特征图和候选区域通过roi池化层输出后，经过全连接层进行检测计算获得目标对象的类别分数和边界框；
79.s14、将目标对象的类别分数和边界框的预测值和标注信息计算损失函数，并将损失函数进行排序处理；
80.s15、将损失函数的损失值较大的多个样本作为疑难样本返回roi池化层；
81.s16、将roi池化层输出的结果通过全连接层、分类层与边界框回归层，获得目标对象的类别分数与边界框；
82.s17、重复多次以上流程，得到目标检测模型。
83.在squeezenet神经网络中进行模型训练中，通过加入在线负样本学习算法对疑难样本进行学习，有效提高了检测精度。
84.如图3所示，步骤s30、通过毫米波雷达对路面的目标对象进行识别包括，
85.s31、根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出自身车辆的正常行驶造成威胁的初选目标对象；
86.s32、采用sage-husa自适应卡尔曼滤波基于目标对象的动态信息去滤除相关的扰动信息，得到目标对象的准确估计位置。
87.进一步的，s31、根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出对自身车辆的正常行驶造成威胁的初选目标对象包括，
88.s311、根据毫米波雷达测量得到各个目标对象的横向距离值，判断各个目标对象与自身车辆是否处于同一车道；
89.s312、若目标对象与自身车辆处于同一车道，则将该目标对象视为对自身车辆的正常行驶造成威胁的初选目标对象。
90.本发明实施例的有益效果在于：通过全光照相机采集路面图像，通过毫米波雷达识别路面的目标对象，将目标检测模型识别的目标检测框与毫米波雷达识别到的目标检测框两两之间进行交并比，通过kuhn-munkres算法得到最佳匹配结果，通过毫米波雷达配合全光照相机可以有效提升全天候情况下的目标识别能力，即通过毫米波与视觉融合方案可获得不同光照情况下车道目标物精确的相对速度、距离及障碍物类别。
91.如图4所示，本发明的另一实施例为一种车载防碰撞预警装置，包括，
92.目标检测模型训练模块10，用于将路面图像的样本输入到squeezenet神经网络中进行模型训练，得到目标检测模型；
93.路面图像获取模块20，用于通过前视全光照相机获取路面图像；
94.毫米波雷达识别模块30，用于通过毫米波雷达对路面的目标对象进行识别；
95.雷达目标框选模块40，用于将毫米波雷达识别到的目标对象在前视全光照相机获取的路面图像上使用目标检测框框出；
96.视觉目标框选模块50，用于将前视全光照相机获取路面的图像通过目标检测模型识别目标对象，并用目标检测框框出；
97.交并比计算模块60，用于将毫米波雷达识别到的目标对象的目标检测框与目标检测模型识别的目标对象的目标检测框两两之间进行交并比计算，得到两个目标检测框的重合度；
98.目标检测框最佳匹配模块70，用于根据检测框的重合度，通过kuhn-munkres算法进行最佳匹配计算，得到一个最佳匹配结果。
99.进一步的，目标检测模型训练模块10具体用于，
100.将路面图像的样本输入到squeezenet神经网络中进行特征提取，生成特征图；
101.将特征图通过rpn网络得到候选区域，候选区域包括包含目标对象的边界框信息；
102.将特征图和候选区域通过roi池化层输出后，经过全连接层进行检测计算获得目标对象的类别分数和边界框；
103.将目标对象的类别分数和边界框的预测值和标注信息计算损失函数；
104.将损失函数的损失值较大的多个样本作为疑难样本返回roi池化层；
105.将roi池化层输出的结果通过全连接层、分类层与边界框回归层，获得目标对象的类别分数与边界框；
106.重复多次以上流程，得到目标检测模型。
107.进一步的，毫米波雷达识别模块30中，通过毫米波雷达对路面的目标对象进行识别包括，
108.根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出自身车辆的正常行驶造成威胁的初选目标对象；
109.采用sage-husa自适应卡尔曼滤波基于目标对象的动态信息去滤除相关的扰动信息，得到目标对象的准确估计位置。
110.进一步的，毫米波雷达识别模块30中，根据毫米波雷达测量得到各个目标对象的横向距离值，筛选出对自身车辆的正常行驶造成威胁的初选目标对象包括，
111.根据毫米波雷达测量得到各个目标对象的横向距离值，判断各个目标对象与自身车辆是否处于同一车道；
112.若目标对象与自身车辆处于同一车道，则将该目标对象视为对自身车辆的正常行驶造成威胁的初选目标对象。
113.需要说明的是，所属领域的技术人员可以清楚地了解到，上述一种车载防碰撞预警装置的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
114.上述一种车载防碰撞预警装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
115.请参阅图5，图5是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、
台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
116.参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
117.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种一种车载防碰撞预警方法。
118.该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
119.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种车载防碰撞预警方法。
120.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
121.其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的一种车载防碰撞预警方法。
122.应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
123.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
124.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的车载防碰撞预警方法。
125.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
126.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
127.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅
仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
128.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
129.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
130.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。