目标检测方法及车辆与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种目标检测方法及车辆。


背景技术：

2.随着自动驾驶技术的研发、应用和商业化进程的不断加快，对驾驶安全技术的需求也不断提高。其中，自动驾驶的前提是目标感知，因此对车辆周边环境的感知是一项非常重要的工作。
3.现有技术中大部分采用激光雷达来感知环境信息，但是，激光雷达的成本较高，难以在自动驾驶领域中实现量产。另外，自动驾驶需要感知车辆周边环境的颜色信息，以实现安全驾驶，而激光雷达无法感知颜色特征。


技术实现要素：

4.本发明提供一种目标检测方法及车辆，用以解决现有技术中自动驾驶成本高以及不能有效感知车辆周边环境颜色信息的缺陷，实现低成本且全面感知车辆周边的环境信息。
5.本发明实施例提供一种目标检测方法，包括：
6.获取当前车辆对应的点云数据和图像数据，所述点云数据通过4d毫米波雷达得到；
7.提取所述点云数据对应的点云特征图，以及所述图像数据对应的图像特征图；
8.融合所述点云特征图和所述图像特征图，基于融合结果，确定待检测目标的参数信息。根据本发明一个实施例的目标检测方法，所述融合所述点云特征图和所述图像特征图之前，还包括：
9.基于所述点云特征图，确定目标先验框；
10.当确定所述目标先验框中包括所述待检测目标时，将所述目标先验框映射到所述图像特征图上，得到目标图像特征图；
11.所述融合所述点云特征图和所述图像特征图，基于融合结果，确定待检测目标的参数信息，包括：
12.融合所述点云特征图和所述目标图像特征图，基于融合结果，确定所述待检测目标的所述参数信息。
13.根据本发明一个实施例的目标检测方法，所述提取所述点云数据对应的点云特征图之前，还包括：
14.对所述点云数据中的每个预设范围内的点云，生成预设个数个初始先验框，得到包括所述初始先验框的目标点云数据，其中，每个所述初始先验框的尺寸信息不一致，所述预设个数基于所述待检测目标的所述参数信息中的类别信息得到；
15.所述提取所述点云数据对应的点云特征图，包括：
16.提取所述目标点云数据对应的点云特征图；
17.所述基于所述点云特征图，确定目标先验框，包括：
18.基于所述点云特征图，确定所述初始先验框中的所述目标先验框。
19.根据本发明一个实施例的目标检测方法，所述基于所述点云特征图，确定所述初始先验框中的所述目标先验框，包括：
20.将所述点云特征图输入目标确定模型，得到所述目标确定模型输出的所述目标先验框，所述目标确定模型通过点云特征图样本和目标先验框样本训练得到。
21.根据本发明一个实施例的目标检测方法，所述提取所述点云数据对应的点云特征图，以及所述图像数据对应的图像特征图，包括：
22.将所述目标点云数据输入点云特征提取模型，通过所述点云特征提取模型对所述初始先验框进行深层特征提取操作，得到所述点云特征图，所述点云特征提取模型通过目标点云数据样本和点云特征图样本训练得到；
23.将所述图像数据输入图像特征提取模型，通过所述图像特征提取模型对所述图像数据进行深层特征提取操作，得到所述图像特征图，所述图像特征提取模型通过图像数据样本和图像特征图样本训练得到。
24.根据本发明一个实施例的目标检测方法，所述基于所述点云特征图，确定目标先验框之后，还包括：
25.提取所述目标先验框对应的目标特征；
26.比对提取的目标特征与预设的目标特征，得到比对结果；
27.当所述比对结果小于预设值时，确定所述目标先验框中不包括所述待检测目标；
28.当所述比对结果大于或等于所述预设值时，确定所述目标先验框中包括所述待检测目标。
29.根据本发明一个实施例的目标检测方法，所述当所述比对结果大于或等于所述预设值时，确定所述目标先验框中包括所述待检测目标之后，还包括：
30.确定所述待检测目标的所述参数信息中的类别信息；
31.基于所述类别信息，调整所述目标先验框，并将调整后的目标先验框作为所述目标先验框。
32.根据本发明一个实施例的目标检测方法，所述将所述目标先验框映射到所述图像特征图上，得到目标图像特征图之前，还包括：
33.确定所述目标先验框中所述待检测目标的所述参数信息中的第一位置信息；
34.所述将所述目标先验框映射到所述图像特征图上，得到目标图像特征图，包括：
35.基于预先标定的标定参数，将所述第一位置信息转化为与所述图像特征图对应的第二位置信息；
36.基于所述第二位置信息，将所述目标先验框映射到所述图像特征图上，得到所述目标图像特征图。
37.根据本发明一个实施例的目标检测方法，所述获取当前车辆对应的点云数据和图像数据之后，还包括：
38.通过预设分辨率对所述当前车辆所在平面进行切分处理，得到至少两个子平面，所述子平面包括平面长度和平面宽度；
39.基于所述点云数据，确定每个所述子平面高度；
40.将所述平面长度、平面宽度和所述平面高度作为最终的点云数据。
41.本发明实施例还提供一种智能驾驶车辆，包括车辆本体和控制器，控制器用于实现如上任一种所述的目标检测方法的步骤。
42.本发明实施例提供的目标检测方法及车辆，通过获取当前车辆对应的点云数据和图像数据，所述点云数据通过4d毫米波雷达得到，其中，4d毫米波雷达的成本远远低于激光雷达的成本，降低了自动驾驶的成本，另外本发明采用4d毫米波雷达能够准确的检测待检测目标的三维信息以及速度信息；进而，本发明得到点云数据对应的点云特征图和图像数据对应的图像特征图，可见，本发明不仅基于点云特征图感知车辆周边环境的待检测目标的参数信息，还基于图像特征图感知车辆周边环境的待检测目标的颜色信息，使得检测结果更全面、更真实，最后，融合点云特征图和图像特征图，基于融合结果，确定待检测目标的参数信息，有效的提高了检测结果的精准度。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明实施例提供的一种目标检测方法的流程示意图之一；
45.图2是本发明实施例提供的一种目标检测方法的流程示意图之二；
46.图3是本发明实施例提供的一种目标检测方法的流程示意图之三；
47.图4是本发明实施例提供的一种目标检测装置的结构示意图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.下面结合图1至图3描述本发明实施例的目标检测方法。
50.本发明提供的目标检测方法，应用于智能驾驶车辆，该方法的具体实现如图1所示：
51.步骤101，获取当前车辆对应的点云数据和图像数据。
52.其中，点云数据通过4d毫米波雷达得到。
53.其中，4d毫米波雷达可以感知周边环境的四个维度，包括：距离、水平定位、垂直定位和速度。4d毫米波雷达可以探测到较小的目标，可以确定目标是否发生移动，在哪个方向移动，并且，成本较低。
54.本发明采用毫米波雷达替代激光雷达，有效的节约了成本，提高了用户体验。另外，本发明可以在四个维度上感知待检测目标的参数信息，提高了感知的精准度。
55.具体的，本发明利用摄像头采集当前车辆对应的图像数据，其中，图像数据包括颜色信息。
56.具体的，在获取点云数据和图像数据之前，需要对4d毫米波雷达和摄像头进行联合标定，得到标定参数，其中，基于标定参数能够将点云数据转换到图像数据对应的坐标系中，同理，基于标定参数亦能够将图像数据转换到点云数据对应的坐标系中。
57.一个具体实施例中，在得到点云数据之后，需要对获取的点云数据做预处理操作，预处理操作具体如下所示：
58.通过预设分辨率对当前车辆所在平面进行切分处理，得到至少两个子平面，子平面包括平面长度和平面宽度；基于点云数据，确定每个子平面高度；将平面长度、平面宽度和平面高度作为最终的点云数据。
59.具体的，将当前车辆所在平面为基准平面建立三维直角坐标系，其中，在当前车辆所在平面建立x轴和y轴，将当前车辆所在平面定位为xy平面，垂直于xy平面的坐标轴，定义为z轴。
60.其中，以预设分辨率为0.1米对xy平面进行采样，即，以0.1米为单位将xy平面切分为多个子平面，并基于三维直角坐标系确定各个子平面的x值和y值。进而，确定每个子平面在z轴的z值，将x值、y值和z值作为最终的点云数据。
61.其中，需要声明的是预设分辨率为0.1米，仅为举例说明，并不用于对保护范围进行限定。之后的具体实施例中的举例说明，均不对保护范围进行限定，之后便不再一一说明。
62.步骤102，提取点云数据对应的点云特征图，以及图像数据对应的图像特征图。
63.具体的，本发明预先建立点云特征提取模型和图像特征提取模型。
64.一个具体实施例中，将目标点云数据输入点云特征提取模型，通过点云特征提取模型对初始先验框进行深层特征提取操作，得到点云特征图，点云特征提取模型通过目标点云数据样本和点云特征图样本训练得到。将图像数据输入图像特征提取模型，通过图像特征提取模型对图像数据进行深层特征提取操作，得到图像特征图，图像特征提取模型通过图像数据样本和图像特征图样本训练得到。
65.具体的，点云特征提取模型对初始先验框进行卷积、池化、上采样等操作，得到点云特征图。图像特征提取模型对图像数据进行卷积、池化、上采样等操作，得到图像特征图。
66.步骤103，融合点云特征图和图像特征图，基于融合结果，确定待检测目标的参数信息。
67.一个具体实施例中，在融合点云特征图和图像特征图之前，基于点云特征图，确定目标先验框；当确定目标先验框中包括待检测目标时，将目标先验框映射到图像特征图上，得到目标图像特征图，进而，融合点云特征图和目标图像特征图，基于融合结果，确定待检测目标的参数信息。
68.其中，参数信息包括：待检测目标的类别信息、待检测目标的第一位置信息和待检测目标的尺寸信息。
69.一个具体实施例中，确定目标先验框的具体实现如图2所示：
70.步骤201，在得到预处理操作后的点云数据后，对点云数据中的每个预设范围内的点云，生成预设个数个初始先验框，得到包括初始先验框的目标点云数据。
71.其中，每个初始先验框的尺寸信息不一致，预设个数基于待检测目标的参数信息中的类别信息得到。
72.其中，将一个预设范围内的点云对应的初始先验框作为一组初始先验框，本发明包括多组初始先验框。
73.其中，下文再提到点云数据即为预处理后的点云数据。
74.具体的，基于待检测目标的类别信息确定初始先验框的个数，例如，待检测目标为车辆，车辆的类别信息包括：小轿车、运动型多用途汽车(suv)、卡车。此时，预设个数为3个。
75.另外，在生成初始先验框之后，确定各个初始先验框的对象信息(x,y,z,l,w,h,θ)，其中，x、y、z为初始先验框的中心位置的坐标值，其中，三维直角坐标系以当前车辆为原点建立，l为初始先验框的长，w为初始先验框的宽，h为初始先验框的高，θ为初始先验框与当前车辆的夹角。
76.步骤202，提取目标点云数据对应的点云特征图。
77.步骤203，基于点云特征图，确定初始先验框中的目标先验框。
78.一个具体实施例中，将点云特征图输入目标确定模型，得到目标确定模型输出的目标先验框，目标确定模型通过点云特征图样本和目标先验框样本训练得到。
79.具体的，本发明预先建立目标确定模型。
80.其中，目标确定模型的训练过程如下所示：
81.步骤一，构建目标确定模型。
82.步骤二，获取大量的点云特征图样本和目标先验框样本，其中点云特征图样本中包括初始先验框样本。
83.步骤三，将点云特征图样本输入目标确定模型，得到目标确定模型输出的目标先验样本。
84.步骤四，比对输出的目标先验样本和预设先验样本，得到比对结果。
85.步骤五，重复执行步骤三和步骤四，直至比对结果小于预设阈值时，确定目标确定模型训练完成。
86.具体的，点云特征图输入目标确定模型，通过目标确定模型确定每组初始先验框中每个初始先验框的置信度和对象信息，将每组初始先验框中置信度最大时对应的初始先验框作为目标先验框。
87.一个具体实施例中，在确定目标先验框之后，需判断目标先验框中是否包括待检测目标。判断目标先验框中是否包括待检测目标的具体实现方式如图3所示：
88.步骤301，提取目标先验框对应的目标特征。
89.步骤302，比对提取的目标特征与预设的目标特征，得到比对结果。
90.其中，预设的目标特征为预先设定的待检测目标的特征。
91.具体的，比对提取的目标特征与预设的目标特征，确定提取的目标特征与预设的目标特征的一致率。
92.步骤303，当比对结果小于预设值时，确定目标先验框中不包括待检测目标。
93.具体的，当一致率小于预设值时，确定目标先验框中不包括待检测目标。
94.步骤304，当比对结果大于或等于预设值时，确定目标先验框中包括待检测目标。
95.具体的，当一致率大于或等于预设值时，确定目标先验框中包括待检测目标。
96.一个具体实施例中，在确定目标先验框中包括待检测目标之后，确定待检测目标的参数信息中的类别信息；基于类别信息，调整目标先验框，并将调整后的目标先验框作为
目标先验框。
97.例如，确定待检测目标的类别信息为卡车，基于卡车的参数信息调整目标先验框的尺寸信息，以使目标先验框能够成为卡车的最小外接矩形；又例如，确定待检测目标的类别信息为suv，基于suv的参数信息调整目标先验框的尺寸信息，以使目标先验框能够成为suv的最小外接矩形；又例如，确定待检测目标的类别信息为小轿车，基于小轿车的参数信息调整目标先验框的尺寸信息，以使目标先验框能够成为小轿车的最小外接矩形。
98.一个具体实施例中，将目标先验框映射到图像特征图上，得到目标图像特征图之前，确定目标先验框中待检测目标的第一位置信息；基于预先标定的标定参数，将第一位置信息转化为与图像特征图对应的第二位置信息；基于第二位置信息，将目标先验框映射到图像特征图上，得到目标图像特征图。
99.例如，确定待检测目标为卡车，以及卡车相对于当前车辆的位置信息和卡车的尺寸信息；又例如，确定待检测目标为suv，以及suv相对于当前车辆的位置信息和suv的尺寸信息；又例如，确定待检测目标为小轿车，以及小轿车相对于当前车辆的位置信息和小轿车的尺寸信息。
100.又例如，确定待检测目标为红绿灯，以及红绿灯相对于当前车辆的位置信息和红绿灯的颜色信息。
101.本发明基于待检测目标在点云数据中的位置信息和在图像数据中的位置信息，来确定待检测目标最终的位置信息，有效的提高了目标位置检测的精准度。另外，本发明利用图像数据中的颜色信息，使得待检测目标更形象，有效的提高了用户体验。
102.本发明实施例提供的目标检测方法，通过获取当前车辆对应的点云数据和图像数据，所述点云数据通过4d毫米波雷达得到，其中，4d毫米波雷达的成本远远低于激光雷达的成本，降低了自动驾驶的成本，另外本发明采用4d毫米波雷达能够准确的检测待检测目标的三维信息以及速度信息；进而，本发明得到点云数据对应的点云特征图和图像数据对应的目标图像特征图，可见，本发明不仅基于点云特征图感知车辆周边环境的待检测目标的类别信息、位置信息和待检测目标的尺寸信息，还基于目标图像特征图感知车辆周边环境的待检测目标的颜色信息，使得检测结果更全面、更真实，最后，融合点云特征图和目标图像特征图，基于融合结果，确定待检测目标的类别信息、位置信息和待检测目标的尺寸信息，有效的提高了检测结果的精准度。
103.本发明实施例还提供了一种目标检测装置，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照，重复之处不再赘述，具体如图4所示：
104.获取模块401，用于获取当前车辆对应的点云数据和图像数据，点云数据通过4d毫米波雷达得到；
105.提取模块402，用于提取点云数据对应的点云特征图，以及图像数据对应的图像特征图；
106.融合模块403，用于融合所述点云特征图和所述图像特征图，基于融合结果，确定待检测目标的参数信息。
107.一个具体实施例中，融合模块403，还用于基于点云特征图，确定目标先验框；当确定目标先验框中包括待检测目标时，将目标先验框映射到图像特征图上，得到目标图像特征图；融合模块403，具体用于融合点云特征图和目标图像特征图，基于融合结果，确定待检
测目标的参数信息。
108.一个具体实施例中，提取模块402，还用于对点云数据中的每个预设范围内的点云，生成预设个数个初始先验框，得到包括初始先验框的目标点云数据，其中，每个初始先验框的尺寸信息不一致，预设个数基于待检测目标的参数信息中的类别信息得到；提取模块402，具体用于提取目标点云数据对应的点云特征图；融合模块403，具体用于基于点云特征图，确定初始先验框中的目标先验框。
109.一个具体实施例中，融合模块403，具体用于将点云特征图输入目标确定模型，得到目标确定模型输出的目标先验框，目标确定模型通过点云特征图样本和目标先验框样本训练得到。
110.一个具体实施例中，提取模块402，具体用于将目标点云数据输入点云特征提取模型，通过点云特征提取模型对初始先验框进行深层特征提取操作，得到点云特征图，点云特征提取模型通过目标点云数据样本和点云特征图样本训练得到；将图像数据输入图像特征提取模型，通过图像特征提取模型对图像数据进行深层特征提取操作，得到图像特征图，图像特征提取模型通过图像数据样本和图像特征图样本训练得到。
111.一个具体实施例中，融合模块403，还用于提取目标先验框对应的目标特征；比对提取的目标特征与预设的目标特征，得到比对结果；当比对结果小于预设值时，确定目标先验框中不包括待检测目标；当比对结果大于或等于预设值时，确定目标先验框中包括待检测目标。
112.一个具体实施例中，融合模块403，还用于确定待检测目标的参数信息中的类别信息；基于类别信息，调整目标先验框，并将调整后的目标先验框作为目标先验框。
113.一个具体实施例中，融合模块403，还用于确定目标先验框中待检测目标的参数信息中的第一位置信息；融合模块403，具体用于基于预先标定的标定参数，将第一位置信息转化为与图像特征图对应的第二位置信息；基于第二位置信息，将目标先验框映射到图像特征图上，得到目标图像特征图。
114.一个具体实施例中，获取模块401，还用于通过预设分辨率对当前车辆所在平面进行切分处理，得到至少两个子平面，子平面包括平面长度和平面宽度；基于点云数据，确定每个子平面高度；将平面长度、平面宽度和平面高度作为最终的点云数据。
115.本发明实施例还提供了一种智能驾驶车辆，包括：车辆本体和控制器，控制器用于实现如上任一实施例提供的目标检测方法。
116.其中，智能驾驶车辆包括：小轿车、suv、挖掘机、压路机、起吊机、泵车等。
117.本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：获取当前车辆对应的点云数据和图像数据，点云数据通过4d毫米波雷达得到；提取点云数据对应的点云特征图，以及图像数据对应的图像特征图；融合点云特征图和图像特征图，基于融合结果，确定待检测目标的参数信息。
118.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的目标检测方法，该方法包括：获取当前车辆对应的点云数据和图像数据，点云数据通过4d毫米波雷达得到；提取点云数据对应的点
云特征图，以及图像数据对应的图像特征图；融合点云特征图和图像特征图，基于融合结果，确定待检测目标的参数信息。
119.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
121.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。