图像的障碍目标检测方法、装置、电子设备及存储介质与流程

1.本发明涉及图像识别技术领域，尤其涉及一种图像的障碍目标检测方法、系统、电子设备及存储介质。


背景技术：

2.障碍主要指自动驾驶场景中在道路上遇到的物体，如车辆、行人、石头、倒落的树木、废旧轮胎等一切地面的异常凸起物。在自动驾驶场景中，现有对通用障碍物进行检测的方法主要有：结合超声波、毫米波、激光雷达实现通用障碍物的探测、在图像中利用可行驶区域分割、传统cv方法来实现对通用障碍物的提取。
3.对于雷达检测，激光雷达检测主要对金属类物体有较高的反射响应，且不容易精确的确定所属于障碍的点云数据，即点云数据划分不准确。


技术实现要素：

4.针对现有技术存在的问题，本发明提供一种图像的障碍目标检测方法、系统、电子设备及存储介质。
5.第一方面，本发明提供一种图像的障碍目标检测方法，包括：
6.获取当前车辆行驶方向上的2d图像数据和雷达点云数据；
7.根据所述2d图像数据确定图像中障碍目标的检测框；
8.根据雷达点云数据和所述障碍目标的检测框确定所属于所述障碍目标的雷达点云数据；
9.根据所述障碍目标的雷达点云数据构建所述障碍目标的3d框。
10.在一个实施例中，所述根据雷达点云数据和所述障碍目标的检测框确定所属于所述障碍目标的雷达点云数据，包括：
11.根据所述2d图像数据建立2d坐标系，确定所述障碍目标的检测框在所述2d坐标系上的位置；
12.获得所述雷达点云数据在所述2d图像数据的投影点，确定所述投影点的位置，建立雷达点云数据与投影点的对应关系；
13.根据所述障碍目标的检测框在所述2d坐标系上的位置和所述投影点的位置，确定位于所述障碍目标的检测框内的投影点；
14.基于预设比例确定所述障碍目标的检测框的中心区域，以中心区域的投影点作为种子点，利用区域生长算法确定扩展区域；
15.基于所述中心区域和所述扩展区域内的投影点和所述雷达点云数据与投影点的对应关系确定所属于所述障碍目标的雷达点云数据。
16.在一个实施例中，所述根据所述障碍目标的雷达点云数据构建所述障碍目标的3d框，包括：
17.根据所述障碍目标的雷达点云数据确定中心位置点，建立以所述中心位置点的3d
坐标系；
18.获取位于所述3d坐标系的各卦限内距离所述中心位置点最远的雷达点；
19.根据获取的各雷达点建立第一立体框，基于所述第一立体框进行镜像互补，确定所述障碍目标的3d框。
20.在一个实施例中，所述根据所述2d图像数据确定图像中障碍目标的检测框，包括：
21.确定所述2d图像数据中的特征点；所述特征点为每一帧图像中与地面区域相交的像素点；
22.根据所述特征点确定所述2d图像数据中的第一检测轮廓；所述第一检测轮廓为表征障碍物的轮廓；
23.根据所述第一检测轮廓确定第二检测轮廓，将所述第二检测轮廓在所述2d图像数据上进行展现；所述第二检测轮廓为对所述第一检测轮廓进行筛选和修整的轮廓。
24.在一个实施例中，所述根据所述特征点确定所述2d图像数据中的第一检测轮廓，包括：
25.将确定的所有特征点进行平滑接连，确定所述2d图像数据中的第一检测轮廓；其中，相邻特征点之间的距离大于预设距离的两个特征点不进行平滑接连。
26.在一个实施例中，所述根据所述第一检测轮廓确定第二检测轮廓，包括：
27.将具有两个端点的第一检测轮廓与预存的标准轮廓集合中的各标准轮廓进行相似度比对，确定相似度最大的标准轮廓；
28.确定具有两个端点的第一检测轮廓与相似度最大的标准轮廓之间的缩放比例，根据所述缩放比例确定对应于具有两个端点的第一检测轮廓的残缺轮廓；
29.根据所述残缺轮廓和具有两个端点的第一检测轮廓整合为第二检测轮廓。
30.第二方面，本发明提供一种图像的障碍目标检测装置，包括：
31.获取模块，用于获取当前车辆行驶方向上的2d图像数据和雷达点云数据；
32.识别模块，用于根据所述2d图像数据确定图像中障碍目标的检测框；
33.划分模块，用于根据雷达点云数据和所述障碍目标的检测框确定所属于所述障碍目标的雷达点云数据；
34.构建模块，用于根据所述障碍目标的雷达点云数据构建所述障碍目标的3d框。
35.第三方面，本发明提供一种电子设备，包括存储器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述图像的障碍目标检测方法的步骤。
36.第四方面，本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行第一方面所述图像的障碍目标检测方法的步骤。
37.本发明提供的图像的障碍目标检测方法、系统、电子设备及存储介质，通过使2d图像中障碍目标的检测框和雷达点云数据相关联，划分出所属于障碍目标的雷达点云数据并构建障碍目标的3d框，实现快速从雷达点云数据中确定所需的点云数据，加快对障碍目标的检测及定位。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的图像的障碍目标检测方法的流程示意图；
40.图2是本发明的车辆图像的障碍目标检测装置的结构示意图；
41.图3是本发明提供的电子设备的结构示意图；
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.下面结合图1-图3描述本发明的图像的障碍目标检测方法、系统、电子设备及存储介质。
44.图1示出了本发明一种图像的障碍目标检测方法的流程示意图，参见图1，该方法包括：
45.11、获取当前车辆行驶方向上的2d图像数据和雷达点云数据；
46.12、根据2d图像数据确定图像中障碍目标的检测框；
47.13、根据雷达点云数据和障碍目标的检测框确定所属于障碍目标的雷达点云数据；
48.14、根据障碍目标的雷达点云数据构建障碍目标的3d框。
49.针对步骤11-步骤13，需要说明的是，在本发明中，当前车辆为具备自动驾驶功能的智能车辆，在该车辆上设置有朝向前方的摄像装置，用于获取车辆在行驶方向上的2d图像数据。该2d图像数据属于动态视频，视频由多帧图像构成。为此，对2d图像数据中障碍进行检测过程中，实际上是对每一帧的图像均进行上述步骤11-步骤13的处理。
50.在当前车辆上还设置有可朝向前方的雷达发射机，用于获取车辆在行驶方向上的雷达点云数据。该雷达点云数据与摄像装置保持同步，以便实现对图像数据和雷达点云数据处理同步。
51.在本发明中，可以根据图像中障碍(如道路上的前方车辆、行人、拦路树木、遗落的巨石等)的形状、颜色、大小等图像特征，识别出图像中的障碍，作为检测的障碍目标。然后在图像上对障碍目标以框体进行标示，即障碍目标的检测框。
52.在本发明中，获取到的雷达点云数据是针对当前车辆前方所有事物进行反射得到的数据，故存在部分雷达点云数据对检测及定位车辆前方的障碍未发生实质影响，此时，需要对获取到的雷达点云数据进行划分，以划分出适合检测及定位车辆前方的障碍的点云数据。在这里，由于上述获取到的检测框是障碍目标的检测框，故使障碍目标的检测框和雷达点云数据相关联，以结合方式确定所属于障碍目标的雷达点云数据。其中，可采用点云数据投影在检测框的方式使障碍目标的检测框和雷达点云数据相关联，也可采用检测框垂直移动圈套点云数据的方式使障碍目标的检测框和雷达点云数据相关联。
53.获取到所属于所述障碍目标的雷达点云数据之后，基于雷达点云数据是立体层面
上的数据点，为此，根据障碍目标的雷达点云数据能够构建对应于障碍目标的3d框。该3d框用于对图像中的障碍目标进行简化标注及定位。
54.本发明提供的图像的障碍目标检测方法，通过使2d图像中障碍目标的检测框和雷达点云数据相关联，划分出所属于障碍目标的雷达点云数据并构建障碍目标的3d框，实现快速从雷达点云数据中确定所需的点云数据，加快对障碍目标的检测及定位。
55.在上述方法的进一步说明中，主要是对根据雷达点云数据和障碍目标的检测框确定所属于障碍目标的雷达点云数据的处理过程进行解释说明，具体如下：
56.根据2d图像数据建立2d坐标系，确定障碍目标的检测框在所述2d坐标系上的位置；
57.获得雷达点云数据在2d图像数据的投影点，确定投影点的位置，建立雷达点云数据与投影点的对应关系；
58.根据障碍目标的检测框在2d坐标系上的位置和投影点的位置，确定位于障碍目标的检测框内的投影点；
59.基于预设比例确定障碍目标的检测框的中心区域，以中心区域的投影点作为种子点，利用区域生长算法确定扩展区域；
60.基于中心区域和扩展区域内的投影点和雷达点云数据与投影点的对应关系确定所属于障碍目标的雷达点云数据。
61.对此，需要说明的是，在本发明中，在2d图像上建立2d坐标系，确定各障碍目标的检测框在2d坐标系上的位置，即在2d坐标系上划分出对应于各检测框的坐标区域。
62.将雷达点云数据在2d图像上进行投影，得到对应的投影点。对每个投影点在2d坐标系中确定对应的位置。由于存在多个雷达点投影在同一个点上，故要建立雷达点云数据与投影点的对应关系，方便后续确定落入到检测框内的投影点之后，可以基于对应关系确定对应的雷达点。
63.获取2d坐标系上划分出的对应于各检测框的坐标区域，以及各投影点的位置，则可以确定位于障碍目标的检测框内的投影点。
64.由于障碍目标的形状不确定性，检测框的覆盖面积要大于障碍目标在图像上的具体轮廓。为此，检测框内除了障碍目标的图像区域，还包括图像中的背景区域。例如图像中包含一个前方车辆，检测框内除了前方车辆的图像区域，也包括地面或路边护栏的背景区域。
65.故确定位于障碍目标的检测框内的投影点对应的点云数据不仅包含障碍目标的点云数据，也包括图像中背景事物的点云数据。因此，要将背景事物的点云数据筛选出。
66.在本发明中，基于预设比例(例如确定一个投影点，以投影点为中心点的5*5的比例范围)确定障碍目标的检测框的中心区域。
67.以中心区域的投影点作为种子点，获取种子点所在位置在图像上的像素特征，基于这些像素特征利用区域生长算法确定扩展区域。该扩展区域是位于该中心区域之外的区域。
68.然后得到中心区域和扩展区域中的投影点，基于中心区域和扩展区域内的投影点和雷达点云数据与投影点的对应关系确定所属于障碍目标的雷达点云数据。
69.本发明进一步的方法，通过建立2d坐标系，基于检测框与投影点在坐标系上的位
置，使2d图像中障碍目标的检测框和雷达点云的投影点相关联，基于区域生长算法划分出所属于障碍目标的雷达点云数据，实现快速从雷达点云数据中确定所需的点云数据。
70.在上述方法的进一步说明中，主要是对根据障碍目标的雷达点云数据构建障碍目标的3d框的处理过程进行解释说明，具体如下：
71.根据障碍目标的雷达点云数据确定中心位置点，建立以中心位置点的3d坐标系；
72.获取位于3d坐标系的各卦限内距离中心位置点最远的雷达点；
73.根据获取的各雷达点建立第一立体框，基于第一立体框进行镜像互补，确定障碍目标的3d框。
74.对此，需要说明的是，在本发明中，由于障碍目标位于当前车辆的前方，雷达发射点只能对障碍目标的在列车行进方向的后半部分的障碍表面进行激光发射，以及获取反射信号，得到点云数据。由此可知，获得的障碍目标的雷达点云数据对应于整个障碍表面的点云数据。故仅依靠获得的障碍目标的雷达点云数据不能够直接构建对应于障碍目标的3d框。
75.为此，需要进行以下的处理，才能去构建对应于障碍目标的3d框：
76.根据障碍目标的雷达点云数据确定中心位置点，建立以中心位置点的3d坐标系。对此，需要说明的是，以多个雷达点去确定一个中心位置点，以该中心位置点为中心，以最短距离为半径，能够涵盖住所有的雷达点。
77.中心位置点确定之后，建立以中心位置点的3d坐标系。对于一个3d坐标系来说，其具备8个卦限。在本发明中，障碍目标的雷达点云数据会落入到多个卦限内，然后找到每个卦限中距离中心位置点最远的雷达点。
78.然后根据获取的各雷达点可以建立一个立体框，作为第一立体框，然后基于第一立体框进行镜像互补，可以确定另外一半的立体框，将两个立体框结合确定障碍目标的3d框。
79.本发明进一步的方法，通过基于获取到的雷达点云数据确定一个立体框，然后基于该立体框采用镜像互补方式确定障碍目标的3d框，实现在雷达点云数据不完整的情况下，快速确定完整的障碍目标的3d框。
80.在上述方法的进一步说明中，主要是对根据2d图像数据确定图像中障碍目标的检测框的处理过程进行解释说明，包括：
81.确定所述2d图像数据中的特征点；特征点为每一帧图像中与地面区域相交的像素点；
82.根据特征点确定2d图像数据中的第一检测轮廓；第一检测轮廓为表征障碍目标的轮廓；
83.根据第一检测轮廓确定第二检测轮廓，将第二检测轮廓在2d图像数据上进行展现；第二检测轮廓为对第一检测轮廓进行筛选和修整的轮廓。
84.对此，需要说明的是，在本发明中，自动驾驶的智能车辆主要在规定的主干道路上进行行驶，道路上出现的车辆、石头、树木、行人、自行车等障碍在画面中会与地面存在相交的边缘。为此，需要识别出图像中障碍与地面区域相交的像素点，这些像素点作为本发明检测过程中所需的特征点。由于每个障碍物与地面都是一种不同的相交场景，故对于不同的相交场景，障碍物与地面的相交边缘的像素变化存在规律性，故可以根据这个像素变化识
别出障碍物与地面的相交边缘，进而在相交边缘上选取像素点作为特征点。
85.在本发明中，在图像中确定特征点之后，要将这些特征点进行串联，形成轮廓线条，作为对图像进行检测得到的初步的可能表征障碍目标的检测轮廓。为了方便后续对方案的描述，在这里，这些检测轮廓称为第一检测轮廓。
86.对于可能表征障碍目标的检测轮廓，需要说明的是，图像上的有些障碍目标并非是整体都与地面区域发生相交。
87.例如道路上的行人，其下半身在图像上与地面区域存在相交边缘，而其上半身却与图像上的建筑物或天空存在相交边缘。
88.例如被风刮倒的大树横在道路上，其枝繁叶茂的树枝的一部分在图像上与地面区域存在相交边缘，而另一部分却与图像上的建筑物或天空存在相交边缘。
89.例如前方的车辆的轮胎和下车身在图像上与地面区域存在相交边缘，而上车身却与图像上的天空存在相交边缘。
90.为此，上述基于特征点得到的第一检测轮廓中存在完整的闭环轮廓，也存在非完整的开环轮廓。
91.在本发明中，接下来要对第一检测轮廓进行筛选和修整，以得到更为完善的检测轮廓，为了方便与上述的检测轮廓进行区分，这些完善的检测轮廓称为第二检测轮廓。
92.例如将非完整的开环轮廓进行补修，得到完整的开环轮廓。将完整的闭环轮廓进行边角处理，得到更为规格的完整的开环轮廓。这些经过处理得到的轮廓归为上述提及的第二检测轮廓。
93.本发明的进一步方法，通过确定图像数据中每一帧图像中与地面区域相交的像素点，基于像素点实现对图像中障碍目标的轮廓归整展现，达到精确定位行驶车辆前方的障碍目标的目的。
94.在上述方法的进一步说明中，主要是对根据特征点确定2d图像数据中的第一检测轮廓的处理过程进行解释说明，具体如下：
95.将确定的所有特征点进行平滑接连，确定2d图像数据中的第一检测轮廓；其中，相邻特征点之间的距离大于预设距离的两个特征点不进行平滑接连。
96.对此，需要说明的是，存在出现在一个画面上的多个障碍目标相隔一段儿距离的情况。例如不同的车辆在道路上是存在间隙的。此时，每个障碍目标在图像中与地面区域的相交边缘独立存在。
97.也存在出现在一个图像上的多个障碍目标出现重叠的情况。例如一个车辆在道理上变道“加塞”，此时，存在相近的多个车辆在图像中与地面区域的相交边缘相连。
98.在本发明中，使用轮廓线条对障碍目标进行标示，故将确定的所有特征点进行平滑接连，从而得到一个个的检测轮廓。但由于上述提及到的很多障碍物在图像中与地面区域的相交边缘独立存在。故需要确定一个预设距离，当相邻特征点之间的距离大于预设距离，则相当于这两个特征点属于存在间隙的两个障碍物，此时，这两个特征点无需进行平滑接连。通过上述提及的距离限制条件，可以将图像上可能的障碍物进行区分。
99.本发明进一步的方法，通过对所有特征点进行平滑接连以及特征点间距的限制，能够做到在图像中划分出多个检测轮廓，实现对图像中可能是障碍物的区域进行简单区分。
100.在上述方法的进一步说明中，主要是对根据第一检测轮廓确定第二检测轮廓的处理过程进行解释说明，具体如下：
101.将具有两个端点的第一检测轮廓与预存的标准轮廓集合中的各标准轮廓进行相似度比对，确定相似度最大的标准轮廓；
102.确定具有两个端点的第一检测轮廓与相似度最大的标准轮廓之间的缩放比例，根据缩放比例确定对应于具有两个端点的第一检测轮廓的残缺轮廓；
103.根据残缺轮廓和具有两个端点的第一检测轮廓整合为第二检测轮廓。
104.对此，需要说明的是，在本发明中，具有两个端点的第一检测轮廓是非完整的开环轮廓，即该轮廓具有开口，具有开口的原因是该轮廓能够对应的障碍目标与地面区域不存在相交边缘(如与天空存在相交边缘)。
105.在本发明中，设置一标准轮廓集合，在该标准轮廓集合中存储有大量的标准轮廓。这些标准轮廓是针对不同的障碍与地面在不同角度和不同大小下采集到的处于相交状态下的整体轮廓。
106.例如当前车辆前方的车辆与当前车辆距离的变化，会导致当前车辆拍摄到的前方车辆与地面区域的相交轮廓不同。为此，标准轮廓集合中会存储有合理数量的适合前方车辆与地面相交的轮廓数据。
107.例如道路上的行人随着与车辆的距离变化以及走路姿态，也会导致当前车辆拍摄到的行人与地面区域的相交轮廓不同。为此，标准轮廓集合中会存储有合理数量的适合行人与地面相交的轮廓数据。
108.对于其他类型的障碍，与上述所举出的例子的原理相同，在标准轮廓集合中也会存储合理数据的轮廓数据。
109.在本发明中，需要对非完整的开环轮廓进行修补，即将开环轮廓补充为闭环且完整的轮廓。故将具有两个端点的检测轮廓与预存的标准轮廓集合中的各标准轮廓进行相似度比对，从而确定相似度最大的标准轮廓作为与具有两个端点的检测轮廓所属于同一障碍的轮廓。
110.在本发明中，由于标准轮廓可能与具有两个端点的检测轮廓在尺寸大小上不同，为此，基于具有两个端点的检测轮廓具有的部分轮廓尺寸，与其相似度最大的标准轮廓中相对应的部分轮廓尺寸进行换算，得到两者之间的缩放比例，然后根据缩放比例确定对应于具有两个端点的第一检测轮廓的残缺轮廓，即根据缩放比例还原出具有两个端点的检测轮廓的另一部分的轮廓。
111.最后，根据残缺轮廓和具有两个端点的第一检测轮廓整合为一个完整的轮廓，第二检测轮廓。为了方便与上述的整合前的检测轮廓进行区分，这些整合后的检测轮廓称为第二检测轮廓。
112.另外，针对于不具有两个端点的第一检测轮廓，实际上就是完整的闭环轮廓，此时直接将这些轮廓确定为第二检测轮廓。
113.本发明进一步的方法，通过将检测轮廓与标准轮廓进行比对，实现对非完整的检测轮廓的完整修整，获得对障碍目标更为完善的轮廓标示。
114.下面对本发明提供的图像的障碍目标检测装置进行描述，下文描述的图像的障碍目标检测装置与上文描述的图像的障碍目标检测方法可相互对应参照。
115.图2示出了本发明提供的一种图像的障碍目标检测装置的结构示意图，参见图2，该装置包括获取模块21、识别模块22、划分模块23和构建模块24，其中：
116.获取模块21，用于获取当前车辆行驶方向上的2d图像数据和雷达点云数据；
117.识别模块22，用于根据所述2d图像数据确定图像中障碍目标的检测框；
118.划分模块23，用于根据雷达点云数据和所述障碍目标的检测框确定所属于所述障碍目标的雷达点云数据；
119.构建模块24，用于根据所述障碍目标的雷达点云数据构建所述障碍目标的3d框。
120.在上述装置的进一步说明中，该划分模块具体用于：
121.根据所述2d图像数据建立2d坐标系，确定所述障碍目标的检测框在所述2d坐标系上的位置；
122.根据2d图像数据建立2d坐标系，确定障碍目标的检测框在所述2d坐标系上的位置；
123.获得雷达点云数据在2d图像数据的投影点，确定投影点的位置，建立雷达点云数据与投影点的对应关系；
124.根据障碍目标的检测框在2d坐标系上的位置和投影点的位置，确定位于障碍目标的检测框内的投影点；
125.基于预设比例确定障碍目标的检测框的中心区域，以中心区域的投影点作为种子点，利用区域生长算法确定扩展区域；
126.基于中心区域和扩展区域内的投影点和雷达点云数据与投影点的对应关系确定所属于障碍目标的雷达点云数据。
127.在上述装置的进一步说明中，该构建模块具体用于：
128.根据所述障碍目标的雷达点云数据确定中心位置点，建立以所述中心位置点的3d坐标系；
129.获取位于所述3d坐标系的各卦限内距离所述中心位置点最远的雷达点；
130.根据获取的各雷达点建立第一立体框，基于所述第一立体框进行镜像互补，确定所述障碍目标的3d框。
131.在上述装置的进一步说明中，该识别模块具体用于：
132.确定所述2d图像数据中的特征点；所述特征点为每一帧图像中与地面区域相交的像素点；
133.根据所述特征点确定所述2d图像数据中的第一检测轮廓；所述第一检测轮廓为表征障碍目标的轮廓；
134.根据所述第一检测轮廓确定第二检测轮廓，将所述第二检测轮廓在所述2d图像数据上进行展现；所述第二检测轮廓为对所述第一检测轮廓进行筛选和修整的轮廓。
135.在上述装置的进一步说明中，该识别模块在根据所述特征点确定所述2d图像数据中的第一检测轮廓的处理过程中，具体用于：
136.将确定的所有特征点进行平滑接连，确定所述2d图像数据中的第一检测轮廓；其中，相邻特征点之间的距离大于预设距离的两个特征点不进行平滑接连。
137.在上述装置的进一步说明中，该识别模块在根据所述第一检测轮廓确定第二检测轮廓的处理过程中，具体用于：
138.将具有两个端点的第一检测轮廓与预存的标准轮廓集合中的各标准轮廓进行相似度比对，确定相似度最大的标准轮廓；
139.确定具有两个端点的第一检测轮廓与相似度最大的标准轮廓之间的缩放比例，根据所述缩放比例确定对应于具有两个端点的第一检测轮廓的残缺轮廓；
140.根据所述残缺轮廓和具有两个端点的第一检测轮廓整合为第二检测轮廓。
141.由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
142.需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
143.本发明提供的图像障碍目标检测方法，通过使2d图像中障碍目标的检测框和雷达点云数据相关联，划分出所属于障碍目标的雷达点云数据并构建障碍目标的3d框，实现快速从雷达点云数据中确定所需的点云数据，加快对障碍目标的检测及定位。
144.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)31、通信接口(communication interface)32、存储器(memory)33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的计算机程序，以执行图像中障碍目标检测方法的步骤，例如包括：获取当前车辆行驶方向上的2d图像数据和雷达点云数据；根据2d图像数据确定图像中障碍目标的检测框；根据雷达点云数据和障碍目标的检测框确定所属于障碍目标的雷达点云数据；根据障碍目标的雷达点云数据构建障碍目标的3d框。
145.此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
146.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像中障碍目标检测方法，该方法包括：获取当前车辆行驶方向上的2d图像数据和雷达点云数据；根据2d图像数据确定图像中障碍目标的检测框；根据雷达点云数据和障碍目标的检测框确定所属于障碍目标的雷达点云数据；根据障碍目标的雷达点云数据构建障碍目标的3d框。
147.另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的图像中障碍目标检测方法，例如包括：获取当前车辆行驶方向上的2d图像数据和雷达点云数据；根据2d图像数据确定图像中障碍目标的检测框；根据雷达点云数据和障碍目标的检测框确定所属于障碍目标的雷达点云数据；根据障碍目标的雷达点云数据构建障碍目标的3d框。
148.所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设
备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
149.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
150.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
151.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。