目标检测方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。


背景技术：

2.目标检测技术广泛地应用于自动驾驶和视频监控等领域。目前，随着激光雷达的广泛应用，基于点云的三维目标检测方法成为未来一种主流的研究方向。
3.传统技术中，一般采用激光雷达传感器获取实时点云数据，然后直接将点云数据输入3d点云目标检测算法进行目标检测。
4.然而，激光雷达探测过程中，由于视角、背景等原因，目标有可能被遮挡，从而导致目标检测的精度不高。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高目标检测的精度的目标检测方法、装置、计算机设备和存储介质。
6.第一方面，本技术提供了一种目标检测方法。所述方法包括：
7.基于目标物的图像数据进行目标检测得到检测信息，该检测信息包括该目标物的边界信息；
8.基于该边界信息和该目标物所处环境的点云数据，确定该目标物的点云数据；
9.若该目标物的点云数据的点云个数小于预设点云个数阈值，则对该目标物的点云数据进行增强处理，得到增强处理后的点云数据；
10.基于该增强处理后的点云数据进行目标检测。
11.在其中一个实施例中，该基于该边界信息和该目标物所处环境的点云数据，确定该目标物的点云数据，包括：
12.根据该目标物所处环境的点云数据和该图像数据之间的映射关系，确定该边界信息对应的视角区域；
13.从该视角区域中确定该目标物的点云数据。
14.在其中一个实施例中，该检测信息还包括该目标物的目标类别，该从该视角区域中确定该目标物的点云数据，包括：
15.根据该目标类别，从该视角区域中确定该目标物的点云数据。
16.在其中一个实施例中，该根据该目标类别，从该视角区域中确定该目标物的点云数据，包括：
17.根据该视角区域，确定该视角区域中的点云数据形成的视角角度；
18.根据该目标类别，确定该边界信息的宽度的最大宽度值和最小宽度值；
19.根据该最大宽度值、该最小宽度值以及该视角角度，从该视角区域中确定该目标物的点云数据。
20.在其中一个实施例中，该根据该最大宽度值、该最小宽度值以及该视角角度，从该视角区域中确定该目标物的点云数据，包括：
21.根据该最大宽度值和该视角角度，确定视觉传感器与该图像数据所在平面之间的最大距离值；
22.根据该最小宽度值和该视角角度，确定该视觉传感器与该图像数据所在平面之间的最小距离值；
23.根据该最大距离值和该最小距离值，从该视角区域中确定该目标物的点云数据。
24.在其中一个实施例中，该根据该最大距离值和该最小距离值，从该视角区域中确定该目标物的点云数据，包括：
25.确定该视角区域内各点云数据与该图像数据所在平面之间的第一距离；
26.将大于等于该最小距离值，且小于等于该最大距离值的第一距离所对应的点云数据作为该目标物的点云数据。
27.在其中一个实施例中，该方法还包括：
28.若该目标物的点云数据的点云个数不小于该预设点云个数阈值，则根据该目标物的点云数据进行目标检测。
29.第二方面，本技术还提供了一种目标检测装置。该装置包括：
30.第一检测模块，用于基于目标物的图像数据进行目标检测得到检测信息，该检测信息包括该目标物的边界信息；
31.确定模块，用于基于该边界信息和该目标物所处环境的点云数据，确定该目标物的点云数据；
32.增强模块，用于若该目标物的点云数据的点云个数小于预设点云个数阈值，则对该目标物的点云数据进行增强处理，得到增强处理后的点云数据；
33.第二检测模块，用于基于该增强处理后的点云数据进行目标检测。
34.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
35.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
36.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。
37.上述目标检测方法、装置、计算机设备和存储介质，基于目标物的图像数据进行目标检测得到检测信息，该检测信息包括该目标物的边界信息，并基于该边界信息和该目标物所处环境的点云数据，确定该目标物的点云数据，若该目标物的点云数据的点云个数小于预设点云个数阈值，则对该目标物的点云数据进行增强处理，得到增强处理后的点云数据，从而基于该增强处理后的点云数据进行目标检测。也就是说，本技术提供的目标检测方法由于结合了目标物的图像数据和目标物所处环境的点云数据，即结合了二维的图像数据和三维的点云数据，因此确定的目标物的点云数据是较为准确的目标物对应的点云数据。具体地，本技术中根据目标物的图像数据进行一个初步的目标检测，得到边界信息，然后结合目标物所处环境的点云数据和边界信息确定目标物的点云数据，从目标物所处环境的点
云数据中确定目标物的点云数据。例如，目标物为汽车，则可以根据汽车的图像数据进行目标检测得到汽车在图像数据中的边界信息，然后根据该汽车在图像数据中的边界信息，从汽车所处环境中的点云数据中确定与汽车有关的点云数据，从而提高了确定的与汽车有关的点云数据的准确性。进一步地，本技术提供的目标检测方法还要判断目标物的点云数据的点云个数是否小于预设点云个数阈值，并对小于预设点云个数阈值的目标物的点云数据进行增强处理。由于增强处理后的点云数据包含的信息更加丰富准确，因此，基于增强处理后的点云数据进行目标检测的结果也会更加准确。故而，本实施例提供的目标检测方法能够解决传统技术中由于视角、背景等原因，目标有可能被遮挡，直接将点云数据输入3d点云目标检测算法导致的目标检测的精度不高的问题，提高了目标检测的精度。
附图说明
38.图1为本技术实施例中目标检测方法的应用环境图；
39.图2为本技术实施例中目标检测方法的流程示意图；
40.图3为本技术实施例中一种确定目标物的点云数据的流程示意图；
41.图4为本技术实施例中边界信息对应的视角区域的示意图；
42.图5为本技术实施例中另一种确定目标物的点云数据的流程示意图；
43.图6为本技术实施例中视角区域的俯视示意图；
44.图7为本技术实施例中另一种确定目标物的点云数据的流程示意图；
45.图8为本技术实施例中另一种确定目标物的点云数据的流程示意图；
46.图9为本技术中目标检测方法的整体流程示意图；
47.图10为本技术实施例中目标检测装置的结构框图；
48.图11为本技术实施例中计算机设备的内部结构图。
具体实施方式
49.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
50.图1为本技术实施例中目标检测方法的应用环境图。本技术实施例提供的目标检测方法，可以应用于如图1所示的应用环境中。其中，传感器102通过网络与计算机设备104进行通信。数据存储系统可以存储计算机设备104需要处理的数据。数据存储系统可以集成在计算机设备104上，也可以放在云上或其他网络服务器上。其中，计算机设备104可以是服务器，用独立的服务器或者是多个服务器组成的服务器集群来实现。当然，计算机设备104也可以是终端，例如是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。传感器102可以是视觉传感器例如摄像机，也可以是其他传感器例如深度传感器、惯性传感器。
51.图2为本技术实施例中目标检测方法的流程示意图，该方法可以应用于图1所示的计算机设备中，在一个实施例中，如图2所示，包括以下步骤：
52.s201，基于目标物的图像数据进行目标检测得到检测信息，检测信息包括目标物的边界信息。
53.在本实施例中，计算机设备首先基于目标物的图像数据进行目标检测得到检测信息。目标物的图像数据可以是视觉传感器例如摄像头获取后发送给计算机设备的数据，也可以是计算机设备从存储中获取到的数据。其中，目标物可以是人、动物、车或者其他物体，本实施例不做限制。可以理解的是，目标物的图像数据中至少包括一个目标物。
54.计算机设备可以利用深度学习方法基于目标物的图像数据进行目标检测得到检测信息。例如，计算机设备基于yolo算法对目标物的图像数据进行二维目标检测，获取目标物的边界信息。边界信息可以理解为一个目标物的边界框，当计算机设备识别到目标物的图像数据中的目标物时，则会确定对应的目标物的边界框，边界框一般为矩形，边界框的坐标信息可以是目标物的边界信息。
55.s202，基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据。
56.在本实施例中，计算机设备还要基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据。目标物所处环境的点云数据可以是视觉传感器例如激光雷达获取后发送给计算机设备的数据，也可以是计算机设备从存储中获取到的数据。目标物所处环境的点云数据一般是激光雷达获取的围绕目标物360
°
的三维点云数据。
57.进一步地，由于目标物所处环境的点云数据是围绕目标物360
°
的三维点云数据，计算机设备还需要基于边界信息，筛选目标物所处环境的点云数据中与目标物的图像数据相同视角的点云数据，进而得到目标物的点云数据。例如，目标物为汽车，则计算机设备可以根据汽车的图像数据进行目标检测得到汽车在图像数据中的边界信息，然后根据该汽车在图像数据中的边界信息，从汽车所处环境中的点云数据中确定与汽车的图像数据在同一视角的点云数据，从而确定与汽车有关的点云数据。
58.s203，若目标物的点云数据的点云个数小于预设点云个数阈值，则对目标物的点云数据进行增强处理，得到增强处理后的点云数据。
59.在本实施例中，若目标物的点云数据的点云个数小于预设点云个数阈值，计算机设备对目标物的点云数据进行增强处理，得到增强处理后的点云数据。例如，计算机设备可以使用生成对抗网络(generative adversarial network,gan)对目标物的点云数据进行增强处理，得到增强处理后的点云数据。可以理解的是，对目标物的点云数据进行增强处理后，增强处理后的点云数据中的点云个数会大于增强处理前的目标物的点云数据。
60.s204，基于增强处理后的点云数据进行目标检测。
61.在本实施例中，计算机设备基于增强处理后的点云数据进行目标检测。可以理解的是，计算机设备可以基于增强处理后的三维点云数据进行三维目标检测，本实施例对计算机设备基于增强处理后的点云数据进行目标检测的方式不做限制。
62.本实施例提供的目标检测方法，首先基于目标物的图像数据进行目标检测得到包括目标物的边界信息检测信息，并基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据。若目标物的点云数据的点云个数小于预设点云个数阈值，则对目标物的点云数据进行增强处理，得到增强处理后的点云数据，从而基于增强处理后的点云数据进行目标检测。也就是说，本技术提供的目标检测方法由于结合了目标物的图像数据和目标物所处环境的点云数据，即结合了二维的图像数据和三维的点云数据，因此确定的目标物的点云数据是较为准确的目标物对应的点云数据。具体地，本技术中根据目标物的图像数据进行一个初步的目标检测，得到边界信息，然后结合目标物所处环境的点云数据和边界信
息确定目标物的点云数据，从目标物所处环境的点云数据中确定目标物的点云数据。例如，目标物为汽车，则可以根据汽车的图像数据进行目标检测得到汽车在图像数据中的边界信息，然后根据该汽车在图像数据中的边界信息，从汽车所处环境中的点云数据中确定与汽车有关的点云数据，从而提高了确定的与汽车有关的点云数据的准确性。进一步地，本技术提供的目标检测方法还要判断目标物的点云数据的点云个数是否小于预设点云个数阈值，并对小于预设点云个数阈值的目标物的点云数据进行增强处理。由于增强处理后的点云数据包含的信息更加丰富准确，因此，基于增强处理后的点云数据进行目标检测的结果也会更加准确。故而，本实施例提供的目标检测方法能够解决传统技术中由于视角、背景等原因，目标有可能被遮挡，直接将点云数据输入3d点云目标检测算法导致的目标检测的精度不高的问题，提高了目标检测的精度。
63.图3为本技术实施例中一种确定目标物的点云数据的流程示意图，参照图3，本实施例涉及的是如何确定目标物的点云数据的一种可选的实现方式。在上述实施例的基础上，上述的s202，基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据，包括如下步骤：
64.s301，根据目标物所处环境的点云数据和图像数据之间的映射关系，确定边界信息对应的视角区域。
65.在本实施例中，计算机设备根据目标物所处环境的点云数据和图像数据之间的映射关系，确定边界信息对应的视角区域。
66.具体地，计算机设备已经获取到目标物所处环境的点云数据和目标物的图像数据，目标物所处环境的点云数据中每个点云都具有三维空间坐标，目标物的图像数据也具有二维坐标。而摄像头和激光雷达具有空间转换关系，也就是说目标物所处环境的点云数据和图像数据之间存在映射关系，如下式(1)所示。
[0067][0068]
其中，x,y,z表示目标物所处环境的点云数据中各点云的坐标，u，v表示目标物所处环境的点云数据中各点云映射到二维空间的坐标，r表示旋转矩阵，t表示平移向量，p
temp
表示摄像头的内参矩阵。
[0069]
进一步地，式(1)中，旋转矩阵r、平移向量t和内参矩阵p
temp
是已知的值，目标物所处环境的点云数据确定后，目标物所处环境的点云数据中各点云的坐标x,y,z也是已知值，因此计算机设备根据式(1)所示的映射关系，将目标物所处环境的点云数据映射在二维空间(即目标物的图像数据所在的二维空间)。例如，目标物所处环境的点云数据包括点云1、点云2、
……
、点云n，则根据式(1)得到映射后的二维点云1、二维点云2、
……
、二维点云n。
[0070]
更进一步地，计算机设备能够基于边界信息，确定目标物所处环境的点云数据映射后落在边界信息内部的点云，进而确定边界信息对应的视角区域。请结合图4，图4为本技术实施例中边界信息对应的视角区域的示意图。图4中的矩形即计算机设备基于目标物的图像数据得到的目标物的边界信息。可以理解的是，边界信息和目标物的图像数据在同一
个平面。计算机设备根据式(1)，将目标物所处环境的点云数据映射在图像数据所在的平面，并确定目标物所处环境的点云数据映射后处于边界信息内部的点云，从而确定边界信息对应的视角区域。结合图4，边界信息对应的视角区域就是图4中的三角锥体。
[0071]
s302，从视角区域中确定目标物的点云数据。
[0072]
在本实施例中，计算机设备从视角区域中确定目标物的点云数据。例如，计算机设备直接将处于视角区域中的点云数据作为目标物的点云数据。
[0073]
在本实施例中，计算机设备根据目标物所处环境的点云数据和图像数据之间的映射关系，确定边界信息对应的视角区域，并从视角区域中确定目标物的点云数据。由于结合了目标物的图像数据和目标物所处环境的点云数据，因此根据确定目标物所处环境的点云数据和图像数据之间的映射关系进而确定的目标物的点云数据是较为准确的目标物对应的点云数据，从而提高了目标检测的精度。并且，从视角区域中确定目标物的点云数据，也减少了后续基于目标检测的点云数据，减小了目标检测的工作量。
[0074]
可选的，检测信息还包括目标物的目标类别，上述的s302，从视角区域中确定目标物的点云数据，还可以通过如下方式实现：
[0075]
根据目标类别，从视角区域中确定目标物的点云数据。
[0076]
在本实施例中，计算机设备利用深度学习方法基于目标物的图像数据进行目标检测得到检测信息时，不仅会确定目标物的边界信息，还会确定目标物的目标类别，例如目标物属于车辆类别。当然，目标类别可以包括一级分类和一级分类下的各子分类，对目标物进行更为详细的划分，例如目标物属于一级类别车辆，二级分类大货车。
[0077]
进一步地，不同的类别所对应的点云数据范围也会不同。因此，计算机设备根据目标类别，从视角区域中确定目标物的点云数据。例如，若目标类别是小孩，则计算机设备可以仅将视角区域中的部分区域作为目标物的点云数据，减小后续的计算量。
[0078]
本实施例根据目标类别，从视角区域中确定目标物的点云数据，由于还需根据目标类别确定目标物的点云数据，因此提高了目标物的点云数据的准确性，从而提高了目标检测的精度，并且，从视角区域中确定目标物的点云数据还可以减小目标检测的计算量。
[0079]
图5为本技术实施例中另一种确定目标物的点云数据的流程示意图，参照图5，本实施例涉及的是如何确定目标物的点云数据的一种可选的实现方式。在上述实施例的基础上，上述的根据目标类别，从视角区域中确定目标物的点云数据，包括如下步骤：
[0080]
s501，根据视角区域，确定视角区域中的点云数据形成的视角角度。
[0081]
在本实施例中，计算机设备根据视角区域，确定视角区域中的点云数据形成的视角角度θ。
[0082]
请结合图6，图6为本技术实施例中视角区域的俯视示意图。可以理解的是，对图4中的三角锥体进行俯视投影即可得到图6。由于计算机设备能够确定视角区域内的各点云数据，因此，计算机设备能够确定处于视角区域边界的点云数据的坐标，进而确定θ
max
和θ
min
。其中，θ
max
是图6中左侧斜边与x轴的夹角，θ
min
是图6中由侧斜边与x轴的夹角。
[0083]
进一步地，计算机设备根据式(2)确定视角区域中的点云数据形成的视角角度θ。可以理解的是，视角角度θ是单个目标物在点云数据中所形成的锥形视角对应的角度。
[0084]
θ＝θ
max-θ
min
ꢀꢀꢀ
(2)
[0085]
s502，根据目标类别，确定边界信息的宽度的最大宽度值和最小宽度值。
[0086]
在本实施例中，不同的类别对应的边界信息的宽度范围不同。例如，目标物为车辆时，基于目标物的图像数据可能是拍摄到车头，也可能是拍摄到车身，因此，边界信息的宽度也并不是一个恒定的值。
[0087]
计算机设备可以获取每个类别在各个视角下的边界信息的宽度的最大宽度值和最小宽度值，例如公交车在不同位置的8个摄像头下存在8组边界信息的宽度的最大宽度值和最小宽度值，然后利用统计方法，例如确定8组边界信息中最大宽度值和最小宽度值的加权平均值，从而得到各类别的边界信息的宽度范围h
max
～h
min
。
[0088]
进一步地，计算机设备在确定目标物的目标类别后，就能够根据目标类别，确定边界信息的宽度h的最大宽度值h
max
和最小宽度值h
min
。
[0089]
s503，根据最大宽度值、最小宽度值以及视角角度，从视角区域中确定目标物的点云数据。
[0090]
在本实施例中，计算机设备根据最大宽度值h
max
、最小宽度值h
min
以及视角角度θ，从视角区域中确定目标物的点云数据。一种可以实现的方式是，计算机设备根据最大宽度值h
max
、最小宽度值h
min
以及视角角度θ，从视角区域中分别确定最大宽度值h
max
对应的点云数据1和最小宽度值h
min
对应的点云数据2，进而根据点云数据1和点云数据2确定目标物的点云数据。
[0091]
本实施例根据视角区域，确定视角区域中的点云数据形成的视角角度，进而根据目标类别，确定边界信息的宽度的最大宽度值和最小宽度值，从而根据最大宽度值、最小宽度值以及视角角度，从视角区域中确定目标物的点云数据，从而减小了目标物的点云数据的数据量，减小了目标检测的计算量。
[0092]
图7为本技术实施例中另一种确定目标物的点云数据的流程示意图，参照图7，本实施例涉及的是如何确定目标物的点云数据的一种可选的实现方式。在上述实施例的基础上，上述的s503，根据最大宽度值、最小宽度值以及视角角度，从视角区域中确定目标物的点云数据，包括如下步骤：
[0093]
s701，根据最大宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最大距离值。
[0094]
在本实施例中，视觉传感器为摄像头。继续参考图6，如图6所示，图6中的d可以理解为视觉传感器与图像数据所在平面之间的距离值。结合图6，边界信息的宽度h与视觉传感器和图像数据所在平面之间的最大距离d满足如下式(3)。
[0095][0096]
根据式(3)，计算机设备能够根据最大宽度值h
max
和视角角度θ，确定视觉传感器与图像数据所在平面之间的最大距离值d
max
，
[0097]
s702，根据最小宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最小距离值。
[0098]
在本实施例中，与s701原理相同，计算机设备能够根据最小宽度值h
min
和视角角度
θ，确定视觉传感器与图像数据所在平面之间的最小距离值d
min
，
[0099]
s703，根据最大距离值和最小距离值，从视角区域中确定目标物的点云数据。
[0100]
在本实施例中，计算机设备根据最大距离值d
max
和最小距离值d
min
，从视角区域中确定目标物的点云数据。一种可以实现的方式是，计算机设备从视角区域内所有的点云数据中剔除与图像数据所在平面之间的距离大于最大距离值d
max
或者小于最小距离值d
min
的各点云，剩余的各点云数据作为目标物的点云数据，以确定目标物的点云数据。
[0101]
本实施例根据最大宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最大距离值，并根据最小宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最小距离值，进而根据最大距离值和最小距离值，从视角区域中确定目标物的点云数据。因此减小了目标物的点云数据的数据量，减小了目标检测的计算量。
[0102]
图8为本技术实施例中另一种确定目标物的点云数据的流程示意图，参照图8，本实施例涉及的是如何确定目标物的点云数据的一种可选的实现方式。在上述实施例的基础上，上述的s703包括如下步骤：
[0103]
s801，确定视角区域内各点云数据与图像数据所在平面之间的第一距离。
[0104]
在本实施例中，请参考图4，计算机设备确定视角区域内各点云数据与图像数据所在平面之间的第一距离，换句话说，计算机设备确定视角区域所在的三角锥体内的各点云数据与矩形的边界信息所在平面之间的第一距离。
[0105]
s802，将大于等于最小距离值，且小于等于最大距离值的第一距离所对应的点云数据作为目标物的点云数据。
[0106]
在本实施例中，计算机设备将大于等于最小距离值d
min
，且小于等于最大距离值d
max
的第一距离所对应的点云数据作为目标物的点云数据。也就是说，计算机设备将处于[d
min
,d
min
]区间内第一距离所对应的点云数据作为目标物的点云数据。例如，视角区域所在的三角锥体内的各点云数据为点云1、点云2、
……
点云n，则根据s801的步骤，对应地可以确定点云1的第一距离1、点云2的第一距离2、
……
点云n的第一距离n。若点云1第一距离2～点云n-2的第一距离n-2大于等于最小距离值d
min
，且小于等于最大距离值d
max
，则将点云1～电云n-2作为目标物的点云数据。
[0107]
本实施例中确定视角区域内各点云数据与图像数据所在平面之间的第一距离，并将大于等于最小距离值，且小于等于最大距离值的第一距离所对应的点云数据作为目标物的点云数据。因此，本实施例提供的方法在视角区域的基础上进一步筛选了目标物的点云数据，从而减小了目标物的点云数据的数据量。
[0108]
可选的，上述的目标检测方法还包括：
[0109]
若目标物的点云数据的点云个数不小于预设点云个数阈值，则根据目标物的点云数据进行目标检测。
[0110]
在本实施例中，若目标物的点云数据的点云个数不小于预设点云个数阈值，则计算机设备不需要对目标物的点云数据进行增强处理，可以直接根据目标物的点云数据进行目标检测。
[0111]
本实施例中若目标物的点云数据的点云个数不小于预设点云个数阈值，则根据目标物的点云数据进行目标检测。因此，计算机设备能够根据需求确认是否进行增强处理，对
于不需要增强处理的目标物的点云数据可以直接进行目标检测，提高检测效率。
[0112]
可选的，本实施例中预设点云个数阈值可以根据目标物的目标类别确定。例如，车辆的预设点云个数阈值为数量1000，成年人的预设点云个数阈值为数量2000。
[0113]
图9为本技术中目标检测方法的整体流程示意图。本技术提供的目标检测方法应用于智慧基站中，智慧基站包括多个视觉传感器、激光雷达和计算机设备，具体地，本技术中包括多个固定视角下的相机a、b、c、一个采集360
°
点云数据的激光雷达d和边缘计算平台，其中，边缘计算平台是一种计算机设备。结合图9，边缘计算平台可以按照如下流程执行本技术的目标检测方法。
[0114]
(1)获取相机a在时刻t的图像数据，图像数据中包括至少一个目标物。
[0115]
(2)获取激光雷达d在时刻t的目标物所处环境的点云数据。
[0116]
(3)根据(1)的目标物的图像数据，利用深度学习方法进行二维目标检测，得到目标物的边界信息和目标类别。
[0117]
(4)根据(2)的目标物所处环境的点云数据，根据激光雷达与相机之间的映射关系，对目标物所处环境的点云数据进行二维映射，并确定映射后处于目标物的边界信息内部的点云数据，得到边界信息对应的视角区域。
[0118]
(5)根据(2)确定目标类别和(4)确定的视角区域，确定相机与图像数据之间形成的视角角度θ、边界信息的宽度的最大宽度值h
max
和最小宽度值h
min
。
[0119]
(6)根据(5)确定的视角角度θ、最大宽度值h
max
和最小宽度值h
min
，确定相机与图像数据所在平面之间的最大距离值d
max
和最小距离值d
mmin
。
[0120]
(7)根据(6)确定的最大距离值d
max
和最小距离值d
min
，确定视角区域内各点云数据与图像数据所在平面之间的第一距离，并将大于等于最小距离值d
min
，且小于等于最大距离值d
max
的第一距离所对应的点云数据作为目标物的点云数据。
[0121]
(8)统计(7)确定的目标物的点云数据的点云个数。
[0122]
(9)若(8)确定的目标物的点云数据的点云个数小于预设点云个数阈值，则将目标物的点云数据送入云修复网络进行增强处理，得到增强处理后的点云数据；若(8)确定的目标物的点云数据的点云个数不小于预设点云个数阈值，则直接执行步骤(10)。
[0123]
(10)对于相机b和相机c重复上述(1)～(9)的步骤，合并所有相机视角下确定的点云数据并进行三维目标检测。
[0124]
结合图9，本技术提供的目标检测方法首先根据目标物的图像数据进行一个初步的目标检测，得到边界信息，进而结合目标物所处环境的点云数据确定边界信息对应的视角区域，进一步根据视角区域的视角角度确定最大距离值和最小距离值，确定目标物的点云数据。由于结合了视角区域，从视角区域中确定目标物的点云数据，因此能够减小了目标物的点云数据的数据量，提高目标检测的效率。并且，由于本技术中还要对目标物的点云数据进行增强处理，得到增强处理后的点云数据，因此能够对局部视场的点云数据进行修复，从而提高了目标检测的精度。
[0125]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个
阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0126]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的目标检测方法的目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标检测装置实施例中的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。
[0127]
图10为本技术实施例中目标检测装置的结构框图，如图10所示，在本技术实施例中，提供了一种目标检测装置1000，包括：第一检测模块1001、确定模块1002、增强模块1003和第二检测模块1004，其中：
[0128]
第一检测模块1001，用于基于目标物的图像数据进行目标检测得到检测信息，检测信息包括目标物的边界信息。
[0129]
确定模块1002，用于基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据。
[0130]
增强模块1003，用于若目标物的点云数据的点云个数小于预设点云个数阈值，则对目标物的点云数据进行增强处理，得到增强处理后的点云数据。
[0131]
第二检测模块1004，用于基于增强处理后的点云数据进行目标检测。
[0132]
本实施例提供的目标检测装置，首先基于目标物的图像数据进行目标检测得到包括目标物的边界信息检测信息，并基于边界信息和目标物所处环境的点云数据，确定目标物的点云数据。若目标物的点云数据的点云个数小于预设点云个数阈值，则对目标物的点云数据进行增强处理，得到增强处理后的点云数据，从而基于增强处理后的点云数据进行目标检测。也就是说，本技术提供的目标检测方法由于结合了目标物的图像数据和目标物所处环境的点云数据，即结合了二维的图像数据和三维的点云数据，因此确定的目标物的点云数据是较为准确的目标物对应的点云数据。具体地，本技术中根据目标物的图像数据进行一个初步的目标检测，得到边界信息，然后结合目标物所处环境的点云数据和边界信息确定目标物的点云数据，从目标物所处环境的点云数据中确定目标物的点云数据。例如，目标物为汽车，则可以根据汽车的图像数据进行目标检测得到汽车在图像数据中的边界信息，然后根据该汽车在图像数据中的边界信息，从汽车所处环境中的点云数据中确定与汽车有关的点云数据，从而提高了确定的与汽车有关的点云数据的准确性。进一步地，本技术提供的目标检测装置还要判断目标物的点云数据的点云个数是否小于预设点云个数阈值，并对小于预设点云个数阈值的目标物的点云数据进行增强处理。由于增强处理后的点云数据包含的信息更加丰富准确，因此，基于增强处理后的点云数据进行目标检测的结果也会更加准确。故而，本实施例提供的目标检测装置能够解决传统技术中由于视角、背景等原因，目标有可能被遮挡，直接将点云数据输入3d点云目标检测算法导致的目标检测的精度不高的问题，提高了目标检测的精度。
[0133]
可选的，确定模块1002包括：
[0134]
第一确定单元，用于根据目标物所处环境的点云数据和图像数据之间的映射关系，确定边界信息对应的视角区域。
[0135]
第二确定单元，用于从视角区域中确定目标物的点云数据。
[0136]
可选的，检测信息还包括目标物的目标类别，第二确定单元，具体用于根据目标类别，从视角区域中确定目标物的点云数据。
[0137]
可选的，第二确定单元还包括：
[0138]
第一确定子单元，用于根据视角区域，确定视角区域中的点云数据形成的视角角度。
[0139]
第二确定子单元，用于根据目标类别，确定边界信息的宽度的最大宽度值和最小宽度值。
[0140]
第三确定子单元，用于根据最大宽度值、最小宽度值以及视角角度，从视角区域中确定目标物的点云数据。
[0141]
可选的，第三确定子单元，具体用于根据最大宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最大距离值；根据最小宽度值和视角角度，确定视觉传感器与图像数据所在平面之间的最小距离值；根据最大距离值和最小距离值，从视角区域中确定目标物的点云数据。
[0142]
可选的，第三确定子单元，还用于确定视角区域内各点云数据与图像数据所在平面之间的第一距离；将大于等于最小距离值，且小于等于最大距离值的第一距离所对应的点云数据作为目标物的点云数据。
[0143]
可选的，上述目标检测装置1000还包括：
[0144]
第三检测模块，用于若目标物的点云数据的点云个数不小于预设点云个数阈值，则根据目标物的点云数据进行目标检测。
[0145]
上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0146]
图11为本技术实施例中计算机设备的内部结构图。在本技术实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
[0147]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0148]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0149]
基于目标物的图像数据进行目标检测得到检测信息，所述检测信息包括所述目标物的边界信息；
[0150]
基于所述边界信息和所述目标物所处环境的点云数据，确定所述目标物的点云数据；
[0151]
若所述目标物的点云数据的点云个数小于预设点云个数阈值，则对所述目标物的点云数据进行增强处理，得到增强处理后的点云数据；
[0152]
基于所述增强处理后的点云数据进行目标检测。
[0153]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0154]
根据所述目标物所处环境的点云数据和所述图像数据之间的映射关系，确定所述边界信息对应的视角区域；
[0155]
从所述视角区域中确定所述目标物的点云数据。
[0156]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0157]
根据所述目标类别，从所述视角区域中确定所述目标物的点云数据。
[0158]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0159]
根据所述视角区域，确定所述视角区域中的点云数据形成的视角角度；
[0160]
根据所述目标类别，确定所述边界信息的宽度的最大宽度值和最小宽度值；
[0161]
根据所述最大宽度值、所述最小宽度值以及所述视角角度，从所述视角区域中确定所述目标物的点云数据。
[0162]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0163]
根据所述最大宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最大距离值；
[0164]
根据所述最小宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最小距离值；
[0165]
根据所述最大距离值和所述最小距离值，从所述视角区域中确定所述目标物的点云数据。
[0166]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0167]
确定所述视角区域内各点云数据与所述图像数据所在平面之间的第一距离；
[0168]
将大于等于所述最小距离值，且小于等于所述最大距离值的第一距离所对应的点云数据作为所述目标物的点云数据。
[0169]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
[0170]
若所述目标物的点云数据的点云个数不小于所述预设点云个数阈值，则根据所述目标物的点云数据进行目标检测。
[0171]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0172]
基于目标物的图像数据进行目标检测得到检测信息，所述检测信息包括所述目标物的边界信息；
[0173]
基于所述边界信息和所述目标物所处环境的点云数据，确定所述目标物的点云数据；
[0174]
若所述目标物的点云数据的点云个数小于预设点云个数阈值，则对所述目标物的点云数据进行增强处理，得到增强处理后的点云数据；
[0175]
基于所述增强处理后的点云数据进行目标检测。
[0176]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0177]
根据所述目标物所处环境的点云数据和所述图像数据之间的映射关系，确定所述
边界信息对应的视角区域；
[0178]
从所述视角区域中确定所述目标物的点云数据。
[0179]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0180]
根据所述目标类别，从所述视角区域中确定所述目标物的点云数据。
[0181]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0182]
根据所述视角区域，确定所述视角区域中的点云数据形成的视角角度；
[0183]
根据所述目标类别，确定所述边界信息的宽度的最大宽度值和最小宽度值；
[0184]
根据所述最大宽度值、所述最小宽度值以及所述视角角度，从所述视角区域中确定所述目标物的点云数据。
[0185]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0186]
根据所述最大宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最大距离值；
[0187]
根据所述最小宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最小距离值；
[0188]
根据所述最大距离值和所述最小距离值，从所述视角区域中确定所述目标物的点云数据。
[0189]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0190]
确定所述视角区域内各点云数据与所述图像数据所在平面之间的第一距离；
[0191]
将大于等于所述最小距离值，且小于等于所述最大距离值的第一距离所对应的点云数据作为所述目标物的点云数据。
[0192]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0193]
若所述目标物的点云数据的点云个数不小于所述预设点云个数阈值，则根据所述目标物的点云数据进行目标检测。
[0194]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0195]
基于目标物的图像数据进行目标检测得到检测信息，所述检测信息包括所述目标物的边界信息；
[0196]
基于所述边界信息和所述目标物所处环境的点云数据，确定所述目标物的点云数据；
[0197]
若所述目标物的点云数据的点云个数小于预设点云个数阈值，则对所述目标物的点云数据进行增强处理，得到增强处理后的点云数据；
[0198]
基于所述增强处理后的点云数据进行目标检测。
[0199]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0200]
根据所述目标物所处环境的点云数据和所述图像数据之间的映射关系，确定所述边界信息对应的视角区域；
[0201]
从所述视角区域中确定所述目标物的点云数据。
[0202]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0203]
根据所述目标类别，从所述视角区域中确定所述目标物的点云数据。
[0204]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0205]
根据所述视角区域，确定所述视角区域中的点云数据形成的视角角度；
[0206]
根据所述目标类别，确定所述边界信息的宽度的最大宽度值和最小宽度值；
[0207]
根据所述最大宽度值、所述最小宽度值以及所述视角角度，从所述视角区域中确定所述目标物的点云数据。
[0208]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0209]
根据所述最大宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最大距离值；
[0210]
根据所述最小宽度值和所述视角角度，确定所述视觉传感器与所述图像数据所在平面之间的最小距离值；
[0211]
根据所述最大距离值和所述最小距离值，从所述视角区域中确定所述目标物的点云数据。
[0212]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0213]
确定所述视角区域内各点云数据与所述图像数据所在平面之间的第一距离；
[0214]
将大于等于所述最小距离值，且小于等于所述最大距离值的第一距离所对应的点云数据作为所述目标物的点云数据。
[0215]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
[0216]
若所述目标物的点云数据的点云个数不小于所述预设点云个数阈值，则根据所述目标物的点云数据进行目标检测。
[0217]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0218]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0219]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0220]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。