一种车辆检测方法、装置、设备及介质与流程

1.本技术涉及车辆检测技术领域，特别涉及一种车辆检测方法、装置、设备及介质。


背景技术：

2.随着人工智能算法的快速发展，自动驾驶感知技术得到了长足的进步。自动驾驶车辆需要准确地识别出环境中的车辆并对其进行精确的定位，以完成后续诸如路径规划和防碰撞等高阶任务。相比于基于图像数据的车辆检测算法，基于lidar(即light detection and ranging，激光探测及测距系统)传感器数据的车辆检测算法能快速地识别车辆并精确地估计车辆的3d位置。越来越多的车企和自动驾驶研究机构使用lidar数据进行自动驾驶场景中车辆的识别与定位。
3.现有的基于lidar数据进行车辆检测的网络模型表示点云数据的方法可大致分为以下几种：基于体素化的表示，基于点的表示，基于图的表示，基于2d投影的表示。随着稀疏3d卷积计算和bev(即bird’s eye view，鸟视图)的引入，基于体素化点云表示的车辆检测器取得了快速且准确的检测结果，在学术界和工业界得到了广泛的应用。当前基于体素化点云表示的车辆检测模型主要分为两种：单阶段检测器和两阶段检测器。单阶段检测器首先将点云进行体素化处理，然后使用卷积神经网络(3d卷积神经网络和2d卷积神经网络)提取特征，最后基于特征图对车辆分类和位置进行估计。两阶段检测器在单阶段检测器的基础上，提取roi(即region of interest，感兴趣区域)的特征并进行进一步处理，得到调优后的检测结果。两者相比，单阶段检测器通常具备更少的参数和更快的检测速度。已有的基于体素化点云表示的单阶段检测器中，通常将目标车辆的位置和姿态用一个紧紧包裹车辆整体的3d框进行表示。由于激光不能穿过车辆，通过lidar传感器得到点云数据不能覆盖车辆的全部表面。同时，由于其它物体或车辆之间的遮挡，目标车辆的整体框中只有部分区域具有点云数据。这种数据特性提升了检测器对车辆的识别和对整体框的定位难度，造成车辆检测的不准确性。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种车辆检测方法、装置、设备及介质，能够提升车辆检测的准确度。其具体方案如下：
5.第一方面，本技术公开了一种车辆检测方法，包括：
6.将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框；
7.利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框；
8.根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失；
9.利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失；
10.当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出；
11.当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。
12.可选的，所述从所述lidar点云数据中确定出所述整体框中的有效lidar点，包括:
13.从所述lidar点云数据中直接确定出所述整体框中全部的lidar点，得到有效lidar点；
14.或，获取所述lidar点云数据对应的前景背景标注信息，并根据所述前景背景标注信息从所述lidar点云数据中确定出所述整体框中的前景lidar点，得到有效lidar点。
15.可选的，所述根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失，包括：
16.根据锚点框与所述整体框的第一覆盖度以及所述锚点框与所述3d可见框的第二覆盖度从所述锚点框中选取出正样本以及负样本；
17.基于所述正样本和所述负样本计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失。
18.可选的，所述根据锚点框与所述整体框的第一覆盖度以及所述锚点框与所述3d可见框的第二覆盖度从所述锚点框中选取出正样本以及负样本，包括：
19.若所述3d可见框的长度、宽度、高度分别大于等于预设长度阈值、预设宽度阈值以及预设高度阈值，将满足第一预设筛选条件或第二预设筛选条件的锚点框确定为第一正样本；
20.若所述目标车辆没有所述3d可见框，或所述3d可见框满足预设无效可见框条件，则将满足第三预设筛选条件或第四预设筛选条件的锚点框确定为第二正样本；
21.其中，所述第一预设筛选条件为锚点框与所述整体框的第一覆盖度大于等于第一预设整体框覆盖度阈值，且该锚点框与所述3d可见框的第二覆盖度大于等于预设3d可见框覆盖度阈值；所述第二预设筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大的，且第一覆盖度大于0的锚点框；
22.并且，所述预设无效可见框条件为所述3d可见框的长度小于所述预设长度阈值、或宽度小于所述预设宽度阈值、或高度小于所述预设高度阈值；
23.所述第三筛选条件为锚点框与所述整体框的第一覆盖度大于等于第二预设整体框覆盖度阈值；所述第四筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大、且第一覆盖度大于0的锚点框；
24.将全部所述锚点框中非第一正样本、且非第二正样本、且与所有目标车辆的所述整体框的第一覆盖度均小于第三预设整体框覆盖度阈值的锚点框确定为负样本。
25.可选的，所述基于所述正样本和所述负样本计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失，包括：
26.利用所述第一正样本、所述第二正样本和所述负样本计算所述整体框对应的第一分类损失；
27.利用所述第一正样本、所述第二正样本计算所述整体框对应的第一位姿回归损失以及朝向损失；
28.利用所述第一正样本和所述负样本计算所述3d可见框的第二分类损失；利用所述第一正样本计算所述3d可见框的第二位姿回归损失。
29.可选的，所述利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失，包括：
30.利用所述第一分类损失对应的权重参数、所述第一位姿回归损失对应的权重参数、所述朝向损失对应的权重参数、所述第二分类损失对应的权重参数以及所述第二位姿回归损失对应的权重参数，对所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失进行加权计算，得到综合训练损失。
31.可选的，所述利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果，包括：
32.利用所述训练后模型确定所述待检测lidar点云数据对应的整体框的第一检测结果，以及所述3d可见框的第二检测结果；
33.利用所述第二检测结果和所述第二检测结果确定出所述待检测lidar点云数据对应的车辆检测结果。
34.第二方面，本技术公开了一种车辆检测装置，包括车辆检测模型训练模块，以及车辆检测模块；其中，
35.所述车辆检测模型训练模块包括：
36.训练数据输入子模块，用于将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框；
37.3d可见框生成子模块，用于利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框；
38.整体框和3d可见框损失计算子模块，用于根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失；
39.综合损失计算子模块，用于利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失；
40.训练后模型输出子模块，用于当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出；
41.所述车辆检测模块用于：当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。
42.第三方面，本技术公开了一种电子设备，包括：
43.存储器，用于保存计算机程序；
44.处理器，用于执行所述计算机程序，以实现前述的车辆检测方法。
45.第四方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，所述计
算机程序被处理器执行时实现前述的车辆检测方法。
46.可见，本技术先将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框，利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框，之后根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失，并利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失，当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出最后当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。也即，本技术的车辆检测模型在对整体框进行分类和定位的基础上，又增加了对包含有效点云数据3d可见框的分类和定位，在训练过程中，利用整体框的分类、位姿回归、朝向损失以及3d可见框的分类、位姿回归损失计算出综合损失，这样训练得到的车辆检测模型能够充分利用整体框中的有效点云数据，提升对遮挡的鲁棒性，能够提升车辆检测的准确度。
附图说明
47.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
48.图1为本技术公开的一种车辆检测方法流程图；
49.图2为本技术公开的一种具体的车辆的整体框在鸟视图下的示意图；
50.图3为本技术公开的一种具体的车辆检测模型的结构示意图；
51.图4为本技术公开的一种车辆检测装置结构示意图；
52.图5为本技术公开的一种电子设备结构图。
具体实施方式
53.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
54.已有的基于体素化点云表示的单阶段检测器中，通常将目标车辆的位置和姿态用一个紧紧包裹车辆整体的3d框进行表示。由于激光不能穿过车辆，通过lidar传感器得到点云数据不能覆盖车辆的全部表面。同时，由于其它物体或车辆之间的遮挡，目标车辆的整体框中只有部分区域具有点云数据。这种数据特性提升了检测器对车辆的识别和对整体框的定位难度，造成车辆检测的不准确性。为此，本技术提供了一种车辆检测方案，能够提升车辆检测的准确度。
55.参见图1所示，本技术实施例公开了一种车辆检测方法，包括：
56.步骤s11：将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框。
57.在具体的实施方式中，获取车辆的lidar点云数据后，可以为目标车辆标注整体框。例如，参见图2所示，图2为本技术实施例公开的一种具体的车辆的整体框在鸟视图下的示意图。目标车辆j在lidar坐标下的整体框可以表示为：
[0058][0059]
其中，代表整体框中心点的坐标，代表整体框的高度，宽度和长度，代表鸟视图下lidar坐标系x轴逆时针旋转至车头朝向的角度。
[0060]
需要指出的是，在真实场景中，车辆很少发生俯仰角和翻滚角度变化，因此，只用绕lidar坐标系下z轴的旋转角度表示车辆的朝向。
[0061]
步骤s12：利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框。
[0062]
对于处于目标车辆j的整体框里的点i在lidar坐标系下的坐标为：pi＝(xi，yi，zi)，将其投影到目标车辆j的整体框的坐标系，记为p
′i＝(x
′i，y
′i，z
′i)，计算过程如下公式：
[0063][0064]
其中，目标车辆j的整体框的坐标系为以整体框的中心点为原点，车头朝向为x轴的右手坐标系。
[0065]
在具体的实施方式中，本技术实施例将3d可见框定义为整体框内紧紧包裹有效点云数据的长方体。具体地，3d可见框表示为：
[0066][0067]
其中，代表3d可见框中心点的坐标，代表3d可见框的高度，宽度和长度，代表3d可见框在鸟视图下的旋转角度。其计算过程为：
[0068][0069][0070]
[0071][0072]
其中，ij表示第j个整体框中全部所述有效lidar点的集合，也即全部前景点的索引集合。
[0073]
也即，在具体的实施方式中，可以标注多个目标车辆的整体框，基于每个目标车辆的整体框内的有效lidar点确定每个目标车辆对应的3d可见框。
[0074]
在具体的实施方式中，可以从所述lidar点云数据中直接确定出所述整体框中全部的lidar点，得到有效lidar点；或，获取所述lidar点云数据对应的前景背景标注信息，并根据所述前景背景标注信息从所述lidar点云数据中确定出所述整体框中的前景lidar点，得到有效lidar点。其中，前景lidar点即为整体框中根据前景背景标注信息确定出的lidar点。
[0075]
具体的，当点云数据没有前景背景标注信息时，位于整体框中的所有lidar点均为前景点，也即有效lidar点；当前景背景标注信息为路面信息标注时，前景lidar点为整体框中除路面的lidar点；当前景背景标注信息有点云语义标注时，前景lidar点为整体框中车辆表面的lidar点；当前景背景标注信息有点云示例标注时，前景lidar点为整体框中对应目标车辆表面的lidar点。
[0076]
可以理解的是，基于上述前景背景标注信息，能够进一步降低背景点对车辆检测的混淆，降低旁边车辆或路面等背景上的点云数据对目标车辆整体估计产生的干扰，提升车辆检测模型对车辆检测的准确度。
[0077]
步骤s13：根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失。
[0078]
在具体的实施方式中，上述步骤s13可以包括以下两个步骤：
[0079]
步骤00：根据锚点框与所述整体框的第一覆盖度以及所述锚点框与所述3d可见框的第二覆盖度从所述锚点框中选取出正样本以及负样本。
[0080]
在具体的实施方式中，可以若所述3d可见框的长度、宽度、高度分别大于等于预设长度阈值、预设宽度阈值以及预设高度阈值，将满足第一预设筛选条件或第二预设筛选条件的锚点框确定为第一正样本；若所述目标车辆没有所述3d可见框，或所述3d可见框满足预设无效可见框条件，则将满足第三预设筛选条件或第四预设筛选条件的锚点框确定为第二正样本；
[0081]
其中，所述第一预设筛选条件为锚点框与所述整体框的第一覆盖度大于等于第一预设整体框覆盖度阈值，且该锚点框与所述3d可见框的第二覆盖度大于等于预设3d可见框覆盖度阈值；所述第二预设筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大的，且第一覆盖度大于0的锚点框；
[0082]
并且，所述预设无效可见框条件为所述3d可见框的长度小于所述预设长度阈值、或宽度小于所述预设宽度阈值、或高度小于所述预设高度阈值；
[0083]
所述第三筛选条件为锚点框与所述整体框的第一覆盖度大于等于第二预设整体框覆盖度阈值；所述第四筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大、且第一覆盖度大于0的锚点框；
[0084]
将全部所述锚点框中非第一正样本、且非第二正样本、且与所有目标车辆的所述
整体框的第一覆盖度均小于第三预设整体框覆盖度阈值的锚点框确定为负样本。
[0085]
其中，预设长度阈值、预设宽度阈值、预设高度阈值、第一预设整体框覆盖度阈值，第二预设整体框覆盖度阈值，第三预设整体框覆盖度阈值、预设3d可见框覆盖度阈值，为根据经验或者实验确定的阈值。
[0086]
也即，本技术实施例利用锚定框(anchor)与标注的目标车辆的整体框、3d可见框的覆盖度进行正负样本选取。首先，计算锚定框m与目标车辆n的整体框之间的第一覆盖度，同时，计算锚定框m与目标车辆n的3d可见框之间的第二覆盖度，然后，进行正负样本选取。其中，
[0087]
第一覆盖度的计算公式为：
[0088]
第二覆盖度的计算公式为：
[0089]
其中，分别代表锚点框、整体框和3d可见框。volume()为求体积函数。
[0090]
一个锚点框m被视为第一正样本，当且仅当：当标注的目标车辆n'存在3d可见框且其可见框长宽高分别大于等于预设长度阈值预设宽度阈值预设高度阈值即：且且时：其与目标车辆n'之间的且或其是目标车辆n'的整体框与所有锚定框的第一覆盖度中最大值对应的锚定框且对应的第一覆盖度大于0。一个锚点框m被视为第二正样本，当且仅当：当标注车辆n”不存在3d可见框或其3d可见框的长宽高中至少存在一项小于对应阈值的情况，其与目标车辆n”的整体框的第一覆盖度或其是目标车辆n”的整体框与所有锚定框的第一覆盖度中最大值对应的锚定框且对应的第一覆盖度大于0。其中，表示第一预设整体框覆盖度阈值，表示预设3d可见框覆盖度阈值，表示第二预设整体框覆盖度阈值。锚点框m被视为负样本当且仅当：锚定框m既不是第一正样本也不是第二正样本，且与所有标注的目标车辆之间的整体框的第一覆盖度均小于第三预设整体框覆盖度阈值
[0091]
需要指出的是，相比于传统的只利用整体框的覆盖度的样本选取策略，本技术根据引入的3d可见框与锚点框的覆盖度，进行正样本选取，可以选取拥有足够有效数据的正样本，防止产生只包含少量有效数据的正样本。
[0092]
其中，关于锚点框的生成可以参考现有技术，在此不再进行赘述。
[0093]
步骤01：基于所述正样本和所述负样本计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失。
[0094]
在具体的实施方式中，利用所述第一正样本、所述第二正样本和所述负样本计算所述整体框对应的第一分类损失；利用所述第一正样本、所述第二正样本计算所述整体框
对应的第一位姿回归损失以及朝向损失；利用所述第一正样本和所述负样本计算所述3d可见框的第二分类损失；利用所述第一正样本计算所述3d可见框的第二位姿回归损失。
[0095]
也即，3d可见框存在其长或宽或高小于对应阈值的情况时，对应的样本不参3d可见框相应的损失计算。
[0096]
并且，本技术实施例中每个正样本匹配所有标注的目标车辆中与其整体框的覆盖度最大的整体框，进行位姿回归损失计算，具体的位姿回归损失计算方法，可参考现有技术，在此不再进行赘述。
[0097]
步骤s14：利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失。
[0098]
在具体的实施方式中，利用所述第一分类损失对应的权重参数、所述第一位姿回归损失对应的权重参数、所述朝向损失对应的权重参数、所述第二分类损失对应的权重参数以及所述第二位姿回归损失对应的权重参数，对所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失进行加权计算，得到综合训练损失。
[0099]
其中，综合训练损失的计算公式如下：
[0100][0101]
其中，为整体框的分类损失，本技术实施例选用焦点损失(focal loss)对整体框对应的所有样本进行计算，为整体框的位姿回归损失，为整体框的朝向损失。为可视3d框的分类损失，可视3d框的标注类别与整体框的标注类别相同。为可视3d框的位姿回归损失，β0，β1，β2，β3，β4分别为个各损失对应的权重参数，可以通过实验获取。
[0102]
步骤s15：当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出。
[0103]
可以理解的是，在训练的过程中，利用综合训练损失更新车辆检测模型，不断迭代，当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出。
[0104]
步骤s16：当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。
[0105]
在具体的实施方式中，可以利用所述训练后模型确定所述待检测lidar点云数据对应的整体框的第一检测结果，以及所述3d可见框的第二检测结果；利用所述第二检测结果和所述第二检测结果确定出所述待检测lidar点云数据对应的车辆检测结果。
[0106]
需要指出的是，为了提升模型的车辆检测置信度，本技术实施例将整体框的第一检测结果以及3d可见框的第二检测结果进行融合。
[0107]
最终检测的分数sc为：
[0108][0109]
代表整体框对应的输出，即进行最终softmax操作之前的检测结
果；其中，0和1分别代表背景和车辆。分别表示整体框的背景和车辆的得分；exp表示指数函数。
[0110]
代表3d可见框对应的输出，即进行softmax操作之前的检测结果。表示3d可见框对应的背景和车辆的得分。
[0111]
关于和的计算方法可以参考现有车辆检测模型中的计算方法，在此不再进行赘述。
[0112]
在具体的实施方式中，本技术使用神经网络包括3d卷积和鸟视图下的2d卷积等来构建车辆检测模型。通过引入车辆的3d可见框来提升检测模型的识别准确度和定位精度，例如，参见图3所示，图3位本技术实施例公开的一种具体的车辆检测模型的结构示意图。首先，点云数据通过体素化形成3d体素化表示。然后，体素化数据通过多次3d卷积、池化等操作得到3d卷积特征，其中，本技术中的3d卷积操作选用稀疏3d卷积算法，以加快3d卷积的速度。然后，检测模型将3d卷积特征沿着lidar坐标系的z轴(即高度轴)进行特征连接，得到2d空间(bev视角)下的特征图表示。接着，检测模型在得到的2d特征图的基础上进行2d卷积、池化等操作，得到最后的bev视角下的2d卷积特征。根据预先设定的3d锚点框(anchor)，对目标进行分类和位姿估计，其中包括：整体框的分类和定位，3d可见框的分类和定位，以及车辆整体框的朝向的分类，h表示整体框、v表示3d可见框。本技术实施例中使用相同的3d锚定框进行整体框和可视框的检测。需要指出的是，本技术实施例中生成3d可见框的步骤可以在体素化表示前，也可以在得到最后的bev视角下的2d卷积特征之后。
[0113]
可见，本技术先将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框，利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框，之后根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失，并利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失，当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出最后当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。也即，本技术的车辆检测模型在对整体框进行分类和定位的基础上，又增加了对包含有效点云数据3d可见框的分类和定位，在训练过程中，利用整体框的分类、位姿回归、朝向损失以及3d可见框的分类、位姿回归损失计算出综合损失，这样训练得到的车辆检测模型能够充分利用整体框中的有效点云数据，提升对遮挡的鲁棒性，从而能够提升车辆检测的准确度。
[0114]
另外，需要指出的是，现有技术中存在基于lidar的车辆检测算法，为提升检测的定位精度，采用了将整体框划分为不同的部件，然后将部件的检测进行融合得到最终的整体框检测结果；或者添加额外的网络结构对整体框中的lidar点进行定位回归，以提升特征的定位性能。人为设计和选择的部件有可能并不包含有效的点云数据，这导致对部件的检测也是一个十分困难的问题。同时，部件的增多在一定程度上增加了整个检测器的计算量。
对整体框中lidar点的位置回归，能够提升特征的定位能力，但是并没有充分开发点云数据对部件和整体的分类和定位功能。或者，为了提升检测器抗遮挡的能力，部分基于lidar数据的车辆检测算法引入注意力机制进行网络构建，以提升点云中有效特征的权重。额外添加的网络结构在一定程度上会增加检测器的参数和计算量。在基于3d稀疏卷积的3d特征计算过程中，注意力网络需要精心的设计，同时，注意力机制的引入会对3d卷积特征的计算增加一定量的计算量。而本技术实施例提供的方案相对于现有技术，计算复杂度较低。
[0115]
参见图4所示，本技术实施例公开了一种车辆检测装置，包括车辆检测模型训练模块11，以及车辆检测模块12；其中，
[0116]
所述车辆检测模型训练模块11包括：
[0117]
训练数据输入子模块，用于将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框；
[0118]
3d可见框生成子模块，用于利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框；
[0119]
整体框和3d可见框损失计算子模块，用于根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失；
[0120]
综合损失计算子模块，用于利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失；
[0121]
训练后模型输出子模块，用于当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出；
[0122]
所述车辆检测模块12用于：当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。
[0123]
可见，本技术先将训练数据输入车辆检测模型；其中，所述训练数据包括lidar点云数据以及为目标车辆标注的整体框；所述整体框为包裹所述目标车辆整体的标注框，利用所述车辆检测模型从所述lidar点云数据中确定出所述整体框中的有效lidar点，并利用所述目标车辆的所述有效lidar点生成所述目标车辆对应的3d可见框；其中，所述3d可见框为包裹所述目标车辆的全部所述有效lidar点的3d长方体框，之后根据锚点框计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失，并利用所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失计算综合训练损失，当所述综合训练损失收敛，则将当前的车辆检测模型作为训练后模型输出最后当获取到待检测lidar点云数据，则利用所述训练后模型输出所述待检测lidar点云数据对应的车辆检测结果。也即，本技术的车辆检测模型在对整体框进行分类和定位的基础上，又增加了对包含有效点云数据3d可见框的分类和定位，在训练过程中，利用整体框的分类、位姿回归、朝向损失以及3d可见框的分类、位姿回归损失计算出综合损失，这样训练得到的车辆检测模型能够充分利用整体框中的有效点云数据，提升对遮挡的鲁棒性，从而能够提升车辆检测的准确度。
[0124]
其中，3d可见框生成子模块，具体用于从所述lidar点云数据中直接确定出所述整体框中全部的lidar点，得到有效lidar点；或，获取所述lidar点云数据对应的前景背景标注信息，并根据所述前景背景标注信息从所述lidar点云数据中确定出所述整体框中的前景lidar点，得到有效lidar点。
[0125]
整体框和3d可见框损失计算子模块，具体包括：
[0126]
样本选取单元，用于根据锚点框与所述整体框的第一覆盖度以及所述锚点框与所述3d可见框的第二覆盖度从所述锚点框中选取出正样本以及负样本；
[0127]
损失计算单元，用于基于所述正样本和所述负样本计算所述整体框对应的第一分类损失、第一位姿回归损失、朝向损失，以及所述3d可见框对应的第二分类损失、第二位姿回归损失。
[0128]
其中，样本选取单元，具体用于若所述3d可见框的长度、宽度、高度分别大于等于预设长度阈值、预设宽度阈值以及预设高度阈值，将满足第一预设筛选条件或第二预设筛选条件的锚点框确定为第一正样本；若所述目标车辆没有所述3d可见框，或所述3d可见框满足预设无效可见框条件，则将满足第三预设筛选条件或第四预设筛选条件的锚点框确定为第二正样本；其中，所述第一预设筛选条件为锚点框与所述整体框的第一覆盖度大于等于第一预设整体框覆盖度阈值，且该锚点框与所述3d可见框的第二覆盖度大于等于预设3d可见框覆盖度阈值；所述第二预设筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大的，且第一覆盖度大于0的锚点框；并且，所述预设无效可见框条件为所述3d可见框的长度小于所述预设长度阈值、或宽度小于所述预设宽度阈值、或高度小于所述预设高度阈值；所述第三筛选条件为锚点框与所述整体框的第一覆盖度大于等于第二预设整体框覆盖度阈值；所述第四筛选条件为锚点框为所有锚点框中与所述整体框的第一覆盖度最大、且第一覆盖度大于0的锚点框；将全部所述锚点框中非第一正样本、且非第二正样本、且与所有目标车辆的所述整体框的第一覆盖度均小于第三预设整体框覆盖度阈值的锚点框确定为负样本。
[0129]
损失计算单元，具体用于利用所述第一正样本、所述第二正样本和所述负样本计算所述整体框对应的第一分类损失；利用所述第一正样本、所述第二正样本计算所述整体框对应的第一位姿回归损失以及朝向损失；利用所述第一正样本和所述负样本计算所述3d可见框的第二分类损失；利用所述第一正样本计算所述3d可见框的第二位姿回归损失。
[0130]
综合损失计算子模块，具体用于利用所述第一分类损失对应的权重参数、所述第一位姿回归损失对应的权重参数、所述朝向损失对应的权重参数、所述第二分类损失对应的权重参数以及所述第二位姿回归损失对应的权重参数，对所述第一分类损失、所述第一位姿回归损失、所述朝向损失、所述第二分类损失以及所述第二位姿回归损失进行加权计算，得到综合训练损失。
[0131]
参见图5所示，本技术实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，前述实施例公开的车辆检测方法。
[0132]
关于上述车辆检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0133]
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘
或者光盘等，存储方式可以是短暂存储或者永久存储。
[0134]
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
[0135]
进一步的，本技术实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的车辆检测方法。
[0136]
关于上述车辆检测方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0137]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0138]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0139]
以上对本技术所提供的一种车辆检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。