障碍物航向角的获取方法、装置、电子设备及车辆与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种障碍物航向角的获取方法、装置、电子设备及车辆。


背景技术：

2.目前自动驾驶技术的实施路线主要包括以下两种方案：一种是通过车辆自身的计算平台以及传感器来对车辆周围的环境进行感知，另一种是车路协同方案，车路协同方案可以做到超视距的感知，路边单元可以通过传感器将车辆感知不到的道路信息准确地传给车辆，减少车辆的探测死角。在车路协同技术方案中，需要在十字路口的障碍物进行检测和识别，预测障碍物的特征信息，例如，预测障碍物的航向角。
3.现有的障碍物航向角预测技术主要包括以下两个部分：(1)基于欧式聚类的点云障碍物检测；(2)基于主成分分析技术预测障碍物的航向角。使用主成分分析技术预测障碍物的偏航角，容易受到点云分布的影响，例如，雷达扫描距离较远的车辆是无法完整扫描到整个轮廓的点云，导致使用主成分分析技术获取障碍物航向角不准确。


技术实现要素：

4.为了解决上述技术问题，本技术实施例提供了一种障碍物航向角的获取方法、装置、电子设备及车辆。
5.第一方面，本技术实施例提供了一种障碍物航向角的获取方法，所述方法包括：
6.通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；
7.将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；
8.根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；
9.通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。
10.第二方面，本技术实施例提供了一种障碍物航向角的获取装置，所述装置包括：
11.检测模块，用于通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；
12.转换模块，用于将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；
13.获取模块，用于根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；
14.确定模块，用于通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。
15.第三方面，本技术实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的障碍物航向角的获取方法。
16.第四方面，本技术实施例提供了一种车辆，包括车体，还包括第三方面提供的电子设备。
17.第五方面，本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的障碍物航向角的获取方法。
18.上述本技术提供的障碍物航向角的获取方法、装置、电子设备及车辆，通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。这样，可以实现端到端推理，一次性输出障碍物偏航角，可以有效解决使用主成分分析计算物体航向角时，容易受到物体点云分布以及点云完整度的影响，提高障碍物航向角的准确度。
附图说明
19.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对本技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
20.图1示出了本技术实施例提供的障碍物航向角的获取方法的一流程示意图；
21.图2示出了本技术实施例提供的aabb型的2d检测框的一示意图；
22.图3示出了本技术实施例提供的障碍物航向角的获取装置的一结构示意图。
具体实施方式
23.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
24.通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.在下文中，可在本技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
26.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本
申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本技术的各种实施例中被清楚地限定。
28.实施例1
29.本公开实施例提供了一种障碍物航向角的获取方法。
30.具体的，参见图1，障碍物航向角的获取方法包括：
31.步骤s101，通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框。
32.本实施例中的障碍物航向角的获取方法可以应用于安装有激光雷达的车辆，或者应用于电子设备。卷积神经网络模型的获取过程如下：使用深度学习方式，对鸟瞰图训练集进行标注，将标注后的鸟瞰图训练集输入待训练的卷积神经网络模型进行训练得到的。卷积神经网络模型检测最终障碍物点云集的鸟瞰图中的初始2d检测框，还可以确定各初始2d检测框的类别，例如，各初始2d检测框为机动车类别、自行车类别等。2d检测框又可以称为2d包围盒。
33.在本实施例中，卷积神经网络模型在鸟瞰图中检测得到的是一个粗略的2d包围盒，而且检测得到的2d检测框属于aabb型，若待检测物体之间的距离较近，则会出现2d检测框交叉的情况。请参阅图2，aabb型的2d检测框是指检测框中相对的两条边与二维平面的x轴平行，另外相对的两条边与二维平面的y轴平行。
34.在本实施例中，最终障碍物点云集的获取包括：
35.获取原始点云数据，并从所述原始点云数据中删除地面点云集，以得到初始障碍物点云集；
36.按照预设三维体素栅格对所述初始障碍物点云集进行下采样处理，以得到所述最终障碍物点云集。
37.在本实施例中，可以采用激光雷达获取周围环境的原始点云数据，由于激光雷达具有有效扫描距离，可以获取激光雷达所在周围环境的有效扫描距离内的原始点云数据。
38.在本实施例中，激光雷达扫描得到的原始点云数据中的三维点数量比较大，一般都是以万为单位计量的，若把所有的三维点全部都进行处理，则需要的计算资源很大，使用按照预设三维体素栅格对所述初始障碍物点云集进行下采样处理，减少三维点的数量，同时能够保持点云数据的形状特征，提高算法的执行速率。通过对输入的原始点云数据按照预设三维体素栅格创建对应的三维体素栅格，计算各三维体素栅格的所有三维点的重心点的位置坐标，用重心点的位置坐标表征三维体素栅格中的所有三维点，这样三维体素栅格内所有点就用一个重心点来表示。
39.具体来说，可以采用激光雷达执行低层次感知的障碍物检测任务。考虑硬件性能、开发周期、数据成本等影响因素，可以通过点云处理算法进行障碍物的分割、拟合、跟踪。在一实施方式中，可以采用聚类算法进行障碍物分割，具体的，可以依据点之间的欧式距离来度量属性，因此地面的三维点会对位于地面上的物体的三维点集造成干扰。
40.在本实施例中，所述地面点云集的获取，包括：
41.从所述原始点云数据中随机选取预设数量的三维点集，根据各三维点集确定对应
的平面方程；
42.统计所述原始点云数据中属于各所述平面方程的内点的数量；
43.将内点数量最多的平面方程作为地面方程，并将所述地面方程的全部内点的集合作为所述地面点云集。
44.在本实施例中，可以采用随机抽样一致算法(random sample consensus，ransac)平面拟合确定地面方程，具体包括如下步骤：随机选取预设数量的三维点确定一个平面方程，例如，选取3个三维点，确定公式1的各个参数值，公式1：ax by cz d＝0，计算公式1的参数值的过程为：将参数d置为0，将3个三维点在第一方向、第二方向、第三方向的坐标值分别作为x、y、z的数值代入公式1中，得到3个等式，根据3个等式计算参数a、b、c，将计算得到的参数a、b、c代入公式1得到一个平面方程。重复预设次数前述得到平面方程的步骤，相应得到预设数量的平面方程。将所有点依次代入各平面方程，根据预设距离阈值判断各三维点是否属于各平面方程的内点，若将三维点的第一方向、第二方向、第三方向的坐标值分别作为x、y、z的数值代入各平面方程中，计算得到的参数d，判断计算得到的参数d是否小于等于预设阈值，若计算得到的参数d小于等于预设阈值，则该三维点为该平面方程的内点，若计算得到的参数d大于预设阈值，则该三维点为该平面方程的外点，遍历所有三维点，以确定各三维点是否为该平面方程的内点或外地，并统计该平面方程的内点数量；将内点数量最多的平面方程确定为地面方程，将地面方程的全部内点的集合确定为地面点云集，地面方程的外点就是障碍物点云集。
45.在本实施例中，所述最终障碍物点云集的鸟瞰图的获取，包括：
46.按照预设投影密度将所述最终障碍物点云集投影至二维平面上，得到所述鸟瞰图。
47.在本实施例中，预设投影密度的单位可以为m/pixel，预设投影密度表示图像上的一个像素代表实际世界中的预设距离，预设投影密度可影响鸟瞰图的特征稀疏程度，影响后续的卷积神经网络识别效果。在获取鸟瞰图后，便可使用卷积神经网络模型对鸟看图进行检测与识别。
48.步骤s102，将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇。
49.在本实施例中，初始2d检测框为在鸟瞰图中检测到的粗略检测框，初始2d检测框又可以称为初始2d包围盒。初始2d检测框为在鸟瞰图的像素坐标系下的2d检测框，可以获取鸟瞰图的像素坐标系与激光雷达系的转换关系，根据该转换关系将初始2d检测框转换到激光雷达坐标下，得到对应的在雷达坐标系下对应的2d检测框。根据在雷达坐标系下对应的2d检测框、预设障碍物的高度确定雷达坐标系下的初始3d检测框。
50.具体的，步骤s102中的所述将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，包括：
51.将所述初始2d检测框转换为在雷达坐标系下的修正2d检测框；
52.根据所述修正2d检测框及预设障碍物高度，确定在雷达坐标系下的初始3d检测框。
53.在本实施例中，雷达坐标系下的修正2d检测框可以表示为在雷达坐标下第一方向的位置坐标及第二方向的位置坐标，例如，在激光雷达坐标系下的障碍物在x方向上的坐标
值y方向上的坐标值。预设障碍物高度可以为用户自定义设置的障碍物高度，此障碍物高度可以依据鸟瞰图训练集中的数据分布来确定，依据障碍物高度，雷达坐标系的高度预估障碍物在第一方向上的位置坐标，具体的，第三方向的位置坐标可以为在激光雷达坐标系下的障碍物在z方向上的坐标值。将在激光雷达坐标系下的障碍物在x方向上的坐标值、y方向上的坐标值、z方向上的坐标值确定在激光雷达坐标系下的障碍物的初始3d检测框。
54.在本实施例中，初始3d检测框内的点云集的获取，包括以下步骤：
55.按照所述初始3d检测框对所述最终障碍物点云集进行分割，删除所述初始3d检测框之外的三维点，得到所述初始3d检测框内的点云集。
56.在本实施例中，使用初始3d检测框作为条件滤波，从标准障碍物点云及中分割出初始3d检测框之内的所有三维点，将分割出的所有三维点作为粗略分割得到的障碍物点云集，粗略分割得到的障碍物点云作为后续算法的输入，以便从粗略分割得到的障碍物点云集中获取更准确的障碍物点云。
57.在本实施例中，步骤s102中的对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇，包括：
58.对初始3d检测框内的所有点云进行欧式聚类分析，得到多个点云簇。
59.在本实施例中，欧式聚类分析包括：考察初始3d检测框内所有的m个三维点，在m维空间内，定义三维点与三维点之间预设性质的亲疏聚类，设m个三维点组成n类，然后将具有最小距离的两类合为一类，并重新计算类与类之间的距离，迭代直到任意两类之间的距离大于指定的阈值，或者类的个数小于指定的数目，完成分割，以得到多个点云簇。
60.步骤s103，根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框。
61.在本实施例中，统计聚类得到各点云簇的三维点数量，根据三维点数量对各点云簇进行排序，选择三维点数量最多的点云簇作为目标3d检测框，该目标点云簇的3d检测框即为最贴合障碍物的检测框。3d检测框由可以称为3d包围盒。
62.步骤s104，通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。
63.在一实施方式中，还可以根据所述目标3d检测框确定障碍物的尺寸信息、位置信息和类别。障碍物的尺寸信息包括障碍物长宽高等信息，障碍物位置信息可以包括三维坐标信息等，障碍物类别可以包括自行车、公交车、汽车等类别。
64.在本实施例中，将聚类得到的目标3d检测框输入到多目标追踪算法内，通过目标追踪算法可以计算障碍物在二维平面上的速度，具体的，可以计算障碍物在xoy平面上的速度，依据障碍物在x轴，y轴上的速度分量计算障碍物的航向角。这样，使用目标追踪算法获取的速度信息来计算偏航角，可以不受物体点云的完整度，分布，形状的影响，计算得到的偏航角更加稳定，可以有效解决使用主成分分析计算物体航向角时，容易受到物体点云分布以及点云完整度的影响，提高障碍物的航向角的准确度。本实施例中，可以实现端到端推理，一次性输出障碍物的尺寸信息，位置信息以及偏航角信息，提高获取障碍物各类特征信息的准确度。
65.本实施例提供的障碍物航向角的获取方法，通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；将所述初始2d检测框转换为
雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。这样，可以实现端到端推理，一次性输出障碍物的尺寸信息，位置信息以及偏航角信息，可以有效解决使用主成分分析计算物体航向角时，容易受到物体点云分布以及点云完整度的影响，提高障碍物航向角的准确度。
66.实施例2
67.此外，本公开实施例提供了一种障碍物航向角的获取装置。
68.具体的，如图3所示，障碍物航向角的获取装置300包括：
69.检测模块301，用于通过卷积神经网络模型对最终障碍物点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；
70.转换模块302，用于将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；
71.第一确定模块303，用于根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；
72.第二确定模块304，用于通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。
73.在本实施例中，转换模块302，还用于将所述初始2d检测框转换为在雷达坐标系下的修正2d检测框；
74.根据所述修正2d检测框及预设障碍物高度，确定在雷达坐标系下的初始3d检测框。
75.在本实施例中，障碍物航向角的获取装置300还包括：
76.第一获取模块，用于按照所述初始3d检测框对所述最终障碍物点云集进行分割，删除所述初始3d检测框之外的三维点，得到所述初始3d检测框内的点云集。
77.在本实施例中，障碍物航向角的获取装置300还包括：
78.第二获取模块，用于获取原始点云数据，并从所述原始点云数据中删除地面点云集，以得到初始障碍物点云集；
79.按照预设三维体素栅格对所述初始障碍物点云集进行下采样处理，以得到所述最终障碍物点云集。
80.在本实施例中，障碍物航向角的获取装置300还包括：
81.第三获取模块，用于从所述原始点云数据中随机选取预设数量的三维点集，根据各三维点集确定对应的平面方程；
82.统计所述原始点云数据中属于各所述平面方程的内点的数量；
83.将内点数量最多的平面方程作为地面方程，并将所述地面方程的全部内点的集合作为所述地面点云集。
84.在本实施例中，障碍物航向角的获取装置300还包括：
85.第四获取模块，用于按照预设投影密度将所述最终障碍物点云集投影至二维平面上，得到所述鸟瞰图。
86.本实施例提供的障碍物航向角的获取装置，通过卷积神经网络模型对最终障碍物
点云集的鸟瞰图进行检测，确定所述鸟瞰图的初始2d检测框；将所述初始2d检测框转换为雷达坐标系下的初始3d检测框，并对所述初始3d检测框内的点云集进行聚类分析，以得到多个点云簇；根据各点云簇的三维点数量从所述多个点云簇中确定目标点云簇，并获取所述目标点云簇对应的目标3d检测框；通过多目标追踪算法获取所述目标3d检测框的速度，并根据所述目标3d检测框的速度确定障碍物的航向角。这样，可以实现端到端推理，一次性输出障碍物的尺寸信息，位置信息以及偏航角信息，可以有效解决使用主成分分析计算物体航向角时，容易受到物体点云分布以及点云完整度的影响，提高障碍物的特征信息的准确度。
87.实施例3
88.此外，本公开实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所提供的障碍物航向角的获取方法。
89.本实施例提供的电子设备可以执行实施例1所提供的障碍物航向角的获取方法的步骤，为避免重复，在此不再赘述。
90.实施例4
91.此外，本公开实施例提供了一种车辆，包括车体，还包括实施例3所提供的电子设备。
92.本实施例提供的车辆可以执行实施例1所提供的障碍物航向角的获取方法的步骤，为避免重复，在此不再赘述。
93.实施例5
94.此外，本公开实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行实施例1所提供的障碍物航向角的获取方法。
95.在本实施例中，计算机可读存储介质可以为只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
96.本实施例提供的计算机可读存储介质可以执行实施例1所提供的障碍物航向角的获取方法的步骤，为避免重复，在此不再赘述。
97.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
98.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
99.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员
在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。