分析物体形状的方法和利用激光雷达传感器跟踪物体的装置与流程

分析物体形状的方法和利用激光雷达传感器跟踪物体的装置
1.本技术要求2020年12月9日提交的韩国专利申请no.10-2020-0171561的优先权权益，该申请的全部内容通过引用的方式并入本文。
技术领域
2.本发明涉及分析物体形状的方法和利用lidar传感器跟踪物体的装置。


背景技术：

3.关于目标车辆的信息可以利用激光雷达(lidar)传感器来获取。可以利用所获取的信息来辅助配备有lidar传感器的车辆(以下称为“主车”)的自动驾驶功能。然而，当利用lidar传感器获取的关于目标车辆的信息不正确时，主车的可靠性可能会降低。因此，正在进行针对这一问题的研究。


技术实现要素：

4.因此，本发明致力于提供一种利用lidar传感器分析物体形状的方法和用于跟踪物体的装置，其基本上消除了由于现有技术的限制和缺点导致的一个或更多个问题。
5.本发明提供一种利用lidar传感器分析物体形状的方法和用于跟踪物体的装置，其能够准确分析动态物体的形状。
6.然而，本发明要实现的目的不限于上面提到的目的。本领域一般技术人员从以下描述中应该清楚地理解本文未提及的其他目的。
7.根据实施方案的利用lidar传感器分析物体形状的方法可以包括：(a)利用聚类的lidar点确定与目标物体相关的第一层至第m层(其中m是2或更大的正整数)的所有层的形状；(b)根据预定优先级分析确定出的形状，以确定目标物体的形状。
8.例如，在步骤(a)中，可以确定第一层至第m层中的第m层(其中1≤m≤m)的形状。步骤(a)可以包括(a1)在第m层中包括的lidar点中，搜索位于距离连接第一端点和第二端点的线段最远处的断点。步骤(a)还可以包括(a2)利用连接第一端点和断点的第一线段、连接第二端点和断点的第二线段、位于第一线段附近的第一lidar点或位于第二线段附近的第二lidar点的至少一项，将形状标记分配给第m层。
9.例如，步骤(a2)可以包括分析第一lidar点和第二lidar点在第m层的分布，利用分析结果将中断标记分配给第m层作为形状标记。中断标记可以表示第m层中包括的目标物体是动态物体的可能性较低。
10.例如，将中断标记分配给第m层可以包括计算第一线段与第一lidar点之间的第一距离的第一平均值，利用第一平均值计算第一距离的第一方差。将中断标记分配给第m层还可以包括计算第二线段与第二lidar点之间的第二距离的第二平均值，利用第二平均值计算第二距离的第二方差。将中断标记分配给第m层还可以包括当第一方差和第二方差的每一个都大于方差阈值时，将中断标记分配给第m层。
11.例如，步骤(a2)可以进一步包括当第一方差和第二方差中的一个不大于方差阈值
时，考虑包括第一线段和第二线段的第m层的形状盒的尺寸，临时将l形标记或i形标记分配给第m层作为形状标记。步骤(a2)可以进一步包括对于临时分配给第m层的l形标记或i形标记，利用第一线段、第二线段、第一lidar点或第二lidar点的至少一项，最终将l形标记或i形标记分配给第m层。
12.例如，临时将l型标记或i型标记分配给第m层可以包括利用形状盒的长度或宽度的至少一项，临时将l形标记或i形标记分配给第m层。
13.例如，临时将l型标记或i型标记分配给第m层可以包括：当形状盒的宽度落在第一阈值宽度范围内时，临时将i形标记分配给第m层；当形状盒的宽度落在第二阈值宽度范围内时，临时将l形标记分配给第m层。第一阈值宽度范围可以具有第一最小值到第一最大值的范围，第二阈值宽度范围可以具有第二最小值到第二最大值的范围，第二最小值可以大于或等于第一最大值。
14.例如，最终将l形标记分配给第m层可以包括从第一线段和第二线段中选择较长的线段作为参考线段，可以包括从第一线段和第二线段中选择较短的线段作为非参考线段。最终将l形标记分配给第m层还可以包括：当参考线段的长度大于或等于阈值长度时，当参考线段的平均值和方差分别小于参考阈值平均值和参考阈值方差时，当非参考线段的平均值和方差分别小于非参考阈值平均值和非参考阈值方差时，当通过在与参考线段相交的方向上的划分形成的i(其中i是1或更大的正整数)个区域中的每个区域中都存在lidar点时，当位于所述区域中的相邻的外lidar点之间的间隔距离小于阈值间隔距离时，并且当第一线段与第二线段之间的角度大于第一角度且小于第二角度时，最终将l形标记分配给第m层。
15.例如，最终将i型标记分配给第m层可以包括从第一线段和第二线段中选择较长的线段作为参考线段。最终将i形标记分配给第m层还可以包括当参考线段的平均值和方差分别小于参考阈值平均值和参考阈值方差时，并且当位于通过在与参考线段相交的方向上的划分形成的j(其中j是1或更大的正整数)个区域中的外lidar点之间的间隔距离小于阈值间隔距离时，最终将i形标记分配给第m层。
16.例如，所述方法可以进一步包括检查第m层是否是与目标物体的顶相关的层。当第m层是与目标物体的顶相关的层时，可以增加非参考阈值平均值和非参考阈值方差，非参考阈值平均值和非参考阈值方差可以是在确定是否最终将l形标记分配给第m 1层中使用的。
17.例如，检查第m层是否是与目标物体的顶相关的层可以包括：检查第m层的形状盒的长度与关于目标物体的聚类盒的长度的第一比值是否小于第一阈值比值；当第一比值小于第一阈值比值时，搜索最终分配给第m层的形状标记的峰值点；当从峰值点到聚类盒的中间的长度与聚类盒的一半长度的第二比值小于第二阈值比值时，确定第m层是与顶相关的层。
18.例如，搜索峰值点可以包括：当最终将l形标记分配给第m层时，将位于距离第一线段和第二线段中较短线段最远处的lidar点确定为峰值点；当最终将i型标记分配给第m层时，将断点确定为峰值点。
19.例如，根据预定优先级确定目标物体的形状可以包括当在第一层至第m层中存在分配了中断标记的层时，确定目标物体的形状无法识别。根据预定优先级确定目标物体的形状可以包括当在第一层至第m层中不存在分配了中断标记的层并且存在分配了l形标记
的层时，确定目标物体的形状为l形。根据预定优先级确定目标物体的形状还可以包括当在第一层至第m层中不存在分配了中断标记和l形标记的任一个的层并且存在分配了i形标记的层时，确定目标物体的形状为i形。根据预定优先级确定目标物体的形状还可以包括当在第一层至第m层中不存在分配了中断标记、l形标记和i形标记的任一个的层时，确定目标物体的形状无法识别。
20.根据另一实施方案的一种利用lidar传感器跟踪物体的装置可以包括：lidar传感器、聚类单元以及形状分析单元；所述lidar传感器配置为获取与目标物体相关的点云；所述聚类单元配置为对点云进行聚类；所述形状分析单元配置为利用在点云中聚类的lidar点来分析目标物体的形状。形状分析单元可以包括：层形状确定单元以及目标形状确定单元；所述层形状确定单元配置为利用聚类的lidar点来确定与目标物体相关的第一层至第m层(其中m是2或更大的正整数)的所有层的形状；所述目标形状确定单元配置为根据预定优先级分析确定出的形状，以确定目标物体的形状。
21.例如，层形状确定单元可以确定第一层至第m层中的第m层(其中1≤m≤m)的形状。层形状确定单元可以包括确定准备单元，其配置为在第m层中包括的lidar点中搜索位于距离连接第一端点和第二端点的线段最远处的断点，并且生成连接第一端点和断点的第一线段以及连接第二端点和断点的第二线段。层形状确定单元还可以包括标记分配单元，其配置为利用第一线段、第二线段、位于第一线段附近的第一lidar点或位于第二线段附近的第二lidar点的至少一项，将形状标记分配给第m层。
22.例如，层形状确定单元可以进一步包括物体分析单元，其配置为分析第一lidar点和第二lidar点在第m层的分布，并且利用分析结果将中断标记分配给第m层作为形状标记。中断标记可以表示第m层中包括的目标物体是动态物体的可能性较低。
23.例如，物体分析单元可以包括第一方差计算单元，其配置为利用第一距离的第一平均值来计算第一线段与第一lidar点之间的第一距离的第一方差。物体分析单元还可以包括第二方差计算单元，其配置为利用第二距离的第二平均值来计算第二线段与第二lidar点之间的第二距离的第二方差。物体分析单元还可以包括方差比较单元，其配置为将第一方差和第二方差的每一个与方差阈值进行比较，并且响应于比较结果将中断标记分配给第m层。
24.例如，标记分配单元可以包括临时标记分配单元，其配置为响应于方差比较单元的比较结果，考虑包括第一线段和第二线段的第m层的形状盒的尺寸，临时将l形标记或i形标记分配给第m层作为形状标记。标记分配单元还可以包括最终标记分配单元，其配置为：对于临时分配给第m层的l形标记或i形标记，利用第一线段、第二线段、第一lidar点或第二lidar点的至少一项，最终将l形标记或i形标记分配给第m层。
25.例如，临时标记分配单元可以利用形状盒的长度或宽度的至少一项，临时将l形标记或i形标记分配给第m层。
26.例如，临时标记分配单元可以包括第一宽度比较单元，其配置为将形状盒的宽度与第一阈值宽度范围进行比较，并且响应于比较结果临时将i形标记分配给第m层。临时标记分配单元还可以包括第二宽度比较单元，其配置为将形状盒的宽度与第二阈值宽度范围进行比较，并且响应于比较结果临时将l形标记分配给第m层。第一阈值宽度范围可以具有第一最小值到第一最大值的范围，第二阈值宽度范围可以具有第二最小值到第二最大值的
范围。第二最小值可以大于或等于第一最大值。
27.例如，最终标记分配单元可以包括参考线段选择单元，其配置为从第一线段和第二线段中选择较长的线段作为参考线段，从第一线段和第二线段中选择较短的线段作为非参考线段。最终标记分配单元还可以包括第一标记分配分析单元，其配置为：当参考线段的长度大于或等于阈值长度时，当参考线段的平均值和方差分别小于参考阈值平均值和参考阈值方差时，当非参考线段的平均值和方差分别小于非参考阈值平均值和非参考阈值方差时，当通过在与参考线段相交的方向上的划分形成的i(其中i是1或更大的正整数)个区域中的每个区域中都存在lidar点时，当位于所述区域中的相邻的外lidar点之间的间隔距离小于阈值间隔距离时，并且当第一线段与第二线段之间的角度大于第一角度且小于第二角度时，最终将l形标记分配给第m层。
28.例如，最终标记分配单元可以进一步包括第二标记分配分析单元，其配置为当参考线段的平均值和方差分别小于参考阈值平均值和参考阈值方差时，并且当位于通过在与参考线段相交的方向上的划分形成的j(其中j是1或更大的正整数)个区域中的外lidar点之间的间隔距离小于阈值间隔距离时，最终将i形标记分配给第m层。
29.例如，层形状确定单元可以进一步包括顶层检查单元，其配置为检查第m层是否为与目标物体的顶相关的层并输出检查的结果。第一标记分配分析单元可以响应于顶层检查单元的检查结果而增加非参考阈值平均值和非参考阈值方差。非参考阈值平均值和非参考阈值方差可以是在确定是否最终将l形标记分配给第m 1层中使用的。
30.例如，顶层检查单元可以检查第m层的形状盒的长度与关于目标物体的聚类盒的长度的第一比值是否小于第一阈值比值，可以搜索最终分配给第m层的形状标记的峰值点，可以检查从峰值点到聚类盒的中间的长度与聚类盒的一半长度的第二比值是否小于第二阈值比值。
31.例如，顶层检查单元响应于第一比值与第一阈值比值的比较结果以及最终标记分配单元对形状标记的最终分配结果，可以将位于距离第一线段和第二线段中较短线段最远处的lidar点确定为峰值点，或者可以将断点确定为峰值点。
32.例如，目标形状确定单元可以包括第一标记检查单元，其配置为检查在第一层至第m层中是否存在分配了中断标记的层。目标形状确定单元还可以包括第二标记检查单元，其配置为响应于第一标记检查单元的检查结果，检查是否存在分配了l形标记的层。目标形状确定单元可以进一步包括第三标记检查单元，其配置为响应于第二标记检查单元的检查结果，检查是否存在分配了i形标记的层。目标形状确定单元还可以包括最终形状输出单元，其配置为响应于第一标记检查单元至第三标记检查单元的检查结果，将目标物体的形状确定为无法识别形状、l形或i形。
附图说明
33.参考以下附图详细描述布置和实施方案，其中相同的附图标记表示相同的元件，其中：
34.图1是根据本发明实施方案的利用lidar传感器的物体跟踪装置的示意性框图；
35.图2是根据本发明实施方案的利用lidar传感器分析物体形状的方法的流程图；
36.图3是图1所示的形状分析单元的实施方案的框图；
37.图4是图2所示的步骤210的实施方案的流程图；
38.图5是示例性地示出第m层中包括的lidar点的示意图；
39.图6是图4所示的步骤316的实施方案的流程图；
40.图7是图4所示的步骤318的实施方案的流程图；
41.图8(a)和8(b)是帮助理解图7所示的步骤318a的示意图；
42.图9是图4所示的步骤320的实施方案的流程图；
43.图10是帮助理解图9所示的实施方案的示意图；
44.图11是图4所示的步骤320的另一实施方案的流程图；
45.图12是帮助理解图11所示的实施方案的示意图；
46.图13是图4所示的步骤322的实施方案的流程图；
47.图14是帮助理解图13所示的步骤602的示意图；
48.图15(a)和15(b)是帮助理解图13所示的步骤604的示意图；
49.图16是帮助理解图13所示的步骤606的示意图；
50.图17是图2所示的步骤220的实施方案的流程图；
51.图18显示了基于主车的各种类型的目标车辆；
52.图19是用于说明根据比较示例的形状分析方法和物体跟踪装置的示意图；
53.图20(a)至图20(e)是用于说明物体的航向角提取的示意图；
54.图21是用于说明目标车辆的航向方向的示意图；
55.图22(a)和图22(b)是用于说明由物体跟踪装置执行的关联的示意图；
56.图23是用于说明动态物体的示意图。
具体实施方式
57.下文将参考所附附图对本发明进行更为全面的描述，在这些附图中显示了各个示例性实施方案。然而，示例可以以许多不同的形式实施并且不应解释为限于在此阐述的实施方案。相反，提供这些实施方案是为了使本发明更加彻底和完整，并且更充分地将本发明的范围传达给本领域的一般技术人员。
58.应当理解，当一个元件被称为在另一个元件“上”或“下”时，它可以直接在该元件上/下，或者也可以存在一个或更多个中间元件。
59.当一个元件被称为在“上”或“下”时，基于该元件，“在元件下”以及“在元件上”可以包括在其中。
60.此外，关系术语，如“第一”、“第二”、“上/上部/上面”、“下/下部/下面”仅用于区分一个主语或元件与另一个主语或元件，而不一定要求或涉及主语或元件之间的任何实际或逻辑关系或顺序。当将本发明的组件、设备、元件等描述为具有目的或执行操作、功能等时，在此应将组件、设备或元件视为“配置为”满足该目的或者执行该操作或功能。本发明将物体跟踪装置的各种组件描述为单元，例如但不限于：层形状确定单元、目标形状确定单元、确定准备单元、物体分析单元、标记分配单元、顶层检查单元、第一方差计算单元、第二方差计算单元、方差比较单元、临时标记分配单元、最终标记分配单元、第一和第二宽度比较单元、参考线段选择单元、第一标记分配分析单元、第二标记分配分析单元、第一至第三标记检查单元以及最终形状输出单元。这些单元的每一个可以单独地实现或者包括处理器和存
储器(例如非易失性计算机可读介质)作为装置的一部分。
61.以下，参照附图描述根据实施方案的利用lidar传感器分析物体形状的方法200和跟踪物体的装置100。为了便于描述，利用笛卡尔坐标系(x轴、y轴、z轴)来描述利用lidar传感器分析物体形状的方法200和跟踪物体的装置100，但是也可以利用其他坐标系来描述。在笛卡尔坐标系中，x轴、y轴和z轴相互垂直，但实施方案不限于此。换句话说，x轴、y轴和z轴可以相互斜交。
62.图1是根据实施方案的利用lidar传感器的物体跟踪装置100的示意性框图。
63.图1所示的物体跟踪装置100可以包括激光雷达(lidar)传感器110、预处理单元120、聚类单元130和形状分析单元140。
64.lidar传感器110可以获取与目标物体相关的点云，并且可以将所获取的点云作为lidar数据输出到预处理单元120。
65.预处理单元120可以预处理lidar数据。为此，预处理单元120可以执行校准以匹配激光雷达传感器110的坐标和配备有激光雷达传感器110的车辆(以下称为“主车”)的坐标。换句话说，预处理单元120可以考虑lidar传感器110安装到主车的位置角，将lidar数据转换成适合于参考坐标系的数据。此外，预处理单元120可以利用lidar数据的强度或置信度信息来执行滤波以去除具有较低强度或反射率的点。此外，预处理单元120可以去除从主车反射的数据。换句话说，由于根据lidar传感器110的安装位置和视场，存在被主车的车身阻挡的区域，预处理单元120可以利用参考坐标系去除从主车的车身反射的数据。
66.聚类单元130可以根据预定准则将点云分组为有意义的单元，所述点云是由利用lidar传感器110获取的与物体相关的多个点组成的lidar数据。换句话说，聚类单元130可以利用预处理单元120的预处理结果对点云进行聚类，并且可以将聚类的lidar点输出到形状分析单元140。
67.形状分析单元140可以利用点云的聚类的lidar点来分析目标物体的形状，并且可以通过输出端子out1输出分析结果。
68.图2是根据实施方案的利用lidar传感器分析物体形状的方法200的流程图。
69.图1所示的形状分析单元140可以执行图2所示的形状分析方法200，但实施方案不限于此。换句话说，根据另一实施方案，图2所示的形状分析方法200可以由与图1所示的物体跟踪装置100不同地配置的物体跟踪装置来执行。换句话说，图2所示的方法200不限于在图1所示的装置中的由lidar传感器110执行的任何特定类型的操作、预处理单元120的存在或不存在、由预处理单元120执行的任何特定类型的预处理或由聚类单元130执行的任何特定类型的聚类。
70.图3是图1所示的形状分析单元140的实施方案140a的框图。
71.以下，为了更好地理解本发明，根据实施方案的物体形状分析方法200描述为由图3所示的形状分析单元140a执行，但实施方案不限于此。换句话说，根据另一实施方案，根据实施方案的物体形状分析方法200也可以由与图3所示的形状分析单元140a不同地配置的形状分析单元来执行。
72.图3所示的形状分析单元140a可以包括层形状确定单元142和目标形状确定单元144。
73.层形状确定单元142可以通过输入端子in1从聚类单元130接收聚类的lidar点，可
以利用lidar点确定与目标物体相关的第一层至第m层的第一形状至第m形状，并且可以将确定出的第一层至第m层的形状输出到目标形状确定单元144(步骤210)。在此，“m”是1或更大的正整数。例如，“m”可以是6。
74.在步骤210之后，目标形状确定单元144可以根据预定优先级通过分析第一形状至第m形状来确定目标物体的形状，并且可以通过输出端子out1输出确定出的目标物体的形状(步骤220)。
75.以下，参照附图描述图2所示的物体形状分析方法200、图3所示的层形状确定单元142和图3所示的目标形状确定单元144的实施方案。
76.图4是图2所示的步骤210的实施方案210a的流程图。
77.图3所示的层形状确定单元142可以执行图4所示的方法210a。为此，层形状确定单元142可以包括确定准备单元152和标记分配单元156。此外，层形状确定单元142可以进一步包括物体分析单元154。此外，层形状确定单元142可以进一步包括顶层检查单元158。
78.与一个目标物体相关的m层(即第一层至第m层)的每一层的形状可以如下确定。
79.首先，将“m”设定为1(步骤310)。在此，1≤m≤m。
80.在步骤310之后，在第m层中包括的lidar点中，搜索位于距离连接第一端点和第二端点的线段(或基线)最远处的断点(步骤312)。
81.图5是示例性地示出第m层中包括的lidar点的示意图。
82.为了更好地理解本发明，参考图5描述图4所示的步骤210a，但不限于此。
83.与一个目标物体相关的lidar点可以在竖直方向(例如，z轴方向)上被划分为m层(即第一层至第m层)。
84.在步骤310之后，在第m层中包括的lidar点(例如，图5所示的p1至p10)中，搜索位于距离连接第一端点a(p1)和第二端点c(p10)的线段el最远处的断点b(p4)(步骤312)。
85.此后，生成连接第一端点p1和断点p4的第一线段l1以及连接第二端点p10和断点p4的第二线段l2(步骤314)。
86.上述步骤310至步骤314可以由图3所示的确定准备单元152执行。
87.在步骤314之后，物体分析单元154可以分析第m层中的第一lidar点和第二lidar点的分布模式，并且可以利用分析结果确定是否将中断标记分配给第m层作为形状标记(步骤316)。
88.在此，第一lidar点可以是lidar点(例如图5所示的p1至p10)中位于第一线段l1附近的lidar点(例如p2和p3)。第二lidar点可以是lidar点(例如图5所示的p1至p10)中位于第二线段l2附近的lidar点(例如图5所示的p5至p9)。
89.中断标记可以是这样的标记，其表示通过第m层中包括的lidar点显示的目标物体是动态物体的可能性较低。换句话说，当lidar点在第m层中分散的程度较大时，存在目标物体是静态物体而不是动态物体的可能性。因此，可以利用lidar点的方差来检查目标物体是动态物体还是静态物体。
90.图6是图4所示的步骤316的实施方案316a的流程图。
91.物体分析单元154可以执行图6所示的步骤316a。为此，物体分析单元154可以包括例如第一方差计算单元162、第二方差计算单元164和方差比较单元166。
92.例如，参考图3和图6，在步骤314之后，第一方差计算单元162计算第一线段l1与第
一lidar点之间的第一距离的第一平均值a1，如下面利用方程式1表示的(步骤420)。
93.[方程式1]
[0094][0095]
在此，“n”表示第m层中包括的第一lidar点的总数，而“xi”表示第一距离。参考图5，“xi”对应于各个第一lidar点p2和p3与第一线段l1在x轴方向上的间隔距离。
[0096]
在步骤420之后，第一方差计算单元162利用第一距离xi的第一平均值a1来计算第一距离xi的第一方差v1，如下面利用方程式2表示的，并将计算出的第一方差v1输出到方差比较单元166(步骤422)。
[0097]
[方程式2]
[0098][0099]
在步骤422之后，第二方差计算单元164计算第二线段l2与第二lidar点之间的第二距离yi的第二平均值a2，如下面利用方程式3表示的(步骤424)。
[0100]
[方程式3]
[0101][0102]
在此，“q”表示第m层中包括的第二lidar点的总数，“yi”表示第二距离。参考图5，“yi”对应于各个第二lidar点p5至p9与第二线段l2在y轴方向上的间隔距离。
[0103]
在步骤424之后，第二方差计算单元164利用第二距离yi的第二平均值a2来计算第二距离yi的第二方差v2，如下面利用方程式4表示的，并将计算出的第二方差v2输出到方差比较单元166(步骤426)。
[0104]
[方程式4]
[0105][0106]
在步骤426之后，方差比较单元166确定第一方差v1是否大于第一方差阈值ve1(步骤428)。如果第一方差v1大于第一方差阈值ve1，则方差比较单元166确定第二方差v2是否大于第二方差阈值ve2(步骤430)。在确定出第二方差v2大于第二方差阈值ve2时，方差比较单元166可以将中断标记分配给第m层，并且过程可以进入步骤220(步骤432)。根据实施方案，第一方差阈值ve1和第二方差阈值ve2可以彼此相同或不同。此外，可以针对每一层预先设定第一方差阈值ve1和第二方差阈值ve2的每一个并存储，或者可以不考虑层而预先设置为恒定值。例如，ve1和ve2的每一个都可以是1.5。
[0107]
然而，当第一方差v1不大于第一方差阈值ve1或者当第二方差v2不大于第二方差阈值ve2时，第m层是动态物体而不是静态物体的可能性更大，从而过程进入步骤318。例如，静态物体可以是不运动的物体，例如交通信号灯、树、交通标志或护栏，动态物体可以是运动的物体，例如车辆。
[0108]
如上所述，方差比较单元166将第一方差v1和第二方差v2分别与第一方差阈值ve1和第二方差阈值ve2进行比较，并且响应于比较结果而将中断标记分配给第m层。
[0109]
或者，根据实施方案的利用lidar传感器的物体形状分析方法200可以省略步骤
316。
[0110]
同时，当未给第m层分配中断标记时，标记分配单元156可以利用第一线段、第二线段、第一lidar点或第二lidar点的至少一个将形状标记分配给第m层(步骤318和步骤320)。
[0111]
为此，如图3所示，标记分配单元156可以包括临时标记分配单元170和最终标记分配单元180。
[0112]
临时标记分配单元170响应于方差比较单元166的比较结果，考虑包括第一线段l1和第二线段l2的第m层的形状盒的尺寸，临时将l形标记或i形标记分配给第m层作为形状标记。下文参考图14详细描述形状盒。换句话说，当识别出由于第一方差v1不大于第一方差阈值ve1和/或第二方差v2不大于第二方差阈值ve2作为方差比较单元166的比较结果，而未给第m层分配中断标记给时，临时标记分配单元170可以考虑包括第一线段和第二线段的第m层的形状盒的尺寸，临时将l形标记或i形标记分配给第m层作为形状标记(步骤318)。
[0113]
图7是图4所示的步骤318的实施方案318a的流程图。图8(a)和图8(b)是帮助理解图7所示的步骤318a的示意图。
[0114]
例如，临时标记分配单元170可以利用第m层的形状盒(例如图8(b)所示的sb)的长度或宽度的至少一个，临时将l形标记或i形标记分配给第m层。
[0115]
换句话说，当识别出未给第m层分配中断标记时，可以确定第m层的形状盒的宽度是落在第一阈值宽度范围twr1内还是落在第二阈值宽度范围twr2内(步骤440)。
[0116]
如果第m层的形状盒的宽度落在第一阈值宽度范围twr1内，则临时将i形标记分配给第m层(步骤442)。然而，如果形状盒的宽度落在第二阈值宽度范围内，则临时将l形标记分配给第m层(步骤444)。
[0117]
当第一阈值宽度范围twr1具有第一最小值min1到第一最大值max1的范围，第二阈值宽度范围twr2具有第二最小值min2到第二最大值max2的范围时，第二最小值min2可以大于或等于第一最大值max1。例如，第一阈值宽度范围twr1可以是0m到1m，第二阈值宽度范围twr2可以是1m到8m。这样，可以利用形状盒sb的宽度将形状标记分配给第m层，但实施方案不限于此。换句话说，根据另一实施方案，可以利用形状盒sb的宽度或长度的至少一个临时将形状标记分配给第m层。
[0118]
根据实施方案的设备100可以跟踪长度为13米或更短的物体。当图8(b)所示的形状盒sb的长度落在1m至13m的范围内时，如果形状盒sb的宽度落在0m至1m的第一阈值宽度范围twr1内，则可以临时将i形标记分配给第m层。如果形状盒sb的宽度落在1m至8m的范围内，则可以临时将l形标记分配给第m层。
[0119]
为了执行图7所示的方法，如图3所示，临时标记分配单元170可以包括第一宽度比较单元172和第二宽度比较单元174。
[0120]
总之，临时标记分配单元170可以利用形状盒sb的长度或宽度的至少一个临时将l形标记或i形标记分配给第m层(步骤318a)。
[0121]
第一宽度比较单元172可以将形状盒sb的宽度与第一阈值宽度范围twr1进行比较，并且可以响应于比较结果临时将i形标记分配给第m层。另外，第二宽度比较单元174可以将形状盒sb的宽度与第二阈值宽度范围twr2进行比较，并且可以响应于比较结果临时将l形标记分配给第m层。
[0122]
在步骤318之后，最终标记分配单元180可以利用第一线段l1、第二线段l2、第一
lidar点或第二lidar点的至少一个来确定是否最终将已临时分配给第m层的l形标记或i形标记分配给第m层(步骤320)。
[0123]
图9是图4所示的步骤320的实施方案320a的流程图，图10是帮助理解图9所示的实施方案320a的示意图。在图10中，假设第一线段l1和第二线段l2分别对应于步骤314中获得的第一线段l1和第二线段l2。
[0124]
图11是图4所示的步骤320的另一实施方案320b的流程图，图12是帮助理解图11所示的实施方案320b的示意图。
[0125]
当在步骤318中临时将l形标记分配给第m层时，可以通过图9所示的方法320a最终将形状标记分配给第m层(步骤320a)。然而，当在步骤318中临时将i形标记分配给第m层时，可以通过图11所示的方法320b最终将形状标记分配给第m层(步骤320b)。
[0126]
为了执行图9和图11所示的实施方案320a和实施方案320b，最终标记分配单元180可以包括例如参考线段选择单元182、第一标记分配分析单元184和第二标记分配分析单元186，如图3所示。
[0127]
在基于第一宽度比较单元172的比较结果识别出已将l形标记分配给第m层时，第一标记分配分析单元184可以执行图9所示的步骤462至步骤488。然而，图9所示的步骤462可以由参考线段选择单元182执行，而不是由第一标记分配分析单元184执行。
[0128]
在步骤318之后，参考线段选择单元182从确定准备单元152提供的第一线段l1和第二线段l2中选择较长的线段作为参考线段。参考线段选择单元182从第一线段l1和第二线段l2中选择较短的线段作为非参考线段(步骤460)。例如，参考图10，由于第二线段l2比第一线段l1长，可以选择第一线段l1作为非参考线段，可以选择第二线段l2作为参考线段。
[0129]
在步骤460之后，检查参考线段(例如l2)的长度rl是否大于或等于阈值长度tl(步骤462)。自此，阈值长度可以针对m层的每一层不同地设定，或者可以相同地设定。
[0130]
如果参考线段的长度rl既不大于也不等于阈值长度tl，则不将形状标记分配给第m层(步骤488)。然而，当参考线段的长度rl大于或等于阈值长度tl时，计算参考线段和非参考线段的每一个的平均值和方差(步骤464)。
[0131]
在此，参考线段的平均值是指参考线段与位于参考线段附近的lidar点之间的距离的平均值。参考线段的方差是指参考线段与位于参考线段附近的lidar点之间的距离的方差。非参考线段的平均值是指非参考线段与位于非参考线段附近的lidar点之间的距离的平均值。非参考线段的方差是指非参考线段与位于非参考线段附近的lidar点之间的距离的方差。
[0132]
在步骤464之后，检查参考线段的平均值aarl和方差avrl是否分别小于参考阈值平均值aarm和参考阈值方差avrm(步骤466)。在此，可以针对第m层的每一组坐标预先设定参考阈值平均值aarm和参考阈值方差avrm的每一个并存储，或者可以不考虑第m层的坐标而预先设定为恒定值并存储。
[0133]
如果参考线段的平均值aarl不小于参考阈值平均值aarm，或者如果参考线段的方差avrl不小于参考阈值方差avrm，则不将形状标记分配给第m层(步骤488)。
[0134]
然而，如果参考线段的平均值aarl小于参考阈值平均值aarm，并且参考线段的方差avrl小于参考阈值方差avrm，则检查非参考线段的平均值aanrl和方差avnrl是否分别小于非参考阈值平均值aanrm和非参考阈值方差avnrm(步骤468)。在此，可以针对第m层的每
一组坐标预先设定非参考阈值平均值aanrm和非参考阈值方差avnrm的每一个并存储，或者可以不考虑第m层的坐标而预先设定为恒定值并存储。
[0135]
如果非参考线段的平均值aanrl不小于非参考阈值平均值aanrm，或者如果非参考线段的方差avnrl不小于非参考阈值方差avnrm，则不将形状标记分配给第m层(步骤488)。
[0136]
然而，当非参考线段的平均值aanrl小于非参考阈值平均值aanrm，并且非参考线段的方差avnrl小于非参考阈值方差avnrm时，在与参考线段相交的方向上将与参考线段相关的区域划分为i个区域(步骤470)。在此，“i”是1或更大的正整数。例如，“i”可以是4。例如，参考图10，可以看出，在垂直于参考线段l2的方向上将与参考线段l2相关的区域划分为四个(i＝4)区域ar1至ar4。为了划分区域，可以布置三条(i-1＝3)直线，以便在垂直于参考线段l2的方向上定向。
[0137]
在步骤470之后，检查由划分产生的i个区域的每一个区域中是否存在lidar点(步骤480)。例如，在图10中，位于第二线段l2左侧的lidar点ip1至ip5称为“内lidar点”，位于第二线段l2右侧的lidar点op3至op7称为“外lidar点”。在这种情况下，在步骤470之后，检查由划分产生的四个区域ar1至ar4的每一个区域中是否存在内lidar点或外lidar点(步骤480)。如果在由划分产生的四个区域中的一个区域中都没有lidar点，则不将形状标记分配给第m层(步骤488)。
[0138]
然而，当在由划分产生的每个区域中都存在lidar点时，检查位于由划分产生的区域中的相邻的外lidar点之间的间隔距离sd是否小于阈值间隔距离d(步骤482)。在此，可以预先设定阈值间隔距离d。在图10中，连接相邻的外lidar点的线可以是线段。例如，连接外lidar点op1和op2的线、连接外lidar点op3和op4的线、连接外lidar点op4和op5的线、连接外lidar点op5和op6的线以及连接外lidar点op6和op7的线的每条线可以是线段。在步骤482中，确定线段的长度sd是否小于阈值间隔距离d。如果线段的长度sd不小于阈值间隔距离d，则不将形状标记分配给第m层(步骤488)。
[0139]
然而，当线段的长度sd小于阈值间隔距离d时，确定第一线段l1与第二线段l2之间的角度θ12是否大于第一角度θ1且小于第二角度θ2(步骤484)。在此，可以针对每一层预先设定第一角度θ1和第二角度θ2，或者可以不考虑层而预先设定为恒定值。如果第一线段l1和第二线段l2之间的角度θ12小于第一角度θ1或大于第二角度θ2，则不将形状标记分配给第m层(步骤488)。
[0140]
然而，如果第一线段l1和第二线段l2之间的角度θ12大于第一角度θ1且小于第二角度θ2，则最终将l形标记分配给第m层(步骤486)。
[0141]
在基于第二宽度比较单元174的比较结果识别出已将i形标记分配给第m层时，第二标记分配分析单元186可以执行图11所示的步骤492至步骤502。
[0142]
首先，参考图11，选择第一线段l1和第二线段l2中较长的线段作为参考线段(步骤490)。由于步骤490与步骤460相同，因此省略对其说明。
[0143]
在步骤490之后，确定参考线段(图12中所示的l2)的平均值abrl和方差bvrl是否分别小于参考阈值平均值abrm和参考阈值方差bvrm(步骤494和步骤496)。在此，参考阈值平均值abrm和参考阈值方差bvrm可以分别与图9所示的参考阈值平均值aarm和参考阈值方差avrm相同。可以针对m层的每一层预先设定参考阈值平均值abrm和参考阈值方差bvrm并存储，或者可以不考虑层而预先设定为恒定值并存储。
[0144]
如果平均值abrl不小于参考阈值平均值abrm，或者如果方差bvrl不小于参考阈值方差bvrm，则不将形状标记分配给第m层(步骤502)。然而，如果平均值abrl小于参考阈值平均值abrm，并且方差bvrl小于参考阈值方差bvrm，则确定位于j个区域(j个区域是由在与参考线段相交的方向上的划分产生的)中的外lidar点之间的间隔距离sd是否小于阈值间隔距离d(步骤498)。在此，“j”是1或更大的正整数。“j”可以与“i”相同或不同。由于步骤498与步骤482相同，因此省略对其重复说明。
[0145]
如果间隔距离sd不小于阈值间隔距离d，则不将形状标记分配给第m层(步骤502)。然而，如果间隔距离sd小于阈值间隔距离d，则最终将i形标记分配给第m层(步骤500)。
[0146]
同时，再次参考图4，步骤210a可以进一步包括步骤322，其在步骤320之后执行。换句话说，图3所示的层形状确定单元142可以进一步包括执行步骤322的顶层检查单元158。在一些实施方案中，可以省略步骤322和顶层检查单元158。
[0147]
在步骤320之后，顶层检查单元158可以检查第m层是否是与目标物体的顶相关的层(以下称为“顶层”)，并且可以将检查结果输出到第一标记分配分析单元184和确定准备单元152(步骤322)。如果第m层是目标物体的顶层，则可以增加步骤320(即图9所示的步骤468)中的用于第m 1层的非参考阈值平均值aanrm和非参考阈值方差avnrm(步骤324)。这样，当增加非参考阈值平均值aanrm和非参考阈值方差avnrm时，可以放宽用于将l形标记分配给第m 1层而要考虑的条件。其目的是，当目标物体是车辆时，在确定是否将l形标记分配给第m 1层时，反映出前保险杠比后保险杠更圆的目标车辆的结构特征。
[0148]
步骤324可以由第一标记分配分析单元184、顶层检查单元158或确定准备单元152执行。
[0149]
图13是图4所示的步骤322的实施方案322a的流程图；图14至图16是帮助理解图13所示的步骤322a的示意图。
[0150]
在图14中，聚类盒cb可以是包括与第一层至第m层相关的lidar点的盒，形状盒sb可以是包括与第m层相关的lidar点的盒。
[0151]
根据实施方案，顶层检查单元158可以执行图13所示的步骤602至步骤610。
[0152]
首先，参考图14，如下面的方程式5所示，确定第m层的形状盒sb的长度xc与关于目标物体的聚类盒cb的长度xcl的第一比值r1是否小于第一阈值比值rt(步骤602)。
[0153]
[方程式5]
[0154][0155]
在此，“xc/xcl”表示第一比值r1。可以针对m层的每一层预先设定第一阈值比值rt，或者可以不考虑m层而预先设定为恒定值。
[0156]
如果第一比值r1小于第一阈值比值rt，则根据最终分配给第m层的每个形状标记来搜索峰值点(步骤604)。例如，顶层检查单元158可以响应于第一比值r1和第一阈值比值rt的比较结果以及最终标记分配单元184对形状标记的最终分配结果，将位于距离第一线段和第二线段中较短的一个最远处的lidar点确定为峰值点，或者可以将断点确定为峰值点。
[0157]
具体地，在最终将l形标记分配给第m层的情况下，参考图15(a)，可以将位于距离第一线段l1和第二线段l2中较短的一个(图15(a)中的l1)最远处的lidar点pp1确定为峰值
点。或者，在最终将i形标记分配给第m层的情况下，如图15(b)所示，可以将断点(位于区域b中的点)pp2确定为峰值点。
[0158]
在步骤604之后，可以检查从峰值点到聚类盒中间的长度与聚类盒长度的一半的第二比值是否小于第二阈值比值(步骤606)。例如，当如图15(a)所示最终将l形标记分配给第m层并且确定出峰值点为pp1时，如图16所示，可以如下面的方程式6所示检查从峰值点pp1到聚类盒cb中间的长度d1与聚类盒cb长度的一半d2的第二比值r2是否小于第二阈值比值ra。
[0159]
[方程式6]
[0160][0161]
在此，“d1/d2”表示第二比值r2。可以针对m层的每一层预先设定第二阈值比值ra，或者可以不考虑m层而预先设定为恒定值。
[0162]
如果第二比值r2小于第二阈值比值ra，则确定第m层是目标物体的顶层(步骤608)。然而，如果第一比值r1不小于第一阈值比值rt，或者如果第二比值r2不小于第二阈值比值ra，则确定第m层不是目标物体的顶层(步骤610)。
[0163]
再次参考图4，在确定出第m层不是目标物体的顶层后，或者在步骤324后，检查m是否为m(步骤326)。如果m不为m，则将m增加1，随后过程进入步骤312(步骤328)。相应地，对第m 1层执行步骤312至步骤324。换句话说，以与将形状标记分配给第m层的方法相同的方法将形状标记分配给第m 1层。例如，步骤326和步骤328可以由确定准备单元152执行，但实施方案不限于此。
[0164]
图17是图2所示的步骤220的实施方案220a的流程图。
[0165]
为了执行图17所示的实施方案220a，如图3所示，目标形状确定单元144可以包括第一至第三标记检查单元192、194、196和最终形状输出单元198。
[0166]
第一标记检查单元192检查第一层至第m层中是否存在分配了中断标记的层，并将检查结果输出到最终形状输出单元198(步骤630)。在基于第一标记检查单元192的检查结果而识别出第一层至第m层中存在分配了中断标记的层时，最终形状输出单元198确定目标物体的形状无法识别(或未知)(步骤632)。
[0167]
在基于第一标记检查单元192的检查结果而识别出不存在分配了中断标记的层时，第二标记检查单元194检查是否存在分配了l形标记的层，并将检查结果输出到最终形状输出单元198(步骤634)。在基于第一标记检查单元192和第二标记检查单元194的检查结果而识别出第一层至第m层中不存在分配了中断标记的层，但存在分配了l形标记的层时，最终形状输出单元198确定目标物体具有“l”形(步骤636)。
[0168]
在基于第二标记检查单元194的检查结果而识别出不存在分配了l形标记的层时，第三标记检查单元196检查是否存在分配了i形标记的层，并将检查结果输出到最终形状输出单元198(步骤638)。在基于第一至第三标记检查单元192、194、196的检查结果而识别出第一层至第m层中不存在分配了中断标记和l形标记的任一个的层，但存在分配了i形标记的层时，最终形状输出单元198确定目标物体具有“i”形(步骤640)。
[0169]
如上所述，当最终形状输出单元198确定目标物体的形状时，按该顺序检查中断标记、l形标记和i形标记。
[0170]
然而，在基于第一至第三标记检查单元192、194、196的检查结果而识别出第一层至第m层中不存在分配了中断标记、l形标记和i形标记的任一个的层时，最终形状输出单元198确定目标物体的形状无法识别(步骤632)。
[0171]
图18显示了基于主车700的各种类型的目标车辆710至716。
[0172]
参考图18，从主车700仅扫描其侧表面的目标车辆716具有i形轮廓(或i形外轮廓)，从主车700扫描其侧表面和保险杠的目标车辆710、712和714具有l形轮廓(或l形外轮廓)。闹市区或高速公路上的动态物体主要有l形轮廓或i形轮廓。因此，在步骤318中，可以基于具有轮廓形状的形状盒sb的尺寸来临时确定物体是具有i形轮廓还是l形轮廓。
[0173]
可以通过利用根据上述实施方案的lidar传感器的物体跟踪装置100和物体形状分析方法200来确定作为目标物体的目标车辆的轮廓(或形状)。例如，参考图18，目标车辆710、712和714可以被确定为具有l形轮廓，而目标车辆716可以被确定为具有i形轮廓。在这种情况下，根据实施方案的物体跟踪装置100可以利用确定出的目标车辆的轮廓来识别目标车辆710至716的航向方向。例如，当目标车辆710至716具有l形和i形轮廓时，目标车辆710至716的航向方向可以是平行于第一线段和第二线段中较长的一个的方向(例如图18所示的hd1、hd2、hd3和hd4)。
[0174]
以下，参照附图描述比较示例和本发明的实施方案。
[0175]
图19是用于说明根据比较示例的形状分析方法和物体跟踪装置的示意图。
[0176]
在比较示例中，搜索位于距离基线800最远处的断点bp。此后，基于第一线段l1和第二线段l2中较长的一个来确定物体的航向方向。此后，在包围盒802的四个角点中，将位于最靠近断点bp的角点804确定为具有l形特征的角点。此后，利用第一线段l1、第二线段l2、角点804以及由第一线段l1和第二线段l2形成的角度θ来跟踪物体(例如，提取物体的航向角)。然而，用这种方法分析物体形状的比较示例在确定除了动态物体外的静态物体的形状方面有局限性。
[0177]
图20(a)至图20(e)是用于说明物体的航向角提取的示意图。
[0178]
图20(a)是物体的二维投影，图20(b)至图20(e)分别示出物体的轮廓层0、轮廓层1、轮廓层2和轮廓层3。
[0179]
图21是用于说明目标车辆的航向方向的示意图。
[0180]
在如上所述的比较示例中提取目标车辆的航向角的情况下，如图20所示，由于目标车辆的保险杠bum具有弯曲形状而不是矩形形状，当仅利用由峰值点形成的角度提取航向角时，航向角可能强烈依赖于峰值点，从而航向角可能对峰值点敏感并变化。换句话说，在比较示例中，可能从图21所示的四个方向
①
、
②
、
③
和
④
中错误地提取目标车辆730的航向方向。
[0181]
相反，根据本发明的实施方案，数值计算位于第一线段l1和和第二线段l2附近的lidar点(例如，上述的内lidar点和外lidar点)的分布，将形状标记分配给由目标车辆的高度方向(即z轴方向)上的划分产生的m层的每一层，并且利用层之间的互连关系。相应地，可以有效地识别动态物体的特征，从而准确地确定目标物体是具有l形轮廓还是i形轮廓，或者目标物体的形状是否无法识别。结果，还可以利用准确确定的目标车辆的形状来准确地确定目标车辆的航向方向，并提供关于目标车辆的外观的高度可靠的信息(例如，目标车辆的宽度或长度)。具体地，实施方案可以通过将形状标记分配给动态物体来使动态物体的航
向方向的确定中的误差最小化。下面参照图23更详细地描述动态物体。
[0182]
图22(a)和图22(b)是用于说明由物体跟踪装置100执行的关联的示意图。
[0183]
当在如图22(a)所示的第一帧t中彼此分离的两个目标物体740和742在如图22(b)所示的第一帧t之后的第二帧t 1中被聚类为一个物体时，由于比较示例没有提供用于区分目标物体740和742的参考，两个物体740和742可能会被组合。相反，根据实施方案，由于将形状框(或形状标记)分配给两个物体740和742的至少一个，即使两个物体740和742在第二帧t 1中被组合，也可以单独输出关于两个物体740和742的信息，如图22(b)所示。
[0184]
图23是用于说明动态物体的示意图。
[0185]
在比较示例中，利用lidar点的分布无法确定目标物体是动态物体(例如，车辆)762还是静态物体(例如，花坛)760。相反，根据实施方案，在分析目标物体的形状的过程中，通过执行步骤316(或步骤316a)，可以识别目标物体不是动态物体的可能性。从而，这有助于基于分数来确定最终确定了形状的物体是动态物体还是静态物体的后续过程。
[0186]
从上述说明中显而易见，按照根据实施方案的利用lidar传感器的物体形状分析方法和物体跟踪装置，可以有效地识别动态物体的特征，从而准确地确定目标物体是具有l形轮廓还是i形轮廓，或者目标物体的形状是否无法识别。此外，还可以利用准确确定的目标车辆的形状来准确地确定目标车辆的航向方向。从而，这使在确定目标车辆的航向方向中的误差最小化，提供了关于目标车辆的外观的高度可靠的信息(例如，目标车辆的宽度或长度)，并有助于基于分数来确定最终确定了形状的物体是动态物体还是静态物体的后续过程。另外，在将形状标记分配给两个物体的至少一个的情况下，即使随后两个物体被组合，也可以单独输出关于两个物体的信息。
[0187]
然而，通过本发明可以实现的效果不限于上述效果，本领域一般技术人员应从上述描述清楚地理解此处未提及的其他效果。
[0188]
上述各种实施方案可以彼此组合而不偏离本发明的范围，除非它们彼此不兼容。
[0189]
此外，对于在各种实施方案中的任何一个中未详细描述的任何元件或过程，除非另有说明，否则可以参考在另一实施方案中具有相同附图标记的元件或过程的描述。
[0190]
尽管已经参照本发明的具体实施方案具体示出和描述了本发明，但这些实施方案仅是出于说明性目的而提出的，并不限制本发明。对于本领域的一般技术人员来说，显而易见的是，在不偏离本文所述实施方案的基本特征的情况下，可以进行形式和细节上的各种变化。例如，可以修改和应用实施方案中所述的各个配置。此外，这种修改和应用中的差异应被解释为落入由所附权利要求所定义的本发明的范围内。