利用LIDAR传感器的对象跟踪方法和装置、车辆以及记录介质与流程

利用lidar传感器的对象跟踪方法和装置、车辆以及记录介质
技术领域
1.本发明的实施例涉及一种利用激光雷达(lidar)传感器的对象跟踪方法和装置、包括该装置的车辆以及存储执行该方法的程序的记录介质。


背景技术：

2.车辆的高速公路驾驶驾驶员(hdp)系统提供如下功能，当驾驶员设定车辆速度和与位于自己的车道上的前车之间的距离时，即使没有操作加速器踏板或制动踏板，也能够根据驾驶员设定的条件来维持车辆的速度。
3.例如，可以利用激光雷达(lidar，光检测和测距)传感器获取有关目标车辆的信息，并且可以利用所获取的信息执行hdp功能。但是，如果利用lidar传感器获取的有关目标车辆的信息不正确，则可能会错误地执行hdp功能，从而导致车辆可靠性下降。


技术实现要素：

4.因此，本发明的实施例涉及一种基本上消除了由于现有技术的限制和缺点而导致的一个或多个问题的利用lidar传感器的对象跟踪方法和装置、包括该装置的车辆以及存储执行该方法的程序的记录介质。
5.实施例可以提供一种利用具有稳定的跟踪性能的lidar传感器的对象跟踪方法和装置、包括该装置的车辆以及存储执行该方法的程序的记录介质。
6.然而，由实施例实现的目的不限于上述目的，并且根据以下描述，本领域技术人员将清楚地理解本文中未提及的其它目的。
7.根据实施例的一种利用lidar传感器的对象跟踪方法可以包括以下步骤：对通过lidar传感器获取的对象的多个点构成的lidar数据进行聚类；利用聚类的结果，生成每个通道的多个片段框的信息；以及在多个片段框之中，选择正在跟踪的目标对象的当前时点t的关联片段框。选择关联片段框的步骤可以包括：获取当前时点t的多个片段框的每一个的当前代表点与跟踪代表点和先前代表点中的每一个之间的相关指数；利用相关指数，在多个片段框之中，选择关联片段框的候选片段框；以及在所选择的候选片段框之中，选择当前时点t的关联片段框。跟踪代表点可以对应于利用历史信息估计的当前时点t的目标对象的跟踪框的代表点。先前代表点可以对应于先前时点t-1被选择为关联片段框的片段框的代表点。
8.例如，当前代表点可以包括：第一外围代表点，位于片段框的角落；以及第一中心代表点，位于片段框的中心。跟踪代表点可以包括：第二外围代表点，位于跟踪框的角落；以及第二中心代表点，位于跟踪框的中心。先前代表点可以包括：第三外围代表点，位于先前时点被选择的关联片段框的外围。
9.例如，相关指数可以包括第一外围代表点和第二外围代表点之间的第一相关指数、第一中心代表点和第二中心代表点之间的第二相关指数以及第一外围代表点和第三外围代表点之间的第三相关指数。
10.例如，第一相关指数、第二相关指数和第三相关指数可以通过如下数学式计算。
[0011][0012][0013][0014]
在此，γ1表示第一相关指数，γ2表示第二相关指数，γ3表示第三相关指数，x
mo
和x
tmo
分别表示第一外围代表点的横轴坐标，y
mo
和y
tmo
分别表示第一外围代表点的纵轴坐标，xo表示第二外围代表点的横轴坐标，yo表示第二外围代表点的纵轴坐标，σ
2xm
表示第一外围代表点的横轴方差值(variance value)，σ
2ym
表示第一外围代表点的纵轴方差值，σ
2x
表示第二外围代表点的横轴方差值，σ
2y
表示第二外围代表点的纵轴方差值，x
mc
表示第一中心代表点的横轴坐标，y
mc
表示第一中心代表点的纵轴坐标，σ
2xmc
表示第一中心代表点的横轴方差值，σ
2ymc
表示第一中心代表点的纵轴方差值，xc表示第二中心代表点的横轴坐标，yc表示第二中心代表点的纵轴坐标，x
t-1mo
表示第三外围代表点的横轴坐标，y
t-1mo
表示第三外围代表点的纵轴坐标。
[0015]
例如，在选择候选片段框的步骤中，多个片段框中满足下面三个条件中的至少一个条件的一个片段框被选择为关联片段框的候选片段框。
[0016]
γ1＜c1
[0017]
γ2＜c2
[0018]
γ3《c3
[0019]
在此，c1、c2和c3表示预设临界指数。
[0020]
例如，多个片段框中不满足该三个条件但与跟踪框重叠的一个片段框被选择为候选片段框。
[0021]
例如，选择关联片段框的步骤可以包括以下步骤：将第一分数分配给每个候选片段框的距离适合度；将第二分数分配给每个候选片段框的可靠性适合度；将第三分数分配给每个候选片段框和在先前时点选择的关联片段框之间的相关性；将分配给每个候选片段框的第一至第三分数相加以计算最终分数；以及在候选片段框之中，选择具有最高的最终分数的候选片段框作为当前时点t的关联片段框。
[0022]
例如，在分配第一分数的步骤中，第一分数可以被分配给候选片段框中第一至第三相关指数中的最小的相关指数等于或小于第一阈值的一个候选片段框。
[0023]
例如，分配第二分数的步骤可以包括以下步骤，获取每个候选片段框的可靠性等级以及将第二分数分配给候选片段框中具有大于第二阈值的可靠性等级的候选片段框。
[0024]
例如，获取可靠性等级的步骤可以包括以下步骤：形状可靠性等级确定步骤，获取对应于候选片段框的形状的预设的第2-1可靠性等级；属性可靠性等级确定步骤，获取对应于候选片段框中包括的点的数量与候选片段框的尺寸的比率或候选片段框中包括的点的分散度中的至少一个的预设的第2-2可靠性等级；几何可靠性等级确定步骤，获取对应于候
选片段框的位置以及从参考点到候选片段框的距离的预设的第2-3可靠性等级；以及将预设的第2-1、第2-2和第2-3可靠性等级相加以确定要与第二阈值进行比较的可靠性等级。
[0025]
例如，在分配第三分数的步骤中，与每个候选片段框在先前时点选择的关联片段框重叠的面积与每个候选片段框的整个面积的比率成比例地分配第三分数。
[0026]
例如，该方法可以进一步包括以下步骤：确定是否存在在当前时点t选择的关联片段框；当确定存在关联片段框时，更新包括关联片段框的通道的历史信息；以及当确定不存在关联片段框时，删除不存在关联片段框的通道的历史信息。
[0027]
根据另一实施例的一种利用lidar传感器的对象跟踪装置可以包括：聚类单元，被配置为对由通过lidar传感器获取的对象的多个点构成的lidar数据进行分组；形状分析单元，被配置为利用聚类的结果，生成每个通道的多个片段框的信息；以及对象跟踪单元，被配置为在多个片段框之中，选择正在跟踪的目标对象的当前时点t的关联片段框。对象跟踪单元可以包括：存储单元，被配置为存储每个通道的历史信息；相关指数计算单元，被配置为计算当前时点t的多个片段框的每一个的当前代表点与跟踪代表点和先前代表点中的每一个之间的相关指数；候选选择单元，被配置为利用相关指数，在多个片段框之中，选择关联片段框的候选片段框；以及最终选择单元，被配置为在所选择的候选片段框之中，选择当前时点t的关联片段框。跟踪代表点可以对应于利用历史信息估计的当前时点t的目标对象的跟踪框的代表点。先前代表点可以对应于先前时点t-1被选择为关联片段框的片段框的代表点。
[0028]
例如，相关指数计算单元可以包括：第一指数计算单元，被配置为计算第一外围代表点和第二外围代表点之间的第一相关指数；第二指数计算单元，被配置为计算第一中心代表点和第二中心代表点之间的第二相关指数；以及第三指数计算单元，被配置为计算第一外围代表点和第三外围代表点之间的第三相关指数。当前代表点可以包括：第一外围代表点，位于片段框的角落；以及第一中心代表点，位于片段框的中心。跟踪代表点可以包括：第二外围代表点，位于跟踪框的角落；以及第二中心代表点，位于跟踪框的中心。先前代表点可以包括：第三外围代表点，位于先前时点被选择的关联片段框的外围。
[0029]
例如，候选选择单元可以包括：第一比较单元，被配置为将多个片段框的每一个的第一相关指数与第一临界指数进行比较；第二比较单元，被配置为将多个片段框的每一个的第二相关指数与第二临界指数进行比较；第三比较单元，被配置为将多个片段框的每一个的第三相关指数与第三临界指数进行比较；以及框选择单元，被配置为响应于第一至第三比较单元的比较结果，选择关联片段框的候选片段框。
[0030]
例如，候选选择单元可以进一步包括：重叠确定单元，被配置为响应于控制信号，利用相关指数，确定多个片段框中未被选择为候选片段框的片段框是否与跟踪框重叠。框选择单元可以响应于第一至第三比较单元的比较结果生成控制信号，并响应于重叠确定单元的确定结果选择候选片段框。
[0031]
例如，最终选择单元可以包括：分数分配单元，被配置为将第一分数分配给每个候选片段框的距离适合度，将第二分数分配给每个候选片段框的可靠性适合度，并且将第三分数分配给每个候选片段框和在先前时点被选择的关联片段框之间的相关性；分数计算单元，被配置为将分配给每个候选片段框的第一至第三分数相加以计算最终分数；以及分数比较单元，被配置为选择具有最高的最终分数的候选片段框作为当前时点t的关联片段框。
[0032]
根据再一实施例的一种车辆可以包括lidar传感器以及利用lidar传感器的对象跟踪装置。
[0033]
根据再一实施例，一种记录有用于执行利用lidar传感器的对象跟踪方法的程序的记录介质可以存储用于实现以下功能的程序：对由通过lidar传感器获取的对象的多个点构成的lidar数据进行分组的聚类功能、利用聚类的结果生成每个通道的多个片段框的信息的功能以及在多个片段框之中选择正在跟踪的目标对象的当前时点t的关联片段框的功能的程序。选择的功能可以包括：计算当前时点t的多个片段框的每一个的当前代表点与跟踪代表点和先前代表点中的每一个之间的相关指数的功能；利用相关指数，在多个片段框之中，选择关联片段框的候选片段框的功能；以及在所选择的候选片段框之中，选择当前时点t的关联片段框的功能。跟踪代表点可以对应于利用历史信息估计的当前时点t的目标对象的跟踪框的代表点。先前代表点可以对应于先前时点t-1被选择为关联片段框的片段框的代表点。
附图说明
[0034]
可以参照以下附图详细描述布置和实施例，其中，相同的附图标记指代相同的元件，其中：
[0035]
图1是用于说明根据实施例的利用lidar传感器的对象跟踪方法的流程图；
[0036]
图2是用于说明根据实施例的利用lidar传感器的对象跟踪装置的框图；
[0037]
图3a至图3c是用于说明由对象跟踪单元处理的数据的格式的示图；
[0038]
图4是用于说明图1所示的步骤400的实施例的流程图；
[0039]
图5是用于说明图2所示的对象跟踪单元的实施例的框图；
[0040]
图6的(a)和(b)是用于说明当前代表点、跟踪代表点和先前代表点的概念的示图；
[0041]
图7是图5所示的相关指数计算单元和候选选择单元中的每一个的实施例的框图；
[0042]
图8是图4所示的步骤420的实施例的流程图；
[0043]
图9是示出当前时点的片段框与跟踪框重叠的示例的示图；
[0044]
图10的(a)至(i)是示出片段框和跟踪框彼此重叠的各种示例的示图；
[0045]
图11是图5所示的最终选择单元的实施例的框图；
[0046]
图12是用于说明根据另一实施例的利用lidar传感器的对象跟踪方法的流程图；
[0047]
图13的(a)是示出利用lidar传感器正在跟踪的目标对象和护栏的示图，(b)是用于说明根据第二比较例的跟踪目标对象的进程的示图；
[0048]
图14的(a)至(c)是用于说明第二比较例的示图；以及
[0049]
图15是示出当通过根据实施例的对象跟踪方法和装置执行关联时的跟踪结果的示图。
具体实施方式
[0050]
现在将在下文中参照示出了各种实施例的附图来更全面地描述本公开。然而，示例可以以许多不同的形式体现，并且不应被解释为限于本文阐述的实施例。相反，提供这些实施例是为了使本公开更加透彻和完整，并且将向本领域技术人员更充分地传达本公开的范围。
[0051]
将理解的是，当一个元件被称为在另一元件“上”或“下”时，它可以直接在该元件上/下，或者也可以存在一个或多个中间元件。
[0052]
当元件被称为在“上”或“下”时，基于元件可以包括“在元件下”以及“在元件上”。
[0053]
另外，诸如“第一”、“第二”、“上/上部/上方”和“下/下部/下方”的关系术语仅用于区分一个主体或元件与另一个主体或元件，而不必要求或涉及主体或元件之间的任何物理或逻辑关系或顺序。
[0054]
在下文中，将参照附图描述根据实施例的利用激光雷达(lidar，光检测和测距)传感器500的对象跟踪方法和装置600以及利用该装置600的车辆1000。为了便于描述，将利用笛卡尔坐标系(x轴、y轴、z轴)来描述利用lidar传感器500的对象跟踪方法和装置600以及利用该装置600的车辆1000。然而，实施例不限于此。在笛卡尔坐标系中，x轴、y轴和z轴彼此垂直，但是实施例不限于此。即，x轴、y轴和z轴可以倾斜地彼此交叉。
[0055]
图1是用于说明根据实施例的利用lidar传感器500的对象跟踪方法的流程图，图2是用于说明根据实施例的利用lidar传感器500的对象跟踪装置600的框图。
[0056]
为了便于描述，图1所示的对象跟踪方法将被描述为由图2所示的对象跟踪装置600执行，但是实施例不限于此。即，根据另一实施例，图1所示的对象跟踪方法可以由具有与图2所示的对象跟踪装置600不同的配置的对象跟踪装置来执行。另外，图2所示的对象跟踪装置600将被描述为执行图1所示的对象跟踪方法，但是实施例不限于此。即，根据另一实施例，图2所示的对象跟踪装置600可以执行具有与图1所示的对象跟踪方法不同的进程的对象跟踪方法。
[0057]
图2所示的利用lidar传感器500的对象跟踪装置600可以包括聚类单元620、形状分析单元(或片段单元)630和对象跟踪单元(跟踪单元、跟踪和分类单元或对象检测单元)640。另外，对象跟踪装置600可以进一步包括预处理单元610。另外，根据实施例的车辆1000可以包括lidar传感器500、对象跟踪装置600和车辆装置700。
[0058]
lidar传感器500可以向位于测量范围内的对象辐射具有例如905nm至1550nm的波长的单个圆形激光脉冲，然后可以测量从对象反射的激光脉冲的返回时间，从而检测对象的信息，例如，从lidar传感器500到对象的距离、对象的方向、对象的速度、对象的温度、对象的材料分布以及对象的浓度特性等。在此，对象可以是例如存在于安装有lidar传感器500的车辆1000(以下称为“本车辆”)外部的其它车辆、人或物体等。然而，实施例不限于任何特定类型的对象。
[0059]
lidar传感器500可以包括：发射器(未示出)，发射激光脉冲；以及接收器(未示出)，接收从存在于检测范围内的对象的表面反射的激光。接收器具有预定视场(fov)，该视场是lidar传感器500能够在不移动或旋转的情况下同时观察的范围。
[0060]
由于与雷达(radar，无线电检测和测距)传感器相比，lidar传感器500在竖直/水平方向上展现出更高的检测精度，所以lidar传感器500能够提供准确的竖直/水平方向上的位置信息，因此便于应用于障碍物检测和车辆位置识别。作为lidar传感器500的示例，有二维(2d)lidar传感器和三维(3d)lidar传感器。2d lidar传感器被配置为可倾斜或可旋转，并且用于通过倾斜或旋转来获取包括3d信息的lidar数据。3d lidar传感器能够获取多个3d点，从而预测障碍物的高度信息，因而有助于准确、精确地检测和跟踪对象。3d lidar传感器可以由多层2d lidar传感器组成，从而可以生成包括3d信息的lidar数据。
[0061]
lidar传感器500输出由单个对象的多个点组成的点云数据(以下称为“lidar数据”)。
[0062]
根据实施例的用于对象跟踪方法和装置600不限于lidar传感器500的任何特定形状、位置或类型。
[0063]
对象跟踪装置600可以接收lidar数据，并且可以利用lidar数据确定对象的存在或不存在，以开始、继续或停止跟踪对象，更新、存储或删除对象的信息，并对对象的类型进行分类。
[0064]
预处理单元610可以预处理lidar数据(步骤100)。为此，预处理单元610可以执行校准以匹配lidar传感器500和车辆1000之间的坐标。即，预处理单元610可以根据lidar传感器500被安装在车辆1000的位置角而将lidar数据转换为匹配于参考坐标系的数据。另外，预处理单元610可以利用lidar数据的强度或置信度信息执行滤波以去除具有低强度或低反射率的点。
[0065]
另外，预处理单元610可以去除由本车辆1000的车身反射的数据。即，由于存在根据lidar传感器500的安装位置和视场而被本车辆1000的车身遮挡的区域，所以预处理单元610可以利用参考坐标系去除从本车辆1000的车身反射的数据。
[0066]
在根据实施例的对象跟踪方法中，步骤100可以省略。在这种情况下，根据实施例，可以从对象跟踪装置600中省略预处理单元610。
[0067]
在步骤100之后，聚类单元620根据预定标准将作为由通过lidar传感器500获取的对象的多个点组成的lidar数据的点云数据分组为有意义的单元(步骤200)。在不省略作为预处理步骤的步骤100和预处理单元610的情况下，聚类单元620可以对由预处理单元610预处理的lidar数据进行分组。例如，聚类单元620可以应用车辆建模或护栏建模等对点云数据进行分组后对对象进行聚类以确定对象的外形。lidar传感器500检测到的结果为多个点，每个点仅具有位置信息。因此，聚类单元620用于将由lidar传感器500检测到的多个点分组为有意义的形状单元。
[0068]
作为聚类单元620的示例，存在2d聚类单元和3d聚类单元。2d聚类单元是通过在不考虑高度信息的情况下将数据投影到x-y平面上而以点或特定结构为单位执行聚类的单元。3d聚类单元是考虑到高度信息z而在x-y-z平面中执行聚类的单元。
[0069]
在步骤200之后，形状分析单元630利用来自聚类单元620的聚类结果生成每个通道的多个片段框的信息(步骤300)。在此，片段框可以是将聚类结果转换成几何框形状的结果。另外，片段框的信息可以是片段框的宽度、长度、位置或方向(或头部朝向(heading))中的至少一个。稍后将描述通道。
[0070]
根据实施例的以下对步骤400的描述不限于步骤100的存在或不存在，或者执行步骤100中的预处理进程、步骤200中的聚类进程或步骤300中的生成片段框信息的进程的特定进程的方法。类似地，对根据实施例的对象跟踪单元640的以下描述不限于预处理单元610存在或不存在，或者由预处理单元610、聚类单元620或形状分析单元630执行的特定类型的操作。即，当省略预处理单元610时(即，当省略步骤100时)，当执行步骤100的预处理单元610以不同于上述的方式处理lidar数据时，当执行步骤200的聚类单元620以不同于上述的方式聚类lidar数据时，或者执行步骤300的形状分析单元630以不同于上述的方式生成片段框信息时，也可以应用根据实施例的步骤400和对象跟踪单元640。
[0071]
在步骤300之后，对象跟踪单元640在每个通道的多个片段框之中选择与当前时点t正在跟踪的对象(以下称为“目标对象”)关联的片段框(最终片段框或关联片段框)(步骤400)。根据lidar传感器500的可见性和对象的形状，可以针对同一对象获取多个片段框。在此，术语“关联”是在多个片段框信息之中选择用于继续跟踪当前正在跟踪的目标对象的片段框的进程。可以在预定时间段执行该关联。
[0072]
为了从每个通道由形状分析单元630提供的各个多个片段框中选择关联片段框，对象跟踪单元640可以将多个片段框中的每个的信息转换为预定的格式，并且可以在具有转换格式的多个片段框(或元对象的片段框)之中选择关联片段框。
[0073]
图3a至图3c是用于说明由对象跟踪单元640处理的数据(即，片段框信息)的格式的示图。
[0074]
根据实施例的对象跟踪方法和装置600可以跟踪“m”个目标对象。在此，“m”是1以上的正整数。即，可以被跟踪的目标对象的数量m是图3a所示的轨道trk的数量m。另外，将存储有单位目标对象的历史信息的单位称为“通道”，并且通道的数量与轨道trk的数量相同。在这种情况下，历史信息可以是在每个通道中正在跟踪的目标对象在当前时点t之前累积的信息。历史信息可以包括例如周期性地测量的目标对象的位置信息和速度信息。
[0075]
另外，对于单位目标对象，在当前时点t，形状分析单元630可以生成“n”个片段框seg#1至seg#n并且可以将该“n”个片段框seg#1至seg#n提供给对象跟踪单元640。在此，“n”是1以上的正整数，并且可以与“m”相同或不同。在下文中，“n”将被描述为2或更大的正整数，但是以下描述也可适用于“n”为1的配置。即，如图3c所示，“n”个片段框seg#1至seg#n可以被包括在第一至第m通道trk#1至trk#m的每个trk#m(1≤m≤m)中。
[0076]
对象跟踪装置600在包括在第一至第m通道中的每一个的“n”个片段框seg#1至seg#n之中选择在每个通道中当前正在跟踪的目标对象在当前时点t的关联片段框(步骤400)。
[0077]
在下文中，为了便于描述，将描述在包括在图3a所示的第m个通道trk#m中的“n”个片段框seg#1至seg#n之中选择在第m个通道trk#m中当前正在跟踪的目标对象在当前时点t的关联片段框的进程。然而，以下描述也可以适用于在包括在其它每一个通道中的“n”个片段框seg#1至seg#n之中选择当前正在跟踪的目标对象在当前时点t的关联片段框的进程。
[0078]
图4是用于说明图1所示的步骤400的实施例400a的流程图，图5是用于说明图2所示的对象跟踪单元640的实施例640a的框图。
[0079]
为了描述的方便，图4所示的步骤400a将被描述由图5所示的对象跟踪单元640a执行，但是实施例不限于此。即，根据另一实施例，图4所示的步骤400a还可以由具有与图5所示的对象跟踪单元640a的配置不同的配置的对象跟踪单元来执行。另外，图5所示的对象跟踪单元640a将被描述为执行图4所示的步骤400a，但是实施例不限于此。即，根据另一实施例，图5所示的对象跟踪单元640a可以执行具有与图4所示的步骤400a不同的进程的方法。
[0080]
图5所示的对象跟踪单元640a可以包括存储单元642、相关指数计算单元644、候选选择单元646和最终选择单元648。
[0081]
相关指数计算单元644计算在当前时点t包括在第m个通道trk#m中的多个(即“n”个)片段框seg#1至seg#n的每一个的当前代表点与跟踪代表点和先前代表点的每一个之间的相关指数，并且将计算出的相关指数输出到候选选择单元646(步骤410)。即，相关指数计
算单元644可以计算当前代表点与跟踪代表点之间的相关指数以及当前代表点与先前代表点之间的相关指数。
[0082]
图6的(a)和(b)是用于说明当前代表点、跟踪代表点和先前代表点的概念的示图。
[0083]
图6的(a)示出了在当前时点t的多个片段框的每个b
t
，图6的(b)示出了在当前时点t之前的时点t-1选择的关联片段框b
t-1
。另外，图6的(b)示出了在当前时点t利用历史信息估计的目标对象的跟踪框tb。例如，可以通过利用历史信息估计诸如正在跟踪的目标对象的当前位置、形状和速度的跟踪信息来生成跟踪框tb。
[0084]
存储单元642可以存储图3a所示的各个通道trk#1至trk#m的历史信息。
[0085]
为了选择目标对象在当前时点t的关联片段框，选择框b
t
、b
t-1
和tb中的每一个的代表点对于准确执行“关联”非常重要。其原因是通过点之间的比较来完成关联片段框的选择。
[0086]
当前代表点是当前时点t的多个片段框的每个b
t
的代表点，其通过输入端子in1由形状分析单元630提供给相关指数计算单元644。例如，当前代表点可以包括位于框b
t
的外围(或边缘)处的代表点(以下称为“第一外围代表点”)和位于框b
t
的中心处的代表点(以下称为“第一中心代表点”)。例如，如图6(a)所示，将附图标记p
m0
、p
m1
、p
m2
和p
m3
从左下角开始沿顺时针方向分别分配给在当前时点t的多个片段框的每个b
t
的第一外围代表点，并且将附图标记p
mc
分配给位于中心的第一中心代表点。
[0087]
跟踪框是通过从存储单元642读取正在跟踪的目标对象的历史信息并利用读取的历史信息来估计正在跟踪的目标对象的关联片段框在当前时点t所位于的框。为此，跟踪框tb的信息可以存储在存储单元642中，或者可以利用存储在存储单元642中的历史信息而在相关指数计算单元644中生成。
[0088]
跟踪代表点是当前时点t的跟踪框tb的代表点。例如，跟踪代表点可以包括位于跟踪框tb的外围(或边缘)的代表点(以下称为“第二外围代表点”)和位于跟踪框tb的中心的代表点(以下称为“第二中心代表点”)。如图6的(b)所示，将附图标记p0、p1、p2和p3从左下角起沿顺时针方向分别分配给在当前时点t的跟踪框tb的第二外围代表点，并且将附图标记pc分配给位于中心的第二中心代表点。
[0089]
先前代表点是在当前时点t之前的时点t-1被选择为关联片段框的片段框b
t-1
的代表点。例如，先前代表点可以包括位于先前选择的关联片段框b
t-1
的外围的代表点(以下称为“第三外围代表点”)。如图6的(b)所示，将附图标记p
t-1m0
、p
t-1m1
、p
t-1m2
和p
t-1m3
从左下角开始沿顺时针方向分别分配给在当前时点t之前的时点t-1被选择为关联片段框的片段框b
t-1
的第三外围代表点。
[0090]
图7是图5所示的相关指数计算单元644的实施例644a和候选选择单元646的实施例646a的框图。
[0091]
相关指数计算单元644a可以包括第一、第二和第三指数计算单元720、730和740。另外，相关指数计算单元644a还可以包括重叠确定单元710。
[0092]
第一指数计算单元720可以利用例如下面的数学式1计算从形状分析单元630输出并通过输入端子in1提供的、在当前时点t的片段框b
t
的第一外围代表点和第二外围代表点之间的第一相关指数，并且可以将计算出的第一相关指数输出到候选选择单元646或646a。
[0093]
[数学式1]
[0094][0095]
在此，γ1表示第一相关指数，x
mo
表示第一外围代表点的横轴坐标，y
mo
表示第一外围代表点的纵轴坐标，xo表示第二外围代表点的横轴坐标，yo表示第二外围代表点的纵轴坐标，σ
2xm
表示第一外围代表点的横轴方差值，σ
2ym
表示第一外围代表点的纵轴方差值，σ
2x
表示第二外围代表点的横轴方差值，σ
2y
表示第二外围代表点的纵轴方差值。
[0096]
为此，第一指数计算单元720可以通过输入端子in2从存储单元642接收第二外围代表点，或者可以利用通过输入端子in2从存储单元642接收的历史信息来生成第二外围代表点。
[0097]
第二指数计算单元730可以利用例如下面的数学式2计算从形状分析单元630输出并通过输入端子in1提供的、当前时点t的片段框b
t
的第一中心代表点p
mc
和跟踪框tb的第二中心代表点pc之间的第二相关指数，并且可以将计算出的第二相关指数输出到候选选择单元646或646a。
[0098]
[数学式2]
[0099][0100]
在此，γ2表示第二相关指数，x
mc
表示第一中心代表点p
mc
的横轴坐标，y
mc
表示第一中心代表点p
mc
的纵轴坐标，σ
2xmc
表示第一中心代表点p
mc
的横轴方差值，σ
2ymc
表示第一中心代表点p
mc
的纵轴方差值，xc表示第二中心代表点的横轴坐标，yc表示第二中心代表点的纵轴坐标。
[0101]
为此，第二指数计算单元730可以通过输入端子in2从存储单元642接收第二中心代表点，或者可以利用通过输入端子in2从存储单元642接收的历史信息来生成第二中心代表点。
[0102]
第三指数计算单元740可以利用例如下面的数学式3计算从形状分析单元630输出并通过输入端子in1提供的、当前时点t的片段框b
t
的第一外围代表点和通过输入单元in2从存储单元642提供的第三外围代表点之间的第三相关指数，并且可以将计算出的第三相关指数输出到候选选择单元646或646a。
[0103]
[数学式3]
[0104][0105]
在此，γ3表示第三相关指数，x
tmo
表示当前时点t的第一外围代表点的横轴坐标，y
tmo
表示当前时点t的第一外围代表点的纵轴坐标。在上述数学式1和2中，未添加上标“t”的坐标x
mo
、y
mo
、xo和yo是当前时点t的坐标。即，数学式1中的x
mo
与数学式3中的x
tmo
相同，数学式1中的y
mo
与数学式3中的y
tmo
相同。但是，在数学式3中，x
mo
表示为x
tmo
，y
mo
表示为y
tmo
，以区分当前时点t和先前时点t-1。此外，x
t-1mo
表示第三外围代表点的横轴坐标，y
t-1mo
表示第三外围代表点的纵轴坐标。
[0106]
在步骤410之后，候选选择单元646或646a可以利用相关指数计算单元644计算出
的相关指数，即第一到第三相关指数，在当前时点t的多个片段框之中选择关联片段框的候选片段框，并且可以将所选择的候选片段框的信息输出到最终选择单元648(步骤420)。
[0107]
图8是图4所示的步骤420的实施例420a的流程图。
[0108]
例如，如图7所示，候选选择单元646或646a可以包括第一至第三比较单元810、820和830以及框选择单元840。
[0109]
在步骤410之后，第一比较单元810将当前时点t的多个片段框的每一个的第一相关指数γ1与第一临界指数c1进行比较。即，如下面的数学式4所示，第一比较单元810确定第一相关指数γ1是否小于第一临界指数c1，并将确定结果输出到框选择单元840(步骤421)。
[0110]
[数学式4]
[0111]
γ1＜c1
[0112]
当通过第一比较单元810的比较结果确定第一相关指数γ1小于第一临界指数c1时，框选择单元840在当前时点t的多个片段框之中选择第一相关指数γ1小于第一临界指数c1的片段框作为关联片段框的候选片段框，并且将所选择的候选片段框的信息输出到最终选择单元648(步骤428)。
[0113]
另外，第二比较单元820将当前时点t的多个片段框的每一个的第二相关指数γ2与第二临界指数c2进行比较。即，如下面的数学式5所示，第二比较单元820确定第二相关指数γ2是否小于第二临界指数c2，并将确定结果输出到框选择单元840(步骤422)。
[0114]
[数学式5]
[0115]
γ2＜c2
[0116]
当通过第二比较单元820的比较结果确定第二相关指数γ2小于第二临界指数c2时，框选择单元840在当前时点t的多个片段框之中选择第二相关指数γ2小于第二临界指数c2的片段框作为关联片段框的候选片段框，并且将所选择的候选片段框的信息输出到最终选择单元648(步骤428)。
[0117]
另外，第三比较单元830将当前时点t的多个片段框的每一个的第三相关指数γ3与第三临界指数c3进行比较。即，如下面的数学式6所示，第三比较单元830确定第三相关指数γ3是否小于第三临界指数c3，并将确定结果输出到框选择单元840(步骤423)。
[0118]
[数学式6]
[0119]
γ3＜c3
[0120]
在数学式4、5和6中，可以预先设置第一、第二和第三临界指数c1、c2和c3。
[0121]
当通过第三比较单元830的比较结果确定第三相关指数γ3小于第三临界指数c3时，框选择单元840在当前时点t的多个片段框之中选择第三相关指数γ3小于第三临界指数c3的片段框作为关联片段框的候选片段框，并且将所选择的候选片段框的信息输出到最终选择单元648(步骤428)。
[0122]
尽管在图8中示出，当不满足步骤421时，执行步骤422，当不满足步骤422时，执行步骤423，但实施例不限于此。即，根据另一实施例，可以以任意顺序执行步骤421、步骤422和步骤423。根据又一实施例，可以同时执行步骤421、步骤422和步骤423。在同时执行步骤421、步骤422和步骤423的情况下，图7所示的候选选择单元646a对应于候选选择单元646的实施例。
[0123]
框选择单元840可以响应于第一至第三比较单元810、820和830的比较结果，选择
当前时点t的关联片段框的候选片段框。这样，在步骤410之后，在多个片段框之中，可以选择满足数学式4、5和6所示的三个条件中的至少一个的片段框作为当前时点t的关联片段框的候选片段框。
[0124]
另外，如图7所示，候选选择单元646a可以进一步包括重叠确定单元710。
[0125]
在步骤421、422和423之后，确定多个片段框之中不满足数学式4、5和6所示的三个条件中的任何一个的片段框是否与跟踪框tb重叠(步骤424)。如果存在与跟踪框tb重叠的片段框，则可以将与跟踪框tb重叠的片段框选择为候选片段框(步骤428)。
[0126]
图9是示出当前时点t的片段框b
t
与跟踪框tb重叠的示例的示图。
[0127]
步骤424和步骤428可以分别由重叠确定单元710和框选择单元840执行。
[0128]
框选择单元840可以响应于第一至第三比较单元810、820和830的比较结果来生成控制信号cs。当确定响应于控制信号cs利用相关指数测定多个片段框时存在未被选择为候选片段框的片段框时，重叠确定单元710可以确定该片段框b
t
是否与跟踪框tb重叠，并且可以将确定结果输出到框选择单元840(步骤424)。例如，如图9所示，片段框b
t
和跟踪框tb可以彼此重叠。
[0129]
框选择单元840可以响应于重叠确定单元710的确定结果来选择候选片段框。即，当通过重叠确定单元710的确定结果确定片段框b
t
与跟踪框tb重叠时，框选择单元840可以选择与跟踪框tb重叠的片段框b
t
作为候选片段框(步骤428)。
[0130]
图10的(a)至(i)是示出片段框bt和跟踪框tb彼此重叠的各种示例的示图。
[0131]
如图10的(a)和(b)所示，片段框b
t
和跟踪框tb可以在一点处彼此重叠。如图10的(c)所示，片段框b
t
和跟踪框tb可以在两个点处彼此重叠。如图10的(d)所示，片段框b
t
和跟踪框tb可以在三个点处彼此重叠。如图10的(e)所示，片段框b
t
和跟踪框tb可以在四个点处彼此重叠。如图10的(f)所示，片段框b
t
和跟踪框tb可以在五个点处彼此重叠。如图10的(g)所示，片段框b
t
和跟踪框tb可以在六个点处彼此重叠。如图10的(h)所示，片段框b
t
和跟踪框tb可以在七个点处彼此重叠。如图10的(i)所示，片段框b
t
和跟踪框tb可以在八个点处彼此重叠。不管重叠的点的数量如何，都可以将具有与跟踪框tb重叠的点的片段框b
t
选择为候选片段框。可选地，根据另一实施例，仅与跟踪框tb重叠的点的数量为预定数量以上的片段框b
t
可以被选择为候选片段框。
[0132]
上述第一至第三相关指数是与距离有关的因子，并且可以通过欧几里得距离计算获得，或者如上数学式1至3所示，可以通过马哈拉诺比斯距离计算获得。
[0133]
在步骤421、422和423之后，当在当前时点t的多个片段框之中，不满足数学式4、5和6所示的三个条件中的任何一个的片段框不与跟踪框重叠时，可以确定是否已经对第m通道中包括的第一至第n片段框中的所有片段框执行了步骤421至424(步骤426)。
[0134]
在尚未对第m通道中包括的第一至第n个片段框中的所有片段框执行步骤421至424时，如上所述，可以对未执行步骤421至424的片段框执行步骤421至424和428。
[0135]
例如，步骤426可以由框选择单元840执行。即，每当执行步骤421至424时，框选择单元840可以计数以确定“n”个片段框中的哪一个执行了步骤421至424。
[0136]
再次参照图4和图5，在步骤420之后，最终选择单元648可以在由候选选择单元646选择的候选片段框之中选择当前时点t的关联片段框，并且可以通过输出端子out1输出所选择的关联片段框的信息(步骤430)。
[0137]
图11是图5所示的最终选择单元648的实施例648a的框图。
[0138]
图11所示的最终选择单元648a可以包括分数分配单元910、分数计算单元920和分数比较单元930。
[0139]
分数分配单元910可以将第一分数score1分配给每个候选片段框的距离适合度，可以将第二分数score2分配给每个候选片段框的可靠性适合度，并且可以将第三分数score3分配给每个候选片段框和先前选择的关联片段框b
t-1
之间的相关性。为此，分数分配单元910通过输入端子in4从候选选择单元646或646a接收候选片段框的信息。
[0140]
关于根据实施例的距离适合度，可以将每个候选片段框的第一至第三相关指数中的最小的相关指数与第一阈值tv1进行比较，以确定距离适合度。即，在候选片段框之中，第一分数score1可以被分配给其中第一至第三相关指数中的最小的相关指数等于或小于第一阈值tv1的候选片段框。
[0141]
关于根据实施例的可靠性适合度，可以利用每个候选片段框的可靠性等级来确定可靠性适合度。即，在候选片段框之中，第二分数score2可以被分配给具有大于第二阈值tv2的可靠性等级的候选片段框。
[0142]
例如，获取每个候选片段框的可靠性等级的步骤可以包括确定形状可靠性等级的步骤、确定属性可靠性等级的步骤以及确定几何可靠性等级的步骤。
[0143]
在确定形状可靠性等级的步骤中，可以获取对应于候选片段框的形状，例如其尺寸的第2-1可靠性等级。在确定属性可靠性等级的步骤中，可以获取对应于候选片段框中包括的点数与候选片段框的尺寸的比率或候选片段框中包括的点的分散度中的至少一个的第2-2可靠性等级。在确定几何可靠性等级的步骤中，可以获取对应于候选片段框的位置以及从参考点到候选片段框的距离的第2-3可靠性等级。例如，在将lidar传感器500和对象跟踪装置600安装到车辆1000中的情况下，参考点可以是车辆1000的位置。即，可以根据从车辆1000到候选片段框的距离以及候选片段框是否位于lidar传感器500的视场的边界来获取第2-3可靠性等级。可以预先设置第2-1、第2-2和第2-3可靠性级别。
[0144]
其后，可以将第2-1、第2-2和第2-3可靠性等级相加以确定将与第二阈值tv2进行比较的可靠性等级。
[0145]
关于根据实施例的相关性，可以利用与先前选择的关联片段框重叠的每个候选片段框的面积与每个候选片段框的整个面积的比率来确定相关性。具体地，可以与和先前选择的关联片段框重叠的每个候选片段框的面积与每个候选片段框的整个面积的比率成比例地将第三分数分配给相关性。即，比率越高，可以分配的第三分数越高。
[0146]
分数计算单元920可以将分配给每个候选片段框的第一至第三分数score1、score2和score3相加，以计算最终分数tscore。
[0147]
分数比较单元930可以在候选片段框之中选择具有最高的最终分数tscore的候选片段框作为当前时点t的关联片段框，并且可以通过输出端子out1输出所选择的关联片段框。
[0148]
图12是用于说明根据另一实施例的利用lidar传感器500的对象跟踪方法440的流程图。
[0149]
图1所示的步骤400可以进一步包括图12所示的对象跟踪方法440。
[0150]
首先，确定是否存在当前时点t的关联片段框(步骤442)。步骤442可以在步骤430
之后执行，或者可以在步骤420中执行。当在步骤420中判断为没有候选片段框时，可以确定没有当前时点t的关联片段框。可选地，当在步骤430选择当前时点t的关联片段框时，可以判断为存在当前时点t的关联片段框。
[0151]
当存在关联片段框时，可以更新关联片段框所属的第m通道的历史信息(步骤444)。例如，最终选择单元648可以通过输出端子out1将在第m通道中正在跟踪的目标对象的当前时点t的关联片段框的信息输出到存储单元642，以更新第m通道的历史信息。
[0152]
然而，当不存在关联片段框时，可以删除不存在关联片段框的第m通道的历史信息(步骤446)。例如，当确定为属于第m通道的“n”个片段框中的任何一个都没有被选择作为候选片段框时，图7所示的框选择单元840可以通过输出端子out3将删除请求信号输出到存储单元642，并且存储单元642可响应于删除请求信号删除第m通道的历史信息。
[0153]
另外，当确定属于第m通道的“n”个片段框中的至少一个是与新的目标对象关联的片段框时，在存储单元642中存在空通道的情况下，对象跟踪单元640可以将新目标对象的关联片段框的信息存储在存储单元642的空通道中。以这种方式，对象跟踪单元640可以区分当前正在跟踪的目标对象和新识别的目标对象，并且可以向新的目标对象分配新的标识(id)号。当正在跟踪的目标对象消失时，对象跟踪单元640可以回收分配给消失的目标对象的标识(id)号。
[0154]
另外，图2所示的对象跟踪单元640可以利用关联片段框的信息来区分目标对象是障碍物、车辆还是人。
[0155]
参照图2，例如，当在车辆1000中使用上述对象跟踪方法和装置600时，车辆1000可以进一步包括车辆装置700。车辆装置700可以根据对象跟踪单元640跟踪的目标对象的信息以及目标对象的类型来控制车辆1000。
[0156]
车辆装置700可以通过从对象跟踪装置600接收到的对象的确定信息来控制车辆1000。例如，车辆装置700可以包括保持车辆与前车的距离的同时防止车辆偏离车道的车道保持辅助系统、用于检测车辆周围存在的障碍物的障碍物检测系统、用于检测碰撞风险的防撞系统、检测车辆前方的障碍物并控制车辆执行自动驾驶的自动驾驶系统以及在与本车辆相邻的另一车辆靠近时执行警告并控制本车辆的以辅助本车辆安全驾驶的安全驾驶系统。
[0157]
lidar传感器500可以位于车辆1000的前部、侧面或后部中的至少一个处。根据实施例的对象跟踪方法和装置600以及包括该装置的车辆1000不限于lidar传感器500安装在车辆1000中的特定位置。
[0158]
另外，记录有用于执行利用lidar传感器500的对象跟踪方法的程序的记录介质可以存储实现以下功能的程序，即，对由通过lidar传感器500获取的对象的多个点组成的lidar数据进行分组的聚类功能、利用聚类的结果生成每个通道的多个片段框的信息的功能以及在多个片段框之中选择正在跟踪的目标对象的当前时点t的关联片段框的功能。选择当前时点t的关联片段框的功能可以包括以下功能，即，计算当前时点t的多个片段框中的每一个的当前代表点与跟踪代表点和先前代表点中的每一个之间的相关指数的功能、利用相关指数在多个片段框之中选择关联片段框的候选片段框的功能以及在所选择的候选片段框之中选择当前时点t的关联片段框的功能。记录介质可以由计算机系统读取。
[0159]
计算机可读记录介质包括其中存储了可以由计算机系统读取的数据的所有类型
的记录装置。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、光盘rom(cd-rom)、磁带、软盘和光学数据存储器。计算机可读记录介质还可以分布在网络连接的计算机系统上，从而以分布的方式存储和执行计算机可读代码。而且，本公开所属领域的程序员可以容易地推导用于完成对象跟踪方法的功能程序、代码和代码段。
[0160]
在下文中，将参照附图描述根据比较例的对象跟踪方法和根据实施例的对象跟踪方法。
[0161]
在执行“关联”的第一和第二比较例中，可以确定正在跟踪的目标对象的预测的跟踪框和多个片段框之间是否存在相关性，并且可以选择具有相关性的片段框的信息。例如，通过框的点之间的比较来确定相关性的存在或不存在。可以利用欧几里得距离或马哈拉诺比斯距离来确定跟踪框与片段框之间的相关性。当所确定的距离满足允许边界值时，可以确定存在相关性。
[0162]
在第一比较例的情况下，将片段框的中心用作代表点。在这种情况下，片段框的信息不能准确地指示片段框的头部朝向，使得产生头部朝向误差。第一比较例中的头部朝向误差比稍后描述的第二比较例中的头部朝向误差小。然而，由于lidar传感器500的特性，当片段框的尺寸由于确保对象的可见性和对象形状而改变时，片段框的所改变的尺寸可以反映在误差中。
[0163]
图13的(a)是示出利用lidar传感器500正在跟踪的目标对象10和护栏12的示图，图13的(b)是用于说明根据第二比较例的跟踪目标对象10的进程的示图。
[0164]
图14的(a)是跟踪框的示图，其中箭头指示头部朝向方向，图14的(b)是示例性示出由第二比较例选择的两个候选片段框cb1和cb2的示图，图14的(c)是示出利用由第二比较例错误地选择的关联片段框更新的历史信息来估计的跟踪框的示图。
[0165]
在第二比较例的情况下，将片段框的后侧的中心用作代表点。例如，根据第二比较例，用于关联的候选片段框cb1和cb2的后侧的中心被用作代表点rp1和rp2。由于相对于lidar传感器500的安装位置，点云的密度在片段框的后侧的中心处较高，当根据目标对象的形状在片段框的尺寸方面变化时，第二比较例比第一比较例可以更稳定地提供长度方向的测量值位置。然而，由于第二比较例在生成片段框的信息时无法正确地了解头部朝向，因此存在后侧的参考改变的问题(例如片段框的宽度和长度彼此切换的问题)，从而会在测量值的位置中引起很大的误差。这样，根据基于片段框的后侧执行“关联”的第二比较例，当利用距离确定关联时，由于关联不正确而可能产生跟踪损失。
[0166]
在图13的(a)所示的弯曲部分中，具有弯曲形状的护栏12被识别为较大片段框cb2。但是，该片段框cb2不是维持对正在跟踪的目标对象10的跟踪而实质上必要的片段框。然而，在将不必要的片段框cb2选择关联片段框并利用该片段框来更新历史信息时，可以从图14的(c)看出，当基于更新的历史信息预测跟踪框时，箭头指示的头部朝向与目标对象10的实际头部朝向不符。
[0167]
图15是示出当通过根据实施例的对象跟踪方法和装置执行“关联”时的跟踪结果的示图。
[0168]
根据实施例，在多个片段框cb1和cb2之中，选择与正在跟踪的目标对象10匹配的最佳关联片段框cb1，并且利用该最佳关联片段框cb1更新目标对象10的历史信息。在这种情况下，从图15可以看出，当利用更新的历史信息生成目标对象10的跟踪框csb时，可以使
目标对象10的头部朝向、位置和形状的错误最小化。特别地，根据实施例，首先利用与距离相关的因子选择候选片段框。此时，确定未被首先选择为候选片段框的片段框是否与跟踪框tb重叠，即是否与跟踪框tb表面接触，以便二次选择候选片段框。因此，可以防止由于仅利用距离因子选择候选片段框而导致错误地选择关联片段框。
[0169]
从以上描述显而易见的是，根据实施例的用于利用lidar传感器的对象跟踪方法和装置、包括该装置的车辆以及存储程序以执行该方法的记录介质能够利用lidar传感器无误差地或误差最小化地跟踪目标对象。
[0170]
然而，通过本公开可获得的效果不限于上述效果，并且根据以上描述，本领域技术人员将清楚地理解本文中未提及的其它效果。
[0171]
在不脱离本公开的目的的情况下，上述各个实施例可以彼此组合，除非它们彼此不兼容。另外，对于在各个实施例的任意实施例中未详细描述的任何元件，可以参考另一实施例中具有相同附图标记的元件的描述。
[0172]
尽管已经参考示例性实施例具体示出和描述了本公开，但是这些实施例被提出仅用于说明目的，而并不限制本公开，并且对于本领域技术人员而言显而易见的是，在不脱离本文阐述的实施例的基本特征的情况下，可以进行形式和细节上的各种改变。例如，可以修改和应用在实施例中阐述的各个配置。此外，这样的修改和应用中的差异应被解释为落入由所附权利要求书限定的本公开的范围内。