确定目标方向的方法以及用于追踪目标的方法和装置与流程

确定目标方向的方法以及用于追踪目标的方法和装置
1.相关申请的交叉引用
2.本技术要求2020年12月11日提交的韩国专利申请no.10-2020-0173269的优先权的权益，该申请的全部内容通过引用的方式并入本文。
技术领域
3.本发明涉及确定目标方向的方法，以及用于追踪目标的方法和装置。


背景技术：

4.通常，利用从目标获取的点云的点来生成指示目标方向的方向包围盒(oriented bounding box，obb)。
5.然而，在利用点生成obb的情况下，可能会出现的各种问题包括生成obb所需的计算量增加、obb的外部形状因目标的弯曲形状而歪斜、以及不能准确提取目标的航向角。因此，开展了用于解决这些问题的研究。


技术实现要素：

6.因此，本发明致力于提供一种生成目标的像素数据的方法、一种确定目标方向的方法、一种用于追踪目标的方法和装置、以及一种存储用于执行上述方法的程序的记录介质，上述方法基本上消除了由于现有技术的限制和缺点导致的一个或更多个问题。
7.本发明提供了一种生成目标的像素数据的方法、一种确定目标方向的方法、一种用于追踪目标的方法和装置、以及一种存储用于执行上述方法的程序的记录介质。
8.然而，本发明要实现的目的不限于上述目的。本领域普通技术人员从以下描述中应该清楚地理解本文未提及的其他目的。
9.根据实施方案，一种生成目标的像素数据的方法可以包括：针对从目标获取的点云中的关注区域来生成由多个单位像素组成的网格图；选择关注区域的基准点；生成像素索引，所述像素索引以参考点为基准指示关注区域中存在的所有点的每一个点包括于网格图的多个单位像素中的哪一个单位像素；利用像素索引生成像素数据，所述像素数据包括关于关注区域中的多个单位像素的每一个单位像素中包括的点的数量的信息以及关于多个单位像素的每一个单位像素的中心坐标的信息。
10.例如，每个点的像素索引可以如下表示。
[0011][0012][0013]
这里，idxrow表示像素索引的横轴坐标，idxcol表示像素索引的纵轴坐标。符号xs表示基准点的纵轴坐标，ys表示基准点的横轴坐标，x
p
表示要表示像素索引的每个点的纵轴坐标，y
p
表示要表示像素索引的每个点的横轴坐标，l表示多个单位像素的每一个的宽度或
长度，integer(k)表示k的整数值。
[0014]
例如，多个单位像素的每一个的面积可以与关注区域距离获取点云的实体的位置间隔开的距离成反比。
[0015]
例如，目标的截面面积与多个单位像素的每一个的面积之比可以为50至30000。
[0016]
根据另一实施方案，公开了一种利用生成目标的像素数据的方法的目标方向确定方法。目标方向确定方法可以包括：利用关于像素数据中包括的多个单位像素的每一个的中心坐标的信息来生成多个候选盒；利用关于像素数据中包括的中心坐标和点的数量的信息来计算多个候选盒的成本(cost)；选择计算出的成本中具有最小成本的候选盒；将所选择的候选盒相对于纵轴倾斜的角度提取作为方向包围盒的航向角。多个候选盒的每一个可以包括所有多个单位像素的中心。多个候选盒可以相对于纵轴以不同的角度倾斜。
[0017]
例如，计算多个候选盒的成本可以包括：获取多个单位像素的每一个的中心与多个候选盒中对应的一个候选盒的各个边之间的间隔距离中的最小值；将多个单位像素的每一个的最小值乘以多个单位像素的每一个中包括的点的数量；对多个单位像素的乘法的结果求和，将求和的结果确定为多个候选盒的每一个的成本。
[0018]
例如，目标方向确定方法可以进一步包括：生成方向包围盒，所述方向包围盒相对于纵轴倾斜了所提取的航向角并且包括关注区域中存在的所有点。
[0019]
根据又一实施方案，一种目标追踪方法可以包括：利用由目标方向确定方法生成的方向包围盒来追踪目标。
[0020]
根据又一实施方案，一种目标追踪装置可以包括：数据生成单元、航向角提取单元、包围盒生成单元和目标追踪单元；所述数据生成单元配置为基于从目标获取的点云生成像素数据；所述航向角提取单元配置为根据像素数据提取方向包围盒的航向角；所述包围盒生成单元配置为利用所提取的航向角生成方向包围盒；所述目标追踪单元配置为利用方向包围盒追踪目标。数据生成单元可以针对点云中的关注区域来生成由多个单位像素组成的网格图。数据生成单元还可以选择关注区域的基准点。数据生成单元可以进一步生成像素索引，所述像素索引以参考点为基准指示关注区域中存在的所有点的每一个点包括于网格图的多个单位像素中的哪一个单位像素。数据生成单元可以进一步利用像素索引生成像素数据，所述像素数据包括关于网格图中的多个单位像素的每一个单位像素中包括的点的数量的信息以及关于多个单位像素的每一个单位像素的中心坐标的信息。航向角提取单元可以利用关于像素数据中包括的多个单位像素的每一个的中心坐标的信息来生成多个候选盒。航向角提取单元还可以利用关于像素数据中包括的中心坐标和点的数量的信息来计算多个候选盒的成本。航向角提取单元可以进一步选择计算出的成本中具有最小成本的候选盒。航向角提取单元可以进一步将所选择的候选盒相对于纵轴倾斜的角度提取作为方向包围盒的航向角。多个候选盒的每一个可以包括所有多个单位像素的中心，多个候选盒可以相对于纵轴以不同的角度倾斜。
[0021]
根据又一实施方案，一种计算机可读记录介质，其中记录有用于执行生成目标的像素数据的方法的程序，所述计算机可读记录介质可以存储用于实现多种功能的程序。所述功能可以包括针对从目标获取的点云中的关注区域来生成由多个单位像素组成的网格图的功能。所述功能可以进一步包括选择关注区域的基准点的功能。所述功能可以进一步生成像素索引的功能，所述像素索引以基准点为基准指示关注区域中存在的所有点的每一
个点包括于网格图的多个单位像素中的哪一个单位像素。所述功能可以进一步包括利用像素索引生成像素数据的功能，所述像素数据包括关于关注区域中的多个单位像素的每一个单位像素中包括的点的数量的信息以及关于多个单位像素的每一个单位像素的中心坐标的信息。
[0022]
根据又一实施方案，一种计算机可读记录介质，其中记录有利用生成像素数据的方法来执行生成目标的方向包围盒的方法的程序，所述计算机可读记录介质可以存储用于实现多个功能的程序。所述功能可以包括利用关于像素数据中包括的多个单位像素的每一个单位像素的中心坐标的信息来生成多个候选盒的功能。所述功能可以进一步包括利用关于像素数据中包括的中心坐标和点的数量的信息来计算多个候选盒的成本的功能。所述功能可以进一步包括选择计算出的成本中具有最小成本的候选盒的功能。所述功能可以进一步包括将所选择的候选盒相对于纵轴倾斜的角度提取作为方向包围盒的航向角的功能。所述功能可以进一步包括生成方向包围盒的功能，所述方向包围盒相对于纵轴倾斜了所提取的航向角并且包括关注区域中存在的所有点。多个候选盒的每一个可以包括所有多个单位像素的中心。多个候选盒可以相对于纵轴以不同的角度倾斜。
[0023]
根据又一实施方案，一种计算机可读记录介质，其中记录有用于执行目标追踪方法的程序，所述计算机可读记录介质可以存储利用方向包围盒实现追踪目标的功能的程序。
附图说明
[0024]
参考以下附图详细描述布置和实施方案，其中相同的附图标记表示相同的元件，其中：
[0025]
图1是根据本发明实施方案的用于生成目标的像素数据的方法流程图；
[0026]
图2a至图2d是用于帮助理解图1所示的像素数据生成方法的示意图；
[0027]
图3是根据本发明实施方案的确定目标方向的方法流程图；
[0028]
图4a至图4f是用于说明生成候选盒的过程的示意图；
[0029]
图5是几何地示出距离函数的示意图，该距离函数返回定义候选盒的直线与原点之间的距离；
[0030]
图6是图3所示的步骤34的实施方案的流程图；
[0031]
图7是帮助理解图6的示意图；
[0032]
图8a和图8b示出了候选盒；
[0033]
图9是根据本发明实施方案的目标追踪装置的框图；
[0034]
图10是根据本发明实施方案的目标追踪方法的流程图；
[0035]
图11是图9所示的形状分析单元的实施方案的框图；
[0036]
图12a至图12f是用于说明根据比较示例的候选盒生成方法的示意图；
[0037]
图13示出了由比较示例生成的候选盒的示例；
[0038]
图14是用于说明根据比较示例的成本计算方法的示意图；
[0039]
图15a至图15c是示出单位像素内的点的变化的示意图；
[0040]
图16a和图16b示出了当目标是具有弯曲形状的目标车辆时，通过比较示例和本发明实施方案获取的方向包围盒；
[0041]
图17a和图17b示出了通过比较示例和本发明实施方案生成的方向包围盒；
[0042]
图18a至图18c示出了通过比较示例和本发明实施方案获取的方向包围盒；
[0043]
图19a和图19b是用于说明本发明实施方案的应用示例示意图。
具体实施方式
[0044]
下文将参考所附附图对本发明进行更为全面的描述，在这些附图中示出了各个实施方案。然而，这些示例可以以许多不同的形式体现，并且不应被解释为限于本文阐述的实施方案。相反，提供这些实施方案是为了使本发明更加彻底和完整，并且将本发明的范围更充分地传达给本领域的普通技术人员。
[0045]
应当理解，当元件被称为在另一个元件“上”或“下”时，它可以直接在该元件的上/下，或者也可以存在一个或更多个中间元件。
[0046]
当元件被称为“上”或“下”时，可以根据该元件包括“在元件下”以及“在元件上”。
[0047]
此外，关系术语，如“第一”、“第二”、“上/上部/上面”、“下/下部/下面”，仅用于区分一个主体或元件与另一个主体或元件，而不一定要求或涉及主体或元件之间的任何实际的或逻辑的关系或顺序。当将本发明的组件、设备、元件等描述为具有目的或执行操作、功能等时，在此应将组件、设备或元件视为“配置为”满足该目的或执行该操作或功能。
[0048]
以下，参考附图描述生成目标的像素数据的方法、确定目标方向的方法、用于追踪目标的方法和装置、以及存储执行根据实施方案的方法的程序的记录介质。为了便于描述，利用笛卡尔坐标系(x轴、y轴、z轴)描述生成目标的像素数据的方法、确定目标方向的方法、用于追踪目标的方法和装置、以及存储执行根据实施方案的方法的程序的记录介质，但是也可以使用其他坐标系来描述。在笛卡尔坐标系中，x轴、y轴和z轴相互垂直，但实施方案不限于此。换句话说，x轴、y轴和z轴可以相互斜交。
[0049]
图1是根据实施方案的用于生成目标的像素数据的方法流程图。图2a至图2d是用于帮助理解图1所示的像素数据生成方法10的示意图。
[0050]
在下文中，描述根据本发明实施方案的生成目标的像素数据的方法10。
[0051]
针对从目标获取的点云中的关注区域(region of interest，roi)生成由单位像素组成的网格图(步骤12)。例如，可以通过光检测和测距(lidar)传感器110来获取与目标相关的点云，下面将参考图9进行描述，但实施方案不限于此。换句话说，实施方案不限于用于获取点云的特定类型的传感器。
[0052]
根据本实施方案，在步骤12中，针对点云的每个点所在的坐标空间生成网格图。网格图由多个网格组成。
[0053]
在下文中，网格图中包括的多个网格的每一个被称为“单位像素”。参考图2b，单位像素可以具有在x轴方向上的长度x和在y轴方向上的宽度y。以下，将单位像素描述为具有正方形形状(x＝y)，但实施方案不限于特定形状的单位像素。
[0054]
例如，单位像素(例如，upx)的面积(pa＝xy)可以与关注区域(roi)20距离获取点云的实体的位置间隔开的距离成反比。例如，当由lidar传感器获取点云时，lidar传感器的位置可以对应于前述实体的位置。
[0055]
另外，可以利用下面的方程式1来表示目标的截面面积oa与单位像素的面积pa的比值r。例如，比值r可以为50至30000。在另一实施方案中，比值r可以为100至7000，在另一
实施方案中为5000。然而，实施方案并不限于特定的比值r。
[0056]
[方程式1]
[0057][0058]
例如，如图2a所示，点云中的roi 20中可以包括多个点p。
[0059]
在步骤12之后，选择roi 20的基准点(步骤14)。例如，如图2a所示，可以选择roi 20的基准点rp。在这里，基准点rp可以位于roi 20中x轴方向上的最大值和y轴方向上的最大值相交的点处。
[0060]
在步骤14之后，生成像素索引(步骤16)。像素索引以基准点rp为基准指示roi 20中存在的所有点的每一个点p包括于网格图的多个单位像素中的哪一个单位像素。例如，参考图2b，可以生成以参考点rp为基准的roi 20中的搜索点sp的像素索引，如使用下面的方程式2和3所表示的。
[0061]
[方程式2]
[0062][0063]
[方程式3]
[0064][0065]
这里，“x
s”表示参考点rp的纵轴坐标，“y
s”表示参考点rp的横轴坐标，“x
p”表示搜索点sp的纵轴坐标，“y
p”表示搜索点sp的横轴坐标。在这种情况下，“idxrow”表示针对搜索点sp的像素索引横轴坐标，而“idxcol”表示针对搜索点sp的像素索引纵轴坐标。此外，“l”表示单位像素的宽度y或长度x，“integer(k)”表示“k”的整数值。
[0066]
在与获取针对搜索点sp的像素索引的方法相同的方法中，如上述方程式2和3所表示的，可以获取针对roi 20中存在的各个点的像素索引。
[0067]
在步骤16之后，利用像素索引生成像素数据(步骤18)。像素数据可以包括关于roi 20中的每个单位像素中包括的点的数量以及每个单位像素的中心坐标(以下称为“中心坐标”)的信息。例如，如上所述，生成针对roi 20中包括的各个点的像素索引，由此可以生成关于roi 20中的所有单位像素的每一个的像素数据。例如，如图2c所示，当生成搜索点sp的像素索引时，单位像素upx中包括的计数的点的数量可以为1，并且可以生成单位像素upx的中心坐标cp。这样，当针对roi 20中包括的所有点(在图2a的情况下为21个点)的每一个生成像素索引时，可以将关于roi 20中的每个单位像素中包括的点的数量以及中心坐标co的信息生成为像素数据，如图2d所示。例如，可以存储如图2d所示配置的结构。
[0068]
可以在各种领域使用根据上述实施方案的生成目标的像素数据的方法10。此外，利用通过根据实施方案的生成目标的像素数据的方法10生成的像素数据，可以以各种方式生成具有关于目标方向信息的方向包围盒(obb)。
[0069]
以下，参考附图描述利用通过根据上述实施方案的生成目标的像素数据的方法10生成的像素数据，以用于生成目标的方向包围盒(obb)的根据实施方案的确定目标方向的方法30。
[0070]
根据本实施方案，生成关于从目标获取的点云的关注区域中包括的多个单位像素
的每一个的像素数据。此后，生成利用所生成的像素数据的多个候选盒。此后，将关于多个候选盒计算出的成本(cost)中具有最小成本的候选盒的倾斜度确定为方向包围盒的航向角。这里，可以基于多个候选盒中相应的一个候选盒的各个边的位置以及像素数据来计算多个候选盒的每一个的成本。
[0071]
图3是根据实施方案的确定目标方向的方法30的流程图。图4a至图4f是用于说明生成候选盒的过程的示意图。
[0072]
按照根据实施方案的确定目标方向的方法30，首先利用关于由图1所示的像素数据生成方法10生成的像素数据中包括的每个单位像素的中心坐标的信息来生成多个候选盒(步骤32)。这里，每个候选盒包括roi 20中包括的所有单位像素的中心，并且可以相对于纵轴(例如，x轴)以不同的角度倾斜。
[0073]
首先，获取第一直线sl1，如图4b所示。第一直线sl1经过roi中包括的单位像素的中心坐标中的y轴方向上的最大中心坐标，并且相对于x轴具有第一倾斜度。
[0074]
此后，获取第二直线sl2，如图4c所示。第二直线sl2经过roi中包括的单位像素的中心坐标中的y轴方向上的最小中心坐标，并且相对于x轴具有第一倾斜度。具有相同第一倾斜度的第一直线sl1和第二直线sl2相互平行。
[0075]
此后，获取第三直线sl3，如图4d所示。第三直线sl3经过roi中包括的单位像素的中心坐标中的x轴方向上的最大中心坐标，并且垂直于第一直线sl1(或第二直线sl2)。
[0076]
此后，获取第四直线sl4，如图4e所示。第四直线sl4经过roi中包括的单位像素的中心坐标中的x轴方向上的最小中心坐标，并且垂直于第一直线sl1(或第二直线sl2)。这里，具有相同倾斜度的第三直线sl3和第四直线sl4相互平行。
[0077]
此后，第一直线sl至第四直线sl4相交形成四个角点p0、p1、p2和p3，由此可以生成具有第一倾斜度并由四个角点p0、p1、p2和p3限定的第一候选盒。这里，每个候选盒的倾斜度是第一直线sl1(或第二直线sl2)相对于x轴倾斜的角度。
[0078]
此后，利用图4b所示的具有相对于x轴的第二倾斜度的第一直线sl1
′
(第二倾斜度在顺时针方向或逆时针方向上大于第一倾斜度预定增量角δθ)，可以以与生成第一候选盒的方法相同的方法生成具有第二倾斜度的第二候选盒。
[0079]
例如，在与相对于x轴成角度θ相对应的倾斜度范围为0
°
～90
°
的情况下，当意图通过将角度增加10
°
来生成具有不同倾斜度的候选盒时，可以生成分别具有0
°
、10
°
、20
°
、30
°
、40
°
、50
°
、60
°
、70
°
、80
°
和90
°
的第一倾斜度至第十倾斜度的第一候选盒至第十候选盒。
[0080]
图5是几何地示出距离函数的示意图，该距离函数返回定义候选盒的直线与原点之间的距离。这里，距离函数是图中返回“d”的函数。
[0081]
可以利用下面的方程式4至7来表示定义每个候选盒的四条直线sl1、sl2、sl3和sl4。
[0082]
[方程式4]
[0083]
sl1：y＝mx (y
1-mx1)
…
(x1，y1)：(xi，yi)
[0084]
当距离(xi，yi，m)为p(i＝0，1，...，n-1)中的最大值时
[0085]
[方程式5]
[0086]
sl2：y＝mx (y
2-mx2)
…
(x2，y2)：(xi，yi)
[0087]
当距离(xi，yi，m)为p(i＝0，1，...，n-1)中的最小值时
[0088]
[方程式6]
[0089]
sl3：y＝m
′
x (y
3-m
′
x3)
…
(x3，y3)：(xi，yi)
[0090]
当距离(xi，yi，m
′
)为p(i＝0，1，...，n-1)中的最大值时
[0091]
[方程式7]
[0092]
sl4：y＝m
′
x (y
4-m
′
x4)
…
(x4，y4)：(xi，yi)
[0093]
当距离(xi，yi，m
′
)为p(i＝0，1，...，n-1)中的最小值时
[0094]
在上面的方程式4至7中，“p”表示一组像素数据，并且利用下面的方程式8来表示，“m”和“m
′”
分别利用下面的方程式9和10来表示，“距离(xi，yi，m)”在图5中示出，“i”表示单位像素的唯一编号(或标识)，它将该像素与roi中的其他像素区分开。
[0095]
[方程式8]
[0096]
p＝{p|p(xi，yi)，i＝0，1，2，....，n-1}
[0097]
这里，“n”表示单位像素的数量。
[0098]
[方程式9]
[0099]
m＝tan(o(θ))
[0100]
这里，“o(θ)”用“度”的值表示倾斜角度。
[0101]
[方程式10]
[0102]m′
＝tan(o
′
(θ))
[0103]
这里，“o
′
(θ)”用“度”的值表示垂直于倾斜角度的角度。
[0104]
在步骤32之后，利用关于像素数据中包括的中心坐标和点的数量的信息来计算每个候选盒的成本(步骤34)。
[0105]
图6是图3所示的步骤34的实施方案34a的流程图，图7是用于帮助理解图6的示意图。图7所示的候选盒cbox中包括的点表示单位像素的中心坐标。
[0106]
为了执行步骤34a，首先获取roi中包括的每个单位像素的中心坐标(或中心)与候选盒的各个边之间的间隔距离(步骤50)。例如，参考图7，获取roi中包括的每个单位像素的中心坐标(例如pi)与候选盒cbox的各个边sl1、sl2、sl3和sl4之间的间隔距离di1、di2、di3和di4。
[0107]
在步骤50之后，利用下面的方程式11获取间隔距离中的最小值(步骤52)。
[0108]
[方程式11]
[0109]ci
＝min(di1，di2，di3，di4)
[0110]
这里，“c
i”表示间隔距离di1、di2、di3、di4中的最小值。
[0111]
例如，参考图7，获取间隔距离di1、di2、di3和di4中的最小值(例如di2)。
[0112]
在步骤52之后，执行将roi中包括的各个单位像素的最小值乘以相应单位像素的强度的处理(步骤54)。这里，“强度”是指每个单位像素中包括的点的数量。
[0113]
在步骤54之后，对各个单位像素的最小值乘以相应单位像素的强度的结果求和，如下面利用方程式12表示的那样。将求和的结果确定为候选盒的成本。此后，该过程进入图3所示的步骤36(步骤56)。
[0114]
[方程式12]
[0115][0116]
这里，“c
θ”表示候选盒的成本，“i
i”表示其强度。
[0117]
对在步骤32中获取的所有候选盒的每一个执行上述步骤50至56，从而计算出每个候选盒的成本。
[0118]
再次参考图3，选择针对候选盒计算出的成本中具有最小成本的一个的候选盒(步骤36)。
[0119]
提取在步骤36中所选择的候选盒相对于纵轴(例如x轴)倾斜的角度作为方向包围盒的航向角(步骤38)。换句话说，将所选择的候选盒的倾斜度确定为提取的航向角。
[0120]
图8a和图8b示出了候选盒cbox1和cbox2。这里，图8a所示的候选盒cbox1的倾斜度(即候选盒cbox1相对于x轴倾斜的角度)为11
°
，图8b所示的候选盒cbox2的倾斜度为35
°
。
[0121]
在图8a和图8b所示的候选盒cbox1和cbox2中，如果图8a所示的候选盒cbox1的成本比图8b所示的候选盒cbox2的成本小，则提取候选盒cbox1的11
°
的倾斜度作为方向包围盒的航向角。
[0122]
在步骤38之后，生成这样的方向包围盒(obb)，其相对于纵轴(例如x轴)倾斜所提取的航向角并且包括roi中存在的所有点(步骤40)。在这种情况下，由于可能没有包括与实际目标相关的点(所述点由生成点云的传感器(例如lidar传感器)识别)，因此可以利用实际点而不是多个单位像素来生成方向包围盒。
[0123]
可以在各种领域使用上述方向包围盒。例如，可以将方向包围盒用于配备传感器的车辆(以下称为“主车”)来追踪目标。换句话说，利用方向包围盒来识别目标的移动方向，这可以有助于识别另一车辆突然接近主车的情况或者例如十字路口的交通状态的行驶环境。此外，它还有助于确保适用于车载嵌入式系统的优良实时性能。
[0124]
可以将通过上述确定目标方向的方法30生成的方向包围盒用于根据实施方案在利用lidar传感器的目标追踪方法和装置中追踪目标。
[0125]
以下，参考附图描述根据实施方案的利用lidar传感器的目标追踪方法和装置。
[0126]
图9是根据实施方案的目标追踪装置的框图。目标追踪装置可以包括：lidar传感器110、预处理单元120、聚类单元130、形状分析单元(或片段单元)140和目标追踪单元(追踪单元、追踪和分类单元、或者目标检测单元)150。
[0127]
lidar传感器110获取与目标相关的点云。例如，lidar传感器110可以向目标辐射具有905nm至1550nm波长的单个圆形激光脉冲，并且可以测量从存在于测量范围内的目标反射的激光脉冲返回所需的时间，从而感测关于目标的信息。例如，该信息可以包括从lidar传感器110到目标的距离、目标的方向、目标的速度、目标的温度、目标的材料分布以及目标的浓度特性。这里，目标可以是例如存在于安装了lidar传感器110的主车外部的另一车辆(以下称为“目标车辆”)、人、或者障碍物。然而，实施方案并不局限于任何特定类型的目标。
[0128]
预处理单元120可以移除与主车车身反射有关的数据。换句话说，由于根据lidar传感器110的安装位置和视场，存在被主车车身遮挡的区域，预处理单元120可以移除与主车车身反射有关的数据。目标追踪装置100可以省略预处理单元120。
[0129]
聚类单元130根据预定标准将点云分组为有意义的单元，该点云是由与通过lidar传感器110获取的目标相关的多个点组成的lidar数据。如果不省略预处理单元120，则聚类单元130可以对由预处理单元120预处理的lidar数据进行分组。lidar传感器110的感测结果示出多个点，每个点仅具有关于位置(或坐标)的信息。因此，聚类单元130用于将由lidar传感器110感测到的多个点分组为具有有意义形状的单元，并生成作为分组结果的聚类。
[0130]
形状分析单元140利用聚类单元130的聚类结果来生成关于每个信道的多个片段盒的信息。这里，片段盒可以是将聚类的结果转换成几何盒形状的结果，并且可以对应于上述方向包围盒。此外，关于片段盒的信息可以是片段盒的宽度、长度、位置或方向(或横摆)的至少一个。
[0131]
目标追踪单元150可以追踪已经分析了其形状的目标是障碍物、车辆还是人，并且可以识别该障碍物、车辆或人。
[0132]
图10是根据实施方案的目标追踪方法200的流程图。图11是图9所示的形状分析单元140的实施方案140a的框图。
[0133]
尽管将图10所示的目标追踪方法200描述为由图11所示的形状分析单元140a执行，但实施方案不限于此。换句话说，根据另一实施方案，可以由与图11所示的形状分析单元140a不同地配置的形状分析单元来执行图10所示的目标追踪方法200。
[0134]
根据实施方案的目标追踪方法200如下执行。
[0135]
数据生成单元142基于通过输入端子in接收到的点云来生成像素数据，并将生成的像素数据输出到航向角提取单元144(步骤210)。步骤210可以通过上面参考图1所描述的像素数据生成方法10来执行。换句话说，数据生成单元142针对点云中的roi生成由单位像素组成的网格图，选择roi的参考点，生成像素索引。像素索引以基准点为基准指示roi中存在的所有点的每一个点包括于网格图的多个单位像素中的哪一个单位像素。数据生成单元142利用像素索引生成像素数据，所述像素数据包括关于网格图中的每个单位像素中包括的点的数量以及每个单位像素的中心坐标的信息。对其他方面的重复描述已省略。
[0136]
在步骤210之后，航向角提取单元144根据像素数据提取方向包围盒的航向角，并将所提取的航向角输出到包围盒生成单元146(步骤220)。可以通过上面参考图3描述的确定目标方向的方法30的步骤32至38来执行步骤220。换句话说，航向角提取单元144利用关于像素数据中包括的每个单位像素的中心坐标的信息来生成多个候选盒，利用关于像素数据中包括的中心坐标和点的数量的信息来计算候选盒的成本，在计算出的成本中选择具有最小成本的候选盒，提取倾斜度作为方向包围盒的航向角。倾斜度是所选择的候选盒相对于纵轴倾斜的角度。这里，如上所述，多个候选盒的每一个包括所有单位像素的中心，并且候选盒相对于纵轴以不同的角度倾斜。对其他方面的重复描述已省略。
[0137]
在步骤220之后，包围盒生成单元146利用由航向角提取单元144提取的航向角来生成方向包围盒，并通过输出端子out将生成的方向包围盒输出到目标追踪单元150(步骤230)。这里，由于步骤230与上面参考图3所述的步骤40相同，省略了对其的重复描述。
[0138]
此后，图9所示的目标追踪单元150利用由包围盒生成单元146生成的方向包围盒来追踪目标。
[0139]
根据实施方案，记录了用于执行生成目标的像素数据的方法10的程序的计算机可读记录介质可以存储用于实现多个功能的程序。所述功能可以包括针对从目标获取的点云
中的roi来生成由单位像素组成的网格图的功能。所述功能可以进一步包括选择roi的参考点的功能。所述功能可以进一步包括生成像素索引的功能，所述像素索引以基准点为基准指示roi中存在的所有点的每一个点包括于网格图的多个单位像素中的哪一个单位像素。所述功能可以进一步包括利用像素索引生成像素数据的功能，所述像素数据包括关于roi中的每个单位像素中包括的点的数量以及每个单位像素的中心坐标的信息。
[0140]
根据另一实施方案，记录了用于执行确定目标方向的方法30的程序的计算机可读记录介质可以存储用于实现多个功能的程序。所述功能可以包括利用关于像素数据中包括的每个单位像素的中心坐标的信息来生成多个候选盒的功能。所述功能可以进一步包括利用关于像素数据中包括的中心坐标和点的数量的信息来计算多个候选盒的成本的功能。所述功能可以进一步包括在计算出的成本中选择具有最小成本的候选盒的功能。所述功能可以进一步包括提取倾斜度作为方向包围盒的航向角的功能，所述倾斜度为所选择的候选盒相对于纵轴倾斜的角度。所述功能可以进一步包括生成方向包围盒的功能，所述方向包围盒相对于纵轴倾斜提取的航向角并且包括roi中存在的所有点。这里，多个候选盒的每一个可以包括所有单位像素的中心，并且候选盒可以相对于纵轴以不同的角度倾斜。
[0141]
根据另一实施方案，记录了用于执行目标追踪方法的程序的计算机可读记录介质可以存储利用由目标方向确定方法30生成的方向包围盒(obb)来实现追踪目标的功能的程序。
[0142]
计算机可读记录介质包括存储了可由计算机系统读取的数据的所有种类的记录装置。计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、光盘rom(cd-rom)、磁带、软盘和光学数据存储装置。计算机可读记录介质也可以分布在网络连接的计算机系统上，从而以分布式方式存储和执行计算机可读代码。此外，本发明所属领域的普通技术人员(例如程序员)可以容易地解释用于实现目标追踪方法的功能程序、代码和代码段。
[0143]
以下，参考附图描述比较示例和本发明的实施方案。
[0144]
根据比较示例的目标追踪装置以点为单位而不是以像素为单位来提取航向角。下面将对此进行详细描述。
[0145]
图12a至图12f是用于说明根据比较示例的候选盒生成方法的示意图。图13示出了由比较示例生成的候选盒的示例。
[0146]
按照根据比较示例的目标方向的确定方法，如图12b所示，首先获取第一水平参考直线hrl1。第一水平参考直线hrl1经过roi中包括的多个点中基于水平参考直线hrl(参考图12a)的x轴坐标值最大的点。
[0147]
其后，如图12c所示，获取第二水平参考直线hrl2。第二水平参考直线hrl2经过roi中包括的多个点中基于水平参考直线hrl的x轴坐标值最小的点。这里，第一水平参考直线hrl1和第二水平参考直线hrl2平行于水平参考直线hrl。
[0148]
其后，如图12e所示，获取第一竖直参考直线vrl1。第一竖直参考直线vrl1经过roi中包括的多个点中基于竖直参考直线vrl(其垂直于水平参考直线hrl延伸，参考图12d)的y轴坐标值最小的点。
[0149]
其后，如图12f所示，获取第二竖直参考直线vrl2。第二竖直参考直线vrl2经过roi中包括的多个点中基于竖直参考直线vrl(图12d所示)的y轴坐标值最大的点。这里，第一竖
直参考直线vrl1和第二竖直参考直线vrl2平行于竖直参考直线vrl。
[0150]
此后，第一水平参考直线hrl1和第二水平参考直线hrl2与第一竖直参考直线vrl1和第二竖直参考直线vrl2相交以形成四个角点。从而，可以生成具有一定倾斜度且由四个点定义的候选盒，如图13所示。
[0151]
定义候选盒的四条直线hrl1、hrl2、vrl1和vrl2可以利用下面的方程式13至16来表示。
[0152]
[方程式13]
[0153]
hrl1：y＝mx (y
1-mx1)
…
(x1，y1)：(xj，yj)
[0154]
当距离(xj，yj，m)为u(j＝0，1，...，m-1)中的最大值时
[0155]
[方程式14]
[0156]
hrl2：y＝mx (y
2-mx2)
…
(x2，y2)：(xj，yj)
[0157]
当距离(xj，yj，m)为u(j＝0，1，...，m-1)中的最小值时
[0158]
[方程式15]
[0159]
vrl1：y＝m
′
x (y
3-m
′
x3)
…
(x3，y3)：(xj，yj)
[0160]
当距离(xj，yj，m
′
)为u(j＝0，1，...，m-1)中的最小值时
[0161]
[方程式16]
[0162]
vrl2：y＝m
′
x (y
4-m
′
x4)
…
(x4，y4)：(xj，yj)
[0163]
当距离(xj，yj，m
′
)为u(j＝0，1，...，m-1)中的最大值时
[0164]
在上面的方程式13至16中，“u”表示一组点，并用下面的方程式17表示，“m”和“m
′”
分别用上面的方程式9和10表示，如果将下标“i”变为“j”，则“距离(xj，yj，m)”对应于图5所示的“距离(xi，yi，m)”，“j”表示点的唯一编号，它将该点与其他点区分开。
[0165]
[方程式17]
[0166]
u＝{p|p(xj，yj)，j＝0，1，2，....，m-1}
[0167]
这里，“m”表示点的数量。
[0168]
将根据上述实施方案的方程式4至8与根据比较示例的方程式13至17进行比较，由于点的数量m远大于单位像素的数量n，可以看出，在实施方案中生成候选盒的计算量比在比较示例中生成候选盒的计算量少得多。
[0169]
假设如根据上面参考图3描述的实施方案的步骤32中所说明的那样获取多个候选盒来进一步描述比较示例。如图3的步骤34中所说明的，计算多个候选盒的每一个的成本。
[0170]
图14是用于说明根据比较示例的成本计算方法的示意图。为了帮助理解比较示例与实施方案之间的对比，图14所示的点分布与图2a所示的点分布相同。
[0171]
根据比较示例，如下计算图13所示的候选盒(其是通过图12a至图12f所示的过程获取)的成本。
[0172]
首先，获取roi中包括的每个点的坐标与候选盒的各个边之间的间隔距离。例如，参考图14，获取roi中包括的每个点(例如pj)与候选盒cbox的各个边hrl1、hrl2、vrl1和vrl2之间的间隔距离dj1、dj2、dj3和dj4。
[0173]
此后，利用下面的方程式18获取间隔距离中的最小值。
[0174]
[方程式18]
[0175]cj
＝min(dj1，dj2，dj3，dj4)
[0176]
这里，“c
j”表示间隔距离dj1、dj2、dj3、dj4中的最小值。
[0177]
例如，参考图14，获取间隔距离dj1、dj2、dj3和dj4中的最小值(例如dj2)。
[0178]
此后，对roi中包括的所有点的最小值求和，利用下面的方程式19表示，将求和的结果确定为候选盒的成本。
[0179]
[方程式19]
[0180][0181]
这里，“c'
θ”表示候选盒的成本。
[0182]
可以看出，根据实施方案利用方程式11和12获取每个候选盒的成本的计算量比根据比较示例利用方程式18和19获取每个候选盒的成本的计算量少得多。其原因是单位像素的数量n比roi中包括的点的数量m小得多。
[0183]
结果，由于实施方案执行基于像素的计算，与执行基于点的计算的比较示例相比，可以减少计算量。
[0184]
图15a至图15c是示出单位像素内的点变化的示意图。
[0185]
如果目标的形状是均匀的，例如在停止的车辆的情况下，需要生成恒定的航向角。然而，在比较示例中，如图12a至图14所示，由于当基于点提取航向角时，输入到lidar传感器110的点在每帧中微小地变化，可能会出现航向角由于点变化而抖动的现象。
[0186]
相比之下，在实施方案中，航向角是基于单位像素而不是基于点提取的。因此，即使输入到lidar传感器110的点在每帧中微小地变化或出现噪声，航向角也不会抖动。换句话说，根据实施方案，由于基于各个单位像素的中心cp1、cp2和cp3的坐标来提取航向角，因此即使点在单位像素的范围内变化，如图15a至图15c所示，也可以提取正确的航向角而不受点变化的影响。
[0187]
此外，由于可以根据主车与roi的距离来调节单位像素的面积(或尺寸)，可以提取正确的航向角而不受主车与roi之间的间隔距离的影响。换句话说，实施方案能够使点分布的微小变化对航向角提取的影响最小化，从而对lidar的点的微小变化和噪声具有鲁棒性。
[0188]
图16a和图16b示出了当目标是具有弯曲形状的目标车辆时，分别通过比较示例和实施方案获取的方向包围盒。
[0189]
由于目标车辆tv的前保险杠和后保险杠的拐角具有弯曲形状，当对与弯曲部分对应的点赋予横摆权重时，可能会输出不正确的航向角。方向包围盒呈长方形，两个相互垂直的方向分量比较重要。参考图16a，在顶点附近形成的弯曲形状不利地影响航向角的提取。换句话说，与比较示例一样，当基于各个点生成方向包围盒时，目标车辆tv的连续弯曲形状影响航向角的计算，并且方向包围盒obb1可能生成为变形的形状，如图16a所示。相比之下，根据本实施方案，由于方向包围盒是基于单位像素生成的，所以通过根据像素的尺寸使目标车辆tv的弯曲形状离散，可以避免目标车辆tv的弯曲形状影响航向角的计算。因此，可以直接地生成方向包围盒obb2而不发生变形，如图16b所示。换句话说，根据本实施方案，由于航向角是基于像素提取的，可以使目标车辆的弯曲形状对航向角提取的影响最小化。
[0190]
图17a和图17b示出由比较示例和实施方案生成的方向包围盒(例如bo1、bo2和bo3)。这里，基于主车10示出方向包围盒bo1、bo2和bo3。
[0191]
如上所述，在比较示例中，由于点的变化，航向角抖动。因此，提取的航向角a1、a2和a3与目标的实际航向角b1、b2和b3不重合，如图17a所示。此外，由于作为目标的目标车辆的前保险杠和后保险杠的拐角具有弯曲形状，方向包围盒bo1、bo2和bo3具有变形的形状，如图17a所示。
[0192]
相比之下，根据本实施方案，即使点发生变化，航向角也不抖动，因此提取的航向角a1、a2、a3与目标的实际航向角b1、b2、b3重合，如图17b所示。此外，即使作为目标的目标车辆的前保险杠和后保险杠的拐角具有弯曲形状，方向包围盒bo1、bo2和bo3也直接地生成而不变形，如图17b所示，而不同于图17a中所示的那样。
[0193]
此外，在比较示例中，由于作为目标的目标车辆的前保险杠和后保险杠的拐角具有弯曲形状，对与弯曲部分对应的点赋予横摆权重。相反，根据本实施方案，可以准确地提取具有弯曲形状的车辆的航向角，而不对与弯曲部分对应的点赋予权重。
[0194]
图18a至图18c示出了通过比较示例和本实施方案获取的方向包围盒。
[0195]
当目标500是高度较高的结构(例如，预拌混凝土车)时，如图18a所示，如比较示例那样，基于点生成的方向包围盒obbp1具有变形的形状，并且提取的航向角a4与目标500的实际航向角b4不重合。相比之下，如图18b所示，基于单位像素生成的方向包围盒obbp2，如实施方案那样，具有直线形状，并且提取的航向角a4与目标500的实际航向角b4重合。
[0196]
此外，根据本实施方案的目标追踪方法和装置可以利用基于稳定且准确地提取的航向角而生成的方向包围盒来更稳定地追踪目标。换句话说，在比较示例中，当利用抖动的航向角时，在每帧中出现横摆误差，因此，最终被追踪的目标的移动方向也抖动。相比之下，根据本实施方案，由于稳定地提取航向角而不会出现横摆误差。
[0197]
此外，当追踪目标时，比较示例需要利用单独的逻辑来分析和处理横摆误差。相比之下，根据本实施方案，由于稳定地提取航向角而不会出现横摆误差，因此可以省略在比较示例中执行的分析和处理。结果，根据本实施方案，可以稳定且准确地提取航向角，并利用基于正确的航向角生成的方向包围盒来准确地识别目标车辆的移动方向。从而，提高了对车辆行驶环境(例如另一车辆的突然接近)的识别性能，该性能是自动驾驶所必需的。换句话说，本实施方案通过稳定地提供正确的航向角，可以有助于提高目标追踪性能和行驶环境识别性能。
[0198]
通过根据上述实施方案生成目标的像素数据的方法10生成的像素数据也可以应用于美国专利公开no.2019/0004166(题为“method to determine the orientation of a target vehicle”)(以下称为“现有技术”)。换句话说，可以利用现有技术中提出的参考角度提取方法和成本计算方法，从而可以将通过根据实施方案生成目标的像素数据的方法10生成的像素而不是点应用于计算源。
[0199]
此外，根据上述实施方案生成目标的像素数据的方法10也可以应用于能够生成并输出点云或者通过变换提供点云的其他类型的传感器(例如，激光传感器、三维立体摄像机和距离传感器)。
[0200]
此外，如上所述，通过根据实施方案生成目标的像素数据的方法10生成的像素数据可以用于生成方向包围盒，并且还可以在其他模块中以变换的方式利用，以实现目标分类、聚类和追踪。例如，通过根据实施方案生成目标的像素数据的方法10生成的像素数据可以被变换并用于机器学习和图像处理。
[0201]
图19a和图19b是用于说明实施方案的应用示例的示意图。
[0202]
图19a示出了实际坐标系，图19b示出了通过以图2d所示的像素数据的形式对图19a所示的实际坐标系进行采样而获取的离散坐标系。这样，由于通过根据实施方案生成目标的像素数据的方法10而生成的网格图具有与图像的数据结构类似的数据结构，可以有用地将其应用于各种图像处理领域中执行的操作，诸如卷积和机器学习。例如，根据实施方案生成目标的像素数据的方法10可以应用于诸如直方图分析、特征提取、噪声去除、掩模滤波、轮廓检测和机器学习的应用技术。
[0203]
从上述说明中明显可以看出，按照根据实施方案的生成目标的像素数据的方法、确定目标方向的方法、用于追踪目标的方法和装置、以及存储执行这些方法的程序的记录介质，由于基于像素执行计算，用于生成候选盒的计算量或用于获取每个候选盒的成本的计算量比在比较示例中的计算量少得多。此外，实施方案能够使点分布的微小变化对航向角提取的影响最小化，从而对lidar的点的微小变化和噪声具有鲁棒性。此外，可以使目标车辆的弯曲形状对航向角提取的影响最小化。此外，由于稳定地提取航向角，不会出现横摆误差。此外，通过稳定地提供正确的航向角，可以提高目标追踪性能和出行环境识别性能。
[0204]
然而，通过本发明可实现的效果不限于上述效果。本领域普通技术人员应该通过上述描述清楚地理解本文未提及的其他效果。
[0205]
上述各种实施方案可以彼此组合而不偏离本发明的范围，除非它们彼此不兼容。
[0206]
此外，对于在各种实施方案中的任何一个中未详细描述的任何元件或过程，除非另有说明，否则可以参考在另一实施方案中具有相同附图标记的元件或过程的描述。
[0207]
尽管已经参考本发明的具体实施方案具体示出和描述了本发明，但这些实施方案仅是出于说明性目的而提出的，并不限制本发明。对于本领域的普通技术人员显而易见的是，在不偏离本文所述实施方案的基本特征的情况下，可以进行形式和细节上的各种变化。例如，可以修改和应用实施方案中所述的各个配置。此外，这种修改和应用中的差异应被解释为落入由所附权利要求所定义的本发明的范围内。