目标跟踪方法、装置、设备及存储介质与流程

1.本发明涉及自动驾驶领域领域，尤其涉及一种目标跟踪方法、装置、设备及存储介质。


背景技术：

2.相关技术中，自动驾驶车辆在行驶过程中可以利用车载摄像头向车外拍摄多帧图像，并通过检测该多帧图像中的目标物体(如，从自动驾驶车辆旁经过的人或其他车辆等)的对应关系实现对该目标物体的跟踪。
3.现有技术中，针对目标物体的跟踪通常是在3d环境下进行，并且可以选取多种方式进行跟踪，如选取3d的框进行跟踪等。然而，这种技术方案仅基于目标物体的距离来跟踪目标物体边框，考虑的因素较为单一，因而导致目标跟踪的准确性较低。


技术实现要素：

4.有鉴于此，本发明提出一种目标跟踪方法、装置、设备及存储介质以解决上述技术问题。
5.为了达到上述目的，本发明所采用的技术方案为：
6.根据本发明实施例的第一方面，提出了一种目标跟踪方法，包括：
7.获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
8.确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
9.基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
10.基于所述对应关系对所述目标物体进行跟踪。
11.在一实施例中，所述距离信息包括所述检测物体与所述当前车辆之间的距离。
12.在一实施例中，所述行驶信息包括所述检测物体的速度方向和所述检测物体的头部朝向中的至少一种。
13.在一实施例中，所述基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，包括：
14.利用预设算法，基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值；
15.基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
16.在一实施例中，所述基于所述对应关系对所述目标物体进行跟踪，包括：
17.基于卡尔曼算法对所述对应关系信息进行更新；
18.基于更新后的对应关系对所述目标物体进行跟踪。
19.在一实施例中，所述基于卡尔曼算法对所述对应关系信息进行更新，包括：
20.基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新；
21.基于所述目标物体的更新后的距离信息和更新后的行驶信息对所述对应关系信息进行更新。
22.根据本发明实施例的第二方面，提出了一种目标跟踪装置，包括：
23.序列图像获取模块，用于获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
24.物体信息确定模块，用于确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
25.对应关系确定模块，用于基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
26.目标物体跟踪模块，用于基于所述对应关系对所述目标物体进行跟踪。
27.在一实施例中，所述距离信息包括所述检测物体与所述当前车辆之间的距离。
28.在一实施例中，所述行驶信息包括所述检测物体的速度方向和所述检测物体的头部朝向中的至少一种。
29.在一实施例中，所述对应关系确定模块，包括：
30.评价指标确定单元，用于利用预设算法，基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值；
31.对应关系确定单元，用于基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
32.在一实施例中，所述目标物体跟踪模块，包括：
33.对应关系更新单元，用于基于卡尔曼算法对所述对应关系信息进行更新；
34.目标物体跟踪单元，用于基于更新后的对应关系对所述目标物体进行跟踪。
35.在一实施例中，所述对应关系更新单元还用于：
36.基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新；
37.基于所述目标物体的更新后的距离信息和更新后的行驶信息对所述对应关系信息进行更新。
38.根据本发明实施例的第三方面，提出了一种电子设备，所述电子设备包括：
39.处理器；
40.用于存储计算机程序的存储器；
41.其中，所述处理器被配置为在执行所述计算机程序时实现：
42.获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
43.确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
44.基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
45.基于所述对应关系对所述目标物体进行跟踪。
46.根据本发明实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器处理时实现：
47.获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
48.确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
49.基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
50.基于所述对应关系对所述目标物体进行跟踪。
51.与现有技术相比较，本发明通过获取当前车辆外部环境的序列图像，并确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息，以及基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，进而可以实现基于所述对应关系对所述目标物体进行跟踪，由于是基于图像帧中检测物体的距离信息和行驶信息确定目标物体与检测物体的对应关系，因而可以改善由于现有目标跟踪方案中考虑因素单一而导致的目标跟踪的准确性较低的问题，可以提高对目标物体进行跟踪的准确性。
附图说明
52.图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图；
53.图2示出了根据本发明的如何确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系的示意图；
54.图3示出了根据本发明的如何基于所述对应关系对所述目标物体进行跟踪的示意图；
55.图4示出了根据本发明的如何基于卡尔曼算法对所述对应关系信息进行更新的示意图；
56.图5示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；
57.图6示出了根据本发明的另一示例性实施例的目标跟踪装置的结构框图；
58.图7示出了根据本发明的一示例性实施例的电子设备的结构框图。
具体实施方式
59.以下将结合附图所示的具体实施例对本发明进行详细描述。但这些实施例并不限制本发明，本领域的普通技术人员根据这些实施例所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
60.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
61.应当理解，尽管在本发明可能采用术语第一、第二等来描述各种结构，但这些结构不应限于这些术语。这些术语仅用来将同一类型的结构彼此区分开。
62.图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图。本实施例的方法可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图1所示，该方法包括以下步骤s101
‑
s104：
63.在步骤s101中，获取当前车辆外部环境的序列图像。
64.本实施例中，可以通过当前车辆上预先设置的图像采集装置拍摄当前车辆的外部环境的序列图像，其中，所述序列图像中包含多幅连续图像帧，进而终端设备或服务端可以获取该图像采集装置所采集的序列图像。
65.其中，上述预设的图像采集装置可以包括车载摄像头等装置，本实施例对此不进行限定。
66.值得说明的是，上述序列图像中每帧图像的类型可以包括jpeg、png、gif、bmp等，本实施例对此不进行限定。
67.在步骤s102中，确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息。
68.本实施例中，当获取当前车辆外部环境的序列图像后，可以确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息。
69.举例来说，当获取当前车辆外部环境的序列图像后，可以从该序列图像的当前图像帧中识别出各个检测物体，进而可以基于预设的传感器获取每个检测物体的距离信息和行驶信息。
70.在一实施例中，上述距离信息可以包括所述检测物体与所述当前车辆之间的距离；上述行驶信息包括所述检测物体的速度方向和所述检测物体的头部朝向中的至少一种。举例来说，若检测物体为车辆，则其头朝向可以为该车辆的车头朝向，本实施例对此不进行限定。
71.值得说明的是，从当前图像帧中识别出各个检测物体的具体方式可以基于实际需要从相关技术中进行选择，本实施例对此不进行限定。
72.在步骤s103中，基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
73.本实施例中，当确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息后，可以基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，其中，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧。
74.举例来说，在确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息后，可以基于该距离信息和行驶信息与前一幅图像帧中目标物体的距离信息和行驶信息进行比较，以确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，即确定前一幅图像帧中目标物体是当前图像帧中的哪个检测物体，进而可以建立该检测物体与目标物体之间的对应关系。
75.在步骤s104中，基于所述对应关系对所述目标物体进行跟踪。
76.本实施例中，当基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系后，可以基于所述对应关系对所述目标
物体进行跟踪。
77.举例来说，当确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系后，可以基于该对应关系更新目标物体的运动轨迹，从而可以基于更新后的运动轨迹实现对目标物体的追踪。
78.由上述描述可知，本实施例的装置通过获取当前车辆外部环境的序列图像，并确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息，以及基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，进而可以实现基于所述对应关系对所述目标物体进行跟踪，由于是基于图像帧中检测物体的距离信息和行驶信息确定目标物体与检测物体的对应关系，因而可以改善由于现有目标跟踪方案中考虑因素单一而导致的目标跟踪的准确性较低的问题，可以提高对目标物体进行跟踪的准确性。
79.图2示出了根据本发明的如何确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系的示意图；本实施例在上述实施例的基础上以如何确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系为例进行示例性说明。如图2所示，上述步骤s103所述基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，可以包括以下步骤s201
‑
s202：
80.在步骤s201中，利用预设算法，基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值。
81.本实施例中，当确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息后，可以利用预设算法，基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值。
82.值得说明的是，上述预设算法可以基于实际业务需要进行设置，如设置为匈牙利算法等。相应地，上述评价指标值可以为匈牙利算法中的loss惩罚值。
83.举例来说，当确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息后，可以基于匈牙利算法中的loss惩罚值来比较各个检测物体的距离信息和行驶信息，如将该距离信息和行驶信息代入到匈牙利算法中的loss惩罚值的表达式中，得到各个检测物体相应的惩罚值。其中，该匈牙利算法中的loss惩罚值的表达式可以参见相关技术中的解释和说明，本实施例对此不进行限定。
84.在步骤s202中，基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
85.本实施例中，当基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值后，可以基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
86.举例来说，当基于匈牙利算法，利用上述各个检测物体的距离信息和行驶信息得到各个检测物体相应的惩罚值后，可以基于该惩罚值的数值大小确定当前图像帧中检测物体与前一图像帧中目标物体之间的对应关系，例如可以建立惩罚值最小的检测物体与目标物体之间的对应关系。
87.由上述描述可知，本实施例通过利用预设算法，基于所述前一幅图像帧中目标物
体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评价指标值，基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，可以实现准确地确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，进而可以实现后续基于所述对应关系对所述目标物体进行跟踪，可以提高对目标物体进行跟踪的准确性。
88.图3示出了根据本发明的如何基于所述对应关系对所述目标物体进行跟踪的示意图；本实施例在上述实施例的基础上以如何基于所述对应关系对所述目标物体进行跟踪为例进行示例性说明。如图3所示，上述步骤s104所述基于所述对应关系对所述目标物体进行跟踪，可以包括以下步骤s301
‑
s302：
89.在步骤s301中，基于卡尔曼算法对所述对应关系信息进行更新。
90.本实施例中，当基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系后，可以基于卡尔曼算法对所述对应关系信息进行更新。
91.举例来说，当确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系后，可以基于卡尔曼算法，如预先建立的卡尔曼滤波模型对之前确定的目标物体与检测物体之间的对应关系进行更新。
92.在另一实施例中，上述基于卡尔曼算法对所述对应关系信息进行更新的方式还可以参见下述图4所示实施例，在此先不进行详述。
93.在步骤s302中，基于更新后的对应关系对所述目标物体进行跟踪。
94.本实施例中，当基于卡尔曼算法对所述对应关系信息进行更新后，可以基于更新后的对应关系对所述目标物体进行跟踪。
95.由上述描述可知，本实施例通过基于卡尔曼算法对所述对应关系信息进行更新，并基于更新后的对应关系对所述目标物体进行跟踪，可以实现基于所述对应关系对所述目标物体进行跟踪，相比于现有目标跟踪方案中仅基于距离跟踪目标物体所导致的目标跟踪准确性较低的问题，可以提高对目标物体进行跟踪的准确性。
96.图4示出了根据本发明的如何基于卡尔曼算法对所述对应关系信息进行更新的示意图；本实施例在上述实施例的基础上以如何基于卡尔曼算法对所述对应关系信息进行更新为例进行示例性说明。如图4所示，上述步骤s301所述基于卡尔曼算法对所述对应关系信息进行更新，可以包括以下步骤s401
‑
s402：
97.在步骤s401中，基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新。
98.本实施例中，当基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系后，可以基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新。
99.在步骤s402中，基于所述目标物体的更新后的距离信息和更新后的行驶信息对所述对应关系信息进行更新。
100.本实施例中，当根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新后，可以基于所述目标物体的更新后的距离
信息和更新后的行驶信息对所述对应关系信息进行更新。
101.由上述描述可知，本实施例通过基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新，并基于所述目标物体的更新后的距离信息和更新后的行驶信息对所述对应关系信息进行更新，可以实现基于卡尔曼算法对所述对应关系信息进行更新，进而可以实现后续基于更新后的对应关系对所述目标物体进行跟踪，可以提高对目标物体进行跟踪的准确性。
102.图5示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图5所示，该装置包括：序列图像获取模块110、物体信息确定模块120、对应关系确定模块130以及目标物体跟踪模块140，其中：
103.序列图像获取模块110，用于获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
104.物体信息确定模块120，用于确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
105.对应关系确定模块130，用于基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
106.目标物体跟踪模块140，用于基于所述对应关系对所述目标物体进行跟踪。
107.由上述描述可知，本实施例的装置通过获取当前车辆外部环境的序列图像，并确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息，以及基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，进而可以实现基于所述对应关系对所述目标物体进行跟踪，由于是基于图像帧中检测物体的距离信息和行驶信息确定目标物体与检测物体的对应关系，因而可以改善由于现有目标跟踪方案中考虑因素单一而导致的目标跟踪的准确性较低的问题，可以提高对目标物体进行跟踪的准确性。
108.图6示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。其中，序列图像获取模块210、物体信息确定模块220、对应关系确定模块230以及目标物体跟踪模块240与前述图5所示实施例中的序列图像获取模块110、物体信息确定模块120、对应关系确定模块130以及目标物体跟踪模块140的功能相同，在此不进行赘述。
109.在一实施例中，上述距离信息可以包括所述检测物体与所述当前车辆之间的距离。
110.在一实施例中，上述行驶信息可以包括所述检测物体的速度方向和所述检测物体的头部朝向中的至少一种。
111.进一步地，如图6所示，上述对应关系确定模块230，可以包括：
112.评价指标确定单元231，用于利用预设算法，基于所述前一幅图像帧中目标物体的距离信息和行驶信息以及所述当前图像帧中各个检测物体的距离信息和行驶信息确定评
价指标值；
113.对应关系确定单元232，用于基于所述评价指标值确定所述一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系。
114.在一实施例中，上述目标物体跟踪模块240，可以包括：
115.对应关系更新单元241，用于基于卡尔曼算法对所述对应关系信息进行更新；
116.目标物体跟踪单元242，用于基于更新后的对应关系对所述目标物体进行跟踪。
117.在一实施例中，上述对应关系更新单元241还可以用于：
118.基于卡尔曼算法，根据当前获取的所述目标物体的距离信息和行驶信息对所述目标物体的历史距离信息和历史行驶信息进行更新；
119.基于所述目标物体的更新后的距离信息和更新后的行驶信息对所述对应关系信息进行更新。
120.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
121.本发明目标跟踪装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明的目标跟踪装置所在电子设备的一种硬件结构图，除了图7所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
122.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现以下任务处理方法：
123.获取当前车辆外部环境的序列图像，所述序列图像中包含多幅连续图像帧；
124.确定所述序列图像的当前图像帧中各个检测物体的距离信息和行驶信息；
125.基于所述距离信息和所述行驶信息，确定前一幅图像帧中目标物体与所述当前图像帧中的检测物体之间的对应关系，所述前一图像帧为所述序列图像中位于所述当前图像帧之前的一幅图像帧；
126.基于所述对应关系对所述目标物体进行跟踪。
127.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本发明的权利要求指出。
128.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。