一种基于跟踪链的多目标跟踪方法及系统与流程

1.本发明涉及图像识别技术领域，具体而言，涉及一种基于跟踪链的多目标跟踪方法、系统、电子设备及计算机存储介质。


背景技术：

2.多目标追踪(multiple object tracking)，简单来说其主要任务就是给定一个图像序列，在识别出图像中的物体后，通过一个trace id将不同帧中的同一个物体进行表示，从而完成目标追踪的任务。当然这些物体可以是任意的，例如行人车辆各种动物等。多目标跟踪是计算机视觉技术的热点，也是实际应用的难点。2017年基于深度学习目标检测的sort算法，sort算法兼顾了追踪效果和速度，取得了不错的结果，但是容易因为遮挡导致跟踪失败。后来又出现了引入外观特征信息的deepsort算法，相比sort互换指标直接降低了近一半，但随之而来的是硬件规格变高。
3.可见，现有技术中的多目标追踪技术还存在诸多技术问题，难以满足实际需求。


技术实现要素：

4.为了至少解决上述背景技术中存在的技术问题，本发明提供了一种基于跟踪链的多目标跟踪方法、系统、电子设备及计算机存储介质。
5.本发明的第一方面提供了一种基于跟踪链的多目标跟踪方法，包括如下步骤：
6.按照预设间隔对监控图像中的第一目标对象进行识别，根据识别结果生成第一跟踪链；
7.当所述第一目标对象识别失败时，修改所述第一跟踪链的状态；
8.对新识别到的第二目标对象生成第二跟踪链；
9.计算所述第一跟踪链和所述第二跟踪链的相似度，根据所述相似度将所述第一跟踪链和所述第二跟踪链进行串接。
10.可选地，在所述按照预设间隔对监控图像中的若干目标对象进行识别之前，还包括：
11.获取监控图像，根据所述监控图像生成第一数量的第三跟踪链；
12.则所述根据识别结果生成第一跟踪链，包括：
13.将所述第三跟踪链按照识别顺序分配给识别出的所述目标对象。
14.可选地，所述根据所述监控图像生成第一数量的第三跟踪链，包括：
15.在预设周期内对所述监控图像中的第三目标对象进行识别，识别结果包括所述第三目标对象的数量和速度；
16.根据所述数量和速度确定第一数量，按照所述第一数量生成所述第三跟踪链。
17.可选地，所述第一跟踪链和所述第二跟踪链中包括速度数据、位置数据；
18.则所述计算所述第一跟踪链和所述第二跟踪链的相似度，包括：
19.根据所述速度数据和所述位置数据计算所述第一跟踪链在每个第一时刻的预测
位置；
20.计算所述预测位置与所述第二跟踪链中第二时刻的位置数据的残差，以及在卡尔曼筛选器下的标准差；
21.根据所述残差和所述标准差并采用高斯分布的概率密度函数计算相似度；
22.其中，所述第一时刻和所述第二时刻的距离小于预设阈值。
23.可选地，所述状态包括未昏迷、昏迷；
24.则所述当所述第一目标对象识别失败时，修改所述第一跟踪链的状态，包括：
25.若所述第一目标对象识别失败，则修改所述第一跟踪链的状态为昏迷，并将昏迷次数n1加1，并记录对应时刻；
26.若所述第一目标对象识别未失败，则将未昏迷次数n2加1，并记录对应时刻。
27.可选地，所述状态还包括未成熟、成熟；
28.则在所述计算所述第一跟踪链和所述第二跟踪链的相似度之前，还对所述第一跟踪链和所述第二跟踪链进行筛选处理，包括：
29.如果n1/len小于第一阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
30.和/或计算所述第一跟踪链和所述第二跟踪链在同一时刻处于“非昏迷”的次数n2，如果n2/len大于第二阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
31.计算所述第一跟踪链和所述第二跟踪链在同一时刻位置接近的次数n3，如果n3/len小于第三阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
32.计算所述第一跟踪链和所述第二跟踪链的夹角α，如果α大于第四阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；
33.其中，所述len代表的是跟踪链最大长度。
34.可选地，所述计算所述第一跟踪链和所述第二跟踪链的夹角α，包括：
35.计算所述第一跟踪链的像素速度u，以及计算所述第一跟踪链的链尾与所述第二跟踪链的链尾的向量v；
36.使用公式cos(α)＝u*v/(|u|*|v|)计算得出所述夹角。
37.本发明的第二方面提供了一种基于跟踪链的多目标跟踪系统，包括处理模块、存储模块、获取模块，所述处理模块分别与所述存储模块和所述获取模块连接；其中，
38.所述存储模块，用于存储可执行的计算机程序代码；
39.所述获取模块，用于获取监控图像，并传输给所述处理模块；
40.所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法。
41.本发明的第三方面提供了一种电子设备，包括：
42.存储有可执行程序代码的存储器；
43.与所述存储器耦合的处理器；
44.所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。
45.本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程
序，该计算机程序被处理器运行时执行如上任一项所述的方法。
46.本发明的方案，按照预设间隔对监控图像中的第一目标对象进行识别，根据识别结果生成第一跟踪链；当所述第一目标对象识别失败时，修改所述第一跟踪链的状态；对新识别到的第二目标对象生成第二跟踪链；计算所述第一跟踪链和所述第二跟踪链的相似度，根据所述相似度将所述第一跟踪链和所述第二跟踪链进行串接。本发明的方法能够简单、高效地实现对多目标对象的同步跟踪，而且不会因为遮挡而造成跟踪失败，具有更高的可靠性。
附图说明
47.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
48.图1是本发明实施例公开的一种基于跟踪链的多目标跟踪方法的流程示意图；
49.图2是本发明实施例公开的基于跟踪链的多目标跟踪方法的场景示意图；
50.图3是本发明实施例公开的一种基于跟踪链的多目标跟踪系统的结构示意图；
51.图4是本发明实施例公开一种电子设备的结构示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
54.在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
55.本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一输入、第二输入、第三输入和第四输入等是用于区别不同的输入，而不是用于描述输入的特定顺序。
56.在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
57.在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个处理单元是指两个或者两个以上的处理单元；多个元件是指两个或者两个以上的元件等。
58.需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
59.实施例一
60.请参阅图1，图1是本发明实施例公开的一种基于跟踪链的多目标跟踪方法的流程示意图。如图1所示，本发明实施例的一种基于跟踪链的多目标跟踪方法，包括如下步骤：
61.按照预设间隔对监控图像中的第一目标对象进行识别，根据识别结果生成第一跟踪链；
62.当所述第一目标对象识别失败时，修改所述第一跟踪链的状态；
63.对新识别到的第二目标对象生成第二跟踪链；
64.计算所述第一跟踪链和所述第二跟踪链的相似度，根据所述相似度将所述第一跟踪链和所述第二跟踪链进行串接。
65.在本发明实施例中，参照图2，监控图像中会存在多个第一目标对象，本发明按照预设间隔对监控图像进行目标对象的识别，对于每个第一目标对象为其建立第一跟踪链，同时，在跟踪过程中，当第一目标对象跟踪失败时(例如遮挡)，修改第一跟踪链的状态，当在后续又识别到新的第二目标对象时，为其生成第二跟踪链，于是，在跟踪周期之后，对第一跟踪链和第二跟踪链进行收集并计算相似度，在相似度满足条件时就可以将对应的第一跟踪链和第二跟踪链进行串接，从而实现了多目标的连续跟踪。本发明的方法能够简单、高效地实现对多目标对象的同步跟踪，而且不会因为遮挡而造成跟踪失败，具有更高的可靠性。
66.需要进行说明的是，本发明的方案可以实施于现场端，也可以实施于服务器端。其中，现场端可以为智能手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，mid)、可穿戴设备(例如智能手表、智能手环等)以及自动驾驶系统中的车载电脑等；服务器端可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，现场端和服务器端之间可以通过基站进行通信，现场端可以将采集的监控图像发送给服务器进行多目标跟踪处理，这样可以简化现场端的设备要求。而基站可以包括各种形式的基站，例如：宏基站、微基站(也称为小站)、中继站，接入点等。具体可以为无线局域网(wireless local area network，wlan)中的接入点(access point，ap)，全球移动通信系统(global system for mobile communications，gsm)或码分多址接入(code division multiple access，cdma)中的基站(base transceiver station，bts)，也可以是宽带码分多址(wideband code division multiple access，wcdma)中的基站(node b，nb)，还可以是lte中的演进型基站(evolved node b，e nb或e node b)，或者中继站或接入点，或者车载设备、可穿戴设备以及未来5g网络中的下一代节点b(the next generation node b，g nb)或者未来演进的公用陆地移动网(public land mobile network，plmn)网络中的基站等。
67.可选地，在所述按照预设间隔对监控图像中的若干目标对象进行识别之前，还包括：
68.获取监控图像，根据所述监控图像生成第一数量的第三跟踪链；
69.则所述根据识别结果生成第一跟踪链，包括：
70.将所述第三跟踪链按照识别顺序分配给识别出的所述目标对象。
71.在本发明实施例中，某些多目标对象跟踪场景下，目标对象的运动是十分迅速的，而且目标对象的数量也很多，在识别出目标对象之后再生成对应的跟踪链，会有所延误，甚至可能会导致跟踪框滞后于目标对象的情况出现。有鉴于此，本发明提前一定时间先生成第一数量的第三跟踪链待用，第三跟踪链是具有一定长度的空白跟踪链，于是，在目标对象被识别出来之后，则可以依照识别顺序而直接分配空白的第三跟踪链，相比于实时生成，能够有效降低跟踪链与目标对象的不同步。
72.需要进行说明的是，本发明中的第三跟踪链是空白的，指的是第三跟踪链中的链点没有填入时刻、位置数据等内容，在后续进行串接分析时，也是将依然空白的部分去掉，仅保留填入相关数据的链点。
73.可选地，所述根据所述监控图像生成第一数量的第三跟踪链，包括：
74.在预设周期内对所述监控图像中的第三目标对象进行识别，识别结果包括所述第三目标对象的数量和速度；
75.根据所述数量和速度确定第一数量，按照所述第一数量生成所述第三跟踪链。
76.在本发明实施例中，在正式进行多目标对象跟踪之前，先在较短的预设周期内进行针对第三目标对象的预识别，根据识别出的第三目标对象的数量和速度来确定第三跟踪链的第一数量。其中，对于第一数量的确定原则可以为：第三目标对象的数量和速度与第一数量呈正相关。如此设置，本发明的方案能够在第三目标对象越多且速度越快的情况下，预先生成更多的第三跟踪链，以满足后续的需要。
77.需要进行说明的是，本发明中的预设周期可以是当前的跟踪周期对应的上一跟踪周期，可以是上一跟踪周期的全部或部分，也即可以利用上一周期的目标对象的数据来预测下一周期的目标对象的数据，并据此预先生成对应数量的第三跟踪链。
78.可选地，所述第一跟踪链和所述第二跟踪链中包括速度数据、位置数据；
79.则所述计算所述第一跟踪链和所述第二跟踪链的相似度，包括：
80.根据所述速度数据和所述位置数据计算所述第一跟踪链在每个第一时刻的预测位置；
81.计算所述预测位置与所述第二跟踪链中第二时刻的位置数据的残差，以及在卡尔曼筛选器下的标准差；
82.根据所述残差和所述标准差并采用高斯分布的概率密度函数计算所述相似度；
83.其中，所述第一时刻和所述第二时刻的距离小于预设阈值。
84.在本发明实施例中，在对目标对象进行跟踪时会记录对应时刻的位置，根据这些数据可以预测得出第一目标对象在下一时刻的预测位置，也即第一跟踪链的下一链点，将其与第二跟踪链中与第一时刻接近的第二时刻的位置数据进行计算，分别求取出前述的残差和标准差，再利用高斯分布的概率密度函数对二者进行计算，即可得出第一跟踪链和第二跟踪链的相似度。
85.需要进行说明的是，第一跟踪链下一时刻的预测位置可以通过对在先的位置进行拟合或聚类处理后分析其运动趋势而得出，由于属于成熟的现有技术，本发明在此不再赘述。以及，利用高斯分布的概率密度函数的计算方法也属于成熟的现有技术，本发明同样不再赘述。
86.可选地，所述状态包括未昏迷、昏迷；
87.则所述当所述第一目标对象识别失败时，修改所述第一跟踪链的状态，包括：
88.若所述第一目标对象识别失败，则修改所述第一跟踪链的状态为昏迷，并将昏迷次数n1加1，并记录对应时刻；
89.若所述第一目标对象识别未失败，则将未昏迷次数n2加1，并记录对应时刻。
90.在本发明实施例中，在目标对象的识别跟踪过程中，因为遮挡等原因会导致目标对象的识别失败，此时，本发明将第一跟踪链的状态修改为昏迷，并将昏迷次数加1及记录时刻，反之则保持原先的未昏迷状态，同样进行次数累加及记录时刻。如此，可以清楚知晓各跟踪链在跟踪过程中的状态变化情况，有利于后续的串接分析。
91.可选地，所述状态还包括未成熟、成熟；
92.则在所述计算所述第一跟踪链和所述第二跟踪链的相似度之前，还对所述第一跟踪链和所述第二跟踪链进行筛选处理，包括：
93.如果n1/len小于第一阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
94.和/或计算所述第一跟踪链和所述第二跟踪链在同一时刻处于“非昏迷”的次数n2，如果n2/len大于第二阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
95.计算所述第一跟踪链和所述第二跟踪链在同一时刻位置接近的次数n3，如果n3/len小于第三阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；和/或
96.计算所述第一跟踪链和所述第二跟踪链的夹角α，如果α大于第四阈值，则放弃计算所述第一跟踪链和所述第二跟踪链的相似度；
97.其中，所述len代表的是跟踪链最大长度。
98.在本发明实施例中，为了降低相似度的计算量，本发明设置了对第一跟踪链和第二跟踪链进行初筛的环节，即利用上述初筛原则实现对明显不属于同一目标对象的第一跟踪链和第二跟踪链的快速筛除，进而提升多目标对象跟踪的效率。
99.需要进行说明的是，由于监控图像对应的被监控区域的大小是一定的，而且对监控图像中目标对象进行跟踪链的预设间隔也是固定的，于是跟踪链的长度是有上限的，即len。其中，len的值可以根据被监控区域的大小和预设间隔来确定，对于具体的确定方法，本发明在此不再赘述。
100.基于该处关于len值的确定方式，关于前述的第三跟踪链的长度，其确定方式可以为：根据所述监控图像中对应的被监控区域的大小和所述预设间隔确定第一长度，根据所述第三目标对象的所述数量和所述速度对所述第一长度进行修正：修正系数与所述第三目标对象的所述数量和所述速度呈负相关，且所述修正系数小于或等于1。其中，根据被监控区域的大小和预设间隔可以快速确定出第三跟踪链的第一长度也即最大长度，同时，当监控区域内的车辆越多、车速越高时，车辆间发生遮挡的概率也就越高，这会导致预先生成的空白的第三跟踪链基本不会全部被使用，存在较多的浪费，占用存储资源，于是，本发明根据第三目标对象的数量和速度负相关的调整修正系数，从而使得空白的第三跟踪链的长度是合理的。
101.以及，对于第一跟踪链和第二跟踪链在同一时刻的位置接近判断，可以采用如下
方式：
102.当所述第一跟踪链在某时刻的状态为昏迷时，回溯“非昏迷”时刻的该目标对象的位置数据，根据卡尔曼筛选器得出所述预测位置，计算所述预测位置与所述第二跟踪链的在对应时刻的位置数据的重叠度iou1，如果iou1小于阈值iou2，则认为第一跟踪链和第二跟踪链存在较大偏离，判定为不接近。
103.可选地，所述计算所述第一跟踪链和所述第二跟踪链的夹角α，包括：
104.计算所述第一跟踪链的像素速度u，以及计算所述第一跟踪链的链尾与所述第二跟踪链的链尾的向量v；
105.使用公式cos(α)＝u*v/(|u|*|v|)计算得出所述夹角。
106.在本发明实施例中，逐步计算出计算所述第一跟踪链的像素速度u，以及计算所述第一跟踪链的链尾与所述第二跟踪链的链尾的向量v，再利用上述夹角计算公式即可得出第一跟踪链和第二跟踪链之间的夹角。其中，向量v是由第一跟踪链的链尾和第二跟踪链的链尾得出，例如，直接将二者的链尾连接得出向量v。
107.实施例二
108.请参阅图3，图3是本发明实施例公开的一种基于跟踪链的多目标跟踪系统的结构示意图。如图3所示，本发明实施例的一种基于跟踪链的多目标跟踪系统(100)，包括处理模块(101)、存储模块(102)、获取模块(103)，所述处理模块(101)与所述存储模块(102)和所述获取模块(103)连接；其中，
109.所述存储模块(102)，用于存储可执行的计算机程序代码；
110.所述获取模块(103)，用于获取场景模型和ar标签，并传输给所述处理模块(101)；
111.所述处理模块(101)，用于通过调用所述存储模块(102)中的所述可执行的计算机程序代码，执行如实施例一所述的方法。
112.该实施例中的一种基于跟踪链的多目标跟踪系统的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
113.实施例三
114.请参阅图4，图4是本发明实施例公开的一种电子设备，包括：
115.存储有可执行程序代码的存储器；
116.与所述存储器耦合的处理器；
117.所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。
118.实施例四
119.本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。
120.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入系统、和至少一个输出系统接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入系统、和该至少一个输出系统。
121.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理系统的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
122.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、系统或设备使用或与指令执行系统、系统或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、系统或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
123.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示系统(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向系统(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向系统来将输入提供给计算机。其它种类的系统还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
124.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
125.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
126.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
127.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。