一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

目标跟踪方法、装置、终端及存储介质与流程

2022-06-01 06:01:46 来源:中国专利 TAG:


1.本公开涉及终端技术领域,尤其涉及一种目标跟踪方法、装置、终端及存储介质。


背景技术:

2.随着智能交通系统的飞速发展,跨摄像头的多目标跟踪成为重要的计算机视觉任务之一。跨摄像头多目标跟踪的目的在于在多摄像头系统中定位并标识车辆。
3.一般情况下,大多数跨摄像头多目标跟踪系统由两个关键模块组成,分别为单摄像头内多目标跟踪和跨摄像头的多目标跟踪。单摄像头内多目标跟踪算法旨在跟踪单个摄像头内的车辆轨迹,而跨摄像头的多目标跟踪旨在通过车辆重识别技术,在多个摄像头内重新识别同一辆车的轨迹。


技术实现要素:

4.为克服相关技术中存在的问题,本公开提供一种目标跟踪方法、装置、终端及存储介质。
5.根据本公开实施例的第一方面,提供一种目标跟踪方法,应用于终端,所述方法包括:
6.每经过一个设定时长,获取多个检测图像,所述多个检测图像由多个检测模组检测得到,所述多个检测图像与所述多个检测模组一一对应;
7.将当前时刻的第一检测图像,以及相应的上一时刻的第二检测图像,输入至设定深度学习网络模型,确定所述第一检测图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息,其中,所述当前时刻与所述上一时刻的时长等于所述设定时长,所述位置偏移信息表征相应跟踪目标由所述上一时刻至所述当前时刻的偏移距离;
8.根据所述上一时刻对应的全部第二位置信息,以及所述当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为所述当前时刻的全部所述第一检测图像对应的每个跟踪目标配置轨迹标识。
9.可选地,所述根据所述上一时刻对应的全部第二位置信息,以及所述当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为所述当前时刻的全部所述第一检测图像对应的每个跟踪目标配置轨迹标识,包括:
10.根据第一检测图像中跟踪目标的第一位置信息和第一位置偏移信息,确定目标检测模组在所述上一时刻检测到的此跟踪目标的预测位置信息,其中,所述目标检测模组为,用于检测到此第一检测图像的检测模组;
11.根据全部预测位置信息和全部第二位置信息,生成代价矩阵;其中,所述代价矩阵的行数和列数分别等于预测位置信息的个数和第二位置信息的个数,所述代价矩阵中的元素为相应预设位置信息与第二位置信息所表征位置之间的距离;
12.确定所述代价矩阵的最优解;
13.根据每个所述最优解,确定一个特征对,所述特征对包括一组对应于同一跟踪目
标的第一重识别特征和历史特征;
14.将每个所述特征对中的历史特征和第一重识别特征进行特征融合处理,得到融合后的特征,并将此特征对中历史特征的轨迹标识,确定为所述融合后的特征的轨迹标识,并将所述第一重识别特征更新为所述融合后的特征。
15.可选地,所述确定所述代价矩阵的最优解,包括:
16.使用贪心算法确定所述代价矩阵的最优解。
17.可选地,所述将此特征对中历史特征的轨迹标识,确定为所述融合后的特征的轨迹标识,并将所述第一重识别特征更新为所述融合后的特征之后,所述方法包括:
18.根据层次聚类算法,将全部第一重识别特征中,对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组;
19.为同一特征组的全部第一重识别特征配置相同的轨迹标识。
20.可选地,所述根据层次聚类算法,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组,包括:
21.根据设定距离阈值和任意两个第一重识别特征的欧几里得距离,以及所述层次聚类算法,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组。
22.可选地,所述为同一特征组的全部第一重识别特征配置相同的轨迹标识,包括:
23.若特征组中存在已经配置了轨迹标识的第一重识别特征,则将此轨迹标识确定为此特征组中全部第一重识别特征的轨迹标识;和/或,
24.若特征组中不存在已经配置了轨迹标识的第一重识别特征,则为此特征组的全部第一重识别特征配置新的轨迹标识。
25.可选地,所述为同一特征组的全部第一重识别特征配置相同的轨迹标识之后,所述方法包括:
26.将同一特征组中的全部第一重识别特征进行特征融合处理,得到加权融合后的特征,并将此特征添加至历史特征池,作为此特征组对应的跟踪目标的新历史特征,同时,若此跟踪目标在历史特征池中存在原历史特征,则删除此原历史特征。
27.可选地,所述为同一特征组的全部第一重识别特征配置相同的轨迹标识之后,所述方法包括:
28.从未确定轨迹标识的第一重识别特征中,确定每一个第一重识别特征与每一个历史特征的相似度;
29.若所述相似度大于设定相似度阈值,则将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识;和/或,若所述相似度小于或等于设定相似度阈值,则为相应的第一重识别特征创建新的轨迹标识。
30.可选地,所述将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识之后,所述方法包括:将此历史特征与此第一重识别特征进行特征融合处理,得到融合后的新特征,并将历史特征池中的此历史特征,更新为此新特征;
31.和/或,
32.所述为相应的第一重识别特征创建新的轨迹标识之后,所述方法包括:将此第一重识别特征添加至历史特征池,作为新的历史特征。
33.可选地,所述设定深度学习网络模型通过以下方法确定:
34.获取多个训练样本对,每个所述训练样本对包括输入样本和输出样本,所述输入样本包括同一个检测模组检测间隔所述设定时长检测到的第一样本图像和第二样本图像,所述输出样本为所述第一样本图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息,其中,所述第一样本图像较后的时刻检测到的图像;
35.通过所述多个训练样本对对原始神经网络模型进行训练,得到所述设定深度学习网络模型。
36.根据本公开实施例的第二方面,提供一种目标跟踪装置,应用于终端,所述装置包括:
37.获取模块,用于每经过一个设定时长,获取多个检测图像,所述多个检测图像由多个检测模组检测得到,所述多个检测图像与所述多个检测模组一一对应;
38.确定模块,用于将当前时刻的第一检测图像,以及相应的上一时刻的第二检测图像,输入至设定深度学习网络模型,确定所述第一检测图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息,其中,所述当前时刻与所述上一时刻的时长等于所述设定时长,所述位置偏移信息表征相应跟踪目标由所述上一时刻至所述当前时刻的偏移距离;
39.还用于根据所述上一时刻对应的全部第二位置信息,以及所述当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为所述当前时刻的全部所述第一检测图像对应的每个跟踪目标配置轨迹标识。
40.可选地,所述确定模块,用于:
41.根据第一检测图像中跟踪目标的第一位置信息和第一位置偏移信息,确定目标检测模组在所述上一时刻检测到的此跟踪目标的预测位置信息,其中,所述目标检测模组为,用于检测到此第一检测图像的检测模组;
42.根据全部预测位置信息和全部第二位置信息,生成代价矩阵;其中,所述代价矩阵的行数和列数分别等于预测位置信息的个数和第二位置信息的个数,所述代价矩阵中的元素为相应预设位置信息与第二位置信息所表征位置之间的距离;
43.确定所述代价矩阵的最优解;
44.根据每个所述最优解,确定一个特征对,所述特征对包括一组对应于同一跟踪目标的第一重识别特征和历史特征;
45.将每个所述特征对中的历史特征和第一重识别特征进行特征融合处理,得到融合后的特征,并将此特征对中历史特征的轨迹标识,确定为所述融合后的特征的轨迹标识,并将所述第一重识别特征更新为所述融合后的特征。
46.可选地,所述确定模块,用于:
47.使用贪心算法确定所述代价矩阵的最优解。
48.可选地,所述确定模块,用于:
49.根据层次聚类算法,将全部第一重识别特征中,对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组;
50.为同一特征组的全部第一重识别特征配置相同的轨迹标识。
51.可选地,所述确定模块,用于:
52.根据设定距离阈值和任意两个第一重识别特征的欧几里得距离,以及所述层次聚
类算法,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组。
53.可选地,所述确定模块,用于:
54.若特征组中存在已经配置了轨迹标识的第一重识别特征,则将此轨迹标识确定为此特征组中全部第一重识别特征的轨迹标识;和/或,
55.若特征组中不存在已经配置了轨迹标识的第一重识别特征,则为此特征组的全部第一重识别特征配置新的轨迹标识。
56.可选地,所述装置包括更新模块,所述更新模块,用于:
57.将同一特征组中的全部第一重识别特征进行特征融合处理,得到加权融合后的特征,并将此特征添加至历史特征池,作为此特征组对应的跟踪目标的新历史特征,同时,若此跟踪目标在历史特征池中存在原历史特征,则删除此原历史特征。
58.可选地,所述确定模块,用于:
59.从未确定轨迹标识的第一重识别特征中,确定每一个第一重识别特征与每一个历史特征的相似度;
60.若所述相似度大于设定相似度阈值,则将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识;和/或,若所述相似度小于或等于设定相似度阈值,则为相应的第一重识别特征创建新的轨迹标识。
61.可选地,所述装置包括更新模块,所述更新模块,用于:
62.所述将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识之后,将此历史特征与此第一重识别特征进行特征融合处理,得到融合后的新特征,并将历史特征池中的此历史特征,更新为此新特征;
63.和/或,
64.所述为相应的第一重识别特征创建新的轨迹标识之后,将此第一重识别特征添加至历史特征池,作为新的历史特征。
65.根据本公开实施例的第三方面,提供一种终端,所述终端包括:
66.处理器;
67.用于存储所述处理器可执行指令的存储器;
68.其中,所述处理器被配置为执行如第一方面任意一项所述的方法。
69.根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得所述终端能够执行如第一方面任意一项所述的方法。
70.本公开的实施例提供的技术方案可以包括以下有益效果:此方法中,使用同一个深度学习网络模型来确定当前时刻检测到的每个检测图像中跟踪目标的位置信息、重识别特征以及位置偏移信息,可以提高整个目标跟踪方法的效率,并且,由于可直接得到位置偏移信息(表征相应跟踪目标由上一时刻至当前时刻的偏移距离),可以提升整个目标跟踪方法的性能,为实时地、在线地跨检测模组的多目标跟踪提供了条件,可以更好地满足用户的使用体验。
71.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
72.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
73.图1是根据一示例性实施例示出的目标跟踪方法的流程图。
74.图2是根据一示例性实施例示出的目标跟踪装置的框图。
75.图3是根据一示例性实施例示出的终端的框图。
具体实施方式
76.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
77.本公开提供了一种目标跟踪方法,应用于终端。此方法中,使用同一个深度学习网络模型来确定当前时刻检测到的每个检测图像中跟踪目标的位置信息、重识别特征以及位置偏移信息,可以提高整个目标跟踪方法的效率,并且,由于可直接得到位置偏移信息(表征相应跟踪目标由上一时刻至当前时刻的偏移距离),可以提升整个目标跟踪方法的性能,为实时地、在线地跨检测模组的多目标跟踪提供了条件,可以更好地满足用户的使用体验。
78.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。终端可以是汽车、服务器、电脑等。参考图1所示,此方法包括:
79.s110、每经过一个设定时长,确定多个检测图像;
80.s120、将当前时刻的第一检测图像,以及相应的上一时刻的第二检测图像,输入至设定深度学习网络模型,确定第一检测图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息;
81.s130、根据上一时刻对应的全部第二位置信息,以及当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为当前时刻的全部第一检测图像对应的每个跟踪目标配置轨迹标识。
82.在步骤s110中,多个检测图像由多个检测模组检测得到,多个检测图像与多个检测模组一一对应。多个检测模组指,检测模组的数量可以是两个,也可以是两个以上。检测模组可以包括摄像头。检测模组可以设置于终端,也可以与终端电连接。检测模组检测到检测图像后,便可将检测图像传输至终端的处理器,以使得终端的处理器获得检测图像。
83.每个检测模组的位置固定后,可将其对应的能够检测到图像的区域,记为此检测模组的预设检测区域。例如,终端为汽车,汽车上可设置多个摄像头,例如四个摄像头,分别用于检测汽车以下方位的图像:正前、左前、左后和正后。
84.需要说明的是,检测模组的位置可调,从而实现预设检测区域的可调,以更好地满足用户的使用需求。
85.设定时长可以指检测周期的时长,设定时长可以设置在终端,也可以设置在检测模组。
86.当设定时长设置在终端时,其可以是终端出厂前设置的,也可以是终端出厂后设置的,并且,后续还可对其进行修改。当设定时长设置在检测模组时,其设置方式与其设置
在终端的方式相同,在此不做赘述。
87.设定时长可以根据实际情况确定。终端的数据处理能力越好,设定时长可以越短。终端的数据处理能力越差,设定时长可越长。
88.例如,可将相邻两帧之间的时长确定为设定时长。此情况下,终端可获取图像检测模块检测到的每一帧图像。
89.再例如,可将相邻十帧之间的时长确定为设定时长。此情况下,终端可将第一帧的图像作为当前检测周期的检测图像,然后将第十一帧的图像作为下一检测周期的检测图像。
90.此步骤s110中,每隔一个设定时长,每个检测模组便可将当前时刻检测到的检测图像传输至终端的处理器,以使得处理器获得相应检测模组在当前时刻检测到的检测图像。
91.需要说明的是,在每个检测周期内(即每隔一个设定时长),全部检测模组在同一时刻对相应预设检测区域进行一次图像检测,以获得此时刻的多个检测图像。
92.示例1,
93.终端为汽车,汽车上设置有三个检测模组,检测模组为摄像头。三个摄像头检测周期相同,检测周期为相邻帧的时长,即设定时长为相邻帧的时长。三个摄像头分别记为第一摄像头、第二摄像头和第三摄像头。第一摄像头的预设检测区域记为第一区域,第二摄像头的预设检测区域记为第二区域,第三摄像头的预设检测区域记为第三区域。
94.启动汽车的目标跟踪后,第一摄像头、第二摄像头和第三摄像头同时启动,以分别检测第一区域、第二区域和第三区域的图像。
95.此示例中,第一摄像头将每一帧检测到的图像均传输至汽车的处理器,使得处理器获取到每个检测周期下第一摄像头检测到的第一区域的检测图像。第二摄像头将每一帧检测到的图像均传输至汽车的处理器,使得处理器获取到每个检测周期下第二摄像头检测到的第二区域的检测图像。第三摄像头将每一帧检测到的图像均传输至汽车的处理器,使得处理器获取到每个检测周期下第三摄像头检测到的第三区域的检测图像。从而使得汽车的处理器获得每个检测周期下,每个预设检测区域的检测图像。
96.在步骤s120中,当前时刻与上一时刻的时长等于设定时长,当前时刻指当前检测周期检测图像的时刻,上一时刻指上一检测周期检测图像的时刻。当前时刻获取的检测图像记为第一检测图像,上一时刻获取的检测图像记为第二检测图像。
97.此步骤中,可将相邻检测周期的检测图像(即第一检测图像和第二检测图像),输入至设定深度学习网络模型,此设定深度学习网络模型便可对上述检测图像进行处理,输出当前检测周期(即当前时刻)的每个检测图像中的跟踪目标对应的位置信息、重识别特征以及位置偏移信息。其中,检测图像可包括不止一个跟踪目标的目标图像,检测图像中的跟踪目标指,该检测图像中全部目标图像对应的跟踪目标。跟踪目标的位置信息、重识别特征以及位置偏移信息指,基于此跟踪目标对应的目标图像所对应的位置信息、重识别特征以及位置偏移信息。位置偏移信息表征相应跟踪目标由上一时刻至当前时刻的偏移距离。跟踪目标可以是行人、汽车、自行车、电动车、动物等等,在此不作限定。
98.其中,设定深度学习网络模型可通过以下方法确定:
99.s100、获取多个训练样本对;
100.s200、通过所述多个训练样本对对原始神经网络模型进行训练,得到所述设定深度学习网络模型。
101.在步骤s100中,每个训练样本对包括输入样本和输出样本。输入样本包括同一个检测模组在第一时刻检测到的第一样本图像,以及第二时刻检测到的第二样本图像。其中,第一时刻和第二时刻间隔设定时长,且第一时刻位置与第二时刻之后。由此可知,第一样本图像为设定时长为较后时刻检测到的图像。
102.输出样本为第一样本图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息。
103.需要说明的是,每个训练样本对的输入样本均由同一检测模组检测得到。但是,不同的训练样本对中的输入样本,可以由不同的检测模组检测得到。例如,多个训练样本对可分成三部分,第一部分的训练样本对中的输入样本均由第一检测模组检测得到,第二部分的训练样本中的输入样本均由第二检测模组检测得到,第三部分的训练样本中的输入样本均由第三检测模组检测得到。
104.在步骤s200中,原始神经网络模型可以是resdcn18,其中,resdcn18在resnet18的基础增加dcn(可变形卷积网络)形成的。
105.其中,设定深度学习网络模型可包括主干网络以及附加检测头(detection head)、重识别特征头(reid head)和中心坐标偏移量头(tracking offset head)。其中,reid的全称为re-identification,表示重识别。
106.检测头用于确定位置信息,位置信息可以包括跟踪目标的中心坐标以及跟踪目标的尺寸信息等,例如,位置信息可记为b=(cx,cy,w,h)。其中,cx和cy表示跟踪目标的中心位置信息,其为跟踪目标的中心坐标,w表征跟踪目标的横向尺寸(又可叫长度尺寸),h表征跟踪目标的纵向尺寸(又可叫高度尺寸)。中心坐标偏移量头用于确定位置偏移信息,位置偏移信息可以是中心坐标偏移量,中心坐标偏移量可记为d=(dx,dy)。其中,关于位置信息和中心坐标偏移量的网络分支的训练过程,可参考centertrack。
107.重识别特征头用于确定重识别特征,重识别特征可记为f。关于重识别的网络分支的训练中,可将每一个跟踪目标划分为独立的类别,使用交叉熵损失函数进行监督;一共训练140个epoch(一个epoch就是将所有训练样本训练一次的过程),batchsize(一次训练所选取的样本数)大小为32,初始学习率设置为1.25e-4,在第90个和第120个epoch分别将学习率衰减为原来的1/10,其中,可使用adam优化器进行网络参数的更新。
108.示例2,
109.此示例2中的终端为示例1的终端相同。
110.此示例2中,第一摄像头在当前时刻的检测图像为,第一摄像头在当前帧的检测图像。此检测图像可记为第一检测图像。第一摄像头在上一时刻的检测图像为,第一摄像头在上一帧的检测图像。此检测图像可记为第二检测图像。
111.将第一检测图像和第二检测图像输入设定深度学习网络模型,设定深度学习网络模型便可输出第一检测图像中每个跟踪目标的位置信息b1、重识别特征f1和中心坐标偏移量d1。使得处理器确定第一摄像头检测到的跟踪目标的位置信息b1、重识别特征f1和中心坐标偏移量d1。
112.同理,汽车的处理器便可确定第二摄像头检测到的跟踪目标的位置信息b2、重识
别特征f2和中心坐标偏移量d2,以及第三摄像头检测到的跟踪目标的位置信息b3、重识别特征f3和中心坐标偏移量d3。
113.由此,汽车的处理器便确定了当前时刻的每个第一检测图像中的跟踪目标的位置信息、重识别特征以及中心坐标偏移量。
114.在步骤s130中,每隔一个设定时长,终端便可确定一次当前时刻的每个检测图像中的每个跟踪目标的位置信息、重识别特征以及位置偏移信息。
115.此步骤中,上一时刻指上一检测周期对应的图像检测时刻。上一时刻检测到的检测图像记为第二检测图像。上一检测周期的检测图像中的每个跟踪目标的位置信息、重识别特征和位置偏移信息,分别依次记为第二位置信息、第二重识别特征和第二位置偏移信息。跟踪目标在第二检测图像的图像可记为第二目标图像。
116.当前时刻指当前检测周期对应的图像检测时刻。当前时刻检测到的检测图像记为第一检测图像。当前检测周期的检测图像中的每个跟踪目标的位置信息、重识别特征和位置偏移信息,分别依次记为第一位置信息、第一重识别特征和第一位置偏移信息。跟踪目标在第一检测图像的图像可记为第一目标图像。
117.此步骤可根据全部第二位置信息,以及全部第一位置信息、全部第一重识别特征和全部第一位置偏移信息,确定同一检测模组检测在上一时刻和当前时刻是否检测到相同的跟踪目标,以及确定全部检测模组在当前时刻是否检测到相同的跟踪目标,然后为同一跟踪目标对应的第一重识别特征配置相同的轨迹标识。基于此,便可为多个检测模组检测到的同一跟踪目标配置相同的轨迹标识,以更好地实现跨摄像头的多目标跟踪。
118.其中,在确定同一检测模组检测在上一时刻和当前时刻是否检测到相同的跟踪目标时,相关技术中,一般会使用kalman(卡尔曼)滤波算法,以及匈牙利算法,但这种方法在跟踪目标处于拐弯场景中的性能有限,准确度较差。
119.本公开的方法中,由于设定深度学习网络模型可直接确定跟踪目标由上一时刻至当前时刻的位置偏移信息,便可直接基于同一跟踪目标的位置偏移信息以及第一位置信息,预测该跟踪目标在上一时刻的位置信息,因此,此方法在不使用kalman(卡尔曼)滤波算法进行上一时刻的位置信息预测的前提下,便能够取得较好的同一检测模组内的目标跟踪性能,可提升目标跟踪的可靠性。
120.该方法中,使用同一个深度学习网络模型来确定当前时刻检测到的每个检测图像中每个跟踪目标的位置信息、重识别特征以及位置偏移信息,可以提高整个目标跟踪方法的效率,并且,由于可直接得到位置偏移信息(表征跟踪目标由上一时刻至当前时刻的偏移距离),可以提升整个目标跟踪方法的性能,为实时地、在线地跨检测模组的多目标跟踪提供了条件,可以更好地满足用户的使用体验。
121.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。此方法中,根据上一时刻对应的全部第二位置信息,以及当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为当前时刻的全部第一检测图像对应的每个跟踪目标配置轨迹标识,可包括:
122.s210、根据第一检测图像中跟踪目标的第一位置信息和第一位置偏移信息,确定目标检测模组在上一时刻检测到的此跟踪目标的预测位置信息,其中,目标检测模组为,用于检测到第一检测图像的检测模组;
123.s220、根据全部预测位置信息和全部第二位置信息,生成代价矩阵;
124.s230、确定代价矩阵的最优解;
125.s240、根据代价矩阵的最优解,确定一个特征对,特征对包括一组对应于同一跟踪目标的第一重识别特征和历史特征;
126.s250、将每个特征对中的历史特征和第一重识别特征进行特征融合处理,得到融合后的特征,并将此特征对中历史特征的轨迹标识,确定为融合后的特征的轨迹标识,并将第一重识别特征更新为融合后的特征。
127.在步骤s210中,一般情况下,每个检测模组在当前时刻可检测到一个第一检测图像,基于设定深度学习网络模型,可确定每个第一检测图像中的跟踪目标的第一位置信息、第一位置偏移信息和第一重识别特征。其中,对于每个检测模组,可根据同一跟踪目标的第一位置信息和第一位置偏移信息,确定此跟踪目标在上一时刻的预测位置信息。
128.其中,第一位置信息一般可记为b=(cx,cy,w,h),cx和cy表示跟踪目标的中心位置信息,其为跟踪目标的中心坐标,w表征跟踪目标的横向尺寸(又可叫长度尺寸),h表征跟踪目标的纵向尺寸(又可叫高度尺寸)。第一位置偏移信息一般为中心坐标偏移量,可记为d=(dx,dy),基于上述第一位置信息和第一位置偏移信息,可确定相应的预测位置信息y=(cx-dx,cy-dy)。
129.示例1,
130.终端为汽车,汽车上设置有两个检测模组,检测模组为摄像头。两个摄像头检测周期相同,检测周期为相邻帧的时长。两个摄像头分别记为第一摄像头和第二摄像头。启动汽车的目标跟踪后,第一摄像头和第二摄像头同时启动,以基于检测周期分别检测第一区域和第二区域的图像。第一区域为第一摄像头的预设检测区域,第二区域为第二摄像头的预设检测区域。
131.第一摄像头在当前时刻检测到的检测图像包括两个跟踪目标的目标图像,分别记为其中一个跟踪目标的目标图像m1,以及另一个跟踪目标的目标图像m2。第二摄像头在当前时刻检测到的检测图像也包括两个跟踪目标的目标图像,分别记为其中一个跟踪目标的目标图像m3,以及另一个跟踪目标的目标图像m4。
132.此示例中,根据目标图像m1对应的第一位置信息b
m1
和第一中心坐标偏移量d
m1
,可确定目标图像m1对应的跟踪目标在上一时刻的预测位置信息y
m1
。同理,便可确定目标图像m2对应的跟踪目标在上一时刻的预测位置信息y
m2
、目标图像m3对应的跟踪目标在上一时刻的预测位置信息y
m3
以及目标图像m4对应的跟踪目标在上一时刻的预测位置信息y
m4

133.在步骤s220中,代价矩阵的行数和列数分别等于预测位置信息的个数和第二位置信息的个数,代价矩阵中的元素为相应预设位置信息与第二位置信息所表征位置之间的距离。需要注意的是,不属于同一检测模组的预设位置信息与第二位置信息表征位置之间的距离设置为无穷大,即,代价矩阵中相应的元素设置为无穷大。
134.示例2,
135.此示例2与上述示例1的设置相同。其中,全部预测位置信息包括预测位置信息y
m1
、预测位置信息y
m2
、预测位置信息y
m3
和预测位置信息y
m4
。全部第二位置信息包括第二位置信息b
n1
、第二位置信息b
n2
、第二位置信息b
n3
和第二位置信息b
n4
。其中,预测位置信息y
m1
、预测位置信息y
m2
、第二位置信息b
n1
和第二位置信息b
n2
对应于第一摄像头,预测位置信息y
m3
、预
测位置信息y
m4
目标图像m1、第二位置信息b
n3
和第二位置信息b
n4
对应于第二摄像头。
136.代价矩阵的行数为预测位置信息的个数,即行数为4行,依次对应于,预测位置信息y
m1
、预测位置信息y
m2
、预测位置信息y
m3
和预测位置信息y
m4
。代价矩阵的列数为第二位置信息的个数,即列数为4列,依次对应于第二位置信息b
n1
、第二位置信息b
n2
、第二位置信息b
n3
和第二位置信息b
n4

137.此代价矩阵中可包括16个元素,其中,预测位置信息y
m1
与第二位置信息b
n1
均对应于第一摄像头,因此,预测位置信息y
m1
的对应行与第二位置信息b
n1
的对应列的交叉位置的元素为,预测位置信息y
m1
所表征的位置与第二位置信息b
n1
所表征的位置之间的距离,基于预测位置信息y
m1
和第二位置信息b
n1
计算得到。预测位置信息y
m1
与第二位置信息b
n3
分别对应于第一摄像头和第二摄像头,因此,预测位置信息y
m1
的对应行与第二位置信息b
n3
的对应列的交叉位置的元素设置为无穷大。
138.其他各元素的确定方式可参考上述方式,在此不做赘述。
139.在步骤s230中,可通过匈牙利算法或贪心算法对代价矩阵进行求解,以确定代价矩阵的最优解。
140.其中,贪心算法(又称贪婪算法)是指,在对问题求解时,总是做出在当前看来是最好的选择。也就是说,不从整体最优上加以考虑,算法得到的是在某种意义上的局部最优解。
141.需要说明的是,代价矩阵中,不属于同一检测模组的预设位置信息与第二位置信息表征位置之间的距离设置为无穷大,即,代价矩阵中不属于同一检测模组的预设位置信息与第二位置信息对应的元素设置为无穷大。由此,确定代价矩阵的最优解时,最优解便不会指向不属于同一检测模组的预设位置信息与第二位置信息对应的元素,而仅仅会指向属于同一检测模组的预设位置信息与第二位置信息对应的元素。
142.示例3,
143.代价矩阵包括四个元素,依次为元素s
m1-n1
、元素s
m1-n3
、元素s
m3-n1
和元素s
m3-n3
。其中,元素s
m1-n1
表示预测位置信息y
m1
所表征的位置与第二位置信息b
n1
所表征的位置之间的距离,元素s
m1-n3
表示预测位置信息y
m1
所表征的位置与第二位置信息b
n3
所表征的位置之间的距离,元素s
m3-n1
表示预测位置信息y
m3
所表征的位置与第二位置信息b
n1
所表征的位置之间的距离,元素s
m3-n3
表示预测位置信息y
m3
所表征的位置与第二位置信息b
n3
所表征的位置之间的距离。
144.预测位置信息y
m1
和第二位置信息b
n1
对应于第一摄像头。预测位置信息y
m3
所表征的位置与第二位置信息b
n3
对应于第二摄像头。可见,元素s
m1-n3
和元素s
m3-n1
为无穷大。
145.此示例中,基于贪心算法确定最优解时,由于元素s
m1-n3
和元素s
m3-n1
为无穷大,因此,最优解不会指向元素s
m1-n3
和元素s
m3-n1
,只可能会指向元素s
m1-n1
和元素s
m3-n3

146.需要说明是,基于贪心算法计算代价矩阵的最优解时,可以能确定零个最优解,也可能确定一个或不止一个最优解。
147.在步骤s240中,在确定了代价矩阵的最优解后,便可认为每个最优解对应的预测位置信息和第二位置信息对应于同一跟踪目标,即,该预测位置信息对应的第一位置信息与上述第二位置信息对应于同一跟踪目标。因此,便可将此第一位置信息对应的第一重识别特征,以及此第二位置信息在历史特征池中对应的历史特征,确定为一个特征对,该特征
对对应于上述同一跟踪目标。
148.需要说明的是,历史特征池中的历史特征也是重识别特征,第一批历史特征可以是从网络或其它终端获取的,也可以是第一个检测周期检测到的全部跟踪目标对应的重识别特征,还可以是通过其他方式确定,在此不作限制。每经过一个设定时长,便可基于检测到的检测图像对历史特征池进行一次更新。或者,网络或其他终端的历史特征发生了更新,则同步更新此终端的历史特征池。当然,也可通过其他方式进行历史特征池的更新,在此不作限定。
149.其中,每个历史特征均对应一个跟踪目标,根据最优解确定特征对后,此特征对中的历史特征所对应的跟踪目标,即为该特征对中的第一重识别特征和历史特征对应的同一跟踪目标。
150.示例4,
151.此示例4与上述示例3的设置相同。其中,假设此示例4确定的最优解为元素s
m1-n1
,便可认为预测位置信息y
m1
对应的第一重识别特征,以及第二位置信息b
n1
对应的历史特征,属于同一跟踪目标的重识别特征,然后将上述第一重识别特征和历史特征确定为一个特征对,此特征对的历史特征所对应的跟踪目标,即为该特征对对应的跟踪目标。
152.在步骤s250中,可将每个特征对中的历史特征与第一重识别特征进行特征融合处理,得到融合后的特征,该特征可记为第一特征。其中,可使用移动加权平均方法融合对应的历史特征和第一重识别特征,以得到融合后的第一特征。当然,也可通过其他方式实现特征融合,在此不作限定。
153.在确定特征对对应的第一特征后,便可此特征对的历史特征的轨迹标识,确定为此第一特征的轨迹标识,并可将此特征对中的第一重识别特征更新为第一特征,即,将第一特征确定为相应的第一检测图像中该跟踪目标的新第一重识别特征。
154.示例5,
155.该示例5与上述示例1的设置相同。其中,目标图像m1对应的第一重识别特征f
m1
,以及历史特征池中历史特征f
00
,确定为一个特征对。历史特征f
00
对应的轨迹标识为track id。第一重识别特征f
m1
和历史特征f0经过特征融合后的第一特征为f
10

156.该示例中,便可将轨迹标识为track id确定为第一特征为f
10
的轨迹标识,并将目标图像m1对应的第一重识别特征f
m1
更新第一特征f
10
。即,在后续进行目标跟踪时,目标图像m1对应的第一重识别特征为f
10
,其轨迹标识为track id。
157.此方法中,无需使用kalman滤波算法,而是直接由设定深度学习网络模型确定第一位置偏移信息,可以准确且高效地确定对应于同一跟踪目标的第一重识别特征和历史特征,然后根据第一重识别特征和历史特征得到融合后的第一特征,并将第一重识别特征更新为第一特征,且将历史特征的轨迹标识,确定为新的第一重识别特征(即第一特征)的轨迹标识,从而实现同一检测模组的当前时刻与上一时刻检测到的跟踪目标的关联,实现对跟踪目标的持续、可靠跟踪,能够取得较好的同一检测模组内的多目标跟踪性能,为实时地、在线地跨检测模组的多目标跟踪提供了条件,可以更好地满足用户的使用体验。
158.需要说明的是,当历史特征池中的历史特征是基于多个检测模组的检测图像确定时,在第一次获取到检测图像时,历史特征池中并不存在任何历史特征,也不存在上一时刻检测到跟踪目标,因此,无需执行本实施例中的步骤。
159.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。该方法中,将此特征对中历史特征的轨迹标识,确定为融合后的特征的轨迹标识,并将第一重识别特征更新为融合后的特征之后,该方法可包括:
160.s310、根据层次聚类算法,将全部第一重识别特征中,对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组;
161.s320、为同一特征组的全部第一重识别特征配置相同的轨迹标识。
162.在步骤s310中,层次聚类算法的基本思想是,通过某种相似性测度计算节点之间的相似性,并按相似度由高到低排序,逐步重新连接个节点。此步骤中,每个第一重识别特征可作为一个节点。
163.此步骤中,基于层次聚类算法,便可将对应于同一跟踪目标的全部第一重识别特征,确定为一个特征组,以完成对第一重识别特征的准确聚类。需要说明的是,每个特征组一般可包括不止一个第一重识别特征。
164.其中,在使用层次聚类算法聚类时,可根据设定距离阈值和任意两个第一重识别特征的欧几里得距离,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组。也就是,根据设定距离阈值和任意两个第一重识别特征的欧几里得距离,以及层次聚类算法,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组。
165.其中,在层次聚类算法的每一层,均基于欧几里得距离和设定距离阈值判断相似性。经过研究证实,在确定对应于同一跟踪目标的第一重识别特征时,基于欧几里得距离得到的聚类结果的效果更好,准确性更高。
166.其中,设定距离阈值可以是终端出厂前设置的,也可以是终端出厂后设置的,并且,后续还可对设定距离阈值进行修改,以更好地满足用户的不同需求。
167.示例1,
168.设定距离阈值为d0。
169.第一重识别特征的数量三个,依次为第一重识别特征f1、第一重识别特征f2和第一重识别特征f3。
170.第一重识别特征f1与第一重识别特征f2的欧几里得距离记为d1,第一重识别特征f1与第一重识别特征f3的欧几里得距离记为f2,第二重识别特征f2与第三重识别特征f3的欧几里得距离记为d3。
171.当确定第一重识别特征f1与第一重识别特征f2是否对应于同一跟踪目标时,可判断d1与d0的大小,若d1小于d0,则认为第一重识别特征f1和第二重识别特征f2的相似性较高,认为第一重识别特征f1与第一重识别特征f2对应于同一跟踪目标。否则,认为第一重识别特征f1与第一重识别特征f2不对应于同一跟踪目标。
172.确定第一重识别特征f1与第一重识别特征f3是否对应于同一跟踪目标的方式,以及确定第二重识别特征f2与第一重识别特征f3是否对应于同一跟踪目标的方式,与上述确定第一重识别特征f1与第一重识别特征f2是否对应于同一跟踪目标的方式类似,在此不作赘述。
173.当需要第一重识别特征f1、第一重识别特征f2和第一重识别特征f3是否对应于同一跟踪目标时,可先确定d1、d2和d3的平均值,然后判断此平均值与d0的大小。若此平均值
小于d0,则认为第一重识别特征f1、第一重识别特征f2和第一重识别特征f3对应于同一跟踪目标。否则,认为第一重识别特征f1、第一重识别特征f2和第一重识别特征f3不对应于同一跟踪目标。
174.此方法中,在通过层次聚类算法,从全部第一重识别特征中,确定对应于同一跟踪目标的第一重识别特征时,基于欧几里得距离来判断第一重识别特征之间的相似性,得到的聚类结果的效果更好,可以提高聚类的准确性,而进一步提升目标跟踪的效果,提升用户使用体验。
175.需要说明的是,此方法也可通过其他方式确定对应于同一跟踪目标的第一重识别特征,在此不作限制。例如,可根据任意两个第一重识别特征的余弦距离(或余弦相似度),确定对应于同一跟踪目标的第一重识别特征。
176.但是,在确定对应于同一跟踪目标的第一重识别特征时,基于欧几里得距离得到的聚类结果的效果更好,准确性更高。
177.在步骤s420中,每个特征组的第一重识别特征均对应于同一跟踪目标,即,每个特征组包括的不同检测模组检测到的第一重识别特征。因此,可为每个特征组配置同一轨迹标识,即,为同一特征组内的每个第一重识别特征配置同一轨迹标识,以实现对跟踪目标的跟踪。其中,特征组中第一重识别特征可以是基于设定深度学习网络模型确定的第一重识别特征,也可以是更新后的第一重识别特征(即第一特征)。
178.示例2,
179.根据层次聚类算法确定了三个特征组,分别记为第一特征组、第二特征组和第三特征组,其中,第一特征组包括第一跟踪目标的两个第一重识别特征,第二特征组包括第二跟踪目标的四个第一重识别特征,第三特征组包括第三跟踪目标的三个第一重识别特征。
180.此示例中,第一特征组的两个第一重识别特征可配置轨迹标识track id1,第二特征组的四个第一重识别特征可配置轨迹标识track id2,第三特征组的三个第一重识别特征可配置轨迹标识track id3。其中,轨迹标识track id1为第一跟踪目标的轨迹标识,轨迹标识track id2为第二跟踪目标的轨迹标识,轨迹标识track id3为第三跟踪目标的轨迹标识。此示例中,通过上述三个轨迹标识,便可实现对上述三个跟踪目标的跟踪。
181.此方法中,不同的检测模组在同一时刻可能检测到同一跟踪目标的目标图像,从而确定同一跟踪目标的重识别特征,通过层次聚类算法便可不同检测模组对应的第一重识别特征进行聚类,然后为对应于相同跟踪目标的不止一个第一重识别特征,配置相同的轨迹标识,从而实现多个检测模组在当前时刻检测到的跟踪目标的关联,以实现多检测模组的多目标的跟踪,进一步提升了用户使用体验。
182.需要说明的是,当历史特征池中的历史特征是基于多个检测模组的检测图像确定时,在第一次获取到检测图像时,历史特征池中并不存在任何历史特征,也不存在上一时刻检测到跟踪目标,因此,无需执行同一检测模组在当前时刻与上一时刻检测到跟踪目标的关联,而是可直接执行本实施例的步骤,即直接使用层次聚类算法进行聚类。
183.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。该方法中,为同一特征组的全部第一重识别特征配置相同的轨迹标识,可包括:
184.s510、判断特征组中是否存在已经配置了轨迹标识的第一重识别特征;若判断结果为是,则执行步骤s520;否则,执行步骤s530;
185.s520、将此第一重识别特征配置的轨迹标识,确定为此特征组中全部第一重识别特征的轨迹标识;
186.s530、为此特征组的全部第一重识别特征配置新的轨迹标识。
187.此方法中,每个特征组中的第一重识别特征均对应于同一跟踪目标,因此,需要对同一特征组的全部第一重识别特征配置同一轨迹标识。而特征组可能包括已经更新的第一重识别特征,也就是基于特征对确定的第一特征,此第一特征已经配置了相应历史特征对应的轨迹标识。因此,需要先判断特征组中是否存在已经配置了轨迹标识的第一重识别特征。
188.如果特征组中存在已经配置了轨迹标识的第一重识别特征,也就是,特征组中至少有一个第一重识别特征配置了轨迹标识,则可将此轨迹标识确定为此特征组中全部第一重识别特征的轨迹标识,也就是将此轨迹标识确定为此特征组对应的跟踪目标的轨迹标识,以为同一跟踪目标配置同一轨迹标识,更好地实现目标跟踪。
189.如果特征组中不存在已经配置了轨迹标识的第一重识别特征,也就是,特征组中任意第一重识别特征均未配置轨迹标识,则可为此特征组中全部第一重识别特征配置新的轨迹标识,也就是为此特征组对应的跟踪目标配置新的轨迹标识,以为同一跟踪目标配置同一轨迹标识,更好地实现目标跟踪。
190.示例1,
191.终端为汽车,汽车上设置有两个检测模组,检测模组为摄像头。两个摄像头检测周期相同,检测周期为相邻帧的时长。两个摄像头分别记为第一摄像头和第二摄像头。启动汽车的目标跟踪后,第一摄像头和第二摄像头同时启动,以基于检测周期分别检测第一区域和第二区域的图像。第一区域为第一摄像头的预设检测区域,第二区域为第二摄像头的预设检测区域。
192.第一摄像头在当前时刻检测到的检测图像包括两个跟踪目标的目标图像,分别为第一跟踪目标的目标图像m1,以及第二跟踪目标的目标图像m2。第二摄像头在当前时刻检测到的检测图像也包括两个跟踪目标的目标图像,分别为第一跟踪目标的目标图像m3,以及第二跟踪目标的目标图像m4。
193.其中,目标图像m1对应的第一重识别特征f
m1
,目标图像m2对应的第一重识别特征f
m2
,目标图像m3对应的第一重识别特征f
m3
,目标图像m4对应的第一重识别特征f
m4
。历史特征池中包括历史特征f
00
,其对应于第一跟踪目标。
194.该示例中,目标图像m1对应的第一重识别特征f
m1
,以及历史特征池中历史特征f
00
,确定为一个特征对。历史特征f
00
对应的轨迹标识为track id0。第一重识别特征f
m1
和历史特征f
00
经过特征融合后的第一特征为f
10
。然后,便可将轨迹标识为track id0确定为第一特征为f
10
的轨迹标识,并将目标图像m1对应的第一重识别特征f
m1
更新第一特征f
10
。即,在后续进行目标跟踪时,目标图像m1对应的第一重识别特征为f
10
,其轨迹标识为track id0。
195.该示例中,在后续使用层次聚类算法就进行聚类时,便可将第一重识别特征f
10
和第一重识别特征f
m3
确定为一个特征组,记为第一特征组,对应于第一跟踪目标。同时,可将第一重识别特征f
m2
和第一重识别特征f
m4
确定为一个特征组,记为第二特征组,对应于第二跟踪目标。
196.其中,第一特征组中的第一重识别特征f
10
已经配置轨迹标识track id0,因此,便可将轨迹标识track id0确定为第一跟踪目标的轨迹标识,也就是,为第一特征组中的第一重识别特征f
m3
配置轨迹标识track id0。第二特征组中的两个第一重识别特征均未配置轨迹标识,因此,便可为第二特征组中的第一重识别特征f
m2
和第一重识别特征f
m4
配置新的轨迹标识track id1,也就是,将轨迹标识track id1确定为第二跟踪目标的轨迹标识。
197.该示例中,便可基于轨迹标识track id0实现对第一跟踪目标的跟踪,并基于轨迹标识track id1实现对第二跟踪目标的跟踪。
198.该方法中,如果特征组中的第一重识别特征均未配置轨迹标识,说明此终端之前并未检测到这些第一重识别特征对应的跟踪目标,因此可为此跟踪目标配置新的轨迹标识,也就是为这些第一重识别特征配置新的轨迹标识,以便于后续对此跟踪目标的跟踪。如果特征组中存在已经基于跟踪目标的历史特征配置了轨迹标识的第一重识别特征,便可仍然将此轨迹标识作为此跟踪目标的轨迹标识,也就是直接将此轨迹标识确定为此特征组中全部第一重识别特征对应的轨迹标识,以便于对同一跟踪目标的持续跟踪。该方法可实现多检测模组的多目标的准确跟踪,进一步提升了用户使用体验。
199.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。该方法中,为同一特征组的全部第一重识别特征配置相同的轨迹标识之后,该方法可包括:
200.s610、将同一特征组中的全部第一重识别特征进行特征融合处理,得到融合后的特征,并将此特征添加至历史特征池,作为此特征组对应的跟踪目标的新历史特征,同时,若此跟踪目标在历史特征池中存在原历史特征,则删除此原历史特征。
201.此方法中,在完成了同一检测模组在当前时刻与上一时刻检测到的跟踪目标的关联,以及不同检测模组在当前时刻检测到的跟踪目标的关联之后,便可基于全部第一重识别特征,对历史特征池进行更新,以便于后续的持续目标跟踪。
202.其中,可将同一特征组的全部第一重识别特征进行特征融合处理,特征融合的方法可以是移动加权融合方法。在对同一特征组的全部第一重识别特征进行特征融合后,得到融合后的特征,可记为第二特征。然后便可将此第二特征添加至历史特征池,作为此特征组所对应的跟踪目标的重识别特征,在下一时刻(即当前时刻间隔设定时长后的时刻),此重识别特征便可作为历史特征池中的历史特征参与目标跟踪方法的流程。
203.另外,如果第二特征对应的跟踪目标在历史特征池已经存在历史特征(记为原历史特征),在将第二特征添加至历史特征池的同时,便可删除此原历史特征,以确保历史特征池中,同一跟踪目标只对应一个重识别特征,从而更好地提高目标跟踪的可靠性。
204.此方法中,持续根据当前时刻对应的第一重识别特征来更新历史特征池,并确保历史特征池中同一跟踪目标仅仅对应一个重识别特征,可以更好地提高目标跟踪的可靠性,进一步提升用户的使用体验。
205.在一个示例性实施例中,提供了一种目标跟踪方法,应用于终端。该方法中,为同一特征组的全部第一重识别特征配置相同的轨迹标识之后,该方法可包括:
206.s710、从未确定轨迹标识的第一重识别特征中,确定每一个第一重识别特征与每一个历史特征的相似度;
207.s720、判断相似度是否大于设定相似度阈值;若判断结果为是,则执行步骤s730;否则,执行步骤s740;
208.s730、将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识;
209.s740、为相应的第一重识别特征创建新的轨迹标识。
210.其中,多个检测模组中,在当前时刻可能只有一个检测模组的检测图像包括某个或某些跟踪目标的目标图像。上述跟踪目标可能在上一时刻没有被检测到,但是历史特征池中存在该跟踪目标对应的历史特征,例如,该跟踪目标在比上一时刻更早的时刻检测到了。
211.上述情况下,便需要判断未确定轨迹标识的第一重识别特征中,是否存在与历史特征相似度较高的第一重识别特征。
212.其中,可先从未确定轨迹标识的第一重识别特征中,确定每一个第一重识别特征与每一个历史特征的相似度。然后基于相似度与设定相似度阈值的大小,来确定是否存在与历史特征对应于同一跟踪目标的第一重识别特征。
213.如果相似度大于设定相似度阈值,则将相应历史特征对应的轨迹标识,确定为该第一重识别特征的轨迹标识,以为同一跟踪目标配置相同的轨迹标识。如果相似度小于或等于设定相似度阈值,则说明相应的第一重识别特征对应于新检测到的跟踪目标,可直接为相应的第一重识别特征配置新的轨迹标识,以更好地确保目标跟踪的可靠性。
214.其中,设定相似度阈值可以是终端出厂前设置的,也可以是终端出厂后设置的,并且,后续还可对设定相似度阈值进行修改,以更好地满足用户的不同需求。
215.其中,在步骤s730之后,此方法可包括:将此历史特征与此第一重识别特征进行特征融合处理,得到融合后的新特征(可记为第三特征),并将历史特征池中的此历史特征,更新为此新特征。
216.也就是,如果相似度大于设定相似度阈值,则将相应历史特征对应的轨迹标识,确定为该第一重识别特征的轨迹标识,然后,可将此历史特征与此第一重识别特征进行特征融合处理,得到融合后的新特征(可记为第三特征),并将历史特征池中的此历史特征,更新为此新特征。
217.其中,特征融合的方法可采用移动加权平均融合方法,或其他方法,在此不作赘述。此方法中,通过使用相应跟踪目标的第三特征替换原有的历史特征,可以及时完成对同一跟踪目标的重识别特征的更新,以使得其重识别特征能够更好地表征此跟踪目标,进一步提升目标跟踪方法的可靠性。
218.其中,在步骤s740之后,此方法可包括:将此第一重识别特征添加至历史特征池,作为新的历史特征。
219.也就是,如果相似度小于或等于设定相似度阈值,则说明相应的第一重识别特征对应于新检测到的跟踪目标,可直接为相应的第一重识别特征配置新的轨迹标识,然后,可将此第一重识别特征添加至历史特征池,作为新的历史特征。
220.其中,当前时刻检测到新的跟踪目标后,为此跟踪目标配置新的轨迹标识,用于对此跟踪目标的轨迹段进行识别,并将相应的第一重识别特征添加至历史特征池,以补充历史特征池中的历史特征,可以便于后续的目标跟踪,进一步提升目标跟踪的可靠性。
221.示例1,
222.终端为汽车,汽车上设置有三个检测模组,检测模组为摄像头。三个摄像头检测周
期相同,检测周期为相邻帧的时长。三个摄像头分别记为第一摄像头、第二摄像头和第三摄像头。启动汽车的目标跟踪后,第一摄像头、第二摄像头和第三摄像头可同时启动,以基于检测周期分别检测第一区域、第二区域和第二区域的图像。第一区域为第一摄像头的预设检测区域,第二区域为第二摄像头的预设检测区域,第三区域为第三奢姿昂头的预设检测区域。
223.第一摄像头在当前时刻检测到的检测图像包括两个跟踪目标的目标图像,分别为第一跟踪目标的目标图像m1,以及第二跟踪目标的目标图像m2。第二摄像头在当前时刻检测到的检测图像包括两个跟踪目标的目标图像,分别为第一跟踪目标的目标图像m3和第四跟踪目标的目标图像m4。第三摄像头在当前时刻检测到的检测图像包括三个跟踪目标的目标图像,分别为第三跟踪目标的目标图像m5、第四跟踪目标的目标图像m6以及第五跟踪目标的目标图像m7。
224.其中,目标图像m1对应的第一重识别特征f
m1
,目标图像m2对应的第一重识别特征f
m2
,目标图像m3对应的第一重识别特征f
m3
,目标图像m4对应的第一重识别特征f
m4
,目标图像m5对应的第一重识别特征f
m5
,目标图像m6对应的第一重识别特征f
m6
,目标图像m7对应的第一重识别特征f
m7

225.其中,第一摄像头在上一时刻检测到了第一跟踪目标,第二摄像头在上一时刻检测到第二跟踪目标。在上一时刻更早的时刻,第三跟踪目标曾被检测到。第四跟踪目标和第五跟踪目标从未被检测到。
226.历史特征池中包括对应于第一跟踪目标的历史特征f
01
、对应于第二跟踪目标的历史特征f
02
以及对应于第三跟踪目标的历史特征f
03
。其中,历史特征f
01
对应轨迹标识track id1,历史特征f
02
对应轨迹标识track id2,历史特征f
03
对应轨迹标识track id3。
227.该示例中,在进行同一摄像头在当前时刻与上一时刻的跟踪目标的关联时,可将第一重识别特征f
m1
和历史特征池中历史特征f
01
,确定为一个特征对,记为第一特征对;并可将重识别特征f
m2
和历史特征池中历史特征f
02
,确定为一个特征对,记为第二特征对。
228.其中,第一重识别特征f
m1
和历史特征f
00
经过特征融合后的第一特征为f
10
。然后,便可将轨迹标识为track id1确定为第一特征为f
10
的轨迹标识,并将目标图像m1对应的第一重识别特征f
m1
更新第一特征f
10
。即,目标图像m1对应的第一重识别特征为f
10
,其轨迹标识为track id1,第一跟踪目标对应的轨迹标识仍为track id1。
229.第一重识别特征f
m2
和历史特征f
02
经过特征融合后的第一特征为f
20
。然后,便可将轨迹标识为track id2确定为第一特征为f
20
的轨迹标识,并将目标图像m2对应的第一重识别特征f
m2
更新第一特征f
20
。即,目标图像m2对应的第一重识别特征为f
20
,其轨迹标识为track id2,第二跟踪目标对应的轨迹标识仍为track id2。
230.在后续进行不同摄像头在当前时刻检测到跟踪目标的关联时,可将第一重识别特征f
10
和第一重识别特征f
m3
确定为一个特征组,记为第一特征组,对应于第一跟踪目标。同时,可将第一重识别特征f
m4
和第一重识别特征f
m6
确定为一个特征组,记为第二特征组,对应于第四跟踪目标。
231.其中,第一特征组中的第一重识别特征f
10
已经配置轨迹标识track id1,因此,便可将轨迹标识track id1确定为第一跟踪目标的轨迹标识,也就是,为第一特征组中的第一重识别特征f
m3
配置轨迹标识track id1。第二特征组中的两个第一重识别特征均未配置轨
迹标识,因此,便可为第二特征组中的第一重识别特征f
m4
和第一重识别特征f
m6
配置新的轨迹标识track id4,也就是,将轨迹标识track id4确定为第二跟踪目标的轨迹标识。
232.然后,判断第一重识别特征f
m5
与每一个历史特征的相似度,并判断第一重识别特征f
m7
与每一个历史特征的相似度。
233.其中,可确定第一重识别特征f
m5
与历史特征f
03
的相似度大于设定相似度阈值,便可将轨迹标识track id3确定为第一重识别特征f
m5
的轨迹标识,即,第三跟踪目标的轨迹标识仍为track id3。并且,可确定第一重识别特征f
m7
与任意历史特征的相似度均小于或等于设定相似度阈值,便可为第一重识别特征f
m7
创建新的轨迹标识track id5,该轨迹标识track id5即为第五跟踪目标对应的轨迹标识。
234.在确定了每个第一重识别特征对应的轨迹标识后,便可重新确定每一个已检测到的跟踪目标对应的新的历史特征。其中,可使用移动加权平均方法融合第一重识别特征f
10
和第一重识别特征f
m3
,得到融合后的新特征,将该新特征作为第一跟踪目标对应的新的历史特征f
001
。可将第一重识别特征为f
20
确定为第二跟踪目标对应的新的历史特征f
002
。可使用移动加权平均方法融合第一重识别特征f
m5
与历史特征f
03
,得到融合后的新特征,将该新特征作为第三跟踪目标对应的新的历史特征f
003
。可使用移动加权平均方法融合第一重识别特征f
m4
和第一重识别特征f
m6
,得到融合后的新特征,将该新特征作为第四跟踪目标对应的历史特征f
004
。可将第一重识别特征f
m7
直接确定为第五跟踪目标的历史特征f
005

235.最后,可将历史特征池中原有的历史特征f
01
、历史特征f
02
和历史特征f
03
删除,然后,添加第一跟踪目标对应的历史特征f
001
、第二跟踪目标对应的历史特征f
002
、第三跟踪目标对应的历史特征f
003
、第四跟踪目标对应的历史特征f
004
和第五跟踪目标对应的历史特征f
005

236.在下一时刻便基于当前时刻新确定的上述历史特征池,进行目标跟踪,以可靠地、实时地实现跨摄像头的多目标的跟踪,提升用户的使用体验。
237.该方法中,可为当前时刻检测到的每个第一重识别特征均配置了轨迹标识,并且,同一跟踪目标对应的第一重识别特征所对应的轨迹标识相同,以更加准确地实现跨摄像头的多目标的实时跟踪,进一步提升了用户使用体验。
238.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。该装置用于实施上述目标跟踪方法,其中,参考图2所示,该装置包括获取模块101和确定模块102,该装置在实施上述方法的过程中,
239.获取模块101,用于每经过一个设定时长,获取多个检测图像,多个检测图像由多个检测模组检测得到,多个检测图像与多个检测模组一一对应;
240.确定模块102,用于将当前时刻的第一检测图像,以及相应的上一时刻的第二检测图像,输入至设定深度学习网络模型,确定第一检测图像中的跟踪目标的位置信息、重识别特征以及位置偏移信息,其中,当前时刻与上一时刻的时长等于设定时长,位置偏移信息表征相应跟踪目标由上一时刻至当前时刻的偏移距离;
241.还用于根据上一时刻对应的全部第二位置信息,以及当前时刻对应的全部第一位置信息、全部第一位置偏移信息和全部第一重识别特征,为当前时刻的全部第一检测图像对应的每个跟踪目标配置轨迹标识。
242.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该
装置中,确定模块102,用于:
243.根据第一检测图像中跟踪目标的第一位置信息和第一位置偏移信息,确定目标检测模组在上一时刻检测到的此跟踪目标的预测位置信息,其中,目标检测模组为,用于检测到此第一检测图像的检测模组;
244.根据全部预测位置信息和全部第二位置信息,生成代价矩阵;其中,代价矩阵的行数和列数分别等于预测位置信息的个数和第二位置信息的个数,代价矩阵中的元素为相应预设位置信息与第二位置信息所表征位置之间的距离;
245.确定代价矩阵的最优解;
246.根据每个最优解,确定一个特征对,特征对包括一组对应于同一跟踪目标的第一重识别特征和历史特征;
247.将每个特征对中的历史特征和第一重识别特征进行特征融合处理,得到融合后的特征,并将此特征对中历史特征的轨迹标识,确定为融合后的特征的轨迹标识,并将第一重识别特征更新为融合后的特征。
248.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置中,确定模块102,用于:
249.使用贪心算法确定代价矩阵的最优解。
250.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。该装置中,确定模块,用于:
251.根据层次聚类算法,将全部第一重识别特征中,对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组;
252.为同一特征组的全部第一重识别特征配置相同的轨迹标识。
253.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置中,确定模块102,用于:
254.根据设定距离阈值和任意两个第一重识别特征的欧几里得距离,以及层次聚类算法,将全部第一重识别特征中对应于同一跟踪目标的第一重识别特征,确定为此跟踪目标对应的特征组。
255.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置中,确定模块102,用于:
256.若特征组中存在已经配置了轨迹标识的第一重识别特征,则将此轨迹标识确定为此特征组中全部第一重识别特征的轨迹标识;和/或,
257.若特征组中不存在已经配置了轨迹标识的第一重识别特征,则为此特征组的全部第一重识别特征配置新的轨迹标识。
258.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置可包括更新模块103,其中,更新模块103,用于:
259.将同一特征组中的全部第一重识别特征进行特征融合处理,得到加权融合后的特征,并将此特征添加至历史特征池,作为此特征组对应的跟踪目标的新历史特征,同时,若此跟踪目标在历史特征池中存在原历史特征,则删除此原历史特征。
260.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置中,确定模块102,用于:
261.从未确定轨迹标识的第一重识别特征中,确定每一个第一重识别特征与每一个历史特征的相似度;
262.若所述相似度大于设定相似度阈值,则将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识;和/或,若相似度小于或等于设定相似度阈值,则为相应的第一重识别特征创建新的轨迹标识。
263.在一个示例性实施例中,提供了一种目标跟踪装置,应用于终端。参考图2所示,该装置可包括更新模块103,其中,更新模块103,用于:
264.将相应的历史特征对应的轨迹标识,确定为相应的第一重识别特征对应的轨迹标识之后,将此历史特征与此第一重识别特征进行特征融合处理,得到融合后的新特征,并将历史特征池中的此历史特征,更新为此新特征;
265.和/或,
266.为相应的第一重识别特征创建新的轨迹标识之后,将此第一重识别特征添加至历史特征池,作为新的历史特征。
267.在一个示例性实施例中,提供了一种终端,终端可以是汽车、服务器以及电脑等。
268.参考图3所示,终端400可以包括以下一个或多个组件:处理组件402,存储器404,电源组件406,多媒体组件408,音频组件410,输入/输出(i/o)的接口412,传感器组件414,以及通信组件416。
269.处理组件402通常控制终端400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
270.存储器404被配置为存储各种类型的数据以支持在终端400的操作。这些数据的示例包括用于在终端400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
271.电源组件406为终端400的各种组件提供电力。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为终端400生成、管理和分配电力相关联的组件。
272.多媒体组件408包括在终端400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置相机模组和/或后置相机模组。当终端400处于操作模式,如拍摄模式或视频模式时,前置相机模组和/或后置相机模组可以接收外部的多媒体数据。每个前置相机模组和后置相机模组可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
273.音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克
风(mic),当终端400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
274.i/o接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
275.传感器组件414包括一个或多个传感器,用于为终端400提供各个方面的状态评估。例如,传感器组件414可以检测到终端400的打开/关闭状态,组件的相对定位,例如组件为终端400的显示器和小键盘,传感器组件414还可以检测终端400或终端400一个组件的位置改变,用户与终端400接触的存在或不存在,终端400方位或加速/减速和终端400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,此传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
276.通信组件416被配置为便于终端400和其他终端之间有线或无线方式的通信。终端700可以接入基于通信标准的无线网络,如wifi、2g、3g、4g、5g或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件416还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
277.在示例性实施例中,终端400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理终端(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的方法。
278.在一个示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由终端400的处理器420执行以完成上述方法。例如,非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储终端等。当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述实施例中示出的方法。
279.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
280.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
281.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并
且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献