一种基于视频的目标关联方法、装置和可读存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种基于视频的目标关联方法、装置和可读存储介质。


背景技术：

2.目前跟踪系统的应用场景越来越广泛，在军事领域可以应用于战场侦测或目标跟踪，在安防领域可以应用于犯罪预警或疑犯定位，在城市交通领域可以应用于违章检测或自动驾驶等，因此跟踪系统成为目前研究热点，但目前的跟踪系统仅能实现单一的跟踪定位，无法实现对目标的类别分析或行为分析等方面的智能化检测。


技术实现要素：

3.本技术提供一种基于视频的目标关联方法、装置和可读存储介质，能够实时智能化地进行目标关联。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种基于视频的目标关联方法，该基于视频的目标关联方法包括：获取监控视频的当前帧图像；对当前帧图像中的待追踪目标进行目标检测，得到待追踪目标的第一目标检测信息；基于当前帧图像中待追踪目标的位置信息，确定历史帧图像中的各个待匹配目标；待匹配目标包括历史帧图像中候选匹配区域内的目标，候选匹配区域是基于待追踪目标的位置信息确定的；历史帧图像是监控视频中当前帧图像之前的图像；基于各个待匹配目标的第二目标检测信息和第一目标检测信息的相似度，确定出与待追踪目标关联的待匹配目标。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种实时目标跟踪装置，实时目标跟踪装置包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现上述技术方案中的基于视频的目标关联方法。
6.为解决上述技术问题，本技术采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现上述技术方案中的基于视频的目标关联方法。
7.通过上述方案，本技术的有益效果是：先获取监控视频的当前帧图像，然后对当前帧图像中的待追踪目标进行目标检测，得到待追踪目标的第一目标检测信息，再基于当前帧图像中待追踪目标的位置信息，确定历史帧图像中的各个待匹配目标，最后再基于各个待匹配目标的第二目标检测信息和第一目标检测信息的相似度，确定出与待追踪目标关联的待匹配目标；通过该方案能够得到待追踪目标的目标检测信息，实现对目标的智能检测分析，同时能够利用目标检测信息(包括第一目标检测信息以及第二目标检测信息)在历史帧图像中对待追踪目标进行目标匹配，以实现目标关联，进而完成目标跟踪；此外，通过将目标检测分析以及目标跟踪结合，能够进一步地提升目标跟踪的准确性，也更加智能。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术提供的基于视频的目标关联方法一实施例的流程示意图；
10.图2是本技术提供的基于视频的目标关联方法另一实施例的流程示意图；
11.图3是本技术提供的对非关键帧图像的目标检测框进行限缩的流程示意图；
12.图4是本技术提供的步骤27的流程示意图；
13.图5是本技术提供的实时目标跟踪装置一实施例的结构示意图；
14.图6是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
15.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
16.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
17.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
18.请参阅图1，图1是本技术提供的基于视频的目标关联方法一实施例的流程示意图，该方法包括：
19.步骤11：获取监控视频中的当前帧图像。
20.可通过枪式摄像机、球型摄像机或全景相机等摄像设备对监控区域进行监控，从而获取监控视频；具体地，上述摄像设备可采用顶装或斜装等安装方式来进行安装，可在安装高度大于2.5米的需求下选择摄像设备斜装的方式，在安装高度小于2.5米的需求下选择摄像设备顶装的方式，从而保证摄像设备获取到的监控画面完整，以便后续对当前帧图像中的目标进行跟踪。
21.步骤12：对当前帧图像中的待追踪目标进行目标检测，得到待追踪目标的第一目标检测信息。
22.待追踪目标可为人体对象，即从监控视频中获取的当前帧图像进可包含人体对象，然后再对当前帧图像中的人体对象进行目标检测；具体地，当前帧图像中的待追踪目标可为一个、两个、三个或者三个以上，对当前帧图像中的所有待追踪目标进行目标检测，从而得到所有待追踪目标对应的第一目标检测信息；可以理解地，可先将当前帧图像输入目标检测模型，从而利用目标检测模型来进行目标检测，得到所有待追踪目标对应的目标检测框，从而再对目标检测框进行检测处理，得到待追踪目标的第一目标检测信息，其中，目标检测模型可为yolox模型或者centnet模型等。
23.在一具体的实施例中，用户可在当前帧图像中设置一个待检测区域，用来规定目标检测的范围，即在进行目标检测时，只对预先设置的待检测区域中的目标进行检测；例如：摄像设备对酒店大厅进行监控，可获取到包含酒店前台、酒店门口以及酒店候客区的监控画面，用户若只想对酒店门口来往的行人进行目标追踪，则此时便可将酒店门口的区域规定为待检测区域，后续的目标检测以及目标追踪都在该待检测区域中进行，不对除待检测区域外的其他区域进行目标检测以及目标跟踪，从而能够有针对性地进行目标检测以及跟踪，同时也能节省不必要的工作量，节约计算机资源，进一步提高工作效率。
24.步骤13：基于当前帧图像中待追踪目标的位置信息，确定历史帧图像中的各个待匹配目标。
25.历史帧图像是监控视频中当前帧图像之前的图像，一般情况下历史帧图像可为当前帧图像的上一帧图像，但在类似于跳帧的情况发生时，历史帧图像便可为当前帧图像的上几帧图像；具体地，待匹配目标包括历史帧图像中候选匹配区域内的目标，候选匹配区域是基于待追踪目标的位置信息确定的。
26.在一具体的实施例中，候选匹配区域可基于当前帧图像中的待追踪目标的当前位置信息来确定，可以但不局限于以当前帧图像中的待追踪目标的当前位置为圆心的圆形/多边形的范围确定为上述候选匹配区域，将历史帧图像中在候选匹配区域内的目标当做待匹配目标，从而将待匹配目标与当前帧图像的待追踪目标进行目标匹配，由于在前后两帧图像中同一目标的位置变化不会很大，则通过在历史帧图像中筛选待匹配目标能够在不影响目标匹配精度的同时，大大减少目标匹配的耗时，提高目标匹配的效率；可以理解地，候选匹配区域的直径大小可根据实际情况进行设置。
27.步骤14：基于各个待匹配目标的第二目标检测信息和第一目标检测信息的相似度，确定出与待追踪目标关联的待匹配目标。
28.可对各个待匹配目标的第二目标检测信息和第一目标检测信息进行相似度比对，得到各个待匹配目标的第二目标检测信息和第一目标检测信息的相似度，从而将待追踪目标与历史帧图像中的待匹配目标进行匹配，将待追踪目标与待匹配目标匹配成功，即匹配到当前帧图像与历史帧图像的同一目标，从而得到该待追踪目标的跟踪结果，跟踪结果可包含历史帧图像的第二目标检测信息以及当前帧图像的第一目标检测信息；具体地，当前帧图像中的待追踪目标为多个时，可同时对多个待追踪目标进行匹配，得到各自的跟踪结果。
29.在一具体的实施例中，第一目标检测信息可包括待追踪目标的类别信息与关键点信息，类别信息为待追踪目标的类别的信息，类别信息可包括待追踪目标的年龄或性别等信息，年龄信息可为一个具体的数值也可为一个范围；关键点信息为待追踪目标的关键点
的信息，待追踪目标(即人体对象)的关键点与人体的关节或者部位相对应，例如：头部、肘关节、肩关节或膝盖等，一般来说对某一个人体对象进行关键点检测处理，能够输出15～17个人体关键点；可以理解地，第二目标检测信息可包括待匹配目标的类别信息与关键点信息。
30.在本实施例中，先获取监控视频的当前帧图像，然后对当前帧图像中的待追踪目标进行目标检测，得到待追踪目标的第一目标检测信息，再基于当前帧图像中待追踪目标的位置信息，确定历史帧图像中的各个待匹配目标，最后再基于各个待匹配目标的第二目标检测信息和第一目标检测信息的相似度，确定出与待追踪目标关联的待匹配目标；通过该方案能够得到待追踪目标的目标检测信息，实现对目标的智能检测分析，同时能够利用目标检测信息在历史帧图像中对待追踪目标进行目标匹配，以实现目标关联，进而完成目标跟踪；此外，通过将目标检测分析以及目标跟踪结合，能够进一步地提升目标跟踪的准确性，也更加智能。
31.请参阅图2，图2是本技术提供的基于视频的目标关联方法另一实施例的流程示意图，该方法包括：
32.步骤21：获取监控视频中的当前帧图像。
33.该步骤21与上述实施例中的步骤11相同，在此不再赘述。
34.步骤22：判断当前帧图像是否为关键帧图像。
35.可对监控视频中设置关键帧图像，选取监控视频的部分帧图像作为关键帧图像，剩余的图像即为非关键帧图像；在目标检测时只对关键帧图像进行目标检测处理，省略对非关键帧图像的目标检测，从而节省目标检测的时间，提高工作效率。可以理解地，仅在目标检测步骤存在关键帧图像与非关键帧图像的区别处理，在后续的分类以及关键点检测等操作中关键帧图像与非关键帧图像都执行。
36.在一具体的实施例中，可通过判断当前帧图像的帧数是否在预设数值集内，来判断当前帧图像是否为关键帧图像；如果当前帧图像的帧数在预设数值集内，则确定当前帧图像为关键帧图像；进一步地，预设数值集可由用户选择设置，例如，用户选择设置从第一帧图像开始，每间隔四帧为一个关键帧图像，则此时预设数值集便可包括1、6、11、16等以此类推；可以理解地，为了保证非关键帧图像能够根据历史帧图像的目标检测框来设置目标检测框，无论用户自定义设置关键帧图像的间隔帧数为多少，监控视频中的第一帧图像都为关键帧图像，即预设数值集中一定包含1。
37.进一步地，除上述根据预设数值集来判断当前帧图像是否为关键帧图像之外，还可根据实时的目标跟踪结果来判断，将当前帧记作第n帧，如果第(n-1)帧图像相较于第(n-2)帧图像出现新目标，或者，第(n-1)帧图像相较于第(n-2)帧图像丢失旧目标时，此时便将第n图像判断为关键帧图像，从而保证能够及时对新目标进行准确检测；例如：第(n-2)帧图像中仅包含目标a、b、c，在第(n-1)图像中出现了新的目标d，则此时为了准确检测到目标d，将第n帧图像标记为关键帧图像，从而对该关键帧图像进行目标检测。
38.步骤23：若当前帧图像为关键帧图像，则采用目标检测模型对当前帧图像进行处理，得到目标检测框。
39.在当前帧图像为关键帧图像时，采用目标检测模型对当前帧图像进行处理，得到与当前帧图像中的所有待追踪目标对应的目标检测框，该目标检测模型可为yolox模型或
者centnet模型等。
40.步骤24：若当前帧图像为非关键帧图像，则基于历史帧图像中待匹配目标的位置确定目标检测框。
41.在当前帧图像为非关键帧图像时，可根据历史帧图像中的待匹配目标的位置来确定每个待追踪目标的目标检测框；具体地，在历史帧图像中找到与当前待追踪目标之间的位置最近的待匹配目标，然后将该待匹配目标的目标检测框扩大预设倍数(比如1.2～2倍)，即将目标检测框的长和宽同时扩大相同的倍数，将扩大后的检测框作为当前待追踪目标的目标检测框。
42.可以理解地，在历史帧图像中存在多个待匹配目标都与当前待追踪目标的位置距离都很近且无法判断出哪个距离最近的时候，可将多个待匹配目标的目标检测框都扩大相同的倍数，然后将所有扩大后的目标检测框的并集区域作为目标检测框，然后再对该目标检测框进行处理，得到待追踪目标的包含类别信息以及关键点信息的第一目标检测信息。
43.步骤25：采用分类模型对目标检测框进行处理，得到待匹配目标的类别信息以及待追踪目标的类别信息。
44.采用分类模型对目标检测框进行处理，可得到待匹配目标的类别信息以及待追踪目标的类别信息；具体地，在待追踪目标的数量为多个时，可将所有待追踪目标的目标检测框同时输入分类模型，以得到所有待追踪目标的类别信息，该类别信息可包括年龄或性别等信息。
45.步骤26：采用关键点检测模型对目标检测框进行处理，得到待匹配目标的关键点信息以及待追踪目标的关键点信息。
46.采用关键点检测模型对目标检测框进行处理，可得到待匹配目标的关键点信息以及待追踪目标的关键点信息；具体地，在待追踪目标的数量为多个时，可将所有待追踪目标的目标检测框同时输入关键点检测模型，以得到所有待追踪目标的关键点信息；进一步地，关键点信息包含待追踪目标的所有关键点，关键点与人体的关节或者部位相对应，例如：头部、肘关节、肩关节或膝盖等。
47.在一具体的实施例中，目标检测信息还包括关键点位置信息，在当前帧图像为非关键帧图像时，得到待追踪目标的类别信息以及关键点信息后，可基于关键点位置信息对目标检测框进行限缩，以得到更精确的目标检测框，从而在下一帧图像仍为非关键帧图像时能够根据当前帧图像限缩后的目标检测框来生成目标检测框，同时也为后续的相似度计算提供基础。
48.具体地，可基于位置检测模型分别对将待追踪目标的关键点信息与待匹配目标的关键点信息进行位置检测处理，得到待追踪目标的关键点位置信息与待匹配目标的关键点位置信息，该关键点位置信息可包括每个关键点的位置坐标，位置坐标包括横坐标值以及纵坐标值，例如：某一个关键点的位置坐标(2，5)，说明其横坐标值为2，纵坐标值为5；进一步地，位置检测模型可为图卷积神经网络(graph convolutional networks，gcns)，即可通过图卷积神经网络对关键点信息进行位置检测，从而得到关键点位置信息，然后再基于关键点位置信息对目标检测框进行限缩，具体步骤如图3所示：
49.步骤31：基于关键点位置信息获取所有关键点中纵坐标值最小的关键点以及纵坐标值最大的关键点。
50.根据每个关键点的位置坐标找到纵坐标最小的关键点和纵坐标值最大的关键点，例如：待追踪目标处于正常的站立状态，则此时对应的纵坐标值最小的关键点便可为位于脚部的关键点，纵坐标值最大的关键点便可为位于头部的关键点。
51.步骤32：基于关键点位置信息获取所有关键点中横坐标值最小的关键点以及横坐标值最大的关键点。
52.在待追踪目标处于插兜的站立状态时，此时对应的横坐标值最小的关键点即为位于一侧肘关节的关键点，横坐标值最大的关键点即为位于另一侧肘关节的关键点。
53.步骤33：获取纵坐标值最小的关键点、纵坐标值最大的关键点、横坐标值最小的关键点以及横坐标值最大的关键点的外接矩形，得到当前帧图像的目标检测框。
54.通过获取纵坐标值最小的关键点、纵坐标值最大的关键点、横坐标值最小的关键点以及横坐标值最大的关键点的外接矩形，能够形成包含该待追踪目标中的所有关键点的最小矩形，将该矩形作为该待追踪目标的目标检测框，从而完成对目标检测框的限缩，得到更加精确的目标检测框。
55.步骤27：基于待匹配目标的类别信息、待匹配目标的关键点信息、待追踪目标的类别信息以及待追踪目标的关键点信息，将待追踪目标与每个待匹配目标进行相似度比对，得到相应的相似度。
56.在采用分类模型以及关键点检测模型分别得到待匹配目标以及待追踪目标的类别信息以及关键点信息之后，通过类别信息以及关键点信息对待追踪目标与每个待匹配目标进行相似度比对，得到待追踪目标与每个待匹配目标各自对应的相似度；可以理解地，相似度用来表示待追踪目标与待匹配目标的匹配度，相似度越高说明待追踪目标与该待匹配目标的匹配度越高。
57.下面对基于待匹配目标的类别信息、待匹配目标的关键点信息、待追踪目标的类别信息以及待追踪目标的关键点信息，将待追踪目标与每个待匹配目标进行相似度比对，得到相应的相似度的步骤进行详细介绍，具体如图4所示：
58.步骤41：基于待匹配目标的类别信息与待追踪目标的类别信息，对待追踪目标与每个待匹配目标进行匹配度比对，得到类别相似度。
59.类别信息包括待追踪目标的类别以及与类别对应的特征向量，计算待追踪目标的特征向量与待匹配目标的特征向量之间的偏差，得到偏差值，再将偏差值与预设偏差评分表进行匹配，从而得到类别相似度；具体地，预设偏差评分表可根据实际情况进行设置，其可包括偏差值以及对应的类别相似度，将计算得到的偏差值与预设偏差评分表进行匹配，可得到对应的类别相似度。
60.可以理解地，类别信息包括年龄或者性别等多个信息，则分别对待追踪目标与待匹配目标相同类别下对应的特征向量进行偏差计算，然后得到各个类别对应的子偏差值以及对应的子类别相似度，此时为了得到能够表示待追踪目标与待匹配目标的整体类别匹配度的类别相似度，再将所有的子类别相似度进行求和然后求取平均值，从而将计算得到的平均值作为最终的类别相似度。例如：计算待追踪目标与待匹配目标的年龄特征向量之间的偏差，得到一个偏差值，计算待追踪目标与待匹配目标的性别特征向量之间的偏差，得到另一个偏差值，然后将每个偏差值与预设偏差评分表进行匹配，得到对应的子类别相似度，再将所有的子类别相似度进行求和，然后求取平均值，得到最终的类别相似度。
61.步骤42：基于待匹配目标的目标检测框与待追踪目标的目标检测框，对待追踪目标与每个待匹配目标进行位置比对，得到空间相似度。
62.可通过计算待追踪目标的目标检测框与待匹配目标的目标检测框之间的交并比的方式，来判断待追踪目标与待匹配目标的空间位置变化情况，计算待追踪目标的目标检测框与待匹配目标的目标检测框之间的交并比(intersection over union，iou)，得到当前交并比，然后将当前交并比与预设空间评分表进行匹配，得到空间相似度；具体地，将历史帧图像中的目标检测框与当前帧图像的目标检测框的交集面积除以并集面积，可得到当前交并比。可以理解地，在当前帧图像为非关键帧图像时，利用限缩处理后生成的目标检测框来进行空间相似度的计算。
63.进一步地，预设空间评分表可根据实际情况进行设置，其可包括交并比以及对应的空间相似度，将计算得到的当前交并比与预设空间评分表进行匹配，便可得到对应的空间相似度。
64.步骤43：基于待匹配目标的关键点信息与待追踪目标的关键点信息，对待追踪目标与每个待匹配目标进行姿态比对，得到姿态相似度。
65.目标检测信息还包括姿态信息，姿态信息用来表示人体对象的姿势，其可包括站姿、坐姿或躺姿等姿态；本实施例中的姿态比对可包含以下两种方式：
66.1)基于姿态比对模型对待追踪目标的关键点位置信息与待匹配目标的关键点位置信息进行姿态比对处理，得到姿态信息与姿态相似度。
67.姿态比对模型可为孪生神经网络(siamese neural network)，孪生神经网络的具体结构与工作原理与相关技术中相同，在此不再赘述；可将待追踪目标的关键点位置信息与待匹配目标的关键点位置信息输入至孪生神经网络中，从而能够得到待追踪目标的姿态信息以及待追踪目标与待匹配目标之间的姿态相似度。
68.2)从待追踪目标的所有关键点中选取出第一参照关键点，从待匹配目标中选取出第二参照关键点，然后将第一参照关键点与第二参照关键点对齐，并计算待追踪目标中的剩余关键点与待匹配目标中相应的剩余关键点之间的距离，得到姿态偏移值，再将姿态偏移值与预设姿态评分表进行匹配，得到姿态相似度。
69.第二参照关键点与第一参照关键点位于同一部位，一般可选取位于头部的第一参照关键点与第二参照关键点，即将待追踪目标以及待匹配目标的位于头部的关键点对齐，然后分别计算待追踪目标以及待匹配目标中对应部位的剩余关键点之间的距离，例如：以位于头部的关键点作为第一参照关键点与第二参照关键点，则此时可分别计算待追踪目标的手部关键点与待匹配目标的手部关键点的距离，计算待追踪目标的脚部关键点与待匹配目标的手部关键点的距离等等，在此不作一一举例，从而得到每个部位的关键点对应的子姿态偏移值，可将所有子姿态偏移值进行求和处理并取平均值，从而得到最终的姿态偏移值，再将姿态偏移值与预设姿态评分表进行匹配，得到姿态相似度。
70.进一步地，可采用计算欧式距离或者余弦距离等计算方式来进行关键点之间的距离计算，在此不对距离的计算方法进行限定；预设姿态评分表可根据实际情况进行设置，其可包括姿态偏移值以及对应的姿态相似度。
71.在其他实施例中，还可将上述的两种方案结合以确定姿态相似度，比如：对两种方案获取到的姿态相似度进行加权求和，作为最终的姿态相似度。
72.步骤44：基于类别相似度、空间相似度以及姿态相似度，生成相似度。
73.可对类别相似度、空间相似度以及姿态相似度进行加权求和处理，得到相似度，以基于待追踪目标与每个待匹配目标之间的相似度来匹配到目标，从而确定跟踪结果。
74.步骤28：判断所有待匹配目标中是否存在相似度大于预设评分阈值的待匹配目标。
75.预设评分阈值可根据实际情况进行设置，例如：设置预设评分阈值为0.8，在待匹配目标的相似度大于0.8时，说明该待匹配目标与待追踪目标较匹配。
76.步骤29：若所有待匹配目标中存在相似度大于预设评分阈值的待匹配目标，则将相似度最大的待匹配目标与待追踪目标进行关联。
77.在相似度大于预设评分阈值的待匹配目标为多个时，可从多个待匹配目标中选择出与待追踪目标最匹配的目标，将相似度最大的待匹配目标与待追踪目标进行关联，即确定相似度最大的待匹配目标与待追踪目标匹配成功，从而得到待追踪目标的跟踪结果；具体地，跟踪结果可包括历史帧图像的第二目标检测信息与当前帧图像的第一目标检测信息，对于某一个待追踪目标的跟踪结果即为该待追踪目标的第一目标检测信息以及匹配到的历史帧图像中待匹配目标的第二目标检测信息，目标检测信息可包含类别信息、关键点信息、关键点位置信息以及姿态信息等。
78.在一具体的实施例中，目标检测信息还包括身份标识信息(identity，id)，在待追踪目标与待匹配目标匹配成功时，将待匹配目标的身份标识信息，确定为待追踪目标的身份标识信息，即将待匹配目标的目标id赋给待追踪目标；在待追踪目标未与待匹配目标匹配成功时，为待追踪目标分配新的目标id；具体地，在待追踪目标为与历史帧图像的所有待匹配目标都未匹配成功时，即说明该待追踪目标为新出现的目标，则此时可从预先设置的目标id数据库中分配一个新的目标id给该目标。
79.本实施例基于当前帧图像是否为关键帧图像，选择相应的获取目标检测框的方式，可利用目标检测模型对关键帧图像进行目标检测，或者利用历史帧图像的目标检测框对非关键帧图像划定目标检测框，在保证目标检测精度的同时节省目标检测的时间，提高工作效率；通过对目标检测框进行处理，得到相应的类别信息与关键点信息，然后利用历史帧图像与当前帧图像的类别信息以及关键点信息进行目标匹配，分别从类别相似度、空间相似度以及姿态相似度三个方面进行相似度评价，通过相似度的大小来进行目标匹配，使得匹配结果更加准确，目标跟踪更加精准；而且在目标准确跟踪的同时能够生成多方面的跟踪结果，得到包含类别信息、关键点信息、目标id以及姿态信息等方面的目标检测信息，实现目标检测分析以及目标跟踪的结合，使得目标跟踪更加智能全面。
80.请参阅图5，图5是本技术提供的实时目标跟踪装置一实施例的结构示意图，实时目标跟踪装置50包括互相连接的存储器51和处理器52，存储器51用于存储计算机程序，计算机程序在被处理器52执行时，用于实现上述实施例中的基于视频的目标关联方法。
81.请参阅图6，图6是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质60用于存储计算机程序61，计算机程序61在被处理器执行时，用于实现上述实施例中的基于视频的目标关联方法。
82.计算机可读存储介质60可以是服务端、u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存
储程序代码的介质。
83.在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
84.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
85.另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
86.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。