一种目标跟踪方法、终端及计算机可读存储介质与流程

1.本发明涉及图像识别技术领域，特别是涉及一种目标跟踪方法、终端及计算机可读存储介质。


背景技术：

2.目前，监控领域常用的枪球联动、雷球联动或者全景特写式跟踪，均为雷达或固定摄像机等设备对某一区域进行监控并使用云台摄像机进行特写放大。基于多台摄像机联动的监控方式会在一定程度上导致跟踪的实时性较低，同时若一个区域内的监控设备发生增减时需要重新进行各个设备的坐标标定。基于单监控摄像头的目标跟踪系统通过单独的云台监控设备对目标进行识别与跟踪，可以避免采用多个监控设备间的联动带来的坐标标定过程以及联动控制过程，在一定程度上提升跟踪的实时性和准确性，但是在目标跟踪常见的遮挡等问题上效果较差。在跟踪目标的过程中，若目标短暂丢失或被遮挡，单监控摄像头无法实现跟踪，仍需利用当前设备的云台参数调用其他监控设备对跟踪目标进行联动跟踪。


技术实现要素：

3.本发明主要解决的技术问题是提供一种目标跟踪方法、终端及计算机可读存储介质，解决现有技术中目标短暂丢失或被遮挡造成的单监控摄像头无法跟踪的问题。
4.为解决上述技术问题，本发明采用的第一个技术方案是：提供一种目标跟踪方法，目标跟踪方法包括：对获取的第一视频帧进行目标检测，第一视频帧通过第一图像采集设备采集得到；响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，第二视频帧通过第二图像采集设备采集得到；其中，第一图像采集设备的第一监控区域是第二图像采集设备的第二监控区域的子集；响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。
5.其中，目标跟踪方法包括：响应于第一视频帧检测到预设的第一目标对象，则输出第一视频帧中第一目标对象的位置信息。
6.其中，响应于第一视频帧检测到预设的第一目标对象，则输出第一视频帧中第一目标对象的位置信息，包括：判断第一视频帧的上一视频帧是否保存第一目标对象的预设特征图；如果上一视频帧保存预设特征图，则确定第一视频帧不是包含第一目标对象的第一帧图像。
7.其中，响应于第一视频帧检测到预设的第一目标对象，则输出第一视频帧中第一目标对象的位置信息，包括：对第一视频帧进行检测得到候选目标对象和候选目标对象的位置信息；对候选目标对象进行特征提取得到第一特征图；判断第一特征图与上一视频帧中保存的第一目标对象的预设特征图的相似度是否大于第一阈值；如果第一特征图与预设特征图的相似度大于第一阈值，则确定候选目标对象为第一目标对象；输出第一视频帧中
第一目标对象的位置信息。
8.其中，响应于第一视频帧检测到预设的第一目标对象，则输出第一视频帧中第一目标对象的位置信息，还包括：如果上一视频帧未保存预设特征图，确定第一视频帧为包含第一目标对象的第一帧图像，则输出第一目标对象在第一视频帧中的位置信息。
9.其中，响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，包括：如果第一视频帧中未检测到预设的第一目标对象；则获取预设时段内的至少一张第二视频帧；对至少一张第二视频帧进行目标检测；其中，预设时段包括包含第一视频帧采集时刻及之后第一时长的时间段；或预设时段包括包含第一视频帧采集时刻之后第二时长的时间段。
10.其中，响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息，之前包括：对第二目标对象进行特征提取，得到第二特征图；判断第二特征图与预设特征图的相似度是否超过第二阈值；响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息，包括：如果第二特征图与预设特征图的相似度超过第二阈值，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。
11.其中，目标跟踪方法，还包括：如果第二特征图与预设特征图的相似度未超过第二阈值，则删除预设特征图并输出预设位置信息。
12.为解决上述技术问题，本发明采用的第二个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述目标跟踪方法中的步骤。
13.为解决上述技术问题，本发明采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述目标跟踪方法中的步骤。
14.本发明的有益效果是：区别于现有技术的情况，提供的一种目标跟踪方法、终端及计算机可读存储介质，目标跟踪方法通过对获取的第一视频帧进行目标检测，第一视频帧通过第一图像采集设备采集得到；响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，第二视频帧通过第二图像采集设备采集得到；其中，第一图像采集设备的第一监控区域是第二图像采集设备的第二监控区域的子集；响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。本技术通过对第一图像采集设备获取的第一视频帧进行目标检测，当在第一视频帧中未检测到预设的第一目标对象时，通过对第二图像采集设备采集第二视频帧进行目标检测，当比对得到第二目标对象与预设的第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息，避免第一图像采集设备中目标对象消失，造成目标对象丢失，进而提高目标对象跟踪的稳定性。
附图说明
15.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1是本发明提供的目标跟踪方法的流程示意图；
17.图2是本发明提供的目标跟踪方法一具体实施例的流程示意图；
18.图3是本发明提供的终端一实施方式的示意框图；
19.图4是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
20.下面结合说明书附图，对本技术实施例的方案进行详细说明。
21.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
22.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
23.为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种目标跟踪方法做进一步详细描述。
24.本技术中，图像采集设备为双目摄像头，图像采集设备包括第一图像采集设备和第二图像采集设备。第一图像采集设备与第二图像采集设备在同一视角、不同变焦情况下同时对目标对象进行跟踪。例如，第一图像采集设备和第二图像采集设备安装于同一装置。第一图像采集设备和第二图像采集设备分别对应一个视觉传感器，并分别接入对应的主芯片。目标对象可以为行人、车辆等。第一图像采集设备为主镜头，主镜头为变焦镜头，对小视野范围的目标对象进行标定和跟踪，捕捉更多目标细节，也就是说，第一图像采集设备对第一监控区域的图像进行采集；第二图像采集设备为辅镜头，辅镜头可以为定焦镜头，也可以为变焦镜头，对大视野范围的目标对象进行跟踪，也就是说，第二图像采集设备对第二监控区域的图像进行采集。其中，第一图像采集设备的第一监控区域是第二图像采集设备的第二监控区域的子集。也就是说，第一监控区域是第二监控区域中的部分区域，便于捕捉更多目标细节。
25.其中，第一图像采集设备和第二图像采集设备的镜头的中心对应ptz(pan/tilt/zoom，平移/倾斜/变焦)坐标系内同一位置。也就是说，第二图像采集设备和第一图像采集设备对同一目标对象进行同时跟踪，目标对象处于第一图像采集设备采集的图像中的坐标与目标对象处于第二图像采集设备采集的图像中的坐标相同。也就是说，目标对象处于第一图像采集设备采集的图像中的坐标与目标对象处于第二图像采集设备采集的图像中的坐标均是，目标对象处于第二监控区域的坐标。当第一图像采集设备未采集到包含预设目标对象的图像时，通过第二图像采集设备采集图像，可以通过第二图像采集设备采集的图像中预设目标对象在第二监控区域的位置信息确定预设目标对象的位置信息。
26.请参阅图1，图1是本发明提供的目标跟踪方法的流程示意图。本实施例中提供一种目标跟踪方法，该目标跟踪方法适用于双镜头场景下对目标对象进行跟踪，在不需要监
控设备联动的情况下，在本地云台上采用双镜头方式对图像进行采集，并根据本地云台的运动参数控制本地云台的运动，以对目标对象进行跟踪。该目标跟踪方法包括如下步骤。
27.s11：对获取的第一视频帧进行目标检测，第一视频帧通过第一图像采集设备采集得到。
28.具体地，对第一视频帧进行检测得到候选目标对象和候选目标对象的位置信息；对候选目标对象进行特征提取得到第一特征图；判断第一特征图与第一视频帧的上一视频帧中保存的第一目标对象对应的预设特征图的相似度是否大于第一阈值。如果第一特征图与预设特征图的相似度大于第一阈值，则确定候选目标对象为第一目标对象；输出第一视频帧中第一目标对象的位置信息。如果第一特征图与预设特征图的相似度不大于第一阈值，则确定第一视频帧未检测到预设的第一目标对象。
29.s12：响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，第二视频帧通过第二图像采集设备采集得到。
30.具体地，如果第一视频帧中未检测到预设的第一目标对象；则获取预设时段内的多个第二视频帧；对多个第二视频帧进行目标检测，得到至少一个第二目标对象和第二目标对象的位置信息。如果第一视频帧中未检测到预设的第一目标对象；则获取预设时段内的至少一张第二视频帧；对第二视频帧进行目标检测；其中，预设时段包括包含第一视频帧采集时刻及之后第一时长的时间段；或预设时段包括包含第一视频帧采集时刻之后第二时长的时间段。
31.在本实施例中，对第二目标对象进行特征提取得到第二特征图；判断第二特征图与预设特征图的相似度是否超过第二阈值。如果第二特征图与预设特征图的相似度超过第二阈值，则确定第二目标对象是第一目标对象。如果第二特征图与预设特征图的相似度不超过第二阈值，则删除预设特征图并输出预设位置信息。
32.s13：响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。
33.具体地，如果第二特征图与预设特征图的相似度超过第二阈值，则确定第二目标对象是第一目标对象，将第二目标对象的位置信息确定为第一目标对象的位置信息。
34.本实施例中提供一种目标跟踪方法，目标跟踪方法通过对获取的第一视频帧进行目标检测，第一视频帧通过第一图像采集设备采集得到；响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，第二视频帧通过第二图像采集设备采集得到；其中，第一图像采集设备的第一监控区域是第二图像采集设备的第二监控区域的子集；响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。本技术通过对第一图像采集设备获取的第一视频帧进行目标检测，当在第一视频帧中未检测到预设的第一目标对象时，通过对第二图像采集设备采集第二视频帧进行目标检测，当比对得到第二目标对象与预设的第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息，避免第一图像采集设备中目标对象消失，造成目标对象丢失，进而提高目标对象跟踪的稳定性。
35.请参阅图2，图2是本发明提供的目标跟踪方法一具体实施例的流程示意图。该目标跟踪方法适用于双镜头场景下对目标对象进行跟踪，在不需要监控设备联动的情况下，
在本地云台上采用双镜头方式对图像进行采集，并根据本地云台的运动参数控制本地云台的运动，以对目标对象进行跟踪。该目标跟踪方法包括如下步骤。
36.s201：获取第一视频帧。
37.具体地，通过第一图像采集设备获取当前视频帧，当前视频帧作为第一视频帧。第一视频帧中采集的是小视野范围的图像。第一视频帧中可能包含第一目标对象；也可能不包含第一目标对象，即第一目标对象短暂丢失或被其它目标遮挡。其中，第一目标对象为预设目标对象。也就是说，第一目标对象是设定的需要跟踪的目标对象。其中，第一目标对象可以为人，也可以为车辆。
38.s202：对第一视频帧进行目标检测，得到候选目标对象以及对应的位置信息。
39.具体地，通过目标检测网络对第一视频帧进行目标检测，得到候选目标对象的检测框。也就是说，得到第一视频帧中的候选目标对象以及候选目标对象的位置信息。在一具体实施例中，可以通过fast r-cnn、faster r-cnn、yolo、ssd中的一种目标检测网络对第一视频帧进行目标检测得到候选目标对象的检测框。
40.s203：对候选目标对象进行特征提取得到第一特征图。
41.具体地，通过特征提取网络对检测得到的候选目标对象进行特征提取，得到候选目标对象对应的第一特征图。在一具体实施例中，可以通过方向梯度直方图(histogram of oriented gradient，hog)、尺度不变特征转换(scale invariant feature transform，sift)、加速稳健特征(speeded up robust features，surf)、superpoint中的一种特征提取网络对检测框中包含的候选目标对象进行特征提取得到第一特征图。
42.s204：判断第一特征图与上一视频帧中预设的第一目标对象对应的预设特征图的相似度是否大于第一阈值。
43.具体地，为了确认检测得到的候选目标对象是否是预设的第一目标对象。需要判断候选目标对象对应的第一特征图与上一视频帧中预设的第一目标对象对应的预设特征图是否相同。即判断第一特征图与预设特征图的相似度是否大于第一阈值。在一具体实施例中，当第一视频帧不是包含第一目标对象的第一帧图像时，则计算第一特征图与上一视频帧中保存的第一目标对象的预设特征图的相似度。也可以计算第一特征图与第一视频帧之前的任意历史视频帧中保存的第一目标对象的预设特征图之间的相似度。在另一具体实施例中，当第一视频帧是包含第一目标对象的第一帧图像时，则计算第一特征图与预存的第一目标对象的预设特征图之间的相似度。
44.在一实施例中，可以通过快速最近邻搜索包(fast library for approximate nearest neighbors，flann)、暴力算法(brute force，bf)、欧式距离确定第一特征图与预设特征图是否相同。
45.如果第一特征图与预设特征图之间的相似度大于第一阈值，则直接跳转至步骤s205；如果第一特征图与预设特征图之间的相似度不大于第一阈值，则直接跳转至步骤s206。
46.s205：确定候选目标对象为第一目标对象。
47.具体地，如果第一特征图与预设特征图之间的相似度大于第一阈值，则表明第一特征图与预设特征图相同，确定第一特征图对应的候选目标对象是预设的第一目标对象。
48.s206：输出第一视频帧中第一目标对象的位置信息。
49.具体地，当确定候选目标对象是预设的第一目标对象，则表明在第一视频帧中检测得到第一目标对象，将第一目标对象在第一视频帧中的位置信息输出，作为第一目标对象在第二监控区域的位置信息，以便于对第一目标对象进行跟踪。
50.s207：确定第一视频帧中未检测到预设的第一目标对象。
51.具体地，如果第一特征图与预设特征图之间的相似度不大于第一阈值，则表明第一特征图与预设特征图不同，确定第一特征图对应的候选目标对象不是预设的第一目标对象。如果比对得到第一视频帧中检测得到的所有候选目标对象都不是预设的第一目标对象，说明第一目标对象在第一视频帧中丢失或被其它目标遮挡。
52.由于第一图像采集设备是小视野范围获取包含第一目标对象的图像，当第一图像采集设备采集的第一视频帧中第一目标对象丢失，则第一图像采集设备无法继续跟踪第一目标对象，则需要通过第二图像采集设备在大视野范围采集图像，进而确定第一目标对象的位置信息。
53.s208：获取第二视频帧。
54.具体地，通过第二图像采集设备采集获取包含第一视频帧采集时刻及之后第一时长的时间段内所有的视频帧作为第二视频帧。也可以通过第二图像采集设备采集获取包含第一视频帧采集时刻之后第二时长的时间段内所有的视频帧作为第二视频帧。其中，第二视频帧可以为一张；也可以为多张。第二视频帧中采集的是大视野范围的图像，更方便获取包含目标对象的图像。
55.s209：对第二视频帧进行目标检测，得到至少一个第二目标对象和第二目标对象的位置信息。
56.具体地，通过目标检测网络对第二视频帧进行目标检测，得到第二目标对象的检测框。也就是说，得到第二视频帧中的第二目标对象以及第二目标对象的位置信息。在一具体实施例中，可以通过fast r-cnn、faster r-cnn、yolo、ssd中的一种目标检测网络对第二视频帧进行目标检测得到第二目标对象的检测框。
57.s210：对第二目标对象进行特征提取得到第二特征图。
58.具体地，通过特征提取网络对检测得到的第二目标对象进行特征提取，得到第二目标对象对应的第二特征图。在一具体实施例中，可以通过hog、sift、surf、superpoint中的一种特征提取网络对检测框中包含的第二目标对象进行特征提取得到第二特征图。
59.s211：判断第二特征图与预设特征图的相似度是否超过第二阈值。
60.具体地，为了确认检测得到的第二目标对象是否是预设的第一目标对象。需要判断第二目标对象对应的第二特征图与预设的第一目标对象对应的预设特征图是否相同。即判断第二特征图与预设特征图的相似度是否大于第二阈值。其中，第二阈值可以与第一阈值相同，也可以不相同。
61.如果第二特征图与预设特征图之间的相似度大于第二阈值，则直接跳转至步骤s212；如果第二特征图与预设特征图之间的相似度不大于第二阈值，则直接跳转至步骤s213。
62.s212：将第二目标对象的位置信息确定为第一目标对象的位置信息。
63.具体地，如果第二特征图与预设特征图的相似度超过第二阈值，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。将第二目标对象在第二监
控区域的位置信息和第二特征图发送给第一图像采集设备，第一图像采集设备将第二特征图更新为第一视频帧中的预设特征图并进行保存。第一图像采集设备输出第二目标对象在第二监控区域的位置信息，并根据接收的第二目标对象在第二监控区域的位置信息对第一目标对象继续进行跟踪。
64.s213：删除预设特征图并输出预设位置信息。
65.具体地，如果第二特征图与预设特征图的相似度未超过第二阈值，表明第一目标对象彻底消失，则不需要对第一目标对象继续进行跟踪，删除预设特征图并输出表示结束跟踪的预设位置信息。例如，预设位置信息为坐标系原点。
66.在一可选实施例中，为了获取第一目标对象与当前视频帧最接近的视频帧中保存的预设特征图，判断上一视频帧是否保存第一目标对象对应的预设特征图；如果上一视频帧保存第一目标对象对应的预设特征图，则确定第一视频帧不是包含第一目标对象的第一帧图像。如果上一视频帧未保存预设特征图，确定第一视频帧为包含第一目标对象的第一帧图像，则确定输出第一目标对象在第一视频帧中的位置信息。
67.本实施例中提供一种目标跟踪方法，目标跟踪方法通过对获取的第一视频帧进行目标检测，第一视频帧通过第一图像采集设备采集得到；响应于第一视频帧未检测到预设的第一目标对象，则对获取的第二视频帧进行目标检测，第二视频帧通过第二图像采集设备采集得到；其中，第一图像采集设备的第一监控区域是第二图像采集设备的第二监控区域的子集；响应于在第二视频帧中检测到第二目标对象，且第二目标对象与第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息。本技术通过对第一图像采集设备获取的第一视频帧进行目标检测，当在第一视频帧中未检测到预设的第一目标对象时，通过对第二图像采集设备采集第二视频帧进行目标检测，当比对得到第二目标对象与预设的第一目标对象相同，则将第二目标对象在第二监控区域的位置信息确定为第一目标对象的位置信息，避免第一图像采集设备中目标对象消失，造成目标对象丢失，进而提高目标对象跟踪的稳定性。
68.参阅图3，图3是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述目标跟踪方法中，为避免重复，此处不一一赘述。
69.参阅图4，图4是本发明提供的计算机可读存储介质一实施方式的示意框图。
70.本技术的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本技术实施方式提供的目标跟踪方法。
71.其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
72.以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。