目标跟踪方法、装置、电子设备及存储介质与流程

1.本公开涉及图像处理和光电跟踪技术领域，尤其涉及视网膜大细胞通路模型和光流算法，具体涉及目标跟踪方法、装置、电子设备及存储介质。


背景技术：

2.光电跟踪系统属于被动侦察、监视与跟踪系统，能够实现对运动目标的视觉跟踪、精确制导等。目前光电跟踪系统在军事上的应用需求日益增加，它不仅安装在战斗机、舰船和潜艇等动态军事武器上，而且还应用在边境、瞭望塔等军事制高点进行远程监控及威胁目标的跟踪。
3.对于光电跟踪系统的跟踪算法，由于相关滤波跟踪算法具有易部署、低计算复杂度、低功耗的特点，被大家广泛应用于实际场景中。但是基于核相关滤波的目标跟踪算法在一定程度上依赖目标候选框的选择，由于此算法的目标检测范围有限，容易受到目标瞬移和方向快速变化等情况的影响，导致目标跟踪失效。


技术实现要素：

4.本公开提供了一种用于目标跟踪方法、装置、电子设备及存储介质。
5.根据本公开的一方面，提供了一种目标跟踪方法，包括：获取图像序列，其中，所述图像序列为图像采集设备对目标进行连续图像采集得到的；针对所述图像序列中的当前图像，确定所述图像序列中位于所述当前图像之前的相邻图像中所述目标的原始边界框信息以及原始运动信息；根据所述原始边界框信息以及所述原始运动信息，确定所述当前图像中所述目标的候选框信息；根据所述候选框信息对所述当前图像中的所述目标进行跟踪，确定所述当前图像中所述目标的当前边界框信息。
6.根据本公开的另一方面，提供了一种目标跟踪装置，包括：获取模块，用于获取图像序列，其中，所述图像序列为图像采集设备对目标进行连续图像采集得到的；第一确定模块，用于针对所述图像序列中的当前图像，确定所述图像序列中位于所述当前图像之前的相邻图像中所述目标的原始边界框信息以及原始运动信息；所述第一确定模块，还用于根据所述原始边界框信息以及所述原始运动信息，确定所述当前图像中所述目标的候选框信息；跟踪模块，用于根据所述候选框信息对所述当前图像中的所述目标进行跟踪，确定所述当前图像中所述目标的当前边界框信息。
7.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够本公开第一方面实施例所述的方法。
8.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的方法。
9.根据本公开的另一方面，提供了一种计算机程序产品，，包括计算机程序，所述计
算机程序在被处理器执行时实现本公开第一方面实施例所述的方法。
10.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.附图用于更好地理解本方案，不构成对本公开的限定。其中：
12.图1是根据本公开第一实施例的示意图；
13.图2是根据本公开实施例的视网膜大细胞通路模型示意图；
14.图3是根据本公开第二实施例的示意图；
15.图4是根据本公开第三实施例的示意图；
16.图5是根据本公开第四实施例的示意图；
17.图6是根据本公开实施例的确定目标的候选框的示意图；
18.图7是根据本公开第五实施例的示意图；
19.图8是根据本公开第六实施例的示意图；
20.图9是根据本公开实施例的目标跟踪方法示意图；
21.图10是根据本公开实施例的无人机图像序列示意图；
22.图11是根据本公开实施例的无人机不同背景的示意图；
23.图12是根据本公开实施例的不同算法下的目标跟踪示意图；
24.图13(a)是根据本公开实施例的改进方法在drone数据集上的精确率图；
25.图13(b)是根据本公开实施例的kcf方法在drone数据集上的成功率图；
26.图14是根据本公开第七实施例的示意图；
27.图15是用来实现本公开实施例的目标跟踪的电子设备的框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.下面参考附图描述本公开实施例的目标跟踪方法、装置、电子设备及存储介质。
30.图1是根据本公开第一实施例的示意图。需要说明的是，本公开实施例的目标跟踪方法可应用于本公开实施例的目标跟踪装置，该装置可被配置于电子设备中。其中，该电子设备可以是移动终端，例如，手机、平板电脑、个人数字助理等具有各种操作系统的硬件设备。
31.如图1所示，该目标跟踪方法可包括如下步骤：
32.步骤101，获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的。
33.在本公开实施例中，图像采集设备对目标进行连续图像采集得到图像序列，目标跟踪装置可与图像采集设备连接获取图像序列。
34.步骤102，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻
图像中目标的原始边界框信息以及原始运动信息。
35.进一步地，可将图像序列输入视网膜大细胞通路模型中，对于图像序列中的当前图像，在当前图像非图像序列中的第一帧图像时，可确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息，其中，原始边界框信息包括：原始中心点坐标信息以及原始尺寸信息。接着，原始边界框信息结合视网膜大细胞通路模型以及光流算法可确定图像序列中位于当前图像之前的相邻图像中目标原始运动信息。其中，如图2所示，图2是根据本公开实施例的视网膜大细胞通路模型示意图。该视网膜大细胞通路模型能把静止的物体以及微小的抖动过滤掉，以此获取运动能量较大的区域。将视网膜大细胞通路模型输出的结果二值化处理，形成一个掩码m，该掩码在运动显著的地方为1，在运动不显著的地方为0。光流算法可包括pyrlk算法和flownet2.0算法。
36.步骤103，根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息。
37.进一步地，可根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框的中心点坐标信息，同时，根据原始边界框信息以及预设倍数，确定当前图像中目标的候选尺寸信息，将候选中心点坐标信息和候选尺寸信息，作为候选框信息。
38.步骤104，根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
39.进而，根据候选框信息对当前图像中的目标进行跟踪，可确定当前图像中目标的当前边界框信息，比如，可根据候选框信息所限定的区域图像中各个像素点与目标的相关度，确定当前图像中目标的边界框信息。
40.综上，通过获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的；针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息；根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息；根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。由此，根据当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息，提高了目标的候选框的有效性，进而，根据该候选框信息对图像中目标进行跟踪，提高了目标跟踪的成功率。
41.为了准确地确定图像序列中当前图像之前的相邻图像中目标的原始运动信息，如图3所示，图3是根据本公开第二实施例的示意图，在本公开实施例中，针对图像序列中的当前图像，可确定当前图像之前的相邻图像中目标的原始边界框信息、相邻图像中各个像素点的光流信息以及相邻图像的运动掩码图像，进而根据相邻图像中目标的原始边界框信息、相邻图像中各个像素点的光流信息以及各个像素点的掩码数值，确定图像序列中当前图像之前的相邻图像中目标的原始运动信息。图3所示实施例包括如下步骤：
42.步骤301，获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的。
43.步骤302，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息，以及相邻图像中各个像素点的光流信息。
44.在本公开实施例中，可将图像序列输入视网膜大细胞通路模型中，对于图像序列中的当前图像，在当前图像非图像序列中的第一帧图像时，可确定图像序列中位于当前图
像之前的相邻图像中目标的原始边界框信息。同时，根据光流算法可确定图像序列中位于当前图像之前的相邻图像中各个像素点的光流信息。
45.步骤303，确定相邻图像的运动区域掩码图像，其中，运动区域掩码图像中各个像素点的掩码数值，表征像素点上目标的运动强度。其中，相邻图像的运动区域掩码图像，为将相邻图像输入视网膜大细胞通路模型得到的输出结果。
46.由于视网膜大细胞通路模型能把静止的物体以及微小的抖动过滤掉，以此获取运动能量较大的区域。将视网膜大细胞通路模型输出的结果二值化处理，形成一个掩码m，比如，该掩码在运动显著的地方为1，在运动不显著的地方为0。在本公开实施例中，当前图像之前的相邻图像输入视网膜大细胞通路模型中，可视网膜大细胞通路模型可输出相邻图像的运动区域掩码图像，其中，运动区域掩码图像中各个像素点的掩码数值，表征像素点上目标的运动强度。
47.步骤304，根据相邻图像中目标的原始边界框信息、相邻图像中各个像素点的光流信息以及各个像素点的掩码数值，确定原始运动信息。
48.为了准确地确定当前图像之前的相邻图像中目标的原始运动信息，可根据当前图像之前的相邻图像中各个像素点的光流信息确定该相邻图像的光流情况，接着，根据当前图像之前的相邻图像的光流情况以及该相邻图像中目标的原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点，将候选像素点的光流信息的平均值，作为当前图像之前的相邻图像中目标的原始运动信息。
49.步骤305，根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息。
50.步骤306，根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
51.其中，步骤301、305
‑
306可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
52.为了准确地确定当前图像之前的相邻图像中目标的原始运动信息，如图4所示，图4是根据本公开第三实施例的示意图，在本公开实施例中，可根据当前图像之前的相邻图像中各个像素点的光流信息确定该相邻图像的光流情况，接着，根据当前图像之前的相邻图像的光流情况以及该相邻图像中目标的原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点，将候选像素点的光流信息的平均值，作为当前图像之前的相邻图像中目标的原始运动信息，图4所示实施例可包括如下步骤：
53.步骤401，获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的。
54.步骤402，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息，以及相邻图像中各个像素点的光流信息。
55.步骤403，确定相邻图像的运动区域掩码图像，其中，运动区域掩码图像中各个像素点的掩码数值，表征像素点上目标的运动强度。其中，相邻图像的运动区域掩码图像，为将相邻图像输入视网膜大细胞通路模型得到的输出结果。
56.步骤404，根据相邻图像中各个像素点的光流信息，确定相邻图像的光流情况。
57.在本公开实施例中，可根据光流算法计算当前图中之前的相邻图像中各个像素点
的光流信息(如，各个像素点的运动速度和运动方向信息)，根据光流信息可确定该相邻图像中各个像素点的光流情况，其中，光流情况可包括：光流稀疏和光流稠密。其中，光流稀疏可为掩码数值为预设数值且为角点的像素点，光流稠密可为掩码数值为预设数值的像素点。
58.步骤405，根据相邻图像的光流情况以及原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点。
59.可选地，将区域内对应的掩码数值为预设数值且为角点的像素点，确定为候选像素点；或者，将区域内对应的掩码数值为预设数值的像素点，确定为候选像素点。
60.也就是说，可将原始边界框信息所限定的区域内对应的掩码数值为预设数值且为角点的像素点(如，掩码数值为1且为角点的像素点)，确定为候选像素点；或者，可将原始边界框信息所限定的区域内对应的掩码数值为预设数值的像素点(如，掩码数值为1的像素点)，确定为候选像素点。
61.步骤406，将候选像素点的光流信息的平均值，作为运动信息。
62.进一步地，可计算候选像素点的光流信息的平均值，将候选像素点的光流信息的平均值作为当前图像之前的相邻图像中目标的原始运动信息。如，将多个候选像素点的光流信息进行相加，将相加结果与候选像素点的个数进行相比，可获取候选像素点的光流信息的平均值。
63.步骤407，根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息。
64.步骤408，根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
65.其中，步骤401
‑
403、步骤407
‑
408可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
66.综上，通过根据相邻图像中各个像素点的光流信息，确定相邻图像的光流情况；根据相邻图像的光流情况以及原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点；将候选像素点的光流信息的平均值，作为运动信息。由此，可准确地确定当前图像之前的相邻图像中目标的原始运动信息。
67.为了提高目标的候选框的有效性，如图5所示，图5是根据本公开第四实施例的示意图。在本公开实施例中，可根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框的中心点坐标信息，同时，根据原始边界框信息以及预设倍数，确定当前图像中目标的候选尺寸信息，将候选中心点坐标信息和候选尺寸信息，作为候选框信息。图5所示实施例可包括如下步骤：
68.步骤501，获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的。
69.步骤502，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息。
70.步骤503，根据原始中心点坐标信息以及运动信息，确定当前图像中目标的候选中心点坐标信息。
71.在本公开实施例中，原始边界框信息包括：原始中心点坐标信息以及原始尺寸信
息。根据当前图像之前的相邻图像中目标的原始边界框信息中的原始中心点坐标信息，结合该相邻图像中目标的原始运动信息(如，目标的各个像素的运动速度和方向信息)，可确定当前图像中目标的候选中心点坐标信息。
72.步骤504，根据原始尺寸信息以及预设倍数，确定当前图像中目标的候选尺寸信息。
73.接着，根据当前图像之前的相邻图像中目标的原始边界框信息中的原始尺寸信息，结合预设倍数，可确定当前图像中目标的候选尺寸信息。比如，将原始边界框信息中的原始尺寸信息拓展1.5倍，可得到当前图像中目标的候选尺寸信息。
74.步骤505，将候选中心点坐标信息和候选尺寸信息，作为候选框信息。
75.进而，可将候选中心点坐标信息和候选尺寸信息，作为候选框信息。
76.举例而言，如图6所示，将图像序列输入视网膜大细胞通路模型中，对于图像序列中的第n帧图像，在第n帧图像非图像序列中的第一帧图像时，确定所述图像序列中第n
‑
1帧图像中的目标的原始边界框信息，如图6中第n
‑
1帧图像的白色实框(x,y,w,h)，其中，(x,y)表示矩形实框中心的位置，w和h分别表示矩形框的宽和高，接着，通过光流算法可确定第n
‑
1帧图像中的目标的各个像素点的光流信息，第n
‑
1帧图像通过视网膜大细胞通路模型可获取运动区域掩码图像，可根据第n
‑
1帧图像中各个像素点的光流信息确定第n
‑
1帧图像的光流情况，接着，根据第n
‑
1帧图像的光流情况以及第n
‑
1帧图像的原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点，将候选像素点的光流信息的平均值，作为第n
‑
1帧图像中目标的原始运动信息，根据第n
‑
1帧图像中目标的原始边界框信息中的原始中心点坐标信息(如，矩形实框中心的位置(x，y))，结合第n
‑
1帧图像中目标的原始运动信息(如，目标的各个像素的运动速度和方向信息，如)，可确定第n帧图像中目标的候选中心点坐标信息，将原始边界框信息中的原始尺寸信息(如，白色实框的宽和高(w，h))拓展预设倍数(如，2.5倍)，可得到第n帧图像中目标的候选尺寸信息，将候选中心点坐标信息和候选尺寸信息，作为候选框信息，如图6中第n帧图像的白色虚线框，候选框信息其中，(x
′
，y
′
)为当前帧图像中目标的候选框的中心位置，(w
′
,h
′
)为当前帧图像中目标的候选框的宽和高。
77.步骤506，根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
78.其中，步骤501
‑
502、506可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
79.综上，通过根据原始中心点坐标信息以及运动信息，确定当前图像中目标的候选中心点坐标信息；根据原始尺寸信息以及预设倍数，确定当前图像中目标的候选尺寸信息；将候选中心点坐标信息和候选尺寸信息，作为候选框信息。由此，提高了目标的候选框的有效性。
80.为了提高目标跟踪的成功率，如图7所示，图7是根据本公开第五实施例的示意图。在本公开实施例中，可根据候选框信息所限定的区域图像中各个像素点与目标的相关度，确定当前图像中目标的边界框信息。图7所示实施例可包括如下步骤：
81.步骤701，获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采
集得到的。
82.步骤702，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息。
83.步骤703，根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息。
84.步骤704，确定当前图像中候选框信息所限定的区域图像。
85.在本公开实施例中，在确定当前图像中目标的候选框信息之后，可根据目标的候选框信息(如，目标的候选框的中心坐标点信息和目标的候选尺寸信息)确定当前图像中候选框信息所限定的区域图像。
86.步骤705，根据区域图像以及核相关滤波器，确定区域图像中各个像素点与目标的相关度。
87.进一步地，可将区域图像结合核相关滤波(kernelized correlation filters，简称kcf)，确定出区域图像中各个像素点与目标的相关度。
88.步骤706，根据区域图像中各个像素点与所述目标的相关度，确定当前边界框信息。
89.在本公开实施例中，可获取区域图像中与目标相关度较大的像素点的位置，根据多个像素点的位置，可确定出当前边界框信息。
90.其中，步骤701
‑
703可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
91.为了更好地实现目标跟踪，如图8所示，图8是根据本公开第六实施例的示意图，在本公开实施例中，可对图像采集设备进行转动控制，实现对目标的跟踪，图8所示实施例可包括如下步骤：
92.步骤801，获取图像序列，其中，所述图像序列为图像采集设备对目标进行连续图像采集得到的。
93.步骤802，针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息。
94.步骤803，根据原始边界框信息以及所述原始运动信息，确定当前图像中目标的候选框信息。
95.步骤804，根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
96.步骤805，确定当前图像中目标的当前运动信息。
97.步骤806，根据当前边界框信息中的当前中心点坐标信息以及当前运动信息，确定延时时间段后目标的预测中心点坐标信息。
98.需要理解的是，为了使目标在图像中间，需要控制图像采集设备进行转动，转动图像采集设备存在时间滞后，当直接用当前目标的跟踪结果来引导图像采集设备转动，会使图像采集设备的运动滞后于目标的运动，因此，可根据延时时间段后目标的预测中心点坐标信息，引导图像采集设备转动。
99.可选地，利用卡尔曼滤波预测当前边界框信息中的当前中心点坐标信息以及当前运动信息，具体可表现为如下公式：
[0100][0101]
其中，表示t时刻中心点坐标信息与运动信息，是t
‑
1时刻的中心点坐标信息和运动信息，a为预设的状态转移矩阵，w
t
‑1是预设的控制矩阵。
[0102]
进一步地，根据当前边界框信息中的当前中心点坐标信息以及当前运动信息，利用卡尔曼滤波预测延时时间段后目标的预测中心点坐标信息。
[0103]
步骤807，根据延时时间段后目标的预测中心点坐标信息以及当前中心点坐标信息，确定图像采集设备的转动信息。
[0104]
可选地，根据延时时间段后目标的预测中心点坐标信息以及当前中心点坐标信息，确定延时时间段内目标的移动信息；根据移动信息以及图像采集设备单位角度内的移动信息，确定图像采集设备的转动信息。
[0105]
比如，可将延时时间段后目标的预测中心点坐标信息的横坐标和纵坐标分别与当前中心点坐标信息横坐标和纵坐标相减，将相减结果与目标在图像上的移动像素数相比，可确定延时时间段内目标的移动信息(如，δx/n和δy/n，δx＝v
x
δt，δy＝v
y
δt)，假设图像采集设备单位角度内的移动信息为1度，图像采集设备的转动信息可包括图像采集设备在x方向和y方向的转动角度，如
[0106]
步骤808，根据转动信息，对图像采集设备进行转动控制，实现对目标的跟踪。
[0107]
进而，可根据图像采集设备在x方向和y方向的转动角度，对图像采集设备进行转动控制，以实现对目标的跟踪。
[0108]
为了更好地说明上述实施例，现举例进行说明。
[0109]
如图9所示，将图像序列输入视网膜大细胞通路模型和光流算法获取目标的运动信息，根据前一时刻的目标位置以及运动信息来计算目标的候选框，根据目标的候选框可进行目标搜索区域调整，接着，采用目标跟踪算法(如kcf)获取目标的中心位置以及边界框，进而，利用目标中心位置以及卡尔曼滤波预测目标在后续帧中的位置，并将伺服云台转至该位置。
[0110]
综上，通过确定当前图像中目标的当前运动信息；根据当前边界框信息中的当前中心点坐标信息以及当前运动信息，确定延时时间段后目标的预测中心点坐标信息；根据延时时间段后目标的预测中心点坐标信息以及当前中心点坐标信息，确定图像采集设备的转动信息；根据转动信息，对图像采集设备进行转动控制，实现对目标的跟踪。由此，对图像采集设备进行转动控制，可以更好地实现目标跟踪。
[0111]
为了提高本公开实施例的可用性及可行性，现举例进行说明。
[0112]
举例而言，如图10所示，以目标为无人机，图像采集设备为伺服云台为例，根据本公开实施例候选框信息对当前图像中的目标进行跟踪，和卡尔曼滤波预测延时时间段后目标的位置引导伺服云台转动，采录视频的结果如图10所示，其中，无人机基本位于中心位置。
[0113]
需要说明的是，实验采用自建无人机红外数据集来进行评估，总共有20个视频，数据集主要分为三种情况，如图11所示：从左至右分别为树林背景、楼宇背景和云层背景。图12为所提算法与kcf在红外数据集上部分视频帧跟踪的结果。在光流计算中，采用pyrlk和flownet2.0这两种算法来进行实验。图12中的第三行与第四行分别表示利用pyrlk算法与flownet2.0算法来计算光流平均值以此确定目标的候选框，再用核相关滤波方法得到目标的当前边界框的方法，相比于kcf方法，这两种算法在目标运快速运动、方向发生变化时能够更好的进行跟踪。图13(a)和图13(b)为改进方法与kcf方法在drone数据集上的精确率图与成功率图，横轴是阈值，纵轴是百分比。其中蓝色实线(指图13(a)和图13(b)中kcf_pyrlk_magno代表的线条)表示利用视网膜大细胞通路计算前一帧目标边界框内的运动区域，并利用pyrlk算法计算该区域内角点的平均光流来确定目标的候选框，再通过核相关滤波算法确定目标的当前边界框的方法。橙色虚线(指图13(a)和图13(b)中kcf_flownet2.0_magno代表的线条)表示利用视网膜大细胞通路计算前一帧目标边界框内的运动区域，并利用flownet2.0算法计算该区域内角点的平均光流来确定目标的候选框，再通过核相关滤波算法确定目标的当前边界框的方法。绿色虚线与红色虚线(指图13(a)和图13(b)中kcf_flownet2.0与kcf_pyrlk)分别表示利用flownet2.0算法与pyrlk算法计算前一帧目标边界框内的平均光流来确定候选框，再通过核相关滤波算法确定当前帧图像中目标的边界框的方法，为消融实验。从图13(a)和图13(b)中可以看出，当利用视网膜大细胞通路计算前一帧目标边界框内的运动区域，并利用pyrlk算法计算该区域内角点的平均光流来确定目标的候选框，再通过核相关滤波算法确定目标的边界框时，相比于kcf基线方法精确率与成功率分别提升10.3％、7.1％；当将光流算法改成flownet2.0时，所提方法相比于kcf基线方法精确率与成功率分别提升5.9％、4.8％。当不用视网膜大细胞通路模型计算运动区域，直接利用pyrlk算法或flownet2.0算法计算前一帧目标边界框内的平均光流，并利用该光流在当前帧中得到目标候选框，再用kcf方法计算更加精确的目标位置，相比于改进之前的核相关滤波方法，精确率分别提升2.8％、3.1％，成功率分别提升3.5％、2.6％。该提升幅度小于使用视网膜大细胞通路模型的结果。
[0114]
本公开实施例的目标跟踪方法，通过获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的；针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息；根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息；根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。由此，根据当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息，提高了目标的候选框的有效性，进而，根据该候选框信息对图像中目标进行跟踪，提高了目标跟踪的成功率。
[0115]
为了实现上述实施例，本公开提出还一种目标跟踪装置。
[0116]
图14是根据本公开第七实施例的示意图。如图14所示，该目标跟踪装置1400包括：获取模块1410、第一确定模块1420、跟踪模块1430。
[0117]
其中，获取模块1410，用于获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的；第一确定模块1420，用于针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息；第一确
定模块1420，还用于根据原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息；跟踪模块1430，用于根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。
[0118]
作为本公开实施例的一种可能实现方式，第一确定模块1420，具体用于：针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息，以及相邻图像中各个像素点的光流信息；确定相邻图像的运动区域掩码图像，其中，运动区域掩码图像中各个像素点的掩码数值，表征像素点上目标的运动强度；其中，相邻图像的运动区域掩码图像，为将相邻图像输入视网膜大细胞通路模型得到的输出结果；根据相邻图像中目标的原始边界框信息、相邻图像中各个像素点的光流信息以及各个像素点的掩码数值，确定原始运动信息。
[0119]
作为本公开实施例的一种可能实现方式，第一确定模块1420，还用于：根据相邻图像中各个像素点的光流信息，确定相邻图像的光流情况；根据相邻图像的光流情况以及原始边界框信息所限定的区域内像素点的掩码数值，确定候选像素点；将候选像素点的光流信息的平均值，作为运动信息。
[0120]
作为本公开实施例的一种可能实现方式，第一确定模块1420，还用于：将区域内对应的掩码数值为预设数值且为角点的像素点，确定为候选像素点；或者，将所述区域内对应的掩码数值为预设数值的像素点，确定为候选像素点。
[0121]
作为本公开实施例的一种可能实现方式，原始边界框信息包括：原始中心点坐标信息以及原始尺寸信息；第一确定模块1420，还用于：根据原始中心点坐标信息以及运动信息，确定当前图像中目标的候选中心点坐标信息；根据原始尺寸信息以及预设倍数，确定当前图像中目标的候选尺寸信息；将候选中心点坐标信息和候选尺寸信息，作为候选框信息。
[0122]
作为本公开实施例的一种可能实现方式，跟踪模块1430，具体用于：确定当前图像中候选框信息所限定的区域图像；根据区域图像以及核相关滤波器，确定区域图像中各个像素点与目标的相关度；根据区域图像中各个像素点与目标的相关度，确定当前边界框信息。
[0123]
作为本公开实施例的一种可能实现方式，目标跟踪装置还包括：第二确定模块、第三确定模块、第四确定模块和控制模块。
[0124]
其中，第二确定模块，用于确定当前图像中目标的当前运动信息；第三确定模块，用于根据当前边界框信息中的当前中心点坐标信息以及当前运动信息，确定延时时间段后目标的预测中心点坐标信息；第四确定模块，用于根据延时时间段后目标的预测中心点坐标信息以及当前中心点坐标信息，确定图像采集设备的转动信息；控制模块，用于根据转动信息，对图像采集设备进行转动控制，实现对目标的跟踪。
[0125]
作为本公开实施例的一种可能实现方式，第四确定模块，具体用于：根据延时时间段后目标的预测中心点坐标信息以及当前中心点坐标信息，确定延时时间段内目标的移动信息；根据移动信息以及图像采集设备单位角度内的移动信息，确定图像采集设备的转动信息。
[0126]
本公开实施例的目标跟踪装置，通过获取图像序列，其中，图像序列为图像采集设备对目标进行连续图像采集得到的；针对图像序列中的当前图像，确定图像序列中位于当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息；根据原始边界框信息
以及原始运动信息，确定当前图像中目标的候选框信息；根据候选框信息对当前图像中的目标进行跟踪，确定当前图像中目标的当前边界框信息。由此，根据当前图像之前的相邻图像中目标的原始边界框信息以及原始运动信息，确定当前图像中目标的候选框信息，提高了目标的候选框的有效性，进而，根据该候选框信息对图像中目标进行跟踪，提高了目标跟踪的成功率。
[0127]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0128]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0129]
图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0130]
如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(rom)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(ram)1503中的计算机程序，来执行各种适当的动作和处理。在ram 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、rom 1502以及ram 1503通过总线1504彼此相连。输入/输出(i/o)接口1505也连接至总线1504。
[0131]
设备1500中的多个部件连接至i/o接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0132]
计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如目标跟踪方法。例如，在一些实施例中，目标跟踪方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由rom 1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到ram1503并由计算单元1501执行时，可以执行上文描述的目标跟踪方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标跟踪方法。
[0133]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0134]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0135]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0136]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0137]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0138]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0139]
计算机系统还可以包括类脑芯片，该类脑芯片可以为非冯诺依曼体系计算设备。
[0140]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0141]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。