目标跟踪方法、跟踪装置及可读存储介质与流程

1.本发明涉及目标跟踪技术领域，尤其涉及一种目标跟踪方法、跟踪装置及可读存储介质。


背景技术：

2.当前采用的大多数目标跟踪方法仅适用于无干扰的环境，当目标对象发生部分或者全部遮挡时，这些目标跟踪方法无法匹配出最佳区域，即使目标再次出现，也无法再次检测并跟踪目标，导致目标对象跟丢或者发生错误跟踪。因此，目标对象被遮挡时，当前采用的目标跟踪方法对目标对象的跟踪准确率较低。


技术实现要素：

3.本发明的主要目的在于提供一种目标跟踪方法、跟踪装置及可读存储介质，旨在提高目标对象被遮挡时的跟踪准确率。
4.为实现上述目的，本发明提供一种目标跟踪方法，所述目标跟踪方法包括：
5.根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，所述初始位置通过上一帧图像帧得到；
6.根据所述第一跟踪偏角、所述第一跟踪距离以及卡尔曼滤波器预测所述目标对象相对于所述初始位置的第二跟踪偏角以及第二跟踪距离；
7.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置。
8.可选地，所述根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置的步骤之前，还包括：
9.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的遮挡判别系数；
10.根据所述遮挡判别系数确定所述目标对象是否被遮挡；
11.若所述目标对象被遮挡，执行所述根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置的步骤。
12.可选地，所述根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的遮挡判别系数的步骤包括：
13.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象对应的新息；
14.获取所述目标对象对应的灰度值残差；
15.根据所述新息以及所述灰度值残差确定所述目标对象的遮挡判别系数。
16.可选地，所述根据所述遮挡判别系数确定所述目标对象是否被遮挡的步骤之后，还包括：
17.若所述目标对象未被遮挡，根据所述第一跟踪距离以及所述第二跟踪距离确定第三跟踪距离，且根据所述第一跟踪偏角以及所述第二跟踪偏角确定第三跟踪偏角；
18.根据所述第三跟踪偏角以及所述第三跟踪距离确定所述目标对象的当前位置。
19.可选地，所述根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离的步骤包括：
20.根据所述当前图像帧确定所述目标对象的质心位置；
21.根据所述质心位置确定所述目标对象的当前跟踪窗口；
22.根据所述当前跟踪窗口以及所述初始位置确定所述目标对象相对于所述初始位置的第一跟踪偏角以及第一跟踪距离。
23.可选地，所述根据所述质心位置确定所述目标对象的当前跟踪窗口的步骤之后，还包括：
24.根据所述当前跟踪窗口确定所述目标对象的候选模型；
25.将所述候选模型与目标模型相匹配，以确定所述当前跟踪窗口的巴氏系数，所述目标模型根据上一帧图像帧得到；
26.若所述巴氏系数位于预设范围，执行所述根据所述当前跟踪窗口以及所述初始位置确定所述目标对象相对于所述初始位置的第一跟踪偏角以及第一跟踪距离的步骤。
27.可选地，所述根据所述当前跟踪窗口确定所述目标对象的候选模型的步骤包括：
28.获取所述当前跟踪窗口内的颜色概率密度；
29.根据所述颜色概率密度确定所述目标对象的候选模型。
30.此外，为实现上述目的，本发明还提供一种跟踪装置，所述目标跟踪装置包括：
31.检测模块，用于根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，所述初始位置通过上一帧图像帧得到；
32.预测模块，用于根据所述第一跟踪偏角、所述第一跟踪距离以及卡尔曼滤波器预测所述目标对象相对于所述初始位置的第二跟踪偏角以及第二跟踪距离；
33.跟踪模块，用于根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置。
34.此外，为实现上述目的，本发明还提供一种跟踪装置，所述目标跟踪装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标跟踪程序，所述目标跟踪程序被所述处理器执行时实现上述任一项所述的目标跟踪方法的步骤。
35.此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有目标跟踪程序，所述目标跟踪程序被处理器执行时实现上述任一项所述的目标跟踪方法的步骤。
36.本发明提出了一种目标跟踪方法、跟踪装置及可读存储介质，根据目标对象的当前图像帧确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，初始位置通过上一帧图像帧得到，根据第一跟踪偏角、第一跟踪距离以及卡尔曼滤波器预测目标对象相对于初始位置的第二跟踪偏角以及第二跟踪距离，根据第二跟踪偏角以及第二跟踪距离确定目标对象的当前位置。本方案在目标对象被遮挡时，直接通过卡尔曼滤波器的预测的第二跟踪偏角以及第二跟踪距离计算目标对象的当前位置，实现目标对象在遮挡时也能跟踪目标对象，而不会出现跟丢或者错误跟踪的情况，提高了目标对象被遮挡时的跟踪准确率。
附图说明
37.图1是本发明实施例方案涉及的跟踪装置的硬件架构示意图；
38.图2是本发明目标跟踪方法的第一实施例的流程示意图；
39.图3是本发明目标跟踪方法的第二实施例的流程示意图；
40.图4是本发明实施例方案涉及的跟踪装置的模块结构示意图。
41.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
43.作为一种实现方案，请参照图1，图1是本发明实施例方案涉及的跟踪装置的硬件架构示意图，如图1所示，该跟踪装置可以包括处理器101，例如cpu，存储器102，通信总线103，其中，通信总线103用于实现这些模块之间的连接通信。
44.存储器102可以是高速ram存储器，也可以是稳定的存储器(non
‑
volatilememory)，例如磁盘存储器。如图1所示，作为一种可读存储介质的存储器102中可以包括目标跟踪程序；而处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
45.根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，所述初始位置通过上一帧图像帧得到；
46.根据所述第一跟踪偏角、所述第一跟踪距离以及卡尔曼滤波器预测所述目标对象相对于所述初始位置的第二跟踪偏角以及第二跟踪距离；
47.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置。
48.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
49.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的遮挡判别系数；
50.根据所述遮挡判别系数确定所述目标对象是否被遮挡；
51.若所述目标对象被遮挡，执行所述根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置的步骤。
52.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
53.根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象对应的新息；
54.获取所述目标对象对应的灰度值残差；
55.根据所述新息以及所述灰度值残差确定所述目标对象的遮挡判别系数。
56.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
57.若所述目标对象未被遮挡，根据所述第一跟踪距离以及所述第二跟踪距离确定第三跟踪距离，且根据所述第一跟踪偏角以及所述第二跟踪偏角确定第三跟踪偏角；
58.根据所述第三跟踪偏角以及所述第三跟踪距离确定所述目标对象的当前位置。
59.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
60.根据所述当前图像帧确定所述目标对象的质心位置；
61.根据所述质心位置确定所述目标对象的当前跟踪窗口；
62.根据所述当前跟踪窗口以及所述初始位置确定所述目标对象相对于所述初始位置的第一跟踪偏角以及第一跟踪距离。
63.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
64.根据所述当前跟踪窗口确定所述目标对象的候选模型；
65.将所述候选模型与目标模型相匹配，以确定所述当前跟踪窗口的巴氏系数，所述目标模型根据上一帧图像帧得到；
66.若所述巴氏系数位于预设范围，执行所述根据所述当前跟踪窗口以及所述初始位置确定所述目标对象相对于所述初始位置的第一跟踪偏角以及第一跟踪距离的步骤。
67.进一步地，处理器101可以用于调用存储器102中存储的目标跟踪程序，并执行以下操作：
68.获取所述当前跟踪窗口内的颜色概率密度；
69.根据所述颜色概率密度确定所述目标对象的候选模型。
70.伴随着计算机视觉的不断发展，基于计算机视觉的目标跟踪算法的研究已经成为各个领域各行业的研究热点。目标跟踪也是计算机视觉研究的重点课题之一，它主要是对图像帧序列中的目标对象进行识别、定位和跟踪的过程，在获取到运动的目标对象的运动特征信息之后，通过进一步的分析，并对目标对象的特征信息进行解析和描述，以实现对目标对象的跟踪目的。当前采用的目标跟踪算法，例如，基于模板匹配的跟踪方法是通过选取第一帧图像跟踪区域的目标信对象作为匹配模板，在后续图像帧中，选择与模板的匹配结果误差最小的候选区域作为跟踪结果；而基于状态估计的目标跟踪方法是通过建立目标跟踪模型预测目标下一帧中所在的位置，并更新目标当前状态的一种方法。但是，由于当前采用的大多数目标跟踪方法仅适用于无干扰的环境，在存在干扰的复杂环境中，例如，目标对象发生部分或者全部遮挡时，当前采用的目标跟踪方法无法匹配出最佳跟踪区域，即使被遮挡的目标再次出现，也无法再次检测并跟踪目标。因此，在目标对象被遮挡时，当前采用的目标跟踪方法对目标对象的跟踪准确率较低。
71.基于现有技术存在的上述技术问题，本发明提出一种目标跟踪方法，其核心思路在于：结合卡尔曼滤波器进行目标跟踪，在目标对象被遮挡时，利用卡尔曼滤波器的预测值计算目标对象的当前位置，实现目标对象在遮挡情况下也能准确跟踪到目标对象的位置。下面将通过具体的实施例对本发明提出的目标跟踪方法作进一步的解释说明。
72.请参照图2，图2是本发明目标跟踪方法的第一实施例的流程示意图，所述目标跟踪方法包括：
73.步骤s10，根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，所述初始位置通过上一帧图像帧得到；
74.步骤s20，根据所述第一跟踪偏角、所述第一跟踪距离以及卡尔曼滤波器预测所述目标对象相对于所述初始位置的第二跟踪偏角以及第二跟踪距离；
75.步骤s30，根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置。
76.在本实施例中，本发明目标跟踪方法的执行主体是跟踪装置，可选的地，跟踪装置
可以是用于目标跟踪的移动机器人，当然，在其他实施例中，跟踪装置也可以是其他用于目标跟踪的设备，具体可以根据实际情况确定，本实施例对比不作限定。
77.跟踪装置可以根据目标对象的当前图像帧确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，其中，目标对象是指跟踪装置跟踪的对象，可选地，目标对象可以是人、动物等，本实施例对此不作限定。初始位置是指上一帧图像帧中确定的目标对象的位置。
78.可选地，在进行目标跟踪时，跟踪装置可以通过rgb
‑
d相机获取目标对象的当前图像帧，通过meanshift目标跟踪方法确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离。需要说明的是，对于刚开始跟踪时的第一帧图像，跟踪装置可以通过rgb
‑
d相机获取目标对象的第一帧图像，在第一帧图像中选定需要跟踪的目标对象，通过人体目标检测方法获取第一帧图像中目标对象的质心位置，根据质心位置确定目标对象初始位置，当然也可以通过人工自行选定需要跟踪的对象。
79.跟踪装置在获取到目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离后，根据第一跟踪偏角、第一跟踪距离以及卡尔曼滤波器预测目标对象相对于初始位置的第二跟踪偏角以及第二跟踪距离。
80.可选地，跟踪装置初始化卡尔曼滤波器，将目标对象相对于初始位置的第一跟踪偏角以及一跟踪距离作为卡尔曼滤波器的初始状态，通过初始化后的卡尔曼滤波器预测当前图像帧中目标对象相对于初始位置的第二跟踪偏角以及第二跟踪距离。卡尔曼滤波器可选为自适应的卡尔曼滤波器。
81.跟踪装置在获取到目标对象相对于初始位置的第二跟踪偏角以及第二跟踪距离后，根据第二跟踪偏角以及第二跟踪距离确定目标对象的当前位置。
82.可选地，跟踪装置根据第二跟踪偏角以及第二跟踪距离确定目标对象的当前位置的步骤之前，可以根据第二跟踪偏角以及第二跟踪距离确定目标对象的遮挡判别系数，根据遮挡判别系数确定目标对象是否被遮挡。具体地，若遮挡判别系数大于预设阈值时，确定目标对象被遮挡；在遮挡判别系数小于或等于预设阈值时，确定目标对象未被遮挡，其中，预设阈值可选为0.8，当然，在其他实施例中，遮挡判别系数可以根据实际经验确定，本实施例对此不作限定。在确定目标对象被遮挡时，根据第二跟踪偏角以及第二跟踪距离确定目标对象的当前位置。
83.可选地，跟踪装置在根据第二跟踪偏角以及第二跟踪距离确定目标对象的遮挡判别系数时，根据第二跟踪偏角以及第二跟踪距离确定目标对象对应的新息，具体地，通过获取第二跟踪偏角与第一跟踪偏角的第一差值，且获取第二跟踪距离与第一跟踪距离的第二差值，根据第一差值以及第二差值确定目标对象对应的新息。在获取到目标对象对应的新息后，获取目标对象对应的灰度值残差，具体地，通过获取当前图像帧各个像素点的灰度值以及上一帧图像帧各个像素点的灰度值，根据当前图像帧各个像素点的灰度值以及上一帧图像帧各个像素点的灰度值确定目标对象对应的灰度值残差。在获取到目标对象的灰度值残差后，将目标对象对应的灰度值残差与目标对象对应的新息相乘得到的积作为目标对象的遮挡判别系数。
84.可选地，在确定目标对象未被遮挡时，更新卡尔曼滤波器的状态，根据第二跟踪偏角、第二跟踪距离、第一跟踪偏角以及第一跟踪距离得到最优的跟踪偏角以及跟踪距离，以
根据最优的跟踪偏角以及最优的跟踪距离确定目标对像的当前位置，同时，将最优的跟踪偏角以及最优的跟踪距离作为下一帧的先验估计。具体地，可以根据第一跟踪距离以及第二跟踪距离确定第三跟踪距离，且根据第一跟踪偏角以及第二跟踪偏角确定第三跟踪偏角，根据第三跟踪偏角以及第三跟踪距离确定目标对象的当前位置。
85.可选地，跟踪装置获取到目标对象的当前位置后，将目标对象的当前位置更新为下一帧图像帧的初始位置。
86.不断重复上述目标跟踪过程，直至当次目标跟踪任务结束。
87.本实施例提供的技术方案中，跟踪装置根据目标对象的当前图像帧确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，初始位置通过上一帧图像帧得到，根据第一跟踪偏角、第一跟踪距离以及卡尔曼滤波器预测目标对象相对于初始位置的第二跟踪偏角以及第二跟踪距离，根据第二跟踪偏角以及第二跟踪距离确定目标对象的当前位置。本方案在目标对象被遮挡时，直接通过卡尔曼滤波器的预测的第二跟踪偏角以及第二跟踪距离计算目标对象的当前位置，实现目标对象在遮挡时也能跟踪目标对象，而不会出现跟丢或者错误跟踪的情况，提高了目标对象被遮挡时的跟踪准确率。
88.请参照图3，图3是本发明目标跟踪方法的第二实施例的流程示意图，所述目标跟踪方法包括：
89.步骤s11，根据所述当前图像帧确定所述目标对象的质心位置；
90.步骤s12，根据所述质心位置确定所述目标对象的当前跟踪窗口；
91.步骤s13，根据所述当前跟踪窗口以及所述初始位置确定所述目标对象相对于所述初始位置的第一跟踪偏角以及第一跟踪距离。
92.在本实施例中，跟踪装置可以通过rgb
‑
d相机获取目标对象的当前图像帧，通过meanshift目标跟踪方法确定当前图像帧中目标对象的质心位置，根据目标对象质心位置确定目标对象的当前跟踪窗口，其中，当前跟踪窗口是目标对象所在的跟踪区域。在获取到目标对象的当前跟踪窗口后，根据目标对象的当前跟踪窗口以及目标对象的初始位置确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离。
93.可选地，跟踪装置在获取到目标对象的当前跟踪窗口后，可以获取当前跟踪窗口的长边和短边，根据当前跟踪窗口的长边和短边，以及目标对象的初始位置计算目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离。
94.可选地，跟踪装置根据质心位置获取到目标对象的当前跟踪窗口后，可以根据当前跟踪窗口确定目标对象的候选模型，将候选模型与目标模型相匹配，以确定当前跟踪窗口的巴氏系数，在巴氏系数位于预设范围时，根据当前跟踪窗口以及初始位置确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离。其中，目标模型通过上一帧图像帧确定得到，具体地，跟踪装置通过获取上一帧图像帧中目标对象所在的跟踪窗口，通过计算上一帧图像帧中目标对象所在的跟踪窗口内的颜色概率密度，根据计算得到的颜色概率密度确定目标对象的目标模型。需要说明的是，对于刚开始目标跟踪时的第一帧图像，跟踪装置可以通过由rgb
‑
d相机获取目标对象的第一帧图像，基于人体目标跟踪算法，根据目标对象的第一帧图像确定包含目标对象的跟踪窗口，通过meanshift目标跟踪方法计算第一帧图像中目标对象的跟踪窗口内的颜色概率密度，得到目标模型。巴氏系数用于判断目标模型与候选模型的相似度，通过巴氏系数可以判断当前跟踪窗口是否包含了目标对象，具体
地，当巴氏系数位于预设范围时，确定当前跟踪窗口包含了目标对象，当巴氏系数不位于预设范围时，确定当前跟踪窗口不包含目标对象。
95.可选地，跟踪装置根据当前跟踪窗口确定目标对象的候选模型时，可以通过获取当前跟踪窗口内的颜色概率密度，根据当前跟踪窗口内的颜色概率密度确定目标对象的候选模型。
96.可选地，在巴氏系数不位于预设范围时，跟踪装置可以根据当前图像帧重新调整目标对像的质心位置，根据重新调整后的质心位置重新确定目标对象的当前跟踪窗口，通过计算重新确定的当前跟踪窗口内的颜色概率密度，以重新确定目标对象的候选模型，将重现确定的候选模型与目标模型匹配，以重新确定巴氏系数。不断迭代上述过程，直至得到的巴氏系数位于预设范围内。
97.本实施例通过巴氏系数判断确定的当前跟踪窗口是否包含目标对象，只有在当前跟踪窗口包含目标对象时才根据目标对象的当前跟踪窗口以及初始位置确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，这样可以有效避免无效距离和无效偏角的计算，提高目标跟踪的准确率。
98.本实施例提供的技术方案中，根据当前图像帧确定目标对象的质心位置，根据质心位置确定目标对象的当前跟踪窗口，根据当前跟踪窗口以及初始位置确定目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离。本方案通过目标对象的当前跟踪窗口以及初始位置计算得到目标对象相对于目标对象的初始位置的第一跟踪偏角以及第一跟踪距离，可以提高跟踪偏角以及跟踪距离的准确率，进而提高目标跟踪的准确率。
99.基于上述实施例，请参照图4，本发明还提供了一种跟踪装置，所述跟踪装置包括：
100.检测模块100，用于根据目标对象的当前图像帧确定所述目标对象相对于初始位置的第一跟踪偏角以及第一跟踪距离，所述初始位置通过上一帧图像帧得到；
101.预测模块200，用于根据所述第一跟踪偏角、所述第一跟踪距离以及卡尔曼滤波器预测所述目标对象相对于所述初始位置的第二跟踪偏角以及第二跟踪距离；
102.跟踪模块300，用于根据所述第二跟踪偏角以及所述第二跟踪距离确定所述目标对象的当前位置。
103.基于上述实施例，本发明还提供了一种跟踪装置，上述跟踪装置可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的目标跟踪程序，上述处理器执行上述目标跟踪程序时，实现如上述任一实施例所述的目标跟踪方法的步骤。
104.基于上述实施例，本发明还提供一种可读存储介质，其上存储有目标跟踪程序，上述目标跟踪程序被处理器执行时实现如上述任一实施例所述的目标跟踪方法的步骤。
105.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
106.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
107.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能电视、手机、计算机等)执行本发明各个实施例所述的方法。
108.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。