一种基于响应图的目标检测及目标遮挡判断的方法及装置与流程

1.本发明涉及目标跟踪领域，尤其涉及一种基于响应图的目标检测及目标遮挡判断的方法及装置。


背景技术：

2.目标跟踪算法是以连续的图像序列为输入，并给定初始帧图像的目标大小和位置，并预测后续帧图像中的目标大小和位置。目标跟踪的流程可以分为确定目标候选框、特征提取、样本采集、目标位置预测等四步。目标候选框的确定一般是来源于人工对第一帧内的目标进行标注或者是由前序的检测算法得到的检测结果。目标特征提取则是选择能够有效表达对象的特征，与后续过程选取的候选样本进行比对。样本采集是对疑似目标样本进行筛选。考虑到由于目标在短时间内移动的距离有限，一般是在目标候选框周围进行采样。目标位置预测是通过特征模板与候选样本区域之间的匹配，相似程度越高的位置则越有可能是目标最新位置。
3.目前常用的跟踪算法如下：
4.背景差分法：是利用当前帧与背景模型差分来检测运动目标的方法，差分法的步骤主要包括前景检测和背景更新。背景差分法的优势是能够在单一场景中取得更高的精度和计算速度，但是背景差分法相当依赖于环境的连续性，当光照变化或者是背景发生抖动，背景出现骤变时，背景差分法检测效果会变得很糟糕。
5.帧间差分法：是通过对相邻两帧的图像进行像素值相减运算，相减后的像素值图像进行阈值判定来得到运动目标。帧间差分对光线的变化不敏感，并且在处理静态环境的时候更新的速度快，不需要对背景环境进行建模。但是帧间差分在运动的摄像头中使用的效果很糟糕，无法对运动缓慢或者是静止中的目标进行识别，对目标区域难以完整地提取，只能较好地提取边界，对于检测结果的准确程度，相当依赖于选取帧的连续性，很容易出现空洞和漏检的现象。
6.光流法：光流法的思想是通过对象目标光流场的变化来实现对象目标的检测，比较像素的变化和相邻两帧的关联性，来获取相邻帧中运动目标的信息。根据图像中像素点的速度矢量来对图像进行分析，得到运动目标的信息。光流法的优点在于检测前不需要任何先验信息，而且对于背景变化的情况能够处理。但是计算的复杂度很高，对目标的处理有较大的延迟。
7.由于实际场景中存在较多复杂干扰因素，使得跟踪算法的鲁棒性和跟踪精度受到影响，甚至造成目标丢失；其中，目标被遮挡是影响跟踪效果的一个主要因素。


技术实现要素：

8.为解决上述技术问题，本发明提出了一种基于响应图的目标检测及目标遮挡判断的方法及装置，所述方法及装置，用于解决现有技术的目标是否被遮挡，以及在半遮挡或全遮挡中目标检索不准确、干扰大的技术问题。
9.根据本发明的第一方面，提供一种基于响应图的目标检测及目标遮挡判断的方法，所述方法包括以下步骤：
10.步骤s101：获取目标的原始图像，获取视频流的初始帧i1，将初始帧i1作为当前帧，获取i1的模板t1；将目标模板t初始化为模板t1；
11.步骤s102：判断视频流是否处理完毕，若是，方法结束；若否，进入步骤s103；
12.步骤s103：将当前帧的下一图像帧作为当前帧，记为ii，2≤i≤n，n为视频流的图像帧数；基于目标位置，计算当前帧ii中目标的hog特征，记为hi；
13.步骤s104：基于目标模板t及当前帧ii当前帧ii提取到的目标的hog特征hi计算当前帧ii的目标响应图gi'；获取当前帧ii的理想响应图g0；计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di；计算当前帧ii的模板ti；
14.步骤s105：若欧式距离di小于预设阈值，则更新目标模板t和目标位置(i
ix
,i
iy
)，进入步骤s102；否则，确定在当前帧中目标被遮挡，不需要执行更新操作；进入步骤s102。
15.根据本发明第二方面，提供一种基于响应图的目标检测及目标遮挡判断的装置，所述装置包括：
16.初始化模块：配置为获取目标的原始图像，获取视频流的初始帧i1，将初始帧i1作为当前帧，获取i1的模板t1；将目标模板t初始化为模板t1；
17.第一判断模块：配置为判断视频流是否处理完毕；
18.hog特征提取模块：配置为将当前帧的下一图像帧作为当前帧，记为ii，2≤i≤n，n为视频流的图像帧数；基于目标位置，计算当前帧ii中目标的hog特征，记为hi；
19.模板获取模块：配置为基于目标模板t及当前帧ii当前帧ii提取到的目标的hog特征hi计算当前帧ii的目标响应图gi'；获取当前帧ii的理想响应图g0；计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di；计算当前帧ii的模板ti；
20.更新模块：配置为若欧式距离di小于预设阈值，则更新目标模板t和目标位置(i
ix
,i
iy
)；否则，确定在当前帧中目标被遮挡，不需要执行更新操作。
21.根据本发明第三方面，提供一种基于响应图的目标检测及目标遮挡判断的系统，包括：
22.处理器，用于执行多条指令；
23.存储器，用于存储多条指令；
24.其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于响应图的目标检测及目标遮挡判断的方法。
25.根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于响应图的目标检测及目标遮挡判断的方法。
26.本发明在充分考虑相关滤波跟踪算法模板响应图特点的情况下，结合理想响应图与实际响应图的灰度分布特性，应用到目标模板的更新策略。首先对原图像进行一个预处理和灰度空间变换，减小光照的影响，利用初始帧提供的目标位置和大小信息进行目标hog特征的提取，之后利用相关滤波算法获得当前帧和上一帧图像的模板响应图，根据当前帧响应图和理想响应图灰度分布特性的差异，进行下一步的模板跟新操作。相关滤波跟踪是利用当前帧目标特征与模板的相似性，通过获得响应图最大值的位置偏差，从而完成目标
跟踪过程。根据本发明的上述方案，对复杂场景下的半遮挡和全遮挡有自适应性，能够满足实时性要求，具有较强抗遮挡性和抗干扰性的技术效果。
27.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
28.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
29.图1为本发明一个实施方式的基于响应图的目标检测及目标遮挡判断的方法流程图；
30.图2为本发明一个实施方式的初始帧图像示意图；
31.图3为本发明一个实施方式的当前帧图像示意图；
32.图4为本发明一个实施方式的理想模板响应图；
33.图5为本发明一个实施方式的当前帧模板响应图；
34.图6为本发明一个实施方式的目标被遮挡后响应图；
35.图7为本发明一个实施方式的基于响应图的目标检测及目标遮挡判断的装置结构框图；
具体实施方式
36.首先结合图1说明本发明一个实施方式的基于响应图的目标遮挡判断的方法流程，所述方法包括以下步骤：
37.步骤s101：获取目标的原始图像，获取视频流的初始帧i1，将初始帧i1作为当前帧，获取i1的模板t1；将目标模板t初始化为模板t1；
38.步骤s102：判断视频流是否处理完毕，若是，方法结束；若否，进入步骤s103；
39.步骤s103：将当前帧的下一图像帧作为当前帧，记为ii，2≤i≤n，n为视频流的图像帧数；基于目标位置，计算当前帧ii中目标的hog特征，记为hi；
40.步骤s104：基于目标模板t及当前帧ii当前帧ii提取到的目标的hog特征hi计算当前帧ii的目标响应图gi'；获取当前帧ii的理想响应图g0；计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di；计算当前帧ii的模板ti；
41.步骤s105：若欧式距离di小于预设阈值，则更新目标模板t和目标位置(i
ix
,i
iy
)，进入步骤s102；否则，确定在当前帧中目标被遮挡，不需要执行更新操作；进入步骤s102。
42.本实施例中，如图2所示，确定初始帧中的目标图像，获取如图3所示的当前帧。
43.所述步骤s101：获取目标的原始图像，获取视频流的初始帧i1，将初始帧i1作为当前帧，获取i1的模板t1，包括：
44.所述步骤s1011：将所述目标的原始图像的二维图像矩阵f(x,y)由rgb空间转换到灰度空间，获得所述原始图像的灰度图像矩阵g(x,y)；其中，x为二维图像中水平x方向的像素坐标，y为二维图像中垂直y方向的像素坐标；
45.所述步骤s1012：在视频初始帧中确定目标的位置和尺寸，基于所述目标的位置和尺寸，在所述原始图像的灰度图像中提取与所述目标对应的roi,确定所述roi对应的图像
块c(x,y)；
46.步骤s1013：将图像块划分为相互连接的多个细胞单元cj，计算每个细胞单元的梯度gj(x,y)，其中，1≤j≤m，m为细胞单元数，g
jx
为细胞单元j在水平方向的梯度，g
jy
为细胞单元j在垂直方向的梯度；
[0047][0048]
其中，c(x 1,y)为图像块c(x,y)在(x 1,y)处的灰度值，c(x-1,y)为图像块c(x,y)在(x-1,y)处的灰度值，c(x,y 1)为图像块c(x,y)在(x,y 1)处的灰度值，c(x,y-1)为图像块c(x,y)在(x,y-1)处的灰度值；
[0049]
步骤s1014：统计每个所述细胞单元的梯度直方图，形成当前帧的hog特征的梯度向量；
[0050]
步骤s1015：组合全部细胞单元的梯度向量，形成所述目标的hog特征向量矩阵，记为h1；
[0051]
步骤s1016：根据所述目标的hog特征，建立高斯模型并获取模板t1，其中，g0为当前帧的理想高斯响应图，为傅里叶变换。理想高斯响应图的计算方法为：
[0052][0053]
其中，x1、y1分别为理想响应图g0水平x方向和垂直y方向的坐标，lenx、leny分别为理想响应图g0水平x方向和垂直y方向的长度，σ＝sqrt(lenx
·
leny)，α为归一化常数。
[0054]
如图4-6所示，所述步骤s104：基于目标模板t及当前帧ii提取到的目标的hog特征hi计算当前帧ii的目标响应图gi'；获取当前帧ii的理想响应图g0；计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di；计算当前帧ii的模板ti，其中：
[0055]
当前帧ii的目标响应图gi'的计算方法为：
[0056][0057]
其中，为对hi进行傅里叶变换，t
i-1
为上一帧训练得到的目标模板，为上一帧训练得到的目标模板t
i-1
与当前帧特征的卷积结果，为对进行傅立叶逆变换。
[0058]
计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di，包括：
[0059]
步骤s1041：对所述目标响应图gi'进行线性变换，转换到[0,255]区间，以8为间隔统计32个区间的灰度个数，由32个灰度数构成一维向量xi；
[0060]
步骤s1042：对所述理想响应图g0进行线性变换，转换到[0,255]区间，以8为间隔
统计32个区间的灰度个数，由32个灰度数构成一维向量x0；
[0061]
步骤s1043：计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di，di＝||x
i-x0||2，其中xi为当前帧目标响应图对应的一维向量，x0为理想响应图对应的一维向量，xi(j)为当前帧目标响应图对应的一维向量中第j个元素，x0(j)为理想响应图对应的一维向量中第j个元素。
[0062]
计算当前帧ii的模板ti，包括：
[0063][0064]
其中，ti为当前帧模板，g0为当前帧的理想高斯响应图，为傅里叶变换，hi为当前帧提取到的目标的hog特征。
[0065]
所述步骤s105：若欧式距离di小于预设阈值，则更新目标模板t和目标位置(i
ix
,i
iy
)，进入步骤s102；否则，确定在当前帧中目标被遮挡，不需要执行更新操作；进入步骤s102，其中：
[0066]
所述目标模板t和目标位置(i
ix
,i
iy
)的更新方法为：
[0067]
t＝(1-ρ)t
i-1
ρti[0068]
(i
ix
,i
iy
)＝(i
(i-1)x
g
xmax-m1/2,i
(i-1)y
g
ymax-n1/2)
[0069]
其中，ρ为模板更新权重，一般取值为0.02，i
ix
为当前帧目标位置的水平x方向坐标，i
iy
为当前帧目标位置的垂直y方向坐标，i
(i-1)x
为上一帧目标位置的水平x方向坐标，i
(i-1)y
为上一帧目标位置的垂直y方向坐标；g
xmax
为当前帧ii的所述目标响应图gi'的最大响应值所对应的位置的横轴方向的坐标，g
ymax
为当前帧ii的所述目标响应图gi'的最大响应值所对应的位置的纵轴方向的坐标，m1、n1分别为响应图gi'水平方向、垂直方向的长度；
[0070]
所述当前帧ii的所述目标响应图gi'的最大响应值所对应的位置，是通过遍历目标响应图gi'中的所有像素点的方式，找出值最大的响应值，作为最大响应值，同时获得该最大响应值对应的位置。
[0071]
本实施例中，根据经验预设阈值一般设置为0.4～0.6之间。
[0072]
本实施例中，首先利用初始帧中目标的位置和大小提取目标的hog特征和背景特征，并建立高斯模型，得到目标初始模板；然后，利用目标模板在第二帧图像中进行相关性计算响应图；根据上一帧的目标位置信息，在当前帧进行特征提取，并通过相关滤波算法获得当前帧目标响应图；最后统计当前帧响应图的灰度分布特征，计算与理想响应图的灰度分布特征的欧氏距离，根据距离大小判定是否更新目标模板。最后，通过响应图的灰度分布直方图判断目标是否被遮挡，从而决定是否更新目标模板。和常用的跟踪算法相比，具有较强抗遮挡性和抗干扰性的特点。
[0073]
本发明实施例进一步给出一种基于响应图的目标遮挡判断装置，如图7所示，所述装置包括：
[0074]
初始化模块：配置为获取目标的原始图像，获取视频流的初始帧i1，将初始帧i1作为当前帧，获取i1的模板t1；将目标模板t初始化为模板t1；
[0075]
第一判断模块：配置为判断视频流是否处理完毕；
[0076]
hog特征提取模块：配置为将当前帧的下一图像帧作为当前帧，记为ii，2≤i≤n，n为视频流的图像帧数；基于目标位置，计算当前帧ii中目标的hog特征，记为hi；
[0077]
模板获取模块：配置为基于目标模板t及当前帧ii当前帧ii提取到的目标的hog特征hi计算当前帧ii的目标响应图gi'；获取当前帧ii的理想响应图g0；计算当前帧ii的所述目标响应图gi'与理想响应图g0的欧式距离di；计算当前帧ii的模板ti；
[0078]
更新模块：配置为若欧式距离di小于预设阈值，则更新目标模板t和目标位置(i
ix
,i
iy
)；否则，确定在当前帧中目标被遮挡，不需要执行更新操作。
[0079]
本发明实施例进一步给出一种目标遮挡判断系统，包括：
[0080]
处理器，用于执行多条指令；
[0081]
存储器，用于存储多条指令；
[0082]
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的目标遮挡判断方法。
[0083]
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的目标遮挡判断方法。
[0084]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0085]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0086]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0087]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0088]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装windows或者windows server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0089]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。