一种视觉多跟踪算子融合方法与流程

1.本发明属于图像目标跟踪领域，特别是一种视觉多跟踪算子融合方法。


背景技术：

2.视觉目标跟踪作为计算机视觉的重要研究方向，其基本思想是综合利用图像处理、模式识别、最优化理论、概率论及随机过程等多学科理论，在视频序列中依据视频帧间关联和帧内目标特征确定目标在每一帧的位置。
3.基于相关滤波和深度学习框架的目标跟踪算法逐渐成为主流。尽管当前跟踪算法在准确性和鲁棒性上已有较大提升，但仍无法有效应对各类应用场景中面临的视觉目标跟踪挑战，仍不足以支撑当前各类智能应用对视频跟踪算法的迫切需求。


技术实现要素：

4.本发明要解决的技术问题是现有目标跟踪算法的适应性较差。
5.本发明提出一种视觉多跟踪算子融合方法。
6.一种视觉多跟踪算子融合方法，包括以下步骤：
7.步骤1，输入视频数据，设置兴趣目标和监控区域，选取视觉目标跟踪算子；
8.步骤2，读取视频帧直至出现兴趣目标，该帧为起始帧，根据起始帧确定兴趣目标区域，完成各跟踪算子初始化；
9.步骤3，读取起始帧后的第n帧，作为当前帧，计算各跟踪算子在当前帧估计的目标区域，根据当前帧估计的目标区域计算视觉特征相似度和几何特征相似度，几何特征相似度由各跟踪算子间尺度相似度或覆盖区域相似度或中心距离相似度或上述三者的任意组合构成，根据视觉特征相似度和几何特征相似度计算各跟踪算子间联合相似度,n为正整数；
10.步骤4，如果当前帧的读取次数大于1,计算各跟踪算子与融合跟踪算子间联合相似度，根据多帧的各跟踪算子间联合相似度以及多帧的各跟踪算子与融合跟踪算子联合相似度，构建算子稳定性评价矩阵；否则，跳至步骤7；
11.步骤5，依算子稳定性评价矩阵计算算子间相似度均值，根据算子间相似度均值剔除不稳定算子；
12.步骤6，根据算子间相似度均值计算融合后兴趣目标位置；
13.步骤7，若融合后兴趣目标位置在监控区域外，则结束；否则，令n＝n m，m为正整数,返回步骤3。
14.优选的，所述步骤3中，视觉特征相似度的计算公式为：
[0015][0016]
其中hi、hj分别为任一跟踪算子i和任一跟踪算子j在当前帧所估计的目标区域的梯度直方图特征向量，g为高斯模板，
⊙
表示逐元素乘积，为颜色特征相似度；
[0017][0018]
其中pu、qu分别表示跟踪算子i和跟踪算子j在当前帧预测目标区域提取的颜色直方图对应的u分量，m表示颜色直方图特征中包含的bin的总数。
[0019]
优选的，所述步骤3中，各跟踪算子间尺度相似度的计算公式为：
[0020][0021]
其中wi，wj，hi，hj分别指任一跟踪算子i和任一跟踪算子j在当前帧所估计的目标区域的宽和高；
[0022]
各跟踪算子间覆盖区域相似度的计算公式为：
[0023][0024]
其中bi、bj分别表示跟踪算子i和跟踪算子j在当前帧所估计的目标区域包含的像素点集合，a(x)为对应像素点集合x的像素总数。
[0025]
各跟踪算子间中心距离相似度的计算公式为：
[0026][0027]
其中oi、oj分别为跟踪算子i和跟踪算子j在当前帧预测目标区域的中心坐标。
[0028]
优选的，所述步骤3中，当前帧各跟踪算子间联合相似度的计算公式为：
[0029]
l＝λlg (1-λ)la[0030]
＝λlslold (1-λ)la[0031]
其中lg为各算子间几何相似度，λ为权值，其取值范围在0到1之间；
[0032]
步骤4中，各跟踪算子与融合跟踪算子间联合相似度按下式计算：
[0033][0034]
其中和为任一跟踪算子和融合跟踪算子间的尺度相似度、覆盖区域相似度、中心距离相似度和视觉特征相似度。
[0035]
优选的，所述步骤4中，多帧的各跟踪算子间联合相似度的计算方法如下：
[0036][0037]
其中，ωk为k帧对应的相似度权值，lk(i,j)为k帧时跟踪算子i和跟踪算子j之间的联合相似度,k小于n的初始值时，ωk为0，对应的lk(i,j)不进行计算，t是指从目标跟踪算子初始化后的第t帧，跟踪算子初始化时对应帧为第0帧，t为预设的整数；
[0038]
多帧的各跟踪算子与融合跟踪算子联合相似度的计算方法如下：
[0039]
[0040]
其中，ωk为k帧对应的相似度权值，l
fk
(i)为k帧时跟踪算子i和融合跟踪算子f之间的联合相似度,k小于n的初始值时，ωk为0，对应的l
fk
(i)不进行计算，t是指从目标跟踪算子初始化后的第t帧，跟踪算子初始化时对应帧为第0帧，t为预设的整数。
[0041]
优选的，所述步骤4中，算子稳定性评价矩阵的构建方法如下：
[0042][0043]
其中eij为稳定性评价矩阵的第i行、j列元素，eij＝eji。
[0044]
优选的，所述步骤5中，跟踪算子tracker-i与其他算子间相似度均值的计算方法如下：
[0045][0046]
其中ωi、ωj为权值。
[0047]
优选的，所述步骤5中，当跟踪算子tracker-i与其他算子间相似度均值小于门限值时，跟踪算子tracker-i为不稳定算子。
[0048]
优选的，所述步骤6中，融合后兴趣目标位置的计算公式为：
[0049][0050]
其中n为t帧时刻跟踪算子总数。
[0051]
优选的，和的计算方法和ls、lo、ld、la的计算方法一致，其中，需要将跟踪算子tracker-j相应的宽/高、覆盖像素点集合、中心坐标、梯度和颜色直方图信息替换为融合跟踪算子在当前帧中对应的信息。
[0052]
本发明同现有技术相比具有以下优点及效果：
[0053]
1、本发明计算复杂度低，能够有效完成多跟踪算子融合，提升算法应对光照、遮挡、目标尺度变化、非刚体运动、模糊、旋转等挑战的性能表现，完成目标跟踪任务。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本发明的流程图。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0057]
实施例1：
[0058]
步骤一：
[0059]
连接usb接口摄像头，将采集到的视频数据实时传输至计算机终端。
[0060]
步骤二：
[0061]
设置兴趣目标和监控区域，选取多个视觉目标跟踪算子，例如选取10个视觉目标跟踪算子。
[0062]
步骤三：
[0063]
读取视频帧直至兴趣目标出现，该帧为起始帧，根据起始帧确定兴趣目标区域，完成各跟踪算子初始化。本实施例采用矩形框框选目标，矩形框宽为w，高为h。
[0064]
步骤四：
[0065]
读取起始帧后的第n帧，n为正整数，作为当前帧，计算各跟踪算子在当前帧估计的目标区域，该目标区域为矩形区域，根据当前帧估计的目标区域计算视觉特征相似度和几何特征相似度，几何特征相似度至少由各跟踪算子间尺度相似度或覆盖区域相似度或中心距离相似度组成，例如由上述三者的任意组合构成。
[0066]
按如下公式计算各跟踪算子间尺度相似度：
[0067][0068]
其中wi，wj，hi，hj分别指跟踪算子tracker-i和tracker-j在当前帧所预测目标区域的宽和高。
[0069]
按如下公式计算各跟踪算子间覆盖区域相似度：
[0070][0071]
其中bi、bj分别表示跟踪算子tracker-i和tracker-j在当前帧预测目标区域包含的像素点集合，a(x)为像素点集合x的像素总数。
[0072]
按如下公式计算各跟踪算子间多视觉特征相似度：
[0073][0074]
其中hi、hj分别为跟踪算子tracker-i和tracker-j在当前帧预测目标区域的hog(梯度直方图)特征向量，
⊙
表示逐元素乘积，g为高斯模板，其以目标区域中心坐标为中心对周围像素点特征信息进行高斯抑制，距离目标区域中心坐标点越远，其特征被抑制越多，本实施例中hog特征向量包含32个分量。本实施例中σ1设为22。
[0075]
上式中颜色特征相似度其中pu、qu分别表示两个跟踪算子在当前
帧预测目标区域提取的颜色直方图对应的u分量，m表示颜色直方图特征中包含的bin的总数。本实施例中颜色直方图每个bin的宽度设定为32，共r、g、b三个通道，提取颜色直方图特征时采用高斯抑制，距离目标区域中心位置越远，权值越小。
[0076]
之后计算各跟踪算子间中心距离相似度其中oi、oj分别为跟踪算子tracker-i和tracker-j在当前帧预测目标区域的中心坐标。本实施例中σ2设为(w h)/2。
[0077]
最后，可按下式计算得到当前帧各跟踪算子间几何-视觉联合相似度：
[0078]
l＝λlslold (1-λ)la[0079]
其中λ为权值，其取值范围在0到1之间，本实施例中λ设为0.6。
[0080]
步骤五：
[0081]
如果当前帧的读取次数大于1，则计算任一跟踪算子tracker-i和融合跟踪算子tracker-f间在当前帧的几何-视觉联合相似度，融合跟踪算子tracker-f为跟踪算子优化后得出的算子，融合方法为现有融合算法，计算公式如下：
[0082][0083]
其中和分别为跟踪算子tracker-i和融合跟踪算子tracker-f间的尺度、覆盖区域、中心距离和多视觉特征相似度，该4个相似度的计算方法和ls、lo、ld、la的计算方法一致，唯一区别为相应公式中跟踪算子tracker-j相应的宽/高、覆盖像素点集合、中心坐标、梯度和颜色直方图信息应替换为融合跟踪算子tracker-f在当前帧中对应的信息，本实施例中λ设为0.6。
[0084]
之后，计算任意两个跟踪算子tracker-i和tracker-j在t帧时的时序连续t帧几何-视觉联合相似度，计算方法如下式：
[0085][0086]
其中为ωk为k帧对应的相似度权值，lk(i,j)为k帧时跟踪算子tracker-i和tracker-j之间的几何-视觉联合相似度，其计算方式按照l＝λlslold (1-λ)la公式。
[0087]
计算任意跟踪算子tracker-i和融合跟踪算子tracker-f在t帧时的时序连续t帧几何-视觉联合相似度，计算方法如下式：
[0088][0089]
其中为ωk为k帧对应的相似度权值，l
fk
(i)为k帧时跟踪算子tracker-i和融合跟踪算子tracker-f之间的几何-视觉联合相似度，其计算方式按照公式。
[0090]
最后，构建t帧时刻算子稳定性评价矩阵e，其构建方法如下：
[0091]
[0092]
其中eij为稳定性评价矩阵e的第i行、j列元素。
[0093]
如果当前帧的读取次数小于等于1，则直接跳至步骤七。
[0094]
步骤六：
[0095]
计算跟踪算子tracker-i与其他算子间相似度均值，计算方法如下：
[0096][0097]
其中ωi、ωj为权值，为强化跟踪算子tracker-i与融合跟踪算子tracker-f之间的相似度，ωi权值设定稍大于ωj。本实施例中ωj设为1/(n-1)，其中n为当前帧时刻跟踪算子总数，ωi设为1.1*ωj。
[0098]
根据算子间相似度均值剔除表现不好的跟踪算子：若当前跟踪算子总数大于n，则当跟踪算子tracker-i与其他算子间相似度均值小于0.45时，剔除跟踪算子tracker-i。本实施例中n设为2。
[0099]
步骤七：
[0100]
计算融合后t帧时刻兴趣目标位置，计算公式如下：
[0101][0102]
其中，n为t帧时刻跟踪算子总数。
[0103]
若融合后兴趣目标位置在监控区域外，则结束；否则，令n＝n m，m为正整数,返回步骤四。
[0104]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。