一种基于双环节约束的视频多目标跟踪方法与流程

技术特征：
1.一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：s1，记录检测目标的时间信息、位置信息和内容特征；s2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；若轨迹容器已存在检测目标的历史记录信息，对当前帧应当出现检测目标的位置信息进行实时预测，得到预测矩形区域；提取检测目标的内容特征，与所有轨迹容器中存储的内容特征进行内容特征相似度计算，得到相应的相似度值序列；从所述相似度值序列中找到最大的相似度值与第一阈值进行比较，并计算当前检测目标所在矩形区域的中心位置与轨迹容器中最后一帧的检测目标所在矩形区域的中心位置的欧式距离，与距离阈值进行比较；若最大的相似度值大于第一阈值且该距离在距离阈值以内，则认定为有效匹配，否则认定为无效匹配；若为无效匹配，进一步检测实际检测目标的矩形区域，计算预测矩形区域与矩形区域的交并比，以1与交并比的差作为实际检测目标与预测检测目标的距离；取最小距离对应的轨迹容器与检测目标计算其内容特征相似度与第一阈值进行比较，若相似度值大于第一阈值，则认定为有效匹配；s3，对于未匹配的轨迹容器，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；所述宽度变化比例为轨迹容器中最后一帧的检测目标所在矩形区域的宽度与当前检测目标所在矩形区域的宽度比值；s4，将有效匹配的检测目标存放到对应轨迹容器中。2.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述s3的具体内容如下：对于未匹配的轨迹容器，取与检测目标的内容特征相似度最大的轨迹容器ptrack
cont
，同时记录对应的相似度值simi
cont
；计算检测目标的中心点坐标与所有轨迹容器的预测矩形区域的中心点坐标的欧式距离，所述预测矩形区域为利用kalman滤波器根据轨迹容器的历史记录信息对当前帧应当出现检测目标的位置信息进行实时预测而得到的，取距离最小值对应的轨迹容器ptrack
euc
，计算该轨迹容器ptrack
euc
与检测目标的内容特征相似度值simi
euc
；s31，若ptrack
cont
与ptrack
euc
相同，且simi
cont
大于等于有效匹配的相似度阈值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；s32，若ptrack
cont
与ptrack
euc
不同，当simi
cont
与simi
euc
中较大的值大于等于给定的参数阈值时，计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配；当simi
cont
与simi
euc
中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；s33，若检测目标依旧没有找到有效匹配的轨迹容器，取simi
cont
与simi
euc
中剩余较小的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配。
3.根据权利要求1或2所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述轨迹历史速度与实时速度的计算方法如下：v
hist
＝(r
t-r
t-δt
)/δt，其中，r
t
是历史记录信息的倒数第一帧的位置信息，r
t-δt
是历史记录信息的倒数第二帧的位置信息，δt是两帧历史记录信息的时间间隔；v
cur
＝(r
cur-r
t
)/δt
cur
，其中，r
t
是历史记录信息的倒数第一帧的位置信息，r
cur
是检测目标的位置信息，δt
cur
是检测目标时间与历史记录信息的倒数第一帧的时间间隔。4.根据权利要求3所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：其中，是r
t
中心点位置到r
cur
中心点位置的矢量表达；是r
t-δt
中心点位置到r
t
中心点位置的矢量表达。5.根据权利要求2所述的基于双环节约束的视频多目标跟踪方法，其特征在于，在所述s31中，若ptrack
cont
的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配。6.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述内容特征采用深度卷积神经网络提取。7.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述位置信息包括检测目标的中心位置、纵横比和高度。

技术总结
本发明公开了一种基于双环节约束的视频多目标跟踪方法，涉及视频、图像技术领域。包括以下步骤：记录检测目标的时间信息、位置信息和内容特征；计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；对于未匹配的轨迹容器，进一步计算轨迹历史速度与临时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；将有效匹配的检测目标存放到对应轨迹容器中。本发明匹配结果真实可靠，有效的减少了轨迹碎片以及遮挡等情况导致的串号现象。串号现象。串号现象。


技术研发人员：满庆奎 徐晓刚 李冠华 管慧艳
受保护的技术使用者：杭州云栖智慧视通科技有限公司
技术研发日：2019.10.11
技术公布日：2022/11/8