一种基于双环节约束的视频多目标跟踪方法与流程

一种基于双环节约束的视频多目标跟踪方法
1.相关申请的交叉引用
2.本技术是基于申请号为201910964726x，申请日为：2019年10月11日，发明名称为：一种基于多维特征融合的视频多目标跟踪方法的分案申请。
技术领域
3.本发明涉及视频、图像处理技术领域，尤其涉及一种基于双环节约束的视频多目标跟踪方法。


背景技术：

4.多目标跟踪技术是视频分析技术的一个重要环节，该技术把输入的检测目标detection图像，按照出现的时间先后顺序，通过目标历史轨迹分析得到运动方向、预测的位置，结合目标之间的内容特征相似度进行匹配连接。如何有效的把每一视频帧中的目标，与历史帧中的轨迹目标进行匹配串联是该技术的关键。目前多目标跟踪技术领域都一般通过目标预测(kalman轨迹预测比较成熟的选择方案)位置，然后用检测目标的实际位置与预测的位置进行匹配，然后对于没有匹配完成的轨迹和目标进行特征相似度匹配；或者，优先用特征相似度优先匹配轨迹和目标，保证长距离的运动目标能匹配完成，然后用检测目标的实际位置与预测的位置匹配。
5.针对日常监控视频中，目标的相互遮挡导致的目标重叠、目标检测丢失，目标的快速运动现象比较普遍；从而导致单纯的位置匹配、特征相似度匹配不能很好的解决问题，导致最终轨迹碎片过多，轨迹中串号(idswitch)现象严重。


技术实现要素：

6.本发明的目的在于提供一种基于双环节约束的视频多目标跟踪方法，匹配结果真实可靠，有效的减少了轨迹碎片以及遮挡等情况导致的串号现象。
7.为实现上述目的，本发明提供如下技术方案：
8.一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：
9.s1，记录检测目标的时间信息、位置信息和内容特征；
10.s2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；
11.s3，对于未匹配的轨迹容器，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；
12.s4，将有效匹配的检测目标存放到对应轨迹容器中。
13.进一步的，所述s2的具体内容如下：
14.提取检测目标的内容特征，与所有轨迹容器中存储的内容特征进行内容特征相似度计算，得到相应的相似度值序列；从所述相似度值序列中找到最大的相似度值与第一阈
值进行比较，并计算检测目标与轨迹容器中最后一帧的距离，与距离阈值进行比较；若最大的相似度值大于第一阈值且该距离在距离阈值以内，则认定为有效匹配。
15.进一步的，所述s2的具体内容如下：
16.若轨迹容器已存在检测目标的历史记录信息，对当前帧应当出现检测目标的位置信息进行实时预测，得到预测矩形区域；
17.检测实际检测目标的矩形区域，计算预测矩形区域与矩形区域的交并比，以1与交并比的差作为实际检测目标与预测检测目标的距离；取最小距离对应的轨迹容器与检测目标计算其内容特征相似度与第一阈值进行比较，若最大的相似度值大于第一阈值，则认定为有效匹配。
18.进一步的，所述s3的具体内容如下：
19.对于未匹配的轨迹容器，取与检测目标的内容特征相似度最大的轨迹容器ptrack
cont
，同时记录对应的相似度值simi
cont
；计算检测目标与所有轨迹容器的距离，取距离最小值对应的轨迹容器ptrack
euc
，计算该轨迹容器ptrack
euc
与检测目标的内容特征相似度值simi
euc
；
20.s31，若ptrack
cont
与ptrack
euc
相同，且simi
cont
大于等于有效匹配的相似度阈值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
21.s32，若ptrack
cont
与ptrack
euc
不同，当simi
cont
与simi
euc
中较大的值大于等于给定的参数阈值时，计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配；当simi
cont
与simi
euc
中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
22.s33，若检测目标依旧没有找到有效匹配的轨迹容器，取simi
cont
与simi
euc
中剩余较小的值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配。
23.进一步的，所述轨迹历史速度与实时速度的计算方法如下：
[0024]vhist
＝(r
t-r
t-δt
)/δt，其中，r
t
是历史记录信息的倒数第一帧的位置信息，r
t-δt
是历史记录信息的倒数第二帧的位置信息，δt是两帧历史记录信息的时间间隔；
[0025]vcur
＝(r
cur-r
t
)/δt
cur
，其中，r
t
是历史记录信息的倒数第一帧的位置信息，r
cur
是检测目标的位置信息，δt
cur
是检测目标时间与历史记录信息的倒数第一帧的时间间隔。
[0026]
进一步的，所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：
[0027]
其中，是r
t
中心点位置到r
cur
中心点位置的矢量表达；是r
t-δt
中心点位置到r
t
中心点位置的矢量表达。
[0028]
进一步的，在所述s31中，若ptrack
cont
的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配。
[0029]
进一步的，所述距离为欧式距离。
[0030]
进一步的，所述内容特征采用深度卷积神经网络提取。
[0031]
进一步的，所述位置信息包括检测目标的中心位置、纵横比和高度。
[0032]
与现有技术相比，本发明的有益效果是：本发明从多特征融合的角度，采用特征匹配优先，前两个环节中，每一个环节的匹配结果都添加内容特征相似度约束，保证匹配的结果输出真实可靠；对最后剩余离散未匹配成功的检测目标，进行了欧式距离空间与内容特征空间选择最优的匹配逻辑，然后用时间、位置、速度、角度的多维约束，保证了匹配的真实可靠。本发明运行效率高，远超实时要求，有效的减少了轨迹碎片，以及遮挡等现象导致的串号现象，取得了很好的应用效果。
附图说明
[0033]
图1为本发明的整体原理框图。
具体实施方式
[0034]
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
请参阅图1，本发明提供一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：
[0036]
s1，记录检测目标的时间信息、位置信息和内容特征。
[0037]
具体的，对新加入的检测目标detection，开启一条新的轨迹容器pathtrack，初始化设置轨迹的寿命期限maxage，优先的maxage＝56；初始化新轨迹容器pathtrack的kalman滤波器的状态矩阵为初始化状态；记录检测目标detection的时间信息，位置信息，在图像坐标中对应的速度信息，以及检测目标detection的图像内容特征，保存到msgbox单元堆栈中。所述位置信息包括检测目标的中心位置、纵横比和高度。优先的，所述图像内容特征采用深度卷积神经网络提取的抽象特征。
[0038]
s2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配。采用内容特征匹配，保证匹配的结果输出真实可靠。
[0039]
步骤s2存在三种具体实施例，具体如下：
[0040]
于实施例一中，所述s2的具体内容如下：
[0041]
提取检测目标detection的图像内容特征，与所有轨迹容器pathtrack中存储的msgbox信息的图像内容特征进行内容特征相似度计算。其中，记两个n维的图像内容特征x，y描述分别为：x(x1,x2,...,xn)，y(y1,y2,...,yn)，对应的x，y之间的图像内容相似度计算公式为：按照内容特征的相似度计算公式，从而得到对应detection与pathtrack中存储的msgbox信息的图像内容特征的相似度结果序列。从所述相似度值序列中找到最大的相似度值及其detection与pathtrack对应关系，记detection的中心位置为(x
det
,y
det
)，pathtrack中倒数第一个msgbox中心位置信息为(x
last
,y
last
)，对应的距离计算公式：如果对应的距离d与
detection的宽度尺寸信息的比值大于对应的距离阈值条件distthr，那么认为是无效的匹配。否则，将该最大的相似度值与第一阈值进行比较，若最大的相似度值大于第一阈值simithr，则认定为有效匹配，跳转至s4；否则认为是无效匹配。作为优选，距离阈值distthr＝1.1，第一阈值simithr＝0.5。
[0042]
于实施例二中，所述s2的具体内容如下：
[0043]
若轨迹容器pathtrack已存在检测目标detection的历史记录信息，则利用kalman滤波器对历史记录信息，对当前帧应当出现检测目标detection的位置信息(包括检测目标detection的中心位置、纵横比和高度以及在图像坐标中对应的速度信息predictdetection)进行实时预测，得到一预测矩形区域prerect。其中，kalman滤波器采用匀速模型和线性观测模型。
[0044]
检测实际检测目标detection所在的矩形区域rect，分别与所有已存在检测目标detection的轨迹容器的预测矩形区域prerect进行位置距离的计算得到对应的距离关系序列。在此，本发明提出的位置距离的计算方法为：计算预测矩形区域prerect与矩形区域rect的交并比，然后以1与交并比的差作为实际检测目标与预测检测目标的距离dist；具体公式如下：
[0045][0046]
从距离关系序列中，取最小距离对应的轨迹容器pathtrack与检测目标detection计算其内容特征相似度并与实施例一中的第一阈值simithr进行比较，若最大的相似度值大于第一阈值simithr，则认定为有效匹配，跳转至s4；否则认为是无效匹配。
[0047]
实施例二利用kalman预测对历史轨迹数据进行分析预测位置，用预测的位置与目标进行位置匹配，并对已匹配完成的配对进行图像内容相似度的约束，进一步提高了匹配的可靠性。
[0048]
于实施例三中，所述s2的具体内容还可以是实施例一和实施例二的叠加，具体如下：
[0049]
若轨迹容器pathtrack已存在检测目标detection的历史记录信息，则利用kalman滤波器对历史记录信息，对当前帧应当出现检测目标detection的位置信息(包括检测目标detection的中心位置、纵横比和高度以及在图像坐标中对应的速度信息predictdetection)进行实时预测，得到一预测矩形区域prerect。其中，kalman滤波器采用匀速模型和线性观测模型。
[0050]
提取检测目标detection的图像内容特征，与所有轨迹容器pathtrack中存储的msgbox信息的图像内容特征进行内容特征相似度计算。其中，记两个n维的图像内容特征x，y描述分别为：x(x1,x2,...,xn)，y(y1,y2,...,yn)，对应的x，y之间的图像内容相似度计算公式为：按照内容特征的相似度计算公式，从而得到对应detection与pathtrack中存储的msgbox信息的图像内容特征的相似度结果序列。从所述相似度值序列中找到最大的相似度值及其detection与pathtrack对应关系，记detection的中心位置为(x
det
,y
det
)，pathtrack中倒数第一个msgbox中心位置信息为
(x
last
,y
last
)，对应的距离计算公式：如果对应的距离d与detection的宽度尺寸信息的比值大于对应的距离阈值条件distthr，那么认为是无效的匹配。否则，将该最大的相似度值与第一阈值进行比较，若最大的相似度值大于第一阈值simithr，则认定为有效匹配，跳转至s4；否则认为是无效匹配。作为优选，距离阈值distthr＝1.1，第一阈值simithr＝0.5。
[0051]
若为无效匹配，进一步检测实际检测目标detection所在的矩形区域rect，分别与所有已存在检测目标detection的轨迹容器的预测矩形区域prerect进行位置距离的计算得到对应的距离关系序列。在此，本发明提出的位置距离的计算方法为：计算预测矩形区域prerect与矩形区域rect的交并比，然后以1与交并比的差作为实际检测目标与预测检测目标的距离dist；具体公式如下：
[0052][0053]
从距离关系序列中，取最小距离对应的轨迹容器pathtrack与检测目标detection计算其内容特征相似度并与所述第一阈值simithr进行比较，若最大的相似度值大于第一阈值simithr，则认定为有效匹配，跳转至s4；否则认为是无效匹配。
[0054]
与实施例一、实施例二相比，实施例三采用了的特征匹配分两个环节，每一个环节的匹配结果都添加内容特征相似度约束，保证匹配的结果输出真实可靠。
[0055]
s3，对于未匹配的轨迹容器pathtrack，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配。具体内容如下：
[0056]
对于未匹配的轨迹容器pathtrack，一方面，取与检测目标detection的内容特征相似度最大的轨迹容器ptrack
cont
，同时记录对应的相似度值simi
cont
；值得一提的是，若该相似度值simi
cont
小于给定阈值0.3，则判定ptrack
cont
不存在，跳转至s1。
[0057]
另一方面，计算检测目标与所有轨迹容器的欧式距离，取距离最小值对应的轨迹容器ptrack
euc
，计算该轨迹容器ptrack
euc
与检测目标的内容特征相似度值simi
euc
；若该距离最小值与detection的宽度的比值大于给定阈值movedist，优选的movedist＝3.3，则判定ptrack
euc
不存在，跳转至s1。值得一提的是，此处的欧式距离dist计算公式为：
[0058][0059]
其中，dist为欧式距离；(x
new
,y
new
)为矩形区域rect的中心点坐标；(x
hist
,y
hist
)为预测矩形区域prerect的中心点坐标。
[0060]
s31，若ptrack
cont
与ptrack
euc
相同，且simi
cont
大于等于有效匹配的相似度阈值validsimithr，优选的，validsimithr＝0.65。那么，如果ptrack
cont
中，历史信息msgbox存在两帧及以上时，计算轨迹历史速度v
hist
与实时速度v
cur
的变化比例、检测目标与历史轨迹运动方向的运动夹角angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳至s4。具体的，计算分析v
cur
与v
hist
变化幅度，变化倍数小于给定的参数阈值[1/vthr,vthr]，优选的，vthr＝2；同时，方向夹角angle小于给定的参数阈值anglethr，优选的anglethr＝45
°
。如果不满足，认为是无效的匹配；否则，计算宽度比例变化，具体倒数第一个msgbox中的宽度尺寸信息与矩形区域rect的宽度比值，如果在给定的变化阈值区间
[1/changerate,changerate]内，那么认为是有效的匹配，优选的changerate＝1.5；那么认为与是有效的匹配，跳转到s4。
[0061]
而若ptrack
cont
的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间[1/changerate,changerate]内，则认定为有效匹配，跳至s4。以下为历史速度v
hist
、实时速度v
cur
、运动夹角angle的具体计算方法。
[0062]
所述轨迹历史速度与实时速度的计算方法如下：
[0063]vhist
＝(r
t-r
t-δt
)/δt，其中，r
t
是msgbox信息的倒数第一帧的位置信息，r
t-δt
是msgbox倒数第二帧的位置信息，记r
t
的中心(x
t
,y
t
)，r
t-δt
的中心(x
t-δt
,y
t-δt
)，那么(r
t-r
t-δt
)的计算公式：δt是两帧历史记录信息的时间间隔。
[0064]vcur
＝(r
cur-r
t
)/δt
cur
，其中，r
t
是msgbox信息的倒数第一帧的位置信息，r
cur
是detection的位置信息，记r
cur
的中心(x
cur
,y
cur
)，那么(r
cur-r
t
)的计算公式：δt
cur
是检测目标时间与历史记录信息的倒数第一帧的时间间隔。
[0065]
所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：
[0066]
其中，是r
t
中心点位置到r
cur
中心点位置的矢量表达；是r
t-δt
中心点位置到r
t
中心点位置的矢量表达。
[0067]
s32，若ptrack
cont
与ptrack
euc
不同，当simi
cont
与simi
euc
中较大的值大于等于给定的参数阈值directmatchthr时，优选directmatchthr＝0.85，计算宽度变化比例。若宽度变化比例在给定的阈值区间[1/changerate,changerate]内，则认定为有效匹配，跳至s4；当simi
cont
与simi
euc
中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器记为ptrack
better
。同s31，当ptrack
better
中历史轨迹msgbox存在两帧以上，提取v
cur
与v
hist
，angle信息。计算轨迹历史速度v
hist
与实时速度v
cur
的变化比例、检测目标与历史轨迹运动方向的运动夹角angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳至s4。
[0068]
s33，若检测目标detection依旧没有找到有效匹配的轨迹容器，取simi
cont
与simi
euc
中剩余较小的值对应的轨迹容器(即s32中为进行匹配的剩余轨迹容器)，记为ptrack
last
。同s31，当ptrack
last
中历史轨迹msgbox存在两帧以上，提取v
cur
与v
hist
，angle信息。计算轨迹历史速度v
hist
与实时速度v
cur
的变化比例、检测目标与历史轨迹运动方向的运动夹角angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳转到s4。否则跳转到s1，开启一条新的轨迹容器。
[0069]
s4，将有效匹配的检测目标存放到对应轨迹容器中。具体的，如果轨迹容器匹配到了新的检测目标detection，那么对应记录detection信息的msgbox存放到轨迹容器pathtrack的堆栈中，按顺序保存；同时，轨迹的存在寿命计数器为0，同时，更新kalman状态矩阵的状态；如果没有匹配到新的检测目标detection，那么寿命计数器加1，直到该轨迹寿命计数器达到maxage，该轨迹结束。
[0070]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。