一种多目标车辆跟踪方法与流程

1.本发明涉及车辆追踪定位技术领域，主要涉及一种多目标车辆跟踪方法。


背景技术：

2.近年来，针对不同场景研究具有针对性的跟踪算法成为最近几年研究的主要内容。视觉多目标跟踪是目前智能交通中的关键技术，可对车辆周边目标进行稳定的跟踪，解决因目标检测不连续造成的震荡问题，并为车辆轨迹预测提供数据支持。
3.基于深度学习的方法在目标检测领域表现出优势。卷积神经网络作为一种深度网络模型，在图像处理领域取得了空前的成就。目标检测网络主要分为两类:以r
‑
cnn系列为代表的两阶段检测模型和以yolo、ssd为代表的单阶段模型。两阶段模型是先基于图片提出若干可能包含物体的区域，再判断这个区域中的是什么类别。由此将目标检测问题转化成目标分类问题。而单阶段模型则是把目标检测问题看成一个回归问题，单阶段模型没有中间的区域检出过程，直接从图片获得预测结果。
4.目前，多车辆跟踪方法主要分别四大类：基于模型的目标跟踪算法；通过训练对车辆进行建模，通过计算机视觉等技术来确定车辆的参数，通过对相关帧内的各个车辆各个参数进行匹配，来计算识别结果的相关度；基于区域的目标跟踪算法；将车辆的所在区域的特征提取出来，根据某种匹配规则在后续帧中进行匹配，匹配成功则跟踪成功；基于特征的目标跟踪算法；通过车辆的特征(某一轮廓等)提取进行匹配，以车辆特征为目标来进行跟踪，而不是车辆区域；基于概率的目标跟踪算法；有mean
‑
shift、卡尔曼滤波、粒子滤波等算法。


技术实现要素：

5.发明目的：基于背景技术中的研究成果，本发明提出一种基于检测模型的车辆多目标跟踪方法，结合深度学习算法，研究视频中多车辆的跟踪方法，旨在解决车辆移动速度快、目标相似度高以及目标相互遮挡导致跟踪失败的难题。
6.技术方案：为实现上述目的，本发明采用的技术方案为：
7.一种多目标车辆跟踪方法，包括以下步骤：
8.步骤s1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理；
9.步骤s2、通过rfb
‑
net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框；
10.步骤s3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中，轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空；
11.步骤s4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧
的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行iou匹配；
12.步骤s5、当轨迹匹配成功的次数大于n_init时，轨迹更新为确定态，并用对应的检测框对轨迹列表中的预测跟踪框进行更新；当轨迹匹配成功的次数不大于n_init时，轨迹更新为删除态，并将其从轨迹列表中删除；当检测框未匹配成功时，初始化为新的轨迹；
13.步骤s6、重复步骤s2
‑
s5，对后续帧进行处理。
14.进一步地，所述步骤s2中通过rfb
‑
net检测器对输入视频帧进行目标车辆检测具体步骤如下：
15.步骤s2.1、将帧图像输入到rfb
‑
net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n
×
n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据voc2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；
16.步骤s2.2、采用聚类算法选择合适比例的先验框如下：
17.d(box,centroid)＝1
‑
iou(box,centroid)
18.iou＝box∩centroid/box∩centroid
19.其中centroid表示簇标注框的中心点，box表示聚类框的中心点；
20.步骤s2.3、计算框回归损失值如下：
[0021][0022]
其中b和b
gt
分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离。
[0023]
进一步地，所述步骤s2.1中卷积规格取3*3。
[0024]
进一步地，所述步骤s3中通过卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框保存在轨迹列表的具体步骤如下：
[0025]
步骤s3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t
‑
1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：
[0026][0027]
步骤s3.2、利用t
‑
1时刻的检测框来预测当前t时刻的跟踪框如下式所示：
[0028]
x
′
＝fx
[0029]
其中状态转移矩阵f如下所示，dt是当前帧和前一帧之间的差：
[0030][0031]
步骤s3.3、设定t
‑
1时刻的帧协方差为p，卡尔曼滤波器的噪声矩阵为q，则t时刻的协方差矩阵如下：
[0032]
p
′
＝fpf
t
q。
[0033]
进一步地，所述步骤s4中将当前帧的检测框与轨迹列表中的轨迹进行匹配的具体步骤包括：
[0034]
步骤s4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别需要进行运动相似度匹配和表观相似度匹配；
[0035]
步骤s4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：
[0036][0037]
其中，d
j
表示第j个检测框的位置，y
i
表示第i个跟踪器对目标的预测位置，s
i
表示检测位置与平均跟踪位置之间的标准差；
[0038]
定义一个门限函数判断检测框与确定态轨迹否匹配成功，如下所示：
[0039][0040]
当马氏距离小于指定阈值t
(1)
时，表示匹配成功；
[0041]
步骤s4.3、采用另一种关联方法，对每一个检测块d
i
求一个特征向量r
j
，其中r
j
是通过cnn网络计算对应的128维特征向量，且||r
j
||＝1；对每一个跟踪目标构建一个gallary，存储每一个跟踪目标成功关联的最近100帧的特征向量，即计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，表示检测框与确定态轨迹的表观匹配程度，具体如下：
[0042][0043]
定义一个门限函数判断检测框与确定态轨迹是否匹配成功，如下所示：
[0044][0045]
当计算出的最小余弦距离小于设定的阈值t
(2)
时，表示匹配成功；
[0046]
步骤s4.4、将步骤s4.2
‑
s4.3所述两种关联方式的线性加权作为最终度量如下：
[0047]
c
i，j
＝λd
(1)
(i,j) (1
‑
λ)d
(2)
(i,j)
[0048][0049]
其中λ为加权参数；仅当两个指标都满足各自的阈值条件时，检测框与确定态轨迹匹配成功。
[0050]
步骤s4.5、针对不确定态轨迹，与尚未匹配成功的检测框进行iou匹配，再次使用匈牙利算法进行匹配指派。
[0051]
进一步地，所述步骤s4.2中指定阈值t
(1)
在四维测量空间中取值为9.4877，所述步骤s4.3中指定阈值t
(2)
在四维测量空间中取值为0.6。
[0052]
进一步地，所述步骤s5具体步骤包括：
[0053]
步骤s5.1、基于t时刻检测到的车辆检测框，校正关联的轨迹的状态；设定z为检测框的均值向量，不包含速度变化值，即z＝[cx,cy,r,h]，h为测量矩阵，将轨迹的均值向量x'映射到检测空间，检测框和预测轨迹的均值误差如下式所示：
[0054]
y＝z
‑
hx
′
[0055]
步骤s5.2、设定r为rfb
‑
net检测器的噪声矩阵，为4*4的对角矩阵，对角线上的值依次为中心点的坐标以及宽和高的噪声；任意值初始化，宽高的噪声要大于中心点的噪声，将t时刻的协方差p’映射到检测空间，加上噪声矩阵r得到卡尔曼滤波预处理的数据s，如下所示：
[0056]
s＝hp
′
h
t
i
[0057]
步骤s5.3、计算卡尔曼增益k，估计误差的重要程度如下：
[0058]
k＝p
′
h
t
s
‑1[0059]
根据得到的k来更新轨迹的均值向量x和协方差矩阵p如下：
[0060]
x＝x
′
ky
[0061]
p＝(i
‑
kh)p
′
。
[0062]
进一步地，所述步骤s5中n_init取4。
[0063]
有益效果：
[0064]
本发明提出基于检测模型的多目标车辆跟踪方法，采用基于ssd改进的rfb
‑
net模型来应对复杂的道路场景，对车辆进行定位检测后，结合深度数据关联度量deep
‑
sort方法实现实时在线目标追踪。具体来说，
[0065]
(1)本发明提出一种轻量化的车辆检测网络，和普通卷积神经网络相比，该模型能增强目标检测的稳定性和可靠性，从而增强跟踪过程中数据关联的可靠性；
[0066]
(2)本发明提出一种结合深度表观模型和运动模型的多车辆跟踪方法，通过计算表观相似度和运动相似度来衡量检测框和预测跟踪框的目标是否是同一个，可以增加目标在遮挡情况下的跟踪效果，同时减少目标id识别跳变的问题；
[0067]
本发明针对评测和回归损失函数中评价指标不等价问题，基于交并比和中心点距离对回归损失函数进行改进。与原算法相比，本文算法能在保证实时性检测的基础上，显著降低小尺度车辆检测漏检率，并对遮挡、密集、模糊等场景具有更好的鲁棒性。
附图说明
[0068]
图1是本发明提供的多目标车辆跟踪方法流程图。
具体实施方式
[0069]
下面结合附图对本发明的技术方案做进一步的详细说明。
[0070]
如图1所示的一种基于检测模型的多目标车辆跟踪方法，包括以下步骤：
[0071]
步骤s1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理。
[0072]
步骤s2、通过rfb
‑
net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框。具体地，
[0073]
步骤s2.1、将帧图像输入到rfb
‑
net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n
×
n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据voc2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；在本发明实施例中，卷积规格选择3*3。
[0074]
步骤s2.2、采用聚类算法选择合适比例的先验框如下：
[0075]
d(box,centroid)＝1
‑
iou(box,centroid)
[0076]
iou＝box∩centroid/box∩centroid
[0077]
其中centroid表示簇标注框的中心点，box表示聚类框的中心点；
[0078]
步骤s2.3、计算框回归损失值如下：
[0079][0080]
其中b和b
gt
分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离。
[0081]
步骤s3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中，轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空。具体地，
[0082]
步骤s3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t
‑
1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：
[0083][0084]
步骤s3.2、利用t
‑
1时刻的检测框来预测当前t时刻的跟踪框如下式所示：
[0085]
x
′
＝fx
[0086]
其中状态转移矩阵f如下所示，dt是当前帧和前一帧之间的差：
[0087][0088]
步骤s3.3、设定t
‑
1时刻的帧协方差为p，卡尔曼滤波器的噪声矩阵为q，则t时刻的协方差矩阵如下：
[0089]
p
′
＝fpf
t
q。
[0090]
步骤s4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行iou匹配。具体匹配方法如下：
[0091]
步骤s4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别需要进行运动相似度匹配和表观相似度匹配；
[0092]
步骤s4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：
[0093][0094]
其中，d
j
表示第j个检测框的位置，y
i
表示第i个跟踪器对目标的预测位置，s
i
表示
[0114]
根据得到的k来更新轨迹的均值向量x和协方差矩阵p如下：
[0115]
x＝x
′
ky
[0116]
p＝(i
‑
kh)p
′
。
[0117]
本实施例中匹配成功次数阈值n_init选择为4
[0118]
步骤s6、重复步骤s2
‑
s5，对后续帧进行处理。
[0119]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。