一种基于时空信息辅助的无人机视频车辆跟踪方法与流程

技术特征：
1.一种基于时空信息辅助的无人机视频车辆跟踪方法，其特征在于，包括以下步骤：步骤1，确定需要跟踪的目标车辆s；步骤2，无人机对地面进行拍摄，获得无人机视频数据；将无人机视频数据的每一视频帧作为图像帧；步骤3，按图像帧生成顺序，依次对各个图像帧进行车辆特征识别，判断每个图像帧是否包含目标车辆s，如果不包含，则继续对下一图像帧进行车辆特征识别，直到定位到包含目标车辆s的图像帧，然后执行步骤4；如果包含，则表明成功搜索到目标车辆s，执行步骤4；将首次识别到包含目标车辆s的图像帧设为第0图像帧frm(0)，在第0图像帧frm(0)中确定包含目标车辆s的车辆结果框box(0)，再一步确定车辆结果框box(0)的位置信息，包括：车辆结果框box(0)的宽w0，高h0以及中心点坐标p0(x0，y0)；步骤4，从第0图像帧frm(0)搜索到目标车辆s开始，采用时空信息辅助的无人机视频车辆跟踪方法，对后续的图像帧frm(t)中的目标车辆s进行跟踪；其中，t＝(1，2，...，end)表示当前图像帧距离第0图像帧frm(0)的帧数，end表示跟踪结束时图像帧的帧数；对于图像帧frm(t)，采用以下方法，追踪到目标车辆s在图像帧frm(t)的位置：步骤4.1，在图像帧frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图z(t)；具体的，以当前图像帧frm(t)为参考，则图像帧frm(t-1)表示为当前图像帧frm(t)的前一图像帧，图像帧frm(t-2)表示为图像帧frm(t-1)的前一图像帧；提取图像帧frm(t-1)的车辆结果框box(t-1)和图像帧frm(t-2)的车辆结果框box(t-2)的位置信息，根据车辆结果框box(t-2)向车辆结果框box(t-1)方向的变化趋势，在图像帧frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图z(t)；步骤4.2，确定浅层类内特征图f
shallow
map(tb)和深层类间特征图f
deep
map(tb)：将步骤3中通过车辆特征识别确定的车辆结果框box(0)作为目标车辆的车辆模板框tb，依次经过conv1、conv2、conv3卷积层，得到浅层类内特征图f
shallow
map(tb)；将浅层类内特征图f
shallow
map(tb)继续输入到conv4、conv5卷积层，得到深层类间特征图f
deep
map(tb)；步骤4.3，对车辆疑似位置图z(t)进行特征提取，得到深层车辆疑似特征图f
deep
map(z)：将步骤4.1得到的车辆疑似位置图z(t)经过conv1、conv2卷积层提取特征，得到初始车辆疑似特征图f
init
map(z)；然后，以浅层类内特征图f
shallow
map(tb)作为卷积核，对初始车辆疑似特征图f
init
map(z)进行卷积，得到浅层车辆疑似特征图f
shallow
map(z)，进而加强初始车辆疑似特征图f
init
map(z)中目标车辆的响应程度；最后，将浅层车辆疑似特征图f
shallow
map(z)经过conv4卷积核进行特征提取，得到深层车辆疑似特征图f
deep
map(z)；步骤4.4，获取目标车辆得分图scoremap：步骤4.4.1，判断当前帧数t是否大于历史车辆跟踪结果信息辅助帧数k，若t≤k，则执行步骤4.4.2；若t＞k，则执行步骤4.4.3；步骤4.4.2，t≤k时，目标车辆得分图scoremap的获取方法：当t≤k时，以深层类间特征图f
deep
map(tb)作为卷积核，对深层车辆疑似特征图f
deep
map(z)进行卷积，输出目标车辆得分图scoremap，进而抑制深层车辆疑似特征图f
deep
map(z)中非车辆类别物体的响应程度；然后执行步骤4.5；步骤4.4.3：t＞k时，目标车辆得分图scoremap的获取方法：步骤4.4.3.1，当t＞k时，提取历史最接近k个车辆结果框，分别为：图像帧frm(t-1)的
车辆结果框box(t-1)，图像帧frm(t-2)的车辆结果框box(t-2)...，图像帧frm(t-k)的车辆结果框box(t-k)；其中，图像帧frm(t-1)表示当前图像帧frm(t)的前一帧，...，图像帧frm(t-k)表示当前图像帧frm(t)的前第k帧；上述k个历史车辆结果框中不仅包含目标车辆的特征信息，还包含目标车辆在时间序列中的变化信息；步骤4.4.3.2，将车辆结果框box(t-1)，车辆结果框box(t-2)，...，车辆结果框box(t-k)依次输入conv1至conv5卷积层中，分别得到对应历史帧的深层类间特征图f
deep
map(b
t-1
)，f
deep
map(b
t-2
)，...，f
deep
map(b
t-k
)；步骤4.4.3.3，将历史帧的深层类间特征图f
deep
map(b
t-1
)，f
deep
map(b
t-2
)，...，f
deep
map(b
t-k
)分别与步骤4.2得到的深层类间特征图f
deep
map(tb)相减，得到k个深层区别特征图；将k个深层区别特征图通过concat串联，得到历史变化特征图f
change
map(b)；将历史变化特征图f
change
map(b)通过1*1*n的卷积核进行特征融合，输出包含n个通道的历史变化特征融合图f
merge
map(b)；步骤4.4.3.4，将历史变化特征融合图f
merge
map(b)输入到n分类的全连接网络fc
n
中，得到1*1*n的权重向量w；将权重向量w与历史变化特征融合图f
merge
map(b)互卷积，得到加权后历史变化特征融合图f
merge
map(b)
′
；步骤4.4.3.5，将加权后历史变化特征融合图f
merge
map(b)
′
与深层类间特征图f
deep
map(tb)采用串联concat()方式融合后，输入到卷积层conv
1*1
，得到增强历史信息特征图f
ehc
map(tb)；表达式为：其中：为加权后历史变化特征融合图f
merge
map(b)
′
的系数；以增强历史信息特征图f
ehc
map(tb)作为卷积核，对深层车辆疑似特征图f
deep
map(z)进行卷积，输出目标车辆得分图scoremap；然后执行步骤4.5；步骤4.5，根据目标车辆得分图scoremap，在图像帧frm(t)中确定车辆结果框box(t)，即为在图像帧frm(t)中追踪到的目标车辆s所在位置：步骤4.5.1，目标车辆得分图scoremap中的每个像素点均具有特征值，将特征值最高的点坐标，映射到图像帧frm(t)中，其在图像帧frm(t)的坐标即为图像帧frm(t)的待检测的车辆结果框box(t)的中心点坐标，表示为：p
t
(x
t
，y
t
)；步骤4.5.2，将目标车辆得分图scoremap输入到包含两个3*3卷积核的卷积层conv6，得到偏移量特征图，此时偏移量特征图包含两个图层，分别用于预测车辆结果框宽度偏移量和车辆结果框高度偏移量；将偏移量特征图进行全局最大值池化，得到当前图像帧frm(t)车辆结果框box(t)与上一图像帧frm(t-1)车辆结果框box(t-1)的宽偏移量w
′
t
和高偏移量h
′
t
；步骤4.5.3，将上一图像帧frm(t-1)的车辆结果框box(t-1)宽w
t-1
与宽偏移量w
′
t
相加，得到当前图像帧frm(t)的车辆结果框box(t)的宽w
t
，将上一图像帧frm(t-1)的车辆结果框box(t-1)高h
t-1
与高偏移量h
′
t
相加，得到当前图像帧frm(t)的车辆结果框box(t)的高h
t
，因
此，在图像帧frm(t)中，以p
t
(x
t
，y
t
)作为中心点，宽为w
t
，高为h
t
，从而在图像帧frm(t)中确定车辆结果框box(t)，即为在图像帧frm(t)中追踪到的目标车辆s所在位置；步骤5，将图像帧frm(t)作为图像帧frm(t-1)，返回步骤4，对下一图像帧进行目标车辆s跟踪。2.根据权利要求1所述的基于时空信息辅助的无人机视频车辆跟踪方法，其特征在于，步骤4.1具体方法为：步骤4.1.1，获取车辆结果框box(t-1)的中心点坐标p
t-1
(x
t-1
，y
t-1
)，宽为w
t-1
，高为h
t-1
；获取车辆结果框box(t-2)的中心点坐标p
t-2
(x
t-2
，y
t-2
)、宽为w
t-2
，高为h
t-2
；步骤4.1.2，根据车辆结果框box(t-1)的中心点坐标和车辆结果框box(t-2)的中心点坐标，采用下式，计算车辆结果框box(t-1)和车辆结果框box(t-2)之间的坐标方位角α：其中：若y
t-1-y
t-2
＝0vt＝1，则α＝90
°
；步骤4.1.3，采用下式，根据坐标方位角α确定车辆疑似区域的宽w
z
和高h
z
，增加目标运动方向的空间信息：其中：四个方向north、south、east、west根据目标车辆的运动方向设置；北方向north＝{(0，40)∪(320，360)}南方向south＝{140
°
，220
°
}东方向east＝{50，130}西方向west＝{230，310}β1和β2分别为宽放大系数和高放大系数；步骤4.1.4，根据(x
t-1
，y
t-1
，w
z
，h
z
)在图像帧frm(t)截取车辆疑似区域，得到车辆疑似位置图z(t)。

技术总结
本发明提供一种基于时空信息辅助的无人机视频车辆追踪方法，包括以下步骤：确定需要追踪的目标车辆S；搜索到目标车辆S；从搜索到目标车辆S开始，采用时空辅助快速追踪方法，对目标车辆S进行追踪。本发明提供的基于时空信息辅助的无人机视频车辆跟踪方法，一旦检索到目标后，先采用车辆区域搜索算法，利用目标上下文信息辅助定位目标车辆位置，同时减少搜索区域以外车辆对跟踪的影响；后通过目标车辆的历史信息与目标车辆模板信息相融合，提高得分图中目标车辆的响应程度，进而实现快速准确的跟踪，因此，本发明大大提高车辆跟踪的应用价值，对于车辆检索追踪方向有着重要意义。对于车辆检索追踪方向有着重要意义。对于车辆检索追踪方向有着重要意义。


技术研发人员：吕京国 白颖奇 曹逸飞 王琛 贺柳良
受保护的技术使用者：北京建筑大学
技术研发日：2021.12.15
技术公布日：2022/3/22