一种基于全景视频的车辆再识别方法

1.本发明涉及图像处理技术领域，更具体的说是涉及一种基于全景视频的车辆再识别方法。


背景技术：

2.随着科技的不断发展，传统的视频传播载体也发展出了更具沉浸感的新格式，这就是有着360度全视角的全景视频。全景视频不同于之前的视频格式，用户可以通过视角的移动来观察环境的变化、目标的移动等。近些年来深度学习和计算机图形学技术进行了更深入的融合发展，而车辆再识别技术是两者技术结合的典型代表。车辆再识别技术被广泛应用于各个领域来提高工作效率
3.全景视频具有的丰富的信息量被广泛地应用在监控、宣传、信息评估等领域。例如，在监控视频领域，国内外在交通发达的区域都安装了监控摄像头。如果车祸不幸发生，调查人员就可以回看监控摄像头拍摄的全景视频，其能提供较普通视频更多角度的事故照片，方便事故原因、责任的进一步调查研究。
4.本发明采用了深度神经网络来实现全景视频中车辆再识别。采用视频分析的方式来避免在目标车辆上安装硬件设备带来的麻烦，只需借助车辆的运动和外观信息就可以实现车辆再识别，通过对检测目标和基于跟踪目标生成的预测目标车辆的运动特征和外观特征实现对车辆的跟踪。


技术实现要素：

5.有鉴于此，本发明提供了一种基于全景视频的车辆再识别方法，以达到基于车辆外观和运动特征实现对车辆跟踪再识别的目的。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于全景视频的车辆再识别方法，包括以下步骤：
8.将待检测图片输入目标检测模型中；
9.通过所述目标检测模型获取所述待检测图片中的目标检测图像；
10.将所述目标检测图像发送到经过训练集训练的车辆再识别模型；
11.车辆再识别模型根据所述目标检测图像中目标车辆的外观特征和运动特征对所述目标车辆进行跟踪；其中，通过余弦距离获取所述外观特征，同时根据马氏距离获取所述运动特征；
12.获得所述目标车辆的运动轨迹。
13.所述车辆再识别模型的训练方法包括：
14.获取全景视频并构建初始全景数据集；
15.通过数据增强的方法对所述初始全景数据集进行扩充，增强后得到最终全景数据集，将所述最终全景数据集作为训练集；
16.构建关于车辆的初始再识别模型；
17.将所述训练集输入所述初始再识别模型，使用所述训练集对所述初始再识别模型进行训练，直到识别准确率达到收敛时停止训练，得到训练完的所述车辆再识别模型。
18.所述获取全景视频并构建初始全景数据集的构建方法具体包括以下步骤：
19.通过全景摄像机拍摄全景视频；
20.对所述全景视频进行剪辑，删除不具有车辆图片的视频帧，获取每帧都存在车辆的视频并输出为第一视频集；
21.对所述第一视频集进行图像裁剪，将视频数据转换为图片数据，并采用外观特征明显的图片构建所述初始全景数据集。
22.所述通过数据增强的方法对所述初始全景数据集进行扩充的数据增强方法具体包括以下步骤：
23.采用torchvision对图片数据进行亮度增强、色度增强、锐度增强，得到所述最终全景数据集。
24.所述车辆再识别模型为cnn模型；所述车辆再识别模型的训练方法还包括：
25.将车辆的总id数设置为训练集的数据量。
26.获得目标检测图像中的目标检测框；
27.使用卡尔曼滤波预测目标跟踪框，得到目标预测框；
28.使用匈牙利算法将所述目标检测框和所述预测目标框进行匹配；
29.匈牙利算法的匹配结果为正常匹配，级联匹配的匹配结果为正常匹配，则认定所述目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对所述目标跟踪框进行跟踪，在三次确认为正常匹配后将所述目标跟踪框对应的卡尔曼滤波的测量值更新。
30.匈牙利算法的匹配结果为所述目标检测框是新出现的检测目标，则创建新的轨迹id绑定给所述目标检测框，然后根据新的轨迹id对所述目标检测框进行目标跟踪；
31.匈牙利算法的匹配结果为轨迹匹配失败，将匹配失败的轨迹id删除。
32.或所述初始再识别模型的构建方法包括：
33.s1、获得目标检测图像的目标检测框，将所述目标检测框传输到级联匹配，所述目标检测框附带外观特征；
34.s2、通过卡尔曼滤波对目标跟踪框进行预测；
35.s21、卡尔曼滤波预测得到的确认态目标为目标预测框，将所述目标预测框传输到级联匹配，所述目标预测框继承所述目标跟踪框的外观特征、轨迹id；
36.s22、卡尔曼滤波预测得到的假报目标为第一假报目标框，将第一假报目标框传输到iou匹配；
37.s3、级联匹配对所述目标检测框和所述目标预测框的特征进行匹配；
38.s31、级联匹配的匹配结果为连续追踪的目标超出图像区域，则将所述目标预测框传输到iou匹配，并对所述预测目标框的轨迹id进行ak计时，连续追踪的目标包括所述目标预测框标定的目标、所述目标追踪框标定的目标；
39.s32、级联匹配结果为所述目标检测框是新出现的目标，将所述目标检测框目标传输到iou匹配；
40.s33、级联匹配的匹配结果为正常匹配，则认定所述目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对所述目标跟踪框进行跟踪，在多次确认为正常匹配
后将所述目标跟踪框对应的卡尔曼滤波的测量值更新；
41.s4、对传输到iou匹配的所述目标检测框、所述目标预测框、第一假报目标框进行匹配；
42.s41、若iou匹配结果为轨迹未匹配，判断所述目标预测框为确认态或假报；
43.s411、若所述目标预测框为确认态、且ak值小于等于a
max
，则继续根据原轨迹id对所述目标跟踪框进行跟踪；
44.s412、若所述目标预测框为确认态、且ak值大于a
max
，则删除所述目标预测框为和对应的轨迹id；
45.s413、iou匹配得到的假报目标为第二假报目标框，将第二假报目标框和对应的轨迹id删除；
46.s42、iou匹配结果为所述目标检测框是新出现的检测目标，则创建新的轨迹id绑定给所述目标检测框，并根据新的轨迹id对所述目标检测框进行目标跟踪；
47.s43、iou匹配结果为正常匹配，则认定所述目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对所述目标跟踪框进行跟踪，在多次确认为正常匹配后将所述目标跟踪框对应的卡尔曼滤波的测量值更新。
48.所述初始再识别模型的构建方法还包括：所述判断次数为3次。
49.所述ak计时具体方法为：
50.通过所述目标预测框对应的卡尔曼滤波的预测次数对重新匹配次数ak进行计数累计，ak计时用于记录所述轨迹id从上一次成功匹配到当前帧的时间。
51.所述初始再识别模型的构建方法还包括：级联匹配的匹配结果为正常匹配或iou匹配结果为正常匹配后，将正常匹配的轨迹id对应的ak计时重置为0。
52.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于全景视频的车辆再识别方法，从而可以得到以下有益效果：
53.1、采用了深度神经网络来实现全景视频中车辆再识别。采用视频分析的方式来避免在目标车辆上安装硬件设备带来的麻烦，只需借助车辆的运动和外观信息就可以实现车辆再识别。
54.2、通过对检测目标和基于跟踪目标生成的预测目标车辆的运动特征和外观特征实现对车辆的跟踪。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
56.图1附图为本发明获得车辆的轨迹的流程图。
57.图2附图为本发明的使用匈牙利算法构建车辆再识别模型的流程图。
58.图3附图为本发明的使用级联匹配算法构建车辆再识别模型的流程图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.如图1所示，本发明实施例公开了一种基于全景视频的车辆再识别方法，包括以下步骤：
61.将待检测图片输入目标检测模型中；
62.通过目标检测模型获取所述待检测图片中的目标检测图像；
63.将目标检测图像发送到经过训练集训练的车辆再识别模型；
64.车辆再识别模型根据目标检测图像中目标车辆的外观特征和运动特征对目标车辆进行跟踪；
65.获得目标车辆的运动轨迹。
66.进一步的，目标检测方法包括：
67.使用yolo算法将图像分成许多小方格(grid cell)，相较于滑窗法，其不要求物体的全部轮廓落在小方格内，只需要物体的中心位置落于方格区域内就可以。这样就大大提高了检测的效率，每个小方格都需要预测出n个目标检测框和一个分类信息。目标检测框的输出信息包括bbox的位置和置信度，即每个检测框需要得到(x,y,w,h,conf)5个值。目标检测框的置信度是该方格存在物体的概率(0或1)乘以检测框与物体真实位置框的交并比(iou)。交并比可以将图像的匹配程度进行数值上的量化。
68.目标检测过程会出现物体的轮廓范围大于一个分格的区域面积的情况，从而出现了多个方格来标记同一物体。为了解决该问题就需要使用非极大值抑制算法。首先要得到这些方格所产生的目标检测框的置信度。置信度越高就表示交集比例大，检测精准。置信度最高的检测框被设置为极大框。之后需要计算极大检测框和其他检测框之间的交并比(iou)来判断不同分块检测的是否为同一物体，从而得到最优结果。
69.车辆再识别模型的训练方法包括：
70.获取全景视频并构建初始全景数据集；
71.通过数据增强的方法对初始全景数据集进行扩充，增强后得到最终全景数据集，将最终全景数据集作为训练集；
72.构建关于车辆的初始再识别模型；
73.将训练集输入初始再识别模型，使用训练集对初始再识别模型进行训练，直到识别准确率达到收敛时停止训练，得到训练完的车辆再识别模型。
74.获取全景视频并构建初始全景数据集的构建方法具体包括以下步骤：
75.通过全景摄像机拍摄全景视频；
76.对全景视频进行剪辑，删除不具有车辆图片的视频帧，获取每帧都存在车辆的视频并输出为第一视频集；
77.对第一视频集进行图像裁剪，将视频数据转换为图片数据，并采用外观特征明显的图片构建初始全景数据集。
78.通过数据增强的方法对初始全景数据集进行扩充的数据增强方法具体包括以下
步骤：
79.采用torchvision对图片数据进行亮度增强、色度增强、锐度增强，得到最终全景数据集。
80.车辆再识别模型为cnn模型；车辆再识别模型的训练方法还包括：
81.将车辆的总id数设置为训练集的数据量。
82.如图2所述，初始再识别模型的一种构建方法：
83.获得目标检测图像的目标检测框；
84.使用卡尔曼滤波预测目标跟踪框，得到目标预测框；
85.使用匈牙利算法将目标检测框和预测目标框进行匹配；
86.匈牙利算法的匹配结果为正常匹配，级联匹配的匹配结果为正常匹配，则认定目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对目标跟踪框进行跟踪，在三次确认为正常匹配后将目标跟踪框对应的卡尔曼滤波的测量值更新。
87.匈牙利算法的匹配结果为目标检测框是新出现的检测目标，则创建新的轨迹id绑定给目标检测框，然后根据新的轨迹id对目标检测框进行目标跟踪；
88.匈牙利算法的匹配结果为轨迹匹配失败，将匹配失败的轨迹id删除。
89.如图3所示，初始再识别模型的另一种构建方法，具体包括以下步骤：
90.s1、获得目标检测图像的目标检测框，将目标检测框传输到级联匹配，目标检测框附带外观特征；
91.s2、通过卡尔曼滤波对目标跟踪框进行预测；
92.s21、卡尔曼滤波预测得到的确认态目标为目标预测框，将目标预测框传输到级联匹配，目标预测框继承目标跟踪框的外观特征、轨迹id；
93.s22、卡尔曼滤波预测得到的假报目标为第一假报目标框，将第一假报目标框传输到iou匹配；
94.s3、级联匹配对目标检测框和目标预测框的特征进行匹配；
95.s31、级联匹配的匹配结果为连续追踪的目标超出图像区域，则将目标预测框传输到iou匹配，并对预测目标框的轨迹id进行ak计时，连续追踪的目标包括目标预测框标定的目标、目标追踪框标定的目标；
96.s32、级联匹配结果为目标检测框是新出现的目标，将目标检测框目标传输到iou匹配；
97.s33、级联匹配的匹配结果为正常匹配，则认定目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对目标跟踪框进行跟踪，在多次确认为正常匹配后将目标跟踪框对应的卡尔曼滤波的测量值更新；
98.s4、对传输到iou匹配的目标检测框、目标预测框、第一假报目标框进行匹配；
99.s41、若iou匹配结果为轨迹未匹配，判断目标预测框为确认态或假报；
100.s411、若目标预测框为确认态、且ak值小于等于a
max
，则继续根据原轨迹id对目标跟踪框进行跟踪；
101.s412、若目标预测框为确认态、且ak值大于a
max
，则删除目标预测框为和对应的轨迹id；
102.s413、iou匹配得到的假报目标为第二假报目标框，将第二假报目标框和对应的轨
迹id删除；
103.s42、iou匹配结果为目标检测框是新出现的检测目标，则创建新的轨迹id绑定给目标检测框，并根据新的轨迹id对目标检测框进行目标跟踪；
104.s43、iou匹配结果为正常匹配，则认定目标检测框与原目标跟踪框标定的为同一目标，继续根据原轨迹id对目标跟踪框进行跟踪，在多次确认为正常匹配后将目标跟踪框对应的卡尔曼滤波的测量值更新。
105.进一步的，全景视频中每辆车辆的轨迹k都包含一个ak变量(在改进的sort算法的源代码中设置为time_since_update)，用于记录已存在的车辆轨迹从上一次成功匹配到当前帧的时间。卡尔曼滤波每进行一次预测ak都会自增，而当预测的结果和目标检测的结果匹配时ak被重置为0。当ak的值超过预定义的最大值a
max
时该轨迹被认为已经离开了摄像头的视角，并将其从已存在轨迹集合中删除。
106.进一步的，iou匹配的方法包括，对新目标的出现则需要多次确认，在源代码中使用hits来表示匹配成功的次数。车辆在进行目标检测的过程中，若出现某个目标a无法与已经存在的车辆轨迹相匹配，则认为在全景视频的图像范围内可能出现了新的车辆目标a。改进算法会调用is_tentative方法将其初始轨迹会定为试探性状态(tentative)，表示需要进一步确认。
107.接下来，如果在连续的3帧中卡尔曼滤波的预测结果与目标检测结果都能够正确匹配，则确认目标a是新的车辆，并将其轨迹状态使用is_confirm方法进行修改，变为确认态(confirmed)；如果在接下来的检测中没有出现连续的匹配，则认为是假报(unconfirmed)。假报可能是由于障碍物遮挡引起的，也可能是由于车辆特征变化太大导致的，就需要删除该轨迹(delete)。
108.进一步的，卡尔曼滤波算法包括以下内容，
109.使用8个参数确定车辆的运动状态(u,v,r,h,),长宽比r是可变的，目的是更好地应对物体的轮廓变化，(u,v)是b目标检测框的在图像中的坐标，r是长宽比，h是垂直宽度。剩下的四个运动变量表示目标车辆在图像中的运动信息。使用基于数学运动模型的卡尔曼滤波器对车辆的下一步运动进行预测，预测结果保存在u,v,r,h变量中。
110.进一步的，匈牙利算法、级联匹配、iou匹配使用运动特征、外观特征作为匹配的依据。
111.1、运动特征
112.使用马氏距离来衡量卡尔曼滤波预测的车辆目标框和新的目标检测框之间的距离。马氏距离表示的是深度学习网络中两个目标框的协方差距离，协方差可以较好地反映两个数据之间的关联性和相似度。相较于欧式距离，马氏距离考虑了不同数据的单位不一致的问题。当车辆的运动具有一定规律性且没有什么遮挡时，基于运动特征的方法是便捷高效的。
113.d
(1)
(i,j)＝(d
j-yi)
tsi-1
(d
j-yi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0114][0115]
公式(1)是协方差的计算公式：dj表示在图像中第j个通过目标检测算法而识别出的车辆位置，yi表示第i个目标车辆的跟踪轨迹经过卡尔曼滤波而产生的预测位置，si表示目标检测位置与卡尔曼预测位置之间的协方差矩阵
[0116]
公式(2)计算的是第i个卡尔曼滤波产生的预测位置和第j个目标检测算法中车辆的位置之间的数值，起到筛选匹配结果的作用，默认设置的t
(1)
为9.4877，若第一步计算得到的马氏距离小于t
(1)
，则代表两者关联性较强，可以视作同一目标，成功匹配。
[0117]
2、外观特征
[0118]
使用余弦距离来衡量全景视频中车辆外观特征之间的距离，利用深度学习网络构建一个特征提取模型，运行该模型来得到一个n维的车辆特征向量。
[0119]
对于每个车辆检测框dj，将其n维特征向量设为rj，该向量的模长为1。接着对每个车辆的跟踪轨迹k创建一个包含以往外观特征的图库。图库可以存放rk个数据，最多储存之前的100个车辆外观特征，每个用rk表示。
[0120]
根据这些车辆之前的外观特征来解决全景视频中车辆被障碍物遮挡后再次出现的问题：通过计算所有已知的图库中的车辆外观特征与目标检测标记框(编号为j)的外观特征的最小余弦距离，通过余弦距离来判断目标检测与现有的车辆轨迹中的那个最匹配，若要获得余弦距离的数值就需要先计算若要获得余弦距离的数值就需要先计算两种车辆特征向量之间夹角的余弦相似度，余弦距离等于1减去余弦相似值，余弦距离的取值范围为[0,2]。
[0121]
初始再识别模型的构建方法还包括：判断次数为3次。
[0122]ak
计时具体方法为：
[0123]
通过目标预测框对应的卡尔曼滤波的预测次数对重新匹配次数ak进行计数累计，ak计时用于记录轨迹id从上一次成功匹配到当前帧的时间。
[0124]
初始再识别模型的构建方法还包括：级联匹配的匹配结果为正常匹配或iou匹配结果为正常匹配后，将正常匹配的轨迹id对应的ak计时重置为0。
[0125]
更进一步的，为了提高了目标跟踪算法的健壮性、鲁棒性，引入了一个单独的卷积神经网络来提取车辆的外观特征。全景视频中的车辆图像的信息经过多层计算最终提取出n维特征向量，并结合运动特征模型计算更精确的代价矩阵。
[0126]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0127]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。