一种车辆追踪方法、装置、路侧设备及网络侧设备与流程

1.本发明属于车联网技术领域，特别涉及一种车辆追踪方法、装置、路侧设备及网络侧设备。


背景技术：

2.现有技术中跨场景追踪方法有单一摄像头的车辆轨迹追踪和多摄像头全场景的车辆轨迹追踪，但两种方法均使用单一特征作为唯一判定依据，当受到外界因素影响导致特征无法提取或提取到的特征噪声过大时，会直接导致误判，从而影响追踪效果。例如仅选取车牌信息作为判定依据时，当车辆与摄像头距离过远或因角度问题导致车牌无法清晰成像，均会影响车牌识别的准确度，降低追踪系统的鲁棒性。车辆重识别方法同样也受摄像头的角度和高度等因素的影响，不同角度下提取到的车辆重识别特征难以聚类。因此，利用单一车辆特征进行车辆检测和追踪时会存在特征提取或匹配失败的情况，导致车辆追踪失败，轨迹还原不完整。


技术实现要素：

3.本发明实施例提供一种车辆追踪方法、装置、路侧设备及网络侧设备，解决了现有技术中利用单一车辆特征进行车辆检测和追踪时会存在特征提取或匹配失败的情况，导致车辆追踪失败，轨迹还原不完整的问题。
4.第一方面，本发明的实施例提供一种车辆追踪方法，应用于路侧设备，包括：
5.获取目标车辆的图像数据；
6.获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型，得到第一结构体；
7.根据所述第一结构体，计算所述目标车辆的车辆掩码，并将所述车辆掩码赋值于所述第一结构体，得到第二结构体；
8.将所述图像数据和所述第二结构体发送给网络侧设备。
9.进一步地，所述车辆掩码的类别包括车牌、车窗以及车轮。
10.进一步地，所述获取所述图像数据在不同比例下的第一特征，包括：
11.对所述图像数据进行不同比例的缩小，得到不同比例下的第一高层特征和第一低层特征；
12.将所述第一高层特征和所述第一低层特征进行融合，得到所述第一特征。
13.进一步地，所述第一结构体包括所述目标车辆对应的第一图像、所述第一图像的尺寸信息以及，所述第一图像在所述图像数据对应的图像中的位置信息。
14.进一步地，所述第一训练模型采用generalized focal loss和giou loss函数进行模型训练。
15.进一步地，所述根据所述图像数据，计算所述目标车辆的车辆掩码，包括：
16.将所述第一图像缩放至第一预设尺寸，并通过第二训练模型进行图像分割，得到
所述车辆掩码。
17.进一步地，所述第二训练模型采用focal loss函数进行模型训练。
18.第二方面，本发明的实施例提供一种车辆追踪方法，应用于网络侧设备，包括：
19.接收目标车辆的图像数据和第二结构体；
20.解析所述第二结构体，得到所述目标车辆的车牌信息和特征向量，所述特征向量用于表示车辆掩码对应的目标车辆的车身特征；
21.将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新；所述目标队列为本次匹配之前保存的车牌信息和特征向量。
22.进一步地，所述车辆掩码对应的车身特征包括：车牌、车窗以及车轮。
23.进一步地，解析所述第二结构体，得到所述目标车辆的车牌信息，包括：
24.解析所述第二结构体，得到所述第二结构体中的所述车辆掩码；
25.根据所述车辆掩码，获取车牌区域对应的第一图像区域；
26.将缩放至第二预设尺寸的所述第一图像区域输入第三训练模型，得到所述目标车辆的车牌信息。
27.进一步地，所述第三训练模型采用交叉熵函数和正则化损失函数进行模型训练。
28.进一步地，解析所述第二结构体，得到所述目标车辆的特征向量，包括：
29.解析所述第二结构体，得到所述第二结构体中的所述车辆掩码；
30.根据所述车辆掩码，获取所述目标车辆的车身特征对应的车身图像区域；
31.将缩放至第三预设尺寸的所述车身图像区域输入第四训练模型，得到所述目标车辆的车身特征向量；
32.将所述车身特征向量输入第五训练模型，得到所述特征向量。
33.进一步地，所述车身图像区域包括：车牌区域对应的第一图像区域、车窗区域对应的第二图像区域以及车轮区域对应的第三图像区域中的至少两个；
34.所述车身特征向量包括：车牌对应的第一特征向量、所述车窗对应的第二特征向量以及所述车轮对应的第三特征向量中的至少两个。
35.进一步地，所述第五训练模型为包括自注意力机制的训练模型。
36.进一步地，所述将所述车牌信息和所述特征向量与目标队列进行匹配，包括：
37.采用匈牙利算法和相关滤波算法将所述车牌信息和所述特征向量与目标队列进行匹配。
38.第三方面，本发明的实施例提供一种车辆追踪装置，应用于路侧设备，包括：
39.第一获取模块，用于获取目标车辆的图像数据；
40.第二获取模块，用于获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型，得到第一结构体；
41.计算模块，用于根据所述第一结构体，计算所述目标车辆的车辆掩码，并将所述车辆掩码赋值于所述第一结构体，得到第二结构体；
42.发送模块，用于将所述图像数据和所述第二结构体发送给网络侧设备。
43.第四方面，本发明的实施例提供车辆追踪装置，应用于网络侧设备，包括：
44.接收模块，用于接收目标车辆的图像数据和第二结构体；
45.解析模块，用于解析所述第二结构体，得到所述目标车辆的车牌信息和特征向量，
所述特征向量用于表示车辆掩码对应的目标车辆的车身特征；
46.匹配更新模块，用于将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新；所述目标队列为本次匹配之前保存的车牌信息和特征向量。
47.第五方面，本发明的实施例提供一种路侧设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的车辆追踪方法的步骤。
48.第六方面，本发明的实施例提供网络侧设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的车辆追踪方法的步骤。
49.第七方面，本发明的实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的车辆追踪方法的步骤。
50.本发明的上述技术方案的有益效果是：
51.本发明实施例的车辆追踪方法，通过获取目标车辆的图像数据，能够得到所述图像数据在不同比例下的第一特征；通过将所述第一特征输入第一训练模型，得到第一结构体；并根据所述第一结构体，计算所述目标车辆的车辆掩码；通过将所述车辆掩码赋值于所述第一结构体，得到第二结构体；最后将所述第二结构体通所述图像数据发送至网络侧设备，为车辆追踪提供图像识别和车辆特征提取提供了数据支持。
附图说明
52.图1表示本发明实施例的车辆追踪方法的流程示意图；
53.图2表示本发明实施例的车辆检测模块的网络结构示意图；
54.图3表示本发明实施例的深层特征和浅层特征的拼接方法示意图；
55.图4表示本发明实施例的车辆追踪方法的另一流程示意图；
56.图5表示本发明实施例的车牌识别流程示意图；
57.图6表示本发明实施例的车辆重识别流程示意图；
58.图7表示本发明实施例的车牌信息和特征向量与目标队列的匹配的流程示意图；
59.图8表示本发明实施例的车辆追踪装置的结构示意图；
60.图9表示本发明实施例的车辆追踪装置的另一结构示意图；
61.图10表示本发明实施例的路侧设备的结构示意图；
62.图11表示本发明实施例的网络侧设备的结构示意图。
具体实施方式
63.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
64.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
65.本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
66.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
67.另外，本文中术语“系统”和“网络”在本文中常可互换使用。
68.在本技术所提供的实施例中，应理解，“与a 相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
69.在进行本发明实施例的说明时，首先对下面描述中所用到的一些概念进行解释说明。
70.第一实施例
71.如图1所示，本发明的实施例提供了一种车辆追踪方法，应用于路侧设备，包括：
72.步骤101，获取目标车辆的图像数据；
73.步骤102，获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型，得到第一结构体；
74.步骤103，根据所述第一结构体，计算所述目标车辆的车辆掩码，并将所述车辆掩码赋值于所述第一结构体，得到第二结构体；
75.步骤104，将所述图像数据和所述第二结构体发送给网络侧设备。
76.本发明一实施例中，所述路侧设备包括：摄像头、车辆检测模块和车身分割模块。
77.所述车辆检测模块，使用深度学习网络检测图像数据中的车辆；考虑功耗和计算力的影响，本发明一实施例中，所述车辆检测模块采用轻量级的第一网络结构。如图2所示，所述第一网络结构包括：骨干网络、特征金字塔层(feature pyramid networks，fpn)和检测头。
78.通过所述车辆检测模块获取摄像头实时拍摄的图片的图像数据，并检测所述图像数据中的目标车辆。将所述图像数据以不同的比例进行缩放，并获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型进行计算，得到所述第一结构体；其中，所述第一特征包括目标车辆对应的图像数据。
79.本发明实施例的车辆追踪方法，通过获取目标车辆的图像数据，能够得到所述图像数据在不同比例下的第一特征；通过将所述第一特征输入第一训练模型，得到第一结构体；并根据所述第一结构体，计算所述目标车辆的车辆掩码；通过将所述车辆掩码赋值于所述第一结构体，得到第二结构体；最后将所述第二结构体通所述图像数据发送至网络侧设备，为车辆追踪提供图像识别和车辆特征提取提供了数据支持。
80.可选地，所述车辆掩码的类别包括车牌、车窗以及车轮。
81.本发明实施例的车辆追踪方法，通过同时将车牌、车窗以及车轮设置为识别特征，降低了了因摄像头架设角度、高度无法获取车牌对应的图像数据对车辆追踪的影响，利用
多种车辆识别特征进行车辆检测和追踪时，提高了特征识别或匹配的成功概率和对所述目标车辆的追踪轨迹的完整度。
82.可选地，所述获取所述图像数据在不同比例下的第一特征，包括：
83.对所述图像数据进行不同比例的缩小，得到不同比例下的第一高层特征和第一低层特征；
84.将所述第一高层特征和所述第一低层特征进行融合，得到所述第一特征。
85.通过所述骨干网络对所述图像数据进行下采样，获取所述图像数据在不同比例下的高层特征。
86.通过所述特征金字塔层将不同比例下的高层特征和低层特征进行融合。本方案利用低层特征的高分辨率和高层特征的高语义信息，提升目标检测准召率。
87.可选地，所述第一结构体包括所述目标车辆对应的第一图像、所述第一图像的尺寸信息以及，所述第一图像在所述图像数据对应的图像中的位置信息。
88.所述检测头是针对目标检测物设计的，且本发明实施例中，所述目标检测物为车辆。
89.本发明一实施例中，所述检测头的网络结构可以包括两个分支结构，一个分支结构输出目标检测物中心点的坐标和中心点到目标检测物两个对角的距离，作为目标检测框，例如，根据目标车辆的第一中心点在所述图像数据对应的图像中的位置以及目标车辆在所述图像数据中的两个对角到所述第一中心点的距离，确定车辆检测框；另一个分支结构输出目标类别，例如车辆、行人、树木以及建筑物等，本发明实施例的目标类别仅涉及车辆。
90.可选地，所述第一训练模型采用generalized focal loss和giou loss函数进行模型训练。
91.本发明一实施例中，第一训练模型建立的过程中，采用one-stage检测器，同时为了解决模型训练过程中正负样本不均衡、难易样本不收敛等问题，损失函数采用了generalized focal loss(gfl)函数和giou loss函数。
92.所述generalized focal loss函数为：
[0093][0094]
其中，lq＝qfl(σ)＝-|y-σ|
β
((1-y)log(1-σ) ylog(σ))
[0095]
ld＝dfl(si,s
i 1
)＝-((y
i 1-y)log(si) (y-yi)log(s
i 1
))
[0096]npos
是正样本数据的数量，lb为giou loss函数，λ0为lb和的加权参数，可取值为2；λ1为ld的加权参数，可取值为1/4；cz为指标函数，为对金字塔层中特征图中每个位置点z求和，若大于0则取1，否则取0；σ为预测结果，y为真值标签，β为超参；y为真值点，yi和y
(i 1)
为y左右相邻的真值点，si为softmax后的结果。
[0097]
所述giou loss函数为：
[0098][0099]
其中，a和b分别表示两个检测框的面积；c表示a和b两个检测框的最小外接矩形面积。
[0100]
需要说明的是，所述第一训练模型可以采用城市公交摄像头和高速公路摄像头采集的真实图像及3d拟真游戏引擎生成的图像数据作为模型训练的样本数据。
[0101]
将所述第一特征输入第一训练模型，输出车辆检测框。若有输出结果，则车辆检测模块将输出的结果封装成第一结构体，发送给车身分割模块和网络侧设备。
[0102]
本发明实施例的车辆追踪方法，采用generalized focal loss函数和giou loss函数作为损失函数，解决了模型训练过程中正负样本不均衡、难易样本不收敛等问题，提高了第一训练模型的精度。
[0103]
可选地，所述根据所述图像数据，计算所述目标车辆的车辆掩码，包括：
[0104]
将所述第一图像缩放至第一预设尺寸，并通过第二训练模型进行图像分割，得到所述车辆掩码。
[0105]
可选地，所述路侧设备还包括车身分割模块。
[0106]
所述车身分割模块在接收到所述车辆检测模块发送的图像数据和第一结构体后，将所述第一结构体中的所述目标车辆在所述图像数据中的位置信息和尺寸信息的图像信息输入第二训练模型进行语义分割，计算出所述车辆掩码。将所述车辆掩码赋值于所述第一结构体，得到所述第二结构体，并将所述第二结构体通过远程过程调用协议(remote procedure call protocol，rpc)发送给网络侧设备。
[0107]
本发明一实施例中，所述车身分割模块同样采用轻量级的网络结构。所述车身分割模块的网络包括编码器和解码器，编码器负责对所述图像数据下采样，采用卷积层和max pooling层来下采样降低分辨率、提高通道维度。解码器负责对所述图像数据做上采样，采用卷积层和反卷积层来上采样提高分辨率，降低通道维度。通过随所述图像数据进行下采样和上采样，得到所述图像数据的深层特征和浅层特征，并通过如图3所示的跳跃连接的方式对所述深层特征和浅层特征进行拼接，以丰富解码器的特征表现能力，最后使用卷积层输出车辆掩码。本发明一实施例中，所述卷积层为卷积核额为1
×
1的卷积层，通道数为5。
[0108]
本发明实施例的方案中，通过第二训练模型对第一结构体进行语义分割，得到所述目标车辆的车辆掩码，进而将车辆掩码赋值于所述第一结构体，得到第二结构体，并通过将车辆掩码分为车牌、车窗以及车轮三种类型，使得第二结构体包括含多种类型的车辆掩码，提高了网络侧设备车身特征识别的成功率，为网络侧设备进行车辆追踪提供了多特征的数据支持。
[0109]
可选地，所述第二训练模型采用focal loss函数进行模型训练。
[0110]
第二训练模型的建立过程中，语义分割任务存在样本严重失衡的问题，即个别类别的样本数量和在图像中的占比远大于其他类别时，导致其他类别难以训练，从而建立的训练模型精确度不足。
[0111]
本发明一实施例中，所述第二训练模型采用focal loss作为损失函数进行模型训练，所述focal loss函数为：
[0112][0113]
其中，y'是经过激活函数后的输出，y为真值标签，α和γ为超参；α用作平衡因子，典型值为0.25；γ是权重参数，典型值为2。
[0114]
其中，平衡因子α用来平衡正负样本比例不均衡的问题，权重参数γ可以让损失函
数聚焦在难样本上，用来调节不收敛的问题。当权重参数γ为0时，所述focal loss函数转化为交叉熵损失函数。
[0115]
需要说明的是，所述第二训练模型可以采用城市公交摄像头和高速公路摄像头采集的真实图像及3d拟真游戏引擎生成的图像数据作为模型训练的样本数据。
[0116]
本发明的方案通过focal loss函数作为损失函数对第二训练模型进行训练，解决了因样本失衡导致第二训练模型精确度低的问题，提高了第二训练模型的精度。
[0117]
如图4所示，本发明的实施例提供了一种车辆追踪方法，应用于网络侧设备，包括：
[0118]
步骤401，接收目标车辆的图像数据和第二结构体；
[0119]
步骤402，解析所述第二结构体，得到所述目标车辆的车牌信息和特征向量，所述特征向量用于表示车辆掩码对应的目标车辆的车身特征；
[0120]
步骤403，将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新；所述目标队列为本次匹配之前保存的车牌信息和特征向量。
[0121]
可选地，所述网络侧设备包括车辆追踪模块和车牌识别模块。
[0122]
本发明一实施例中，所述车辆追踪模块接收到路侧设备发送的所述图像数据和所述第二结构体后，所述车辆追踪模块调度闲置的所述车牌识别模块进行信息处理，将所述第二结构体输入所述车牌识别模块，得到所述目标车辆的包括车牌文字信息的车牌信息。
[0123]
本发明实施例的车辆追踪方法，通过对接收到的路侧设备发送的第二结构体进行解析，得到所述目标车辆的车牌信息以及用于表示目标车辆车身特征的特征向量，并通过将所述车牌信息和所述特征向量与目标队列进行匹配，更新所述目标队列的方式，对车辆的追踪数据进行更新完善，提高了对所述目标车辆的追踪轨迹的完整度。
[0124]
可选地，所述车辆掩码对应的车身特征包括：车牌、车窗以及车轮。
[0125]
本发明实施例的车辆追踪方法，通过同时将车牌、车窗以及车轮设置为识别特征，降低了了因摄像头架设角度、高度无法获取车牌对应的图像数据对车辆追踪的影响，利用多种车辆识别特征进行车辆检测和追踪时，提高了特征识别或匹配失败的成功概率和对所述目标车辆的追踪轨迹的完整度。
[0126]
可选地，解析所述第二结构体，得到所述目标车辆的车牌信息，包括：
[0127]
解析所述第二结构体，得到所述第二结构体中的所述车辆掩码；
[0128]
根据所述车辆掩码，获取车牌区域对应的第一图像区域；
[0129]
将缩放至第二预设尺寸的所述第一图像区域输入第三训练模型，得到所述目标车辆的车牌信息。
[0130]
所述车牌识别模块解析所述第二结构体中的车辆掩码，并判断所述车辆掩码中是否存在车牌区域对应的第一图像信息。当确定所述车辆掩码中是在车牌区域对应的图像信息后，获取所述车牌区域对应的第一图像信息，并将所述车牌区域对应的第一图像区域缩放至第二预设尺寸，输入第三训练模型，最后输出包括车牌文字信息的车牌信息。
[0131]
可选地，判断所述车辆掩码中是否存在车牌区域对应的图像信息，包括：
[0132]
根据所述车辆掩码，获取车牌区域对应的第一图像区域，当所述第一图像区域的像素大于预设值时，则确定所述车辆掩码包括所述车牌区域对应的第一图像信息。本发明一实施例中，可以认为车牌区域满足像素的长和宽均大于32时路侧设备抓拍到了所述目标车辆的车牌。
[0133]
所述车牌识别模块的网络结构包括骨干网络、特征序列层、lstm层、attention层和softmax层。通过骨干网络对所述第二结构体进行下采样，获取深层卷积特征后，经过特征序列层的仿射变换生成用于lstm层的输入数据，再经过lstm层、attention层和softmax层后输出字符概率矩阵。最终根据所述字符概率矩阵得到包括车牌文字信息的车牌信息。
[0134]
通常的车牌识别流程包括车牌检测、截取局部图像、图像矫正、车牌识别等步骤。本发明实施例的车辆追踪方法中，所述车牌识别模块采用车牌分割替换车牌检测的步骤，并省略图像校正的步骤，通过含有注意力机制的神经网络进行车牌识别。
[0135]
本发明实施例的车辆追踪方法，通过对第二结构体进行解析得到所述目标车辆车牌区域对应的第一图像区域，并通过第三训练模型计算出所述目标车辆的车牌信息，在保证了车牌识别精度的同时简化了车牌识别的流程。
[0136]
本发明一实施例的车牌识别流程如图5所示：
[0137]
车牌识别模块在接收到第二结构体后，解析所述第二结构体中的车身掩码，并判断所述车身掩码中是否存在车牌区域对应的第一图像区域。若存在，则将所述第一图像信息缩放至第二预设尺寸，并输入第三训练模型，最后输出包括车牌文字信息的车牌信息。
[0138]
可选地，所述第三训练模型采用交叉熵函数和正则化损失函数进行模型训练。
[0139]
所述交叉熵函数为：
[0140][0141]
其中，n为样本数量；m为样本类别的数量；y
ic
取1或0，当样本i的真实类别为c时y
ic
的值为1，否则值取0；p
ic
为样本i属于类别c的预测概率。
[0142]
所述正则化损失函数为：
[0143][0144]
其中，n为样本数量；yi为样本i的真值标签；f(xi)为样本i的预测值。
[0145]
需要说明的是，第三训练模型的训练样本可以使用城市公交摄像头和高速公路摄像头采集的真实图像，以及通用场景的文字识别数据集。
[0146]
本发明实施例的车辆追踪方法，通过交叉熵函数和正则化损失函数对所述第三训练模型进行模型训练，提高了第三训练模型的精度。
[0147]
可选地，解析所述第二结构体，得到所述目标车辆的特征向量，包括：
[0148]
解析所述第二结构体，得到所述第二结构体中的所述车辆掩码；
[0149]
根据所述车辆掩码，获取所述目标车辆的车身特征对应的车身图像区域；
[0150]
将缩放至第三预设尺寸的所述车身图像区域输入第四训练模型，得到所述目标车辆的车身特征向量；
[0151]
将所述车身特征向量输入第五训练模型，得到所述特征向量。
[0152]
需要说明的是，第四训练模型包括车牌训练模型、车窗训练模型以及车轮训练模型，且车牌训练模型、车窗训练模型和车轮训练模型为结构相同的训练模型。
[0153]
所述第四训练模型和第五训练模型的模型训练均分为两个阶段，第1阶段将网络当作分类任务，作为预训练，损失函数使用交叉熵函数，且仅使用一部分训练样本数据，训
练至loss不再下降(过拟合前)时停止训练。第2阶段训练去除增加的两层网络，恢复原始网络结构，损失函数使用三元组损失，训练采用全部分训练样本数据。
[0154]
其中，三元组损失函数的公式定义如下：
[0155][0156]
其中，a表示anchor样本，p表示正样本，n表示负样本。样本和是同一个类，和不同类。表示求anchor样本和正样本之间的第一欧氏距离，表示求anchor样本和负样本之间的第二欧氏距离。α表示margin参数，表示第一欧氏距离与第二欧氏距离之间的最小间隔。[]

表示括号内之和大于0时取该值为损失，其余情况时损失为0。所以当第一欧氏距离大于第二欧氏距离时，产生损失；反之，则损失为0。
[0157]
需要说明的是，第四训练模型的训练样本可以为城市公交摄像头和高速公路摄像头采集的真实图像及3d拟真游戏引擎生成的图像。
[0158]
本发明实施例的方案，通过对所述第二结构体进行解析得到所述目标车辆的车身特征所对应的车身图像区域，采用第四训练模型对所述车身图像区域进行计算，进而得到所述目标车辆的车身特征向量。通过第五训练模型，最终得到用于表示目标车辆车身特征的特征向量。
[0159]
可选地，所述车身图像区域包括：车牌区域对应的第一图像区域、车窗区域对应的第二图像区域以及车轮区域对应的第三图像区域中的至少两个；
[0160]
所述车身特征向量包括：车牌对应的第一特征向量、所述车窗对应的第二特征向量以及所述车轮对应的第三特征向量中的至少两个。
[0161]
可选地，将所述车牌区域对应的第一图像区域缩放至第三预设尺寸输入所述车牌训练模型，得到所述第一特征向量；
[0162]
将所述车窗区域对应的第二图像区域缩放至第三预设尺寸输入所述车窗训练模型，得到所述第二特征向量；
[0163]
将所述车轮区域对应的第三图像区域缩放至第三预设尺寸输入所述车轮训练模型，得到所述第三特征向量。
[0164]
本发明实施例的车辆追踪方法，将车牌、车窗以及车轮中的至少两个作为所述目标车辆的特征提取对象，提高了车辆追踪的成功率。
[0165]
可选地，所述车身图像区域包括：车牌区域对应的第一图像区域、车窗区域对应的第二图像区域以及车轮区域对应的第三图像区域中的至少两个；
[0166]
所述车身特征向量包括：车牌对应的第一特征向量、所述车窗对应的第二特征向量以及所述车轮对应的第三特征向量中的至少两个。
[0167]
可选地，所述网络侧设备还包括车辆重识别模块，为车辆追踪模块提供车辆的弱特征。
[0168]
所述车辆追踪模块在接收到第二结构体后，调用车辆重识别模块对所述第二结构体进行解析，获取车辆掩码，例如车牌、车窗以及车轮的掩码信息。
[0169]
可选地，所述车辆重识别模块的网络结构包括车辆重识别网络。
[0170]
所述车辆重识别网络包括：包含自注意力机制的骨干网络和卷积层。通过骨干网络对接收到的所述图像数据进行下采样，且本发明一实施例中，可设置下采样至特征图长宽均为1，通道数为1024。后续接1
×
1卷积核的卷积层，通道数由1024逐步降维至512和256，最终输出256维特征向量。本方案中，通过在骨干网络中加入特征图维度上的自注意力机制，降低了车身特征收到的无用区域和噪声的影响。
[0171]
如图6所述，车辆重识别模块在接收到第二结构体后，对所述第二结构体进行解析，得到车辆掩码，并确定车辆掩码的种类数，若车辆掩码的种类大于2，则对车身掩码对应的车身图像区域通过第四训练模型进行图像预处理，得到目标车辆的车身特征向量，并通过第五训练模型对所述车身特征向量进行主特征提取，得到所述特征向量，并输出结果。
[0172]
通过车辆重识别网络对车身图像区域进行处理，得到目标车辆的车身特征向量。需要说明的是，因路侧设备的摄像头与目标车辆的角度和高度问题，车牌或者车轮会存在无法被路侧设备的摄像头捕获的情况，但车窗均可被捕获，因此，所述车辆重识别模块可以对车身掩码进行筛选，若在车牌、车窗以及车轮中的两个或者两个以上的掩码信息缺失的情况下，则不进行车辆重识别的流程。
[0173]
在所述车辆掩码中包括车身特征中的至少两个时，得到关于车牌、关于车窗以及关于车轮中至少两个n维车身特征向量。
[0174]
本发明实施例的方案通过解析获取多种车身特征的掩码信息，能够得到多个车身特征向量，提高了车辆重识别和追踪的鲁棒性。
[0175]
本发明的一实施例中，若其中一个车身特征缺失，则通过用零补位的形式，将所述车身特征向量输入所述第五训练模型，最终得到一个3n维的特征向量。
[0176]
可选地，所述车辆重识别模块的网络结构还包括主特征提取网络。
[0177]
所述主特征提取网络包括：全连接层、第一attention模块以及第二attention模块。本发明一实施例中，将所述第一特征向量、第二特征向量以及第三特征向量输入所述主特征提取网络，首先输入一个含有768个单元(典型值，可做调整)的全连接层和relu激活函数，然后被发送至第一attention模块，并将输出维度由768降至512。再通过第二attention模块，传送至一个256单元的(典型值，可做调整)全连接层，并输出最终的特征向量。
[0178]
attention模块包括全连接层和sigmoid层，使用全连接层对输入的向量先做压缩，压缩至原始维度的1/2，再通过全连接层将其拓展回原始维度，之后接sigmoid层输出注意力向量，将注意力向量转置后与attention模块的原始输入相乘，再与原始输入相加，便是attention模块的输出结果。
[0179]
本发明实施例的车辆追踪方法，通过将至少两种车身特征输入第五训练模型进行计算，得到联合了至少两个车身特征的特征向量，实现了对多种车身特征的融合，提高了车辆追踪过程中对车辆重识别的鲁棒性。
[0180]
可选地，所述网络侧设备还包括车辆追踪模块。
[0181]
可选地，所述目标队列，包括：追踪目标队列和丢失目标队列；
[0182]
所述追踪目标队列为本次匹配之前匹配成功的车牌信息、特征向量以及目标车辆的id，所述丢失目标队列为本次匹配之前未匹配成功的目标车辆的id以及车牌信息或特征向量。
[0183]
可选地，在本次匹配之后再次获取到第二车身特征后可以和所述丢失目标队列匹配，若匹配成功，则根据匹配成功的所述丢失目标队列中的车牌信息或车身特征对所述追踪目标队列进行更新，完善所述目标车辆的运行轨迹。
[0184]
将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新，包括：
[0185]
将所述车牌信息和所述特征向量与所述追踪目标队列进行匹配；
[0186]
将匹配成功的所述车牌信息和所述特征向量加入所述追踪目标队列，对所述追踪目标队列进行更新；
[0187]
将未匹配成功的所述车牌信息和所述特征向量加入所述丢失目标队列，对所述丢失目标队列进行更新。
[0188]
可选地，所述将所述车牌信息和所述特征向量与目标队列进行匹配，包括：
[0189]
采用匈牙利算法和相关滤波算法将所述车牌信息和所述特征向量与目标队列进行匹配。
[0190]
当网络侧设备设定为高频追踪时，路侧设备将以每秒钟不低于20帧的帧率传输数据至网络侧设备，因负荷较大，需关闭相关滤波算法，仅使用匈牙利算法进行车辆追踪。此时需要路侧设备将第二结构体连同图像数据发送给网络侧设备。车辆追踪模块采用匈牙利算法，将当前从第二结构体内解析出来的车身特征与目标队列做最大匹配。
[0191]
当网络侧设备设定为低频追踪时，路侧设备将以每秒钟不大于20帧且不低于10帧的帧率传输信息至网络侧设备，系统负荷不高，可以启用相关滤波算法进行车辆追踪。
[0192]
本发明实施例的车辆追踪方法，通过匈牙利算法和相关滤波算法对所述车牌信息和所述特征向量与目标队列进行匹配，可根据网络侧设备设定的追踪频次选择不同的匹配算法，从而在满足网络侧设备负载的情况下，保证较高的计算精度。
[0193]
本发明的一实施例中，可以引入平均峰值相关能量(apce)作为置信度，反映响应图的波动程度和检测目标的置信水平，以解决相关滤波算法kcf在追踪目标时没有一个良好的指标反映追踪效果的问题。
[0194]
其中，平均峰值相关能量的公式定义为：
[0195][0196]
其中，f
max
和f
min
分别代表响应图中的最大和最小值。f
(w,h)
为响应图中每个位置上的像素值。当apce大于预设的追踪阈值时，则认为本次追踪结果置信度高。
[0197]
如图7所示，所述车牌信息和所述特征向量与目标队列的匹配包括：目标丢失和追踪成功。匹配成功则认为是追踪成功，匹配失败则认为是当前帧未获取到目标车辆的车身特征，即目标丢失。
[0198]
可选地，所述车牌信息和所述特征向量与目标队列的匹配，还包括：新增目标；
[0199]
所述新增目标表示当前帧获取到的第三车身特征与目标队列中的车牌信息和特征向量均不匹配；所述第三车身特征包括：第三车牌信息和/或第三车身特征向量。
[0200]
可选地，将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新，还包括：
[0201]
将新增目标的所述车牌信息和/或所述特征向量与所述丢失目标队列进行匹配；
[0202]
将匹配成功的所述丢失目标队列中的车牌信息和特征向量加入所述追踪目标队列，对所述追踪目标队列进行更新。
[0203]
本发明一实施例中，当出现新增目标时，以强特征车牌信息为主，首先调用车牌识别模块识别车牌信息，再调用车辆重识别模块获取车身特征对应的特征向量。将所述第三车牌信息与丢失目标队列内的数据进行匹配，若匹配成功则还原至目标队列中对目标队列进行更新；以弱特征车身特征向量为辅，计算所述第三车身特征向量与丢失目标队列的第一欧式距离，若所述第一欧式距离小于预设阈值，则根据所述丢失目标队列中对所述追踪目标队列进行更新。
[0204]
如图8所示，本发明实施例还提供了一种车辆追踪装置800，应用于路侧设备，包括：
[0205]
第一获取模块801，用于获取目标车辆的图像数据；
[0206]
第二获取模块802，用于获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型，得到第一结构体；
[0207]
计算模块803，用于根据所述第一结构体，计算所述目标车辆的车辆掩码，并将所述车辆掩码赋值于所述第一结构体，得到第二结构体；
[0208]
发送模块804，用于将所述图像数据和所述第二结构体发送给网络侧设备。
[0209]
本发明实施例的车辆追踪装置，通过获取目标车辆的图像数据，能够得到所述图像数据在不同比例下的第一特征；通过将所述第一特征输入第一训练模型，得到第一结构体；并根据所述第一结构体，计算所述目标车辆的车辆掩码；通过将所述车辆掩码赋值于所述第一结构体，得到第二结构体；最后将所述第二结构体通所述图像数据发送至网络侧设备，为车辆追踪提供图像识别和车辆特征提取提供了数据支持。
[0210]
如图9所示，本发明实施例还提供了一种车辆追踪装置900，应用于网络侧设备，包括：
[0211]
接收模块901，用于接收目标车辆的图像数据和第二结构体；
[0212]
解析模块902，用于解析所述第二结构体，得到所述目标车辆的车牌信息和特征向量，所述特征向量用于表示车辆掩码对应的目标车辆的车身特征；
[0213]
匹配更新模块903，用于将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新；所述目标队列为本次匹配之前保存的车牌信息和特征向量。
[0214]
本发明实施例的车辆追踪装置，通过对接收到的路侧设备发送的第二结构体进行解析，得到所述目标车辆的车牌信息以及用于表示目标车辆车身特征的特征向量，并通过将所述车牌信息和所述特征向量与目标队列进行匹配，更新所述目标队列的方式，对车辆的追踪数据进行更新完善，提高了对所述目标车辆的追踪轨迹的完整度。
[0215]
为了更好的实现上述目的，如图10所示，本发明还提供了一种路侧设备，包括：收发机1010、处理器1000以及通过总线接口与所述处理器1000相连接的存储器1020，所述存储器1020用于存储所述处理器1000在执行操作时所使用的程序和数据，处理器1000调用并执行所述存储器1020中所存储的程序和数据。
[0216]
其中，收发机1010与总线接口连接，用于在处理器1000的控制下接收和发送数据；
[0217]
收发机1010用于：
[0218]
获取目标车辆的图像数据；
[0219]
获取所述图像数据在不同比例下的第一特征，并将所述第一特征输入第一训练模型，得到第一结构体。
[0220]
处理器1000用于读取存储器1020中的程序执行以下步骤：
[0221]
根据所述第一结构体，计算所述目标车辆的车辆掩码，并将所述车辆掩码赋值于所述第一结构体，得到第二结构体。
[0222]
收发机1010还用于：
[0223]
将所述图像数据和所述第二结构体发送给网络侧设备。
[0224]
其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1000代表的一个或多个处理器和存储器1020代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1010可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的终端，用户接口1030还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。处理器1000负责管理总线架构和通常的处理，存储器1020可以存储处理器1000在执行操作时所使用的数据。
[0225]
为了更好的实现上述目的，如图11所示，本发明还提供了一种网络侧设备，包括：收发机1111、处理器1100以及通过总线接口与所述处理器1100相连接的存储器1120，所述存储器1120用于存储所述处理器1100在执行操作时所使用的程序和数据，处理器1100调用并执行所述存储器1120中所存储的程序和数据。
[0226]
其中，收发机1111与总线接口连接，用于在处理器1100的控制下接收和发送数据；
[0227]
收发机1111用于：
[0228]
接收目标车辆的图像数据和第二结构体。
[0229]
处理器1100用于读取存储器1120中的程序执行以下步骤：
[0230]
解析所述第二结构体，得到所述目标车辆的车牌信息和特征向量，所述特征向量用于表示车辆掩码对应的目标车辆的车身特征；
[0231]
将所述车牌信息和所述特征向量与目标队列进行匹配，并对所述目标队列进行更新。
[0232]
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
[0233]
另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述车辆追踪方法的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
[0234]
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储
介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0235]
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0236]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。