车辆识别方法及装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种车辆识别方法及装置、电子设备及存储介质。


背景技术：

2.随着现代社会车辆数量越来越多，各种交通问题接踵而至。在这种情况下，车辆重识别逐渐被人广泛研究。车辆识别是指确定两张图像中的车辆是否为同一辆车。
3.目前的车辆识别方法通过分别从两张图像中提取出车辆的特征，得到两个车辆特征数据，并通过对两个车辆特征数据进行比对确定两张图像中的车辆是否是同一辆车。但通过目前的车辆识别方法提取得到的车辆特征数据所包括的信息的准确度不高。


技术实现要素：

4.本技术提供一种车辆识别方法及装置、电子设备及存储介质。
5.第一方面，提供了一种车辆识别方法，所述方法包括：
6.获取包含第一待识别车辆的待处理图像；
7.对所述待处理图像进行第一特征提取处理，得到包括所述第一待识别车辆的局部特征信息的第一特征数据；
8.对所述待处理图像进行第二特征提取处理，得到包括所述第一待识别车辆的全局特征信息的第二特征数据；
9.对所述第一特征数据和所述第二特征数据进行融合处理，得到所述第一待识别车辆的第三特征数据；所述第三特征数据用于获得所述第一待识别车辆的识别结果。
10.结合本技术任一实施方式，所述局部特征信息包括关键点特征信息，所述第一特征数据包括所述待识别车辆的至少一个关键点的特征信息。
11.结合本技术任一实施方式，所述局部特征信息还包括局部像素点区域特征信息，所述第一特征数据还包括所述待识别车辆的至少一个局部像素点区域的特征信息。
12.结合本技术任一实施方式，所述对所述待处理图像进行第一特征提取处理，得到包括所述第一待识别车辆的局部特征信息的第一特征数据，包括：
13.对所述待处理图像进行第三特征提取处理，得到第四特征数据；所述第四特征数据包括所述第一待识别车辆的至少一个关键点的特征信息；
14.对所述待处理图像进行第四特征提取处理，得到第五特征数据；所述第五特征数据包括所述第一待识别车辆的至少一个局部像素点区域的特征信息；所述局部像素点区域属于所述第一待识别车辆所覆盖的像素点区域，且所述局部像素点区域的面积小于所述第一待识别车辆所覆盖的像素点区域的面积；
15.对所述第四特征数据和第五特征数据进行融合处理，得到所述第一特征数据。
16.结合本技术任一实施方式，所述对所述待处理图像进行第三特征提取处理，得到第四特征数据，包括：
17.对所述待处理图像进行第五特征提取处理，得到至少一个第六特征数据；所述第六特征数据包括所述关键点的特征信息，且任意两个所述第六特征数据所包括的特征信息属于不同的所述关键点；
18.从所述至少一个第六特征数据中选取包括信息量最多的k个特征数据，得到k个第七特征数据；所述k为不小于1的整数；
19.依据所述k个第七特征数据得到所述第四特征数据。
20.结合本技术任一实施方式，所述对所述待处理图像进行第四特征提取处理，得到第五特征数据，包括：
21.对所述待处理图像进行第十特征提取处理，得到至少一个第九特征数据；所述第九特征数据包括所述关键点的特征信息，且任意两个所述第九特征数据所包括的特征信息属于不同的所述局部像素点区域；
22.从所述至少两个第九特征数据中选取包含信息量最多的m个特征数据，得到m个第十特征数据；所述m为不小于1的整数；
23.依据所述m个第十特征数据得到所述第五特征数据。
24.结合本技术任一实施方式，所述车辆识别方法应用于车辆识别网络，所述车辆识别网络的训练方法包括：
25.获取包含第二待识别车辆的训练图像和待训练网络；
26.使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的全局特征信息的第十四特征数据和包括所述第二待识别车辆的关键点特征信息的第十五特征数据；
27.依据所述第十四特征数据和所述训练图像的标签，得到第一全局损失；
28.依据所述第十五特征数据和所述标签，得到第一关键点损失；
29.依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失；
30.基于所述总损失调整所述待训练网络的参数，得到所述车辆识别网络。
31.结合本技术任一实施方式，在所述依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失之前，所述方法还包括：
32.使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的局部像素点区域的特征信息的第十六特征数据；
33.依据所述第十六特征数据和所述标签，得到第一局部像素点区域损失；
34.所述依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失，包括：
35.依据所述第一全局损失、所述第一关键点损失和所述第一局部像素点区域损失，得到所述总损失。
36.结合本技术任一实施方式，所述使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的关键点特征信息的第十五特征数据，包括：
37.使用所述待训练网络对所述训练图像进行处理，得到至少一个第十七特征数据；所述第十七特征数据包括所述第二待识别车辆的关键点特征信息，且任意两个所述第十七特征数据所包括的特征信息属于不同的所述关键点；
38.从所述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到s个
第十八特征数据；所述s为不小于1的整数；
39.对所述s个第十八特征数据进行融合处理，得到所述第十五特征数据。
40.结合本技术任一实施方式，所述第一全局损失包括全局焦点损失；所述依据所述第十四特征数据和所述训练图像的标签，得到第一全局损失，包括：
41.依据所述第十四特征数据，得到所述第二待识别车辆的第三识别结果；
42.依据所述第三识别结果和所述标签，得到所述第三识别结果的焦点损失，作为所述全局焦点损失。
43.结合本技术任一实施方式，所述训练图像属于训练图像集；所述训练图像集还包括所述训练图像的第一正样本图像和所述训练图像的第一负样本图像；所述第一全局损失还包括全局三元组损失；所述方法还包括：
44.使用所述待训练网络对所述第一正样本图像进行特征提取处理，得到所述第一正样本图像的特征数据；
45.使用所述待训练网络对所述第一负样本图像进行特征提取处理，得到所述第一负样本图像的特征数据；
46.依据所述第十二特征数据、所述第一正样本图像的特征数据和所述第一负样本图像的特征数据，得到所述全局三元组损失。
47.第二方面，提供了一种车辆识别装置，所述装置包括：
48.获取单元，用于获取包含第一待识别车辆的待处理图像；
49.第一处理单元，用于对所述待处理图像进行第一特征提取处理，得到包括所述第一待识别车辆的局部特征信息的第一特征数据；
50.第二处理单元，用于对所述待处理图像进行第二特征提取处理，得到包括所述第一待识别车辆的全局特征信息的第二特征数据；
51.融合处理单元，用于对所述第一特征数据和所述第二特征数据进行融合处理，得到所述第一待识别车辆的第三特征数据；所述第三特征数据用于获得所述第一待识别车辆的识别结果。
52.结合本技术任一实施方式，所述局部特征信息包括关键点特征信息，所述第一特征数据包括所述待识别车辆的至少一个关键点的特征信息。
53.结合本技术任一实施方式，所述局部特征信息还包括局部像素点区域特征信息，所述第一特征数据还包括所述待识别车辆的至少一个局部像素点区域的特征信息。
54.结合本技术任一实施方式，所述第一处理单元用于：
55.对所述待处理图像进行第三特征提取处理，得到第四特征数据；所述第四特征数据包括所述第一待识别车辆的至少一个关键点的特征信息；
56.对所述待处理图像进行第四特征提取处理，得到第五特征数据；所述第五特征数据包括所述第一待识别车辆的至少一个局部像素点区域的特征信息；所述局部像素点区域属于所述第一待识别车辆所覆盖的像素点区域，且所述局部像素点区域的面积小于所述第一待识别车辆所覆盖的像素点区域的面积；
57.对所述第四特征数据和第五特征数据进行融合处理，得到所述第一特征数据。
58.结合本技术任一实施方式，所述第一处理单元用于：
59.对所述待处理图像进行第五特征提取处理，得到至少一个第六特征数据；所述第
六特征数据包括所述关键点的特征信息，且任意两个所述第六特征数据所包括的特征信息属于不同的所述关键点；
60.从所述至少一个第六特征数据中选取包括信息量最多的k个特征数据，得到k个第七特征数据；所述k为不小于1的整数；
61.依据所述k个第七特征数据得到所述第四特征数据。
62.结合本技术任一实施方式，所述第一处理单元用于：
63.对所述待处理图像进行第十特征提取处理，得到至少一个第九特征数据；所述第九特征数据包括所述关键点的特征信息，且任意两个所述第九特征数据所包括的特征信息属于不同的所述局部像素点区域；
64.从所述至少两个第九特征数据中选取包含信息量最多的m个特征数据，得到m个第十特征数据；所述m为不小于1的整数；
65.依据所述m个第十特征数据得到所述第五特征数据。
66.结合本技术任一实施方式，所述车辆识别装置执行的车辆识别方法应用于车辆识别网络，所述获取单元，还用于获取包含第二待识别车辆的训练图像和待训练网络；
67.所述第一处理单元，还用于使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的全局特征信息的第十四特征数据和包括所述第二待识别车辆的关键点特征信息的第十五特征数据；
68.所述车辆识别装置还包括：
69.第三处理单元，用于依据所述第十四特征数据和所述训练图像的标签，得到第一全局损失；
70.所述第三处理单元，还用于依据所述第十五特征数据和所述标签，得到第一关键点损失；
71.所述第三处理单元，还用于依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失；
72.第四处理单元，用于基于所述总损失调整所述待训练网络的参数，得到所述车辆识别网络。
73.结合本技术任一实施方式，所述第一处理单元，还用于在所述依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失之前，使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的局部像素点区域的特征信息的第十六特征数据；
74.所述第三处理单元，还用于依据所述第十六特征数据和所述标签，得到第一局部像素点区域损失；
75.所述第三处理单元，还用于：依据所述第一全局损失、所述第一关键点损失和所述第一局部像素点区域损失，得到所述总损失。
76.结合本技术任一实施方式，所述第一处理单元，用于：
77.使用所述待训练网络对所述训练图像进行处理，得到至少一个第十七特征数据；所述第十七特征数据包括所述第二待识别车辆的关键点特征信息，且任意两个所述第十七特征数据所包括的特征信息属于不同的所述关键点；
78.从所述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到s个
第十八特征数据；所述s为不小于1的整数；
79.对所述s个第十八特征数据进行融合处理，得到所述第十五特征数据。
80.结合本技术任一实施方式，所述第一全局损失包括全局焦点损失；所述第三处理单元，用于：
81.依据所述第十四特征数据，得到所述第二待识别车辆的第三识别结果；
82.依据所述第三识别结果和所述标签，得到所述第三识别结果的焦点损失，作为所述全局焦点损失。
83.结合本技术任一实施方式，所述训练图像属于训练图像集；所述训练图像集还包括所述训练图像的第一正样本图像和所述训练图像的第一负样本图像；所述第一全局损失还包括全局三元组损失；
84.所述第三处理单元，还用于：
85.使用所述待训练网络对所述第一正样本图像进行特征提取处理，得到所述第一正样本图像的特征数据；
86.使用所述待训练网络对所述第一负样本图像进行特征提取处理，得到所述第一负样本图像的特征数据；
87.依据所述第十二特征数据、所述第一正样本图像的特征数据和所述第一负样本图像的特征数据，得到所述全局三元组损失。
88.第三方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
89.第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
90.第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
91.第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
92.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
93.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
94.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
95.图1为本技术实施例提供的一种车辆识别方法的流程示意图；
96.图2为本技术实施例提供的一种关键点示意图；
97.图3为本技术实施例提供的一种局部像素点区域示意图；
98.图4为本技术实施例提供的一种车辆识别网络的结构示意图；
99.图5为本技术实施例提供的一种特征提取模块的结构示意图；
100.图6为本技术实施例提供的一种关键点和局部像素点区域生成模块的结构示意图；
101.图7为本技术实施例提供的一种联合训练模块的结构示意图；
102.图8为本技术实施例提供的一种第一演员
‑
评论家的结构示意图；
103.图9为本技术实施例提供的一种第一打分子模块的结构示意图；
104.图10为本技术实施例提供的一种第二演员
‑
评论家模块的结构示意图；
105.图11为本技术实施例提供的一种第二打分子模块的结构示意图；
106.图12为本技术实施例提供的一种车辆识别装置的结构示意图；
107.图13为本技术实施例提供的一种车辆识别装置的硬件结构示意图。
具体实施方式
108.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
109.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
110.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
111.为了增强工作、生活或者社会环境中的安全性，在各个区域场所内均安装有监控设备。随着人们生活水平的提高，道路上的车辆越来越多，交通事故也越来越多，如何有效的通过监控设备采集的视频流确定车辆(下文将称为目标车辆)的行踪具有重要意义。例如，在追捕肇事逃逸车辆时，使用车辆识别方法对不同摄像头采集到的图像进行处理，可确定肇事逃逸车辆的行踪。
112.目前的车辆识别方法通过提取出图像中的待确认车辆的整体外观特征信息得到待确认车辆特征，并将待确认车辆的车辆特征与包括目标车辆的整体外观特征信息的目标车辆特征进行比对，得到目标车辆与待确认车辆之间的相似度，其中，整体外观特征包括：车型、颜色。在相似度超过相似度阈值的情况下，确定待确认车辆与目标车辆为同一辆车。
113.由于仅通过整体外观特征信息判断两辆车是否为同一辆车会带来很大的误差，而通过目前的车辆识别方法从图像中提取出的车辆特征仅包括整体外观特征信息，目前的车
辆识别方法的识别准确度低。基于此，本技术实施例提供了一种车辆识别方法，可丰富车辆特征所包括的信息。下面结合本技术实施例中的附图对本技术实施例进行描述。
114.本技术实施例的执行主体为车辆识别装置。可选的车辆识别装置可以是以下中的一种：手机、服务器、计算机、平板电脑、可穿戴设备。请参阅图1，图1是本技术实施例提供的一种车辆识别方法的流程示意图。
115.101、获取包含第一待识别车辆的待处理图像。
116.本技术实施例中，待处理图像包括第一待识别车辆。在一种获取待处理图像的实现方式中，车辆识别装置接收用户通过输入组件输入的待处理图像。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
117.在另一种获取待处理图像的实现方式中，车辆识别装置接收数据终端发送的待处理图像。上述数据终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
118.在又一种获取待处理图像的实现方式中，车辆识别装置接收监控摄像头发送的待处理图像。可选的，该监控摄像头部署于道路(包括：高速公路、快速公路、城市公路)。
119.102、对上述待处理图像进行第一特征提取处理，得到包括上述第一待识别车辆的局部特征信息的第一特征数据。
120.本技术实施例中，局部特征信息包括车辆的细节特征信息，如：车灯的特征信息、车标的特征信息、车窗的特征信息。
121.车辆识别装置通过对待处理图像进行第一特征提取处理，可从待处理图像中提取出第一待识别车辆的局部特征信息，得到第一特征数据。
122.在一种可能实现的方式中，第一特征提取处理可通过第一卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第一卷积神经网络可完成对待处理图像的第一特征提取处理。训练数据的标注信息可以为图像中的车辆的细节特征信息(如车灯的类型、车标的类别、车窗的类别)。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从训练数据中提取出包括车辆的细节特征信息的特征数据，并依据提取出的特征数据得到车辆细节信息，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第一卷积神经网络。这样，车辆识别装置可使用第一卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的细节特征信息，得到第一特征数据。
123.在另一种可能实现的方式中，车辆识别装置使用第一卷积核对待处理图像进行卷积处理，提取出待处理图像的包含车辆的细节特征信息的语义信息，得到第一特征数据。
124.103、对上述待处理图像进行第二特征提取处理，得到包括上述第一待识别车辆的全局特征信息的第二特征数据。
125.本技术实施例中，车辆的全局特征信息包括车辆的整体外观特征信息。车辆识别装置通过对待处理图像进行第二特征提取处理，可从待处理图像中提取出第一待识别车辆的全局特征信息，得到第二特征数据。
126.在一种可能实现的方式中，第二特征提取处理可通过第二卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第二卷积神经网络可完成对待处理图像的第二特征提取处理。训练数据的标注信息可以为图像中的车辆的整体外观特征信息(如车型、车身颜色)。在使用训练数据对卷积神经网络进行训
练的过程中，卷积神经网络从训练数据中提取出包括车辆的整体外观特征信息的特征数据，并依据提取出的特征数据得到车辆整体外观信息，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第二卷积神经网络。这样，车辆识别装置可使用第二卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的整体外观特征信息，得到第二特征数据。
127.在另一种可能实现的方式中，车辆识别装置使用第二卷积核对待处理图像进行卷积处理，提取出待处理图像的包含车辆的整体外观特征信息的语义信息，得到第二特征数据。其中，第一卷积核的参数与第二卷积核的参数不同。
128.104、对上述第一特征数据和上述第二特征数据进行融合处理，得到上述第一待识别车辆的第三特征数据。
129.本技术实施例中，第三特征数据用于获得第一待识别车辆的识别结果，其中，识别结果包括第一待识别车辆的身份。例如，车辆识别装置可进一步依据第三特征数据，确定待识别车辆为车辆a。又例如，车辆识别装置将第三特征数据与车辆特征数据库中的特征数据进行比对，确定车辆特征数据库中的目标车辆特征数据与第三特征数据之间的相似度超过相似度阈值。再基于目标车辆特征数据所对应的车辆为车辆b，车辆识别装置可确定第三特征数据所对应的车辆为车辆b，即依据第三特征数据确定的第一待识别车辆的识别结果为车辆b。
130.车辆识别装置通过对第一特征数据和第二特征数据进行融合处理，可得到既包括第一待识别车辆的全局特征信息又包括第一待识别车辆的局部特征信息的第三特征数据。将第三特征数据作为第一待识别车辆的特征数据，可丰富第一待识别车辆的特征数据所包括的信息。
131.作为一种可选的实施方式，上述局部特征信息包括关键点特征信息。关键点特征信息包括关键点在待处理图像中的位置、关键点的语义信息。例如，图2所示的关键点6为左前轮胎关键点，关键点6的语义信息包括左前轮胎的信息(如轮胎规格、轮毂尺寸、轮胎品牌)。图2所示的关键点23为后车牌关键点，关键点23的语义信息包括后车牌的信息(如车牌号)。
132.可选的，本技术实施例中，车辆的关键点的标注方式如图2所示。应理解，图2所示的车型仅为示例，在实际应用中，可依据图2所示的关键点标注方式对任意车型(如泥头车、公交车、卡车)的车辆进行标注。
133.在一种可能实现的方式中，车辆识别装置通过对待处理图像进行第一特征提取处理，得到包括第一待识别车辆的关键点特征信息的第一特征数据。以图2所示的关键点为例，第一特征数据可包括待识别车辆的左前轮胎关键点的特征信息和后车牌关键点的特征信息。
134.作为一种可选的实施方式，局部特征信息不仅包括关键点特征信息还包括局部像素点区域特征信息。本技术实施例中，局部像素点区域属于第一待识别车辆所覆盖的像素点区域，且局部像素点区域的面积小于第一待识别车辆所覆盖的像素点区域的面积。例如，在图3中，右侧局部像素点区域包含第一待识别车辆的右侧区域，车头像素点区域包含第一待识别车辆的车头区域。
135.局部像素点区域特征信息包括局部像素点区域的语义信息。例如，在局部像素点
区域包括前车灯所覆盖的像素点区域的情况下，局部像素点区域的语义信息包括：前车灯的型号；在局部像素点区域包括车窗所覆盖的像素点区域的情况下，局部像素点区域的语义信息包括：车窗的类别、透过车窗所能观察到的车内的物件；在局部像素点区域包括前挡风玻璃所覆盖的像素点区域的情况下，局部像素点区域的语义信息包括：前挡风玻璃的类别、透过前挡风玻璃所能观察到的车内的物件、前挡风玻璃上的年检标、年检标在前挡风玻璃上的位置。
136.在局部特征信息车辆识别装置在执行步骤102的过程中执行以下步骤：
137.1、对上述待处理图像进行第三特征提取处理，得到第四特征数据。
138.本技术实施例中，第四特征数据包括第一待识别车辆的至少一个关键点的特征信息。车辆识别装置通过对待处理图像进行第三特征提取处理，可从待处理图像中提取出第一待识别车辆的至少一个关键点的特征信息，得到第四特征数据。
139.在一种可能实现的方式中，第三特征提取处理可通过第三卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第三卷积神经网络可完成对待处理图像的第三特征提取处理。训练数据的标注信息可以为图像中的车辆的关键点特征信息(如关键点的位置、关键点的语义信息)。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从训练数据中提取出包括车辆的关键点特征信息的特征数据，并依据提取出的特征数据得到关键点特征信息，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第三卷积神经网络。这样，车辆识别装置可使用第三卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的关键点特征信息，得到第四特征数据。
140.在另一种可能实现的方式中，车辆识别装置使用第三卷积核对待处理图像进行卷积处理，提取出待处理图像的包含车辆的整体外观特征信息的语义信息，得到第四特征数据。其中，第三卷积核的参数与第一卷积核的参数不同，第三卷积核的参数与第二卷积核的参数也不同。
141.2、对上述待处理图像进行第四特征提取处理，得到第五特征数据。
142.本技术实施例中，第五特征数据包括第一待识别车辆的至少一个局部像素点区域的特征信息。
143.在一种可能实现的方式中，第四特征提取处理可通过第四卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第四卷积神经网络可完成对待处理图像的第四特征提取处理。训练数据的标注信息可以为图像中的车辆的局部像素点区域的特征信息。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从训练数据中提取出包括车辆的局部像素点区域的特征信息的特征数据，并依据提取出的特征数据得到局部像素点区域的特征信息，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第四卷积神经网络。这样，车辆识别装置可使用第四卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的局部像素点区域的特征信息，得到第五特征数据。
144.在另一种可能实现的方式中，车辆识别装置使用第四卷积核对待处理图像进行卷积处理，提取出待处理图像的第一待识别车辆的局部像素点区域的特征信息，得到第五特征数据。其中，第四卷积核的参数与第一卷积核的参数、第二卷积核的参数、第三卷积核的
参数均不同。
145.3、对上述第四特征数据和第五特征数据进行融合处理，得到上述第一特征数据。
146.由于局部像素点区域的特征信息包含局部像素点区域的语义信息，而在图像中相邻像素点之间存在相关性(此处的相关性包括语义相关性)，通过将局部像素点区域的语义信息与关键点特征信息融合，可丰富车辆的细节特征信息。
147.车辆识别装置通过对第四特征数据和第五特征数据进行融合处理，将第一待识别车辆的关键点特征信息与第一待识别车辆的局部像素点区域的特征信息融合，丰富第一待识别车辆的细节特征信息，得到第一特征数据。
148.作为一种可选的实施方式，车辆识别装置在执行步骤1的过程中执行以下步骤：
149.4、对上述待处理图像进行第五特征提取处理，得到至少一个第六特征数据。
150.本技术实施例中，第六特征数据包括第一待识别车辆的关键点特征信息，且任意两个第六特征数据所包括的特征信息属于不同的关键点。例如，第一待识别车辆包含左后视镜关键点和右尾灯关键点。至少一个第六特征数据包括：特征数据1和特征数据2，其中，特征数据1包括左后视镜关键点的特征信息，特征数据2包括右尾灯关键点的特征信息。
151.在一种可能实现的方式中，车辆识别装置通过对待处理图像进行第五特征提取处理，提取出第一待识别车辆的关键点特征信息，得到通道数不小于1的第一中间特征数据，其中，第一中间特征数据中每个通道的数据均包括第一待识别车辆的关键点特征信息，且任意两个通道的数据所包括的信息属于不同的关键点。车辆识别装置可将第一中间特征数据中一个通道数据作为一个第六特征数据。
152.5、从上述至少一个第六特征数据中选取包括信息量最多的k个特征数据，得到k个第七特征数据。
153.由于不同的第六特征数据所包括的信息量不同，为减小后续处理的数据处理量，车辆识别装置可从至少一个第六特征数据中选取包括信息量最多的k个特征数据(即k个第七特征数据)用于后续处理，其中，k为不小于1的整数。
154.6、依据上述k个第七特征数据得到上述第四特征数据。
155.在k＝1的情况下，通过执行步骤5可得到1个第七特征数据，此时，车辆识别装置可将第七特征数据作为第四特征数据，即第四特征数据中包括一个关键点的特征信息。
156.在k大于1的情况下，通过执行步骤5可得到至少两个第七特征数据，此时，车辆识别装置可对至少两个第七特征数据进行融合处理，得到第四特征数据。
157.例如，至少两个第七特征数据包括：第七特征数据1、第七特征数据2、第七特征数据3，其中，第七特征数据1包括左前车灯关键点的特征信息，第七特征数据2包括左后车灯关键点的特征信息，第七特征数据3包括左后视镜关键点的特征信息。车辆识别装置可通过对第七特征数据1和第七特征数据2进行融合处理，可得到第四特征数据。此时第四特征数据包括左前车灯关键点的特征信息和左后车灯关键点的特征信息。车辆识别装置也可通过对第七特征数据1、第七特征数据2和第七特征数据3进行融合处理，可得到第四特征数据。此时第四特征数据包括左前车灯关键点的特征信息、左后车灯关键点的特征信息和左后视镜关键点的特征信息。
158.作为一种可选的实施方式，车辆识别装置在执行步骤4的过程中执行以下步骤：
159.7、对上述待处理图像进行第六特征提取处理，得到至少一张第一热力图。
160.本技术实施例中，第一热力图包括关键点在待处理图像中的位置信息，且任意两张第一热力图所包括的信息属于不同的关键点。例如，第一待识别车辆的关键点包括左后视镜关键点和右尾灯关键点。至少一张第一热力图包括：第一热力图1和第一热力图2，其中，第一热力图1包括左后视镜关键点在待处理图像中的位置信息，第一热力图2包括右尾灯关键点在待处理图像中的位置信息。
161.将两张图像中处于相同位置的像素点称为互为同位点。例如，像素点a在第一热力图1中的位置与像素点b在第一热力图像2中的位置相同，则像素点a为第一热力图中与像素点b互为同为点的像素点，像素点b为待处理图像中与像素点a互为同位点的像素点。
162.在一种可能实现的方式中，第一热力图的尺寸与待处理图像的尺寸相同。第一热力图中像素点的像素值表征，待处理图像中与该像素点互为同位点的像素点所在位置存在关键点的置信度。例如，第一热力图1中的像素点a与待处理图像中的像素点b互为同位点。若第一热力图1包括左前车灯关键点在待处理图像中的位置信息、像素点a的像素值为0.7，则在像素点b处存在左前车灯的置信度为0.7。
163.本技术实施例中，第六特征提取处理可以是卷积处理，也可以是池化处理，还可以是卷积处理和池化处理的结合，本技术对此不做限定。
164.在一种可能实现的方式中，第六特征提取处理可通过第五卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第五卷积神经网络可完成对待处理图像的第六特征提取处理。训练数据的标注信息可以为关键点在图像中的位置。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从训练数据中提取出包括关键点的位置信息的特征数据，并依据提取出的特征数据得到图像中关键点的位置，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第五卷积神经网络。这样，车辆识别装置可使用第五卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的关键点的位置信息，得到第一热力图。
165.8、对上述待处理图像进行第七特征提取处理，得到上述待处理图像的第一特征图像。
166.待处理图像中每个像素点均包括语义信息，而语义信息内包含关键点特征信息，通过对待处理图像进行第七特征提取处理，可提取出每个像素点包括关键点特征信息，得到第一特征图像。
167.应理解，第一特征图像不仅包括像素点的关键点特征信息，还包括像素点之间的相对位置信息。而第四特征数据所包括的信息中不包含像素点之间的相对位置信息。
168.9、分别确定每张上述第一热力图与上述第一特征图像之间的点积，得到上述至少一个第六特征数据。
169.将第一热力图所包括的位置信息所属的关键点称为第一热力图的关键点，例如，第一热力图1包括左前车灯关键点的位置信息，即第一热力图1所包括的信息属于左前车灯关键点，此时，第一热力图1的关键点为左前车灯关键点。
170.本技术实施例中，待处理图像的尺寸、第一热力图的尺寸、第一特征图像的尺寸均相同。例如，待处理图像的长为50、宽为30，则第一热力图的长和第一特征图像的长均为50、第一热力图的宽和第一特征图像的宽均为30。
171.本技术实施例中，点积指智能乘积(element
‑
wise)。通过确定第一特征图像与第
一热力图之间的点积，可从第一特征图像中提取出第一热力图的关键点的特征信息，得到第六特征数据。
172.可选的，在确定第一特征图像与第一热力图之间的点积之前，车辆识别装置可对第一特征图像中的像素值进行归一化处理，得到归一化后的第一热力图，例如，将不小于0.6的像素值调整为1，将小于0.6的像素值调整为0.3。车辆识别装置通过确定归一化后的第一热力图与第一特征图像之间的点积，可提取出第一热力图的关键点的特征信息，得到第六特征数据。
173.作为一种可选的实施方式，车辆识别装置在执行步骤5的过程中执行以下步骤：
174.10、对上述至少一个第六特征数据中的特征数据分别进行池化处理，得到至少一个第八特征数据。
175.车辆识别装置通过对一个第六特征数据进行池化处理，可减小第六特征数据中的数据量，得到一个第八特征数据。这样，在后续处理中对第八特征数据进行处理，可减小车辆识别装置的数据处理量。
176.车辆识别装置通过对至少一个第六特征数据中的特征数据分别进行池化处理，得到至少一个第八特征数据。例如，至少一个第六特征数据包括：第六特征数据1、第六特征数据2、第六特征数据3。车辆识别装置通过对第六特征数据1进行池化处理得到第八特征数据1、通过对第六特征数据2进行池化处理得到第八特征数据2，此时，至少一个第八特征数据包括第八特征数据1和第八特征数据2。车辆识别装置通过对第六特征数据1进行池化处理得到第八特征数据1、通过对第六特征数据2进行池化处理得到第八特征数据2、通过对第六特征数据3进行池化处理得到第八特征数据3，此时，至少一个第八特征数据包括第八特征数据1、第八特征数据2、第八特征数据3。
177.可选的，步骤10中的池化处理为全局平均池化处理。
178.11、依据上述至少一个第八特征数据所包括的信息量，得到至少一个第一概率。
179.本技术实施例中，第一概率用于表征与第一概率所对应的第六特征数据所包括的信息量。例如(例1)，至少一个第八特征数据包括第八特征数据1，至少一个第一概率包括第一概率1，且第一概率1依据第八特征数据1所包括的信息量得到，第八特征数据1通过对第六特征数据1进行池化处理得到。则第一概率1用于表征第六特征数据1所包括的信息量。
180.可选的，第一概率与第六特征数据所包括的信息量之间具有相关性。例如，在第一概率与第六特征数据所包括的信息量呈正相关的情况下，在例1中，第一概率1越大表征第六特征数据1所包括的信息量越大；在第一概率与第六特征数据所包括的信息量呈负相关的情况下，在例1中，第一概率1越大表征第六特征数据1所包括的信息量越小。
181.由于第八特征数据依据第六特征数据得到，第八特征数据所包括的信息量与第六特征数据所包括的信息量呈正相关。因此，车辆识别装置可依据第八特征数据所包括的信息量，得到第一概率。
182.在一种可能实现的方式中，车辆识别装置将第八特征数据输入至softmax函数，可得到第一概率。
183.车辆识别装置依据一个第八特征数据所包括的信息量可得到一个第一概率，依据至少一个第八特征数据所包括的信息量可得到至少一个第一概率。例如，至少一个第八特征数据包括第八特征数据1和第八特征数据2。车辆识别装置依据第八特征数据1所包括的
信息量得到第一概率1，此时，至少一个第一概率包括第一概率1。车辆识别装置依据第八特征数据1所包括的信息量得到第一概率1、依据第八特征数据2所包括的信息量得到第一概率2，此时，至少一个第一概率包括第一概率1和第一概率2。
184.在第一概率与第六特征数据所包括的信息量呈正相关的情况下，车辆识别装置执行步骤12；在第一概率与第六特征数据所包括的信息量呈负相关的情况下，车辆识别装置执行步骤13。
185.12、选取最大的k个第一概率所对应的上述第六特征数据，作为上述k个第七特征数据。
186.13、选取最小的k个第一概率所对应的上述第六特征数据，作为上述k个第七特征数据。
187.作为一种可选的实施方式，由于一个第七特征数据包括一个关键点的特征信息，在至少一个关键点中关键点的数量超过1的情况下，第七特征数据的数量超过1。而不同的第七特征数据所包括的信息量不同。为提升第一待识别车辆的关键点特征信息的准确度，车辆识别装置可依据第七特征数据所包括的信息量分别确定每个第七特征数据的权重，并依据第七特征数据的权重对至少一个第七特征数据进行加权融合，得到第四特征数据。
188.作为一种可选的实施方式，车辆识别装置在执行步骤2的过程中执行以下步骤：
189.14、对上述待处理图像进行第十特征提取处理，得到至少一个第九特征数据。
190.本技术实施例中，第九特征数据包括第一待识别车辆的关键点特征信息，且任意两个第九特征数据所包括的特征信息属于不同的局部像素点区域。例如，第一待识别车辆包含局部像素点区域1和局部像素点区域2，其中，局部像素点区域1包括前挡风玻璃所覆盖的像素点区域，局部像素点区域2包括左侧玻璃所覆盖的像素点区域。至少一个第九特征数据包括：特征数据1和特征数据2，其中，特征数据1包括局部像素点区域1的特征信息，特征数据2包括局部像素点区域2的特征信息。
191.在一种可能实现的方式中，车辆识别装置通过对待处理图像进行第十特征提取处理，提取出第一待识别车辆的关键点特征信息，得到通道数不小于1的第四中间特征数据，其中，第四中间特征数据中每个通道的数据均包括第一待识别车辆的局部像素点区域的特征信息，且任意两个通道的数据所包括的信息属于不同的局部像素点区域。车辆识别装置可将第四中间特征数据中一个通道数据作为一个第九特征数据。
192.15、从上述至少两个第九特征数据中选取包含信息量最多的m个特征数据，得到m个第十特征数据。
193.由于不同的第九特征数据所包括的信息量不同，为减小后续处理的数据处理量，车辆识别装置可从至少一个第九特征数据中选取包括信息量最多的m个特征数据(即m个第十特征数据)用于后续处理，其中，m为不小于1的整数。
194.16、依据上述m个第十特征数据得到上述第五特征数据。
195.在k＝1的情况下，通过执行步骤17可得到1个第十特征数据，此时，车辆识别装置可将第十特征数据作为第五特征数据，即第五特征数据中包括一个关键点的特征信息。
196.在k大于1的情况下，通过执行步骤5可得到至少两个第十特征数据，此时，车辆识别装置可对至少两个第十特征数据进行融合处理，得到第五特征数据。
197.例如，至少两个第十特征数据包括：第十特征数据1、第十特征数据2、第十特征数
据3，其中，第十特征数据1包括车头所覆盖的像素点区域的特征信息，第十特征数据2包括右前挡风玻璃所覆盖的像素点区域的特征信息，第十特征数据3包括左轮胎所覆盖的像素点区域的特征信息。车辆识别装置可通过对第十特征数据1和第十特征数据2进行融合处理，可得到第五特征数据。此时第五特征数据包括车头所覆盖的像素点区域的特征信息和右前挡风玻璃所覆盖的像素点区域的特征信息。车辆识别装置也可通过对第十特征数据1、第十特征数据2和第十特征数据3进行融合处理，可得到第五特征数据。此时第五特征数据包括车头所覆盖的像素点区域的特征信息、右前挡风玻璃所覆盖的像素点区域的特征信息和左轮胎所覆盖的像素点区域的特征信息。
198.作为一种可选的实施方式，车辆识别装置在执行步骤14的过程中执行以下步骤：
199.17、对上述待处理图像进行第十一特征提取处理，得到上述至少一张第二热力图。
200.本技术实施例中，第二热力图包括关键点在待处理图像中的位置信息，且任意两张第二热力图所包括的信息属于不同的局部像素点区域。例如，第一待识别车辆的局部像素点区域包括前挡风玻璃区域和车头区域。至少一张第二热力图包括：第二热力图1和第二热力图2，其中，第二热力图1包括前挡风玻璃区域在待处理图像中的位置信息，第二热力图2包括局部像素点区域在待处理图像中的位置信息。
201.将两张图像中处于相同位置的像素点称为互为同位点。例如，像素点a在第二热力图1中的位置与像素点b在第二热力图像2中的位置相同，则像素点a为第二热力图中与像素点b互为同为点的像素点，像素点b为待处理图像中与像素点a互为同位点的像素点。
202.在一种可能实现的方式中，第二热力图的尺寸与待处理图像的尺寸相同。第二热力图中像素点的像素值表征，待处理图像中与该像素点互为同位点的像素点所在位置属于局部像素点区域的置信度。例如，第二热力图1中的像素点a与待处理图像中的像素点b互为同位点。若第二热力图1包括车头区域在待处理图像中的位置信息、像素点a的像素值为0.7，则像素点b属于与车头区域的置信度为0.7。
203.本技术实施例中，第十一特征提取处理可以是卷积处理，也可以是池化处理，还可以是卷积处理和池化处理的结合，本技术对此不做限定。
204.在一种可能实现的方式中，第十一特征提取处理可通过第六卷积神经网络实现。通过将带有标注信息的图像作为训练数据，对卷积神经网络进行训练，使训练得到的第六卷积神经网络可完成对待处理图像的第十一特征提取处理。训练数据的标注信息可以为局部像素点区域在图像中的位置。在使用训练数据对卷积神经网络进行训练的过程中，卷积神经网络从训练数据中提取出包括局部像素点区域的位置信息的特征数据，并依据提取出的特征数据得到图像中局部像素点区域的位置，作为训练结果。使用训练数据的标签监督训练结果可完成卷积神经网络的训练，得到第六卷积神经网络。这样，车辆识别装置可使用第六卷积神经网络对待处理图像进行处理，得到提取出第一待识别车辆的关键点的位置信息，得到第二热力图。
205.18、对上述待处理图像进行第十二特征提取处理，得到上述待处理图像的第二特征图像。
206.待处理图像中每个像素点均包括语义信息，通过对待处理图像进行第七特征提取处理，可提取出每个像素点的语义信息，得到第二特征图像。
207.应理解，第二特征图像不仅包括像素点的语义信息，还包括像素点之间的相对位
置信息。而第五特征数据所包括的信息中不包含像素点之间的相对位置信息。
208.可选的，第一特征图像与第二特征图像可以相同，此时，第一特征图像和第二特征图像均包括待处理图像中每个像素点的语义信息。
209.19、分别确定每张上述第二热力图与上述第二特征图像之间的点积，得到上述至少一个第九特征数据。
210.将第二热力图所包括的位置信息所属的局部像素点区域称为第二热力图的局部像素点区域，例如，第二热力图1包括前挡风玻璃区域的位置信息，即第二热力图1所包括的信息属于前挡风玻璃区域，此时，第二热力图1的局部像素点区域为前挡风区域。
211.本技术实施例中，待处理图像的尺寸、第二热力图的尺寸、第二特征图像的尺寸均相同。例如，待处理图像的长为50、宽为30，则第二热力图的长和第二特征图像的长均为50、第二热力图的宽和第二特征图像的宽均为30。
212.通过确定第二特征图像与第二热力图之间的点积，可从第二特征图像中提取出的第二热力图的局部像素点区域的特征信息，得到第九特征数据。
213.可选的，在确定第二特征图像与第二热力图之间的点积之前，车辆识别装置可对第二特征图像中的像素值进行归一化处理，得到归一化后的第二热力图，例如，将超过0.7的像素值调整为1，将未超过0.7的像素值调整为0。车辆识别装置通过确定归一化后的第二热力图与第二特征图像之间的点积，可提取出第二热力图的关键点的特征信息，得到第九特征数据。
214.作为一种可选的实施方式，车辆识别装置在执行步骤15的过程中执行以下步骤：
215.20、对上述第九特征数据中的特征数据分别进行池化处理，得到至少一个第十一特征数据。
216.车辆识别装置通过对一个第九特征数据进行池化处理，可减小第九特征数据中的数据量，得到一个第十一特征数据。这样，在后续处理中对第十一特征数据进行处理，可减小车辆识别装置的数据处理量。
217.车辆识别装置通过对至少一个第九特征数据中的特征数据分别进行池化处理，得到至少一个第十一特征数据。例如，至少一个第九特征数据包括：第九特征数据1、第九特征数据2、第九特征数据3。车辆识别装置通过对第九特征数据1进行池化处理得到第十一特征数据1、通过对第九特征数据2进行池化处理得到第十一特征数据2，此时，至少一个第十一特征数据包括第十一特征数据1和第十一特征数据2。车辆识别装置通过对第九特征数据1进行池化处理得到第十一特征数据1、通过对第九特征数据2进行池化处理得到第十一特征数据2、通过对第九特征数据3进行池化处理得到第十一特征数据3，此时，至少一个第十一特征数据包括第十一特征数据1、第十一特征数据2、第十一特征数据3。
218.可选的，步骤20中的池化处理为全局平均池化处理。
219.21、依据上述至少一个第十一特征数据所包括的信息量，得到至少一个第二概率。
220.本技术实施例中，第二概率用于表征与第二概率所对应的第九特征数据所包括的信息量。例如(例2)，至少一个第十一特征数据包括第十一特征数据1，至少一个第二概率包括第二概率1，且第二概率1依据第十一特征数据1所包括的信息量得到，第十一特征数据1通过对第九特征数据1进行池化处理得到。则第二概率1用于表征第九特征数据1所包括的信息量。
221.可选的，第二概率与第九特征数据所包括的信息量之间具有相关性。例如，在第二概率与第九特征数据所包括的信息量呈正相关的情况下，在例2中，第二概率1越大表征第九特征数据1所包括的信息量越大；在第二概率与第九特征数据所包括的信息量呈负相关的情况下，在例2中，第二概率1越大表征第九特征数据1所包括的信息量越小。
222.由于第十一特征数据依据第九特征数据得到，第十一特征数据所包括的信息量与第九特征数据所包括的信息量呈正相关。因此，车辆识别装置可依据第十一特征数据所包括的信息量，得到第二概率。
223.在一种可能实现的方式中，车辆识别装置将第十一特征数据输入至softmax函数，可得到第二概率。
224.车辆识别装置依据一个第十一特征数据所包括的信息量可得到一个第二概率，依据至少一个第十一特征数据所包括的信息量可得到至少一个第二概率。例如，至少一个第十一特征数据包括第十一特征数据1和第十一特征数据2。车辆识别装置依据第十一特征数据1所包括的信息量得到第二概率1，此时，至少一个第二概率包括第二概率1。车辆识别装置依据第十一特征数据1所包括的信息量得到第二概率1、依据第十一特征数据2所包括的信息量得到第二概率2，此时，至少一个第二概率包括第二概率1和第二概率2。
225.在第二概率与第九特征数据所包括的信息量呈正相关的情况下，车辆识别装置执行步骤22；在第二概率与第九特征数据所包括的信息量呈负相关的情况下，车辆识别装置执行步骤23。
226.22、选取最大的m个第二概率所对应的上述第九特征数据，作为上述m个第十特征数据。
227.23、选取最小的m个第二概率所对应的上述第九特征数据，得到作为上述m个第十特征数据。
228.作为一种可选的实施方式，由于一个第十特征数据包括一个局部像素点区域的特征信息，在至少一个局部像素点区域中局部像素点区域的数量超过1的情况下，第十特征数据的数量超过1。而不同的第十特征数据所包括的信息量不同。为提升第一待识别车辆的局部像素点区域特征信息的准确度，车辆识别装置可依据第十特征数据所包括的信息量分别确定每个第十特征数据的权重，并依据第十特征数据的权重对至少一个第十特征数据进行加权融合，得到第五特征数据。
229.在一种可能实现的方式中，至少一个局部像素点区域包括第一局部像素点区域和第二局部像素点区域，第九特征数据的数量和m均大于1。车辆识别装置从至少两个第九特征数据中选取包括信息量最多的m个特征数据，得到包括第一局部像素点区域的特征信息的第十二特征数据和包括第二局部像素点区域的特征信息的第十三特征数据。车辆识别装置在执行步骤18的过程中执行以下步骤：
230.24、依据上述第十二特征数据所包括的信息量得到第一权重，依据上述第十三特征数据所包括的信息量得到第二权重。
231.本技术实施例中，第一权重与第十二特征数据所包括的信息量呈正相关，第二权重与第十三特征数据所包括的信息量呈正相关。
232.25、依据上述第一权重和上述第二权重，对上述第十二特征数据和上述第十三特征数据进行加权融合，得到上述第五特征数据。
233.车辆识别装置依据第一权重和第二权重对第九特征数据和第十特征数据进行加权融合，得到包括第一待识别车辆的局部像素点区域特征信息的第四特征数据，可提升第一待识别车辆的局部像素点区域特征信息的准确度。
234.在一种可能实现的实现方式中，车辆识别装置依据第一权重和第二权重，对第十二特征数据与第十三特征数据进行加权求和得到第五特征数据。例如，假设第一权重为w3，第二权重为w4，第十二特征数据为n4，第十三特征数据为n5，第五特征数据为n6，w3、w4、n4、n5、n6满足下式：n6＝w3×
n4 w4×
n5 d，其中，d为实数。可选的，d＝0。
235.在另一种可能实现的方式中，车辆识别装置将第一权重与第十二特征数据相乘得到第五中间特征数据、将第二权重与第十三特征数据相乘得到第六中间特征数据，对第五中间特征数据与第六中间特征数据进行融合处理得到第五特征数据。
236.本技术实施例还提供了一种车辆识别网络，可用于实现前文所公开的技术方案。请参阅图4，图4为本技术实施例提供的一种车辆识别网络的结构示意图。如图4所示，车辆识别网络包括：特征提取模块、关键点和局部像素点区域生成模块、联合训练模块。经特征提取模块对待处理图像进行处理，得到待处理图像的第三特征图像。经关键点和局部像素点区域生成模块对待处理图像进行处理，得到至少一张第一热力图和至少一张第二热力图。将第三特征图、至少一张第一热力图和至少一张第二热力图像输入至联合训练模块，得到第三特征数据。
237.具体的，图5所示为特征提取模块的结构示意图。如图5所示，特征提取模块包括三层依次串联的卷积层。可选的，在特征提取模块中，第一层卷积层为resnet50中的conv2_x，第二层卷积层为resnet50中的conv3_x，第三层卷积层为resnet50中的conv4_x。
238.图6所示为关键点和局部像素点区域生成模块的结构示意图。如图6所示，关键点和局部像素点区域生成模块包括四层依次串联的卷积层。可选的，在关键点和局部像素点区域生成模块中，第一层卷积层为resnet50中的conv2_x，第二层卷积层为resnet50中的conv3_x，第三层卷积层为resnet50中的conv4_x，第四层卷积层为resnet50中的conv5_x。
239.图7所示为联合训练模块的结构示意图。如图7所示，经联合训练模块的第一层卷积层对第三特征图像进行处理，得到第一通用特征图像。经第一降维层对第一通用特征图像进行通道维度上的降维得到第一特征图像。经第一演员
‑
评论家模块对第一特征图像和至少一张第一热力图进行处理，得到k个第一评论家特征数据。依次经第一池化层和第一归一化层分别对k个第一评论家特征数据进行处理，得到k个第七特征数据。
240.经联合训练模块的第一层卷积层对第三特征图像进行处理，得到第二通用特征图像。经第二降维层对第二通用特征图像进行通道维度上的降维得到第二特征图像。经第二演员
‑
评论家模块对第二特征图像和至少一张第二热力图进行处理，得到m个第二评论家特征数据。依次经第二池化层和第二归一化层分别对m个第二评论家特征数据进行处理，得到m个第十特征数据。
241.依次经联合训练模块的第二层卷积层、第三层降维层、第三层池化层、第三归一化层对第三特征图像进行处理，得到第二特征数据。
242.可选的，在联合训练模块中，第一层卷积层和第二层卷积层均为resnet50中的conv5_x。可选的，第一降维层、第二降维层、第三降维层中均包含一个尺寸为1*1的卷积核。
243.请参阅图8，图8所示为第一演员
‑
评论家模块的结构示意图。第一演员
‑
评论家模
块的输入为至少一张第一热力图和第一特征图像。第一演员
‑
评论家模块分别确定每张第一热力图与第一特征图像之间的点积，得到至少一个第六特征数据。经第一打分子模块对一个第六特征数据进行处理，可得到与该第六特征数据对应的第一概率。从至少一个第六特征数据中选取最大的k个第一概率对应的第六特征数据得到k个第一演员特征数据，或从至少一个第六特征数据中选取最小的k个第一概率对应的第六特征数据得到k个第一演员特征数据。分别对k个第一演员特征数据进行归一化处理，得到k个第一评论家特征数据。
244.请参阅图9，图9所示为第一打分子模块的结构示意图。在第一打分子模块中，第六特征数据依次经过第一归一化层、池化层、全连接层，得到第八特征数据，经softmax层对第八特征数据进行处理，得到第一概率。
245.请参阅图10，图10所示为第二演员
‑
评论家模块的结构示意图。第二演员
‑
评论家模块的输入为至少一张第二热力图和第三特征图像。第二演员
‑
评论家模块分别确定每张第二热力图与第三特征图像之间的点积，得到至少一个第九特征数据。经第二打分子模块对一个第九特征数据进行处理，可得到与该第九特征数据对应的第二概率。从至少一个第九特征数据中选取最大的m个第二概率对应的第九特征数据得到m个第二演员特征数据，或从至少一个第九特征数据中选取最小的m个第二概率对应的第九特征数据得到m个第二演员特征数据。分别对m个第二演员特征数据进行归一化处理，得到m个第二评论家特征数据。
246.请参阅图11，图11所示为第二打分子模块的结构示意图。在第二打分子模块中，第九特征数据依次经过第二归一化层、池化层、全连接层，得到第十一特征数据，经softmax层对第八特征数据进行处理，得到第二概率。
247.在使用图4所示的车辆识别网络提取图像中的车辆的特征数据之前，需对车辆识别网络进行训练。为此，本技术还提供了一种车辆识别网络的训练方法。该训练方法可包括以下步骤：
248.26、获取包含第二待识别车辆的训练图像和待训练网络。
249.本技术实施例中，训练图像包括第一待识别车辆。在一种获取训练图像的实现方式中，车辆识别装置接收用户通过输入组件输入的训练图像。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
250.在另一种获取训练图像的实现方式中，车辆识别装置接收训练数据终端发送的训练图像。上述训练数据终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
251.本技术实施例中，待训练网络的具体结构请参见图4。在一种获取待训练网络的实现方式中，车辆识别装置接收用户通过输入组件输入的待训练网络。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。
252.在另一种获取待训练网络的实现方式中，车辆识别装置接收训练数据终端发送的待训练网络。上述训练数据终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
253.27、使用上述待训练网络对上述训练图像进行处理，得到包括上述第二待识别车辆的全局特征信息的第十四特征数据和包括上述第二待识别车辆的关键点特征信息的第十五特征数据。
254.本技术实施例中，第二待识别车辆的全局特征信息包括第二待识别车辆的整体外观特征信息。
255.28、依据上述第十四特征数据和上述训练图像的标签，得到第一全局损失。
256.本技术实施例中，训练图像的标签包括第二待识别车辆的类别信息。例如，在所有训练数据中总共包含车辆1和车辆2。在第二待识别车辆的类别信息为车辆1的情况下，表明第二待识别车辆为车辆1。
257.在一种可能实现的方式中，车辆识别装置依据第十四特征数据可得到第二待识别车辆的类别(下文将称为全局类别)，依据全局类别和标签所包括的类别信息之间的差异可得到第一全局损失。
258.29、依据上述第十五特征数据和上述标签，得到第一关键点损失。
259.在一种可能实现的方式中，车辆识别装置依据第十五特征数据可得到第二待识别车辆的类别(下文将称为关键点类别)，依据关键点类别和标签所包括的类别信息之间的差异可得到第一关键点损失。
260.30、依据上述第一全局损失和上述第一关键点损失，得到上述待训练网络的总损失。
261.假设第一全局损失为g1，第一关键点损失为p1，总损失为l
t
，在一种可能实现的方式中，g1、p1、l
t
满足下式：
262.l
t
＝g1 p1 c1…
公式(1)
263.其中，c1为实数。可选的，c1＝0。
264.在另一种可能实现的方式中，g1、p1、l
t
满足下式：
265.l
t
＝α1×
(g1 p1)
…
公式(2)
266.其中，α1为实数。可选的，α1＝1。
267.在又一种可能实现的方式中，g1、p1、l
t
满足下式：
268.l
t
＝α1×
(g1 p1) c1…
公式(3)
269.其中，α1、c1均为实数。可选的，c1＝0，α1＝1。
270.31、基于上述总损失调整上述待训练网络的参数，得到上述车辆识别网络。
271.车辆识别装置依据总损失调整待训练网络的参数，直至总损失小于收敛阈值，得到车辆识别网络。
272.由于总损失中包含第一全局损失和第一关键点损失，基于总损失调整待训练网络的参数得到车辆识别网络，可使用车辆识别网络对待处理图像进行处理得到第一待识别车辆的全局特征信息和关键点特征信息。
273.作为一种可选的实施方式，在执行步骤30之前，车辆识别装置还执行以下步骤：
274.32、使用上述待训练网络对上述训练图像进行处理，得到包括上述第二待识别车辆的局部像素点区域的特征信息的第十六特征数据。
275.33、依据上述第十六特征数据和上述标签，得到第一局部像素点区域损失。
276.在一种可能实现的方式中，车辆识别装置依据第十六特征数据可得到第二待识别车辆的类别(下文将称为局部像素点区域类别)，依据局部像素点区域类别和标签所包括的类别信息之间的差异可得到第一局部像素点区域损失。
277.在得到第一局部像素点区域损失后，车辆识别装置在执行步骤30的过程中执行以下步骤：
278.34、依据上述第一全局损失、上述第一关键点损失和上述第一局部像素点区域损失，得到上述总损失。
279.假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，总损失为l
t
，在一种可能实现的方式中，g1、p1、r1、l
t
满足下式：
280.l
t
＝g1 p1 r1 c2…
公式(4)
281.其中，c2为实数。可选的，c2＝0。
282.在另一种可能实现的方式中，g1、p1、r1、l
t
满足下式：
283.l
t
＝α2×
(g1 p1 r1)
…
公式(5)
284.其中，α2为实数。可选的，α2＝1。
285.在又一种可能实现的方式中，g1、p1、r1、l
t
满足下式：
286.l
t
＝α2×
(g1 p1 r1) c2…
公式(6)
287.其中，α2、c2均为实数。可选的，c2＝0，α2＝1。
288.由于总损失中包含第一全局损失、第一关键点损失和第一局部像素点区域损失，基于总损失调整待训练网络的参数得到车辆识别网络，可使用车辆识别网络对待处理图像进行处理得到第一待识别车辆的全局特征信息、关键点特征信息和局部像素点区域特征信息。
289.作为一种可选的实施方式，车辆识别装置在执行步骤27的过程中执行以下步骤：
290.35、使用上述待训练网络对上述训练图像进行处理，得到至少一个第十七特征数据。
291.本技术实施例中，第十七特征数据包括第二待识别车辆的关键点特征信息，且任意两个第十七特征数据所包括的特征信息属于不同的关键点。
292.36、从上述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到s个第十八特征数据，其中，s为不小于1的整数。
293.37、对上述s个第十八特征数据进行融合处理，得到上述第十五特征数据。
294.在对待训练网络的训练过程中，对s个第十八特征数据进行融合处理得到第十五特征数据，可在使用车辆识别网络对待处理图像进行处理过程，依据k个第七特征数据得到第四特征数据。
295.作为一种可选的实施方式，在得到s个第十八特征数据后，在执行步骤34之前，车辆识别装置还执行以下步骤：
296.38、依据上述s个第十八特征数据，得到上述第二待识别车辆的s个第一识别结果。
297.本技术实施例中，第一识别结果包括第二待识别车辆的类别信息。车辆识别装置依据一个第十八特征数据，可得到一个第一识别结果。依据s个第十八特征数据，可得到第二待识别车辆的s个第一识别结果。
298.39、分别依据上述s个第一识别结果与上述标签之间的差异，得到关键点类别损失。
299.在一种可能实现的方式中，车辆识别装置依据一个第一识别结果和标签可得到一个第一识别差异，依据s个第一识别结果和标签可得到s个第一识别差异。车辆识别装置通过确定s个第一识别差异的和，得到关键点类别损失。
300.在得到关键点类别损失之后，车辆识别装置在执行步骤34的过程中执行以下步骤：
301.40、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失
和上述关键点类别损失，得到上述总损失。
302.假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、r1、l
t
满足下式：
303.l
t
＝g1 p1 p2 r1 c3…
公式(7)
304.其中，c3为实数。可选的，c3＝0。
305.在另一种可能实现的方式中，g1、p1、p2、r1、l
t
满足下式：
306.l
t
＝α3×
(g1 p1 p2 r1)
…
公式(8)
307.其中，α3为实数。可选的，α3＝1。
308.在又一种可能实现的方式中，g1、p1、p2、r1、l
t
满足下式：
309.l
t
＝α3×
(g1 p1 p2 r1) c3…
公式(9)
310.其中，α3、c3均为实数。可选的，c3＝0，α3＝1。
311.由于总损失中包含关键点类别损失，可在使用车辆识别网络对待处理图像进行处理的过程中，依据k个第七特征数据得到的第四特征数据。
312.作为一种可选的实施方式，车辆识别装置在执行步骤36的过程中执行以下步骤：
313.41、依据所包括的信息量对上述至少一个第十七特征数据进行排序，得到第一顺序。
314.本技术实施例中，第一顺序为所包括的信息量从大到小的顺序，第一顺序或为所包括的信息量从小到大的顺序。
315.42、依据上述第一顺序从上述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到上述s个第十八特征数据。
316.在第一顺序为所包括的信息量从大到小的顺序的情况下，车辆识别装置选取第一顺序中的前s个特征数据作为s个第十八特征数据；在第一顺序为所包括的信息量从小到大的顺序的情况下，车辆识别装置选取第一顺序中的后s个特征数据作为s个第十八特征数据。
317.在得到第一顺序的情况下，车辆识别装置在执行步骤40之前还执行以下步骤：
318.43、依据所对应的上述关键点类别损失对上述s个第一识别结果进行排序，得到第二顺序。
319.本技术实施例中，在第一顺序为所包括的信息量从大到小的顺序的情况下，第二顺序为关键点类别损失从小到大的顺序。即关键点类别损失越小，第一识别结果在第二顺序中的排名越高。
320.在第一顺序为所包括的信息量从小到大的顺序的情况下，第二顺序为关键点类别损失从大到小的顺序。即关键点类别损失越大，第一识别结果在第二顺序中的排名越高。
321.44、依据上述第一顺序和上述第二顺序之间的差异，得到关键点排序损失。
322.在得到关键点排序损失后，车辆识别装置在执行步骤40的过程中执行以下步骤：
323.45、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失和上述关键点排序损失，得到上述总损失。
324.假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、r1、l
t
满足下式：
325.l
t
＝g1 p1 p2 p3 r1 c4…
公式(10)
326.其中，c4为实数。可选的，c4＝0。
327.在另一种可能实现的方式中，g1、p1、p2、p3、r1、l
t
满足下式：
328.l
t
＝α4×
(g1 p1 p2 p3 r1)
…
公式(11)
329.其中，α4为实数。可选的，α4＝1。
330.在又一种可能实现的方式中，g1、p1、p2、p3、r1、l
t
满足下式：
331.l
t
＝α4×
(g1 p1 p2 p3 r1) c4…
公式(12)
332.其中，α4、c4均为实数。可选的，c4＝0，α4＝1。
333.在对待训练网络的训练过程中，在总损失中加入关键点类别损失，可提高s个第十八特征数据的准确度，进而提高第十五特征数据所包括的信息的准确度。这样，在使用车辆识别网络对待处理图像进行处理的过程中，可提高k个第七特征数据的准确度，进而提高第四特征数据所包括的信息的准确度。
334.作为一种可选的实施方式，车辆识别装置在执行步骤32的过程中执行以下步骤：
335.46、使用上述待训练网络对上述训练图像进行处理，得到至少一个第十九特征数据。
336.本技术实施例中，第十九特征数据包括第二待识别车辆的局部像素点区域特征信息，且任意两个第十九特征数据所包括的特征信息属于不同的局部像素点区域。
337.47、从上述至少一个第十九特征数据中选取包括信息量最多的p个特征数据，得到p个第二十特征数据，其中，p为不小于1的整数。
338.48、对上述p个第二十特征数据进行融合处理，得到上述第十六特征数据。
339.在对待训练网络的训练过程中，对p个第二十特征数据进行融合处理得到第十六特征数据，可在使用车辆识别网络对待处理图像进行处理过程，依据m个第十特征数据得到第五特征数据。
340.作为一种可选的实施方式，在得到p个第二十特征数据后，在执行步骤45之前，车辆识别装置还执行以下步骤：
341.49、依据上述p个第二十特征数据，得到上述第二待识别车辆的p个第二识别结果。
342.本技术实施例中，第二识别结果包括第二待识别车辆的类别信息。车辆识别装置依据一个第二十特征数据，可得到一个第二识别结果。依据p个第十八特征数据，可得到第二待识别车辆的p个第二识别结果。
343.50、分别依据上述p个第二识别结果与上述标签之间的差异，得到局部像素点区域类别损失。
344.在一种可能实现的方式中，车辆识别装置依据一个第二识别结果和标签可得到一个第二识别差异，依据p个第二识别结果和标签可得到p个第二识别差异。车辆识别装置通过确定p个第二识别差异的和，得到局部像素点区域类别损失。
345.在得到局部像素点区域类别损失之后，车辆识别装置在执行步骤45的过程中执行以下步骤：
346.51、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失、上述关键点排序损失和上述局部像素点区域类别损失，得到上述总损失。
347.假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、r1、r2、l
t
满足下式：
348.l
t
＝g1 p1 p2 p3 r1 r2 c5…
公式(13)
349.其中，c5为实数。可选的，c5＝0。
350.在另一种可能实现的方式中，g1、p1、p2、p3、r1、r2、l
t
满足下式：
351.l
t
＝α5×
(g1 p1 p2 p3 r1 r2)
…
公式(14)
352.其中，α5为实数。可选的，α5＝1。
353.在又一种可能实现的方式中，g1、p1、p2、p3、r1、r2、l
t
满足下式：
354.l
t
＝α5×
(g1 p1 p2 p3 r1 r2) c5…
公式(15)
355.其中，α5、c5均为实数。可选的，c5＝0，α5＝1。
356.由于总损失中包含局部像素点区域类别损失，可在使用车辆识别网络对待处理图像进行处理的过程中，依据m个第十特征数据得到的第五特征数据。
357.作为一种可选的实施方式，车辆识别装置在执行步骤47的过程中执行以下步骤：
358.52、依据所包括的信息量对上述至少一个第十九特征数据进行排序，得到第三顺序。
359.本技术实施例中，第三顺序为所包括的信息量从大到小的顺序，第三顺序或为所包括的信息量从小到大的顺序。
360.53、依据上述第三顺序从上述至少一个第十九特征数据中选取包括信息量最多的p个特征数据，得到上述p个第二十特征数据。
361.在第三顺序为所包括的信息量从大到小的顺序的情况下，车辆识别装置选取第三顺序中的前p个特征数据作为p个第二十特征数据；在第三顺序为所包括的信息量从小到大的顺序的情况下，车辆识别装置选取第三顺序中的后p个特征数据作为p个第二十特征数据。
362.在得到第三顺序的情况下，车辆识别装置在执行步骤51之前还执行以下步骤：
363.54、依据所对应的上述局部像素点区域类别损失对上述p个第二识别结果进行排序，得到第四顺序。
364.本技术实施例中，在第三顺序为所包括的信息量从大到小的顺序的情况下，第四顺序为局部像素点区域类别损失从小到大的顺序。即局部像素点区域类别损失越小，第二识别结果在第四顺序中的排名越高。
365.在第三顺序为所包括的信息量从小到大的顺序的情况下，第四顺序为局部像素点区域类别损失从大到小的顺序。即局部像素点区域类别损失越大，第二识别结果在第四顺序中的排名越高。
366.55、依据上述第三顺序和上述第四顺序之间的差异，得到局部像素点区域排序损失。
367.在得到局部像素点区域排序损失后，车辆识别装置在执行步骤51的过程中执行以下步骤：
368.56、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失、上述关键点排序损失、上述局部像素点区域类别损失和上述局部
像素点区域排序损失，得到上述总损失。
369.假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，局部像素点区域排序损失为r3，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、r1、r2、r3、l
t
满足下式：
370.l
t
＝g1 p1 p2 p3 r1 r2 r3 c6…
公式(16)
371.其中，c6为实数。可选的，c6＝0。
372.在另一种可能实现的方式中，g1、p1、p2、p3、r1、r2、r3、l
t
满足下式：
373.l
t
＝α6×
(g1 p1 p2 p3 r1 r2 r3)
…
公式(17)
374.其中，α6为实数。可选的，α6＝1。
375.在又一种可能实现的方式中，g1、p1、p2、p3、r1、r2、r3、l
t
满足下式：
376.l
t
＝α6×
(g1 p1 p2 p3 r1 r2 r3) c6…
公式(18)
377.其中，α6、c6均为实数。可选的，c6＝0，α6＝1。
378.在对待训练网络的训练过程中，在总损失中加入局部像素点区域类别损失，可提高p个第二十特征数据的准确度，进而提高第十六特征数据所包括的信息的准确度。这样，在使用车辆识别网络对待处理图像进行处理的过程中，可提高k个第七特征数据的准确度，进而提高第四特征数据所包括的信息的准确度。
379.作为一种可选的实施方式，第一全局损失包括全局焦点损失，车辆识别装置在执行步骤28的过程中执行以下步骤：
380.57、依据上述第十四特征数据，得到上述第二待识别车辆的第三识别结果。
381.本技术实施例中，第三识别结果包括第二待识别车辆的类别信息。车辆识别装置依据第十四特征数据，可确定第二待识别车辆的类别，进而得到第三识别结果。
382.58、依据上述第三识别结果和上述标签，得到上述第三识别结果的焦点损失，作为上述全局焦点损失。
383.假设第三识别结果的焦点损失为l
f1
，则l
f1
满足下式：
[0384][0385]
其中，b为训练图像的数量，β
n
为正数，γ为非负数，u
n
为第三识别结果中与标签的类别对应的概率。可选的，β
n
＝2，γ＝2。
[0386]
例如，训练图像包括图像a，使用待训练网络对图像a进行处理得到第三识别结果1。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)。在第三识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.9、图像a中的第二待识别车辆为车辆2的概率为0.1。假设β
n
＝2，γ＝2，此时，l
f1
＝
‑2×
(1
‑
0.9)2×
log0.9。
[0387]
又例如，训练图像包括图像a和图像b，使用待训练网络对图像a进行处理得到第三识别结果1，使用待训练网络对图像b进行处理得到第三识别结果2。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)，图像b的标签所包括的类别为车辆2(即图像a的标签为车辆2)。在第三识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.3、图像a中的第二待识别车辆为车辆2的概率为0.7。在第三识别结果2中，图像b中的第二待识别车辆为车辆1的概率为0.2、图像b中的第二待识别车辆为车辆2的概率为0.8。假设β
n
＝2，γ＝2，此时，l
f1
＝
‑2×
(1
‑
0.3)2×
log0.3
‑2×
(1
‑
0.8)2×
log0.8。
[0388]
将最大概率处于第一概率阈值至第二概率阈值之间的第三识别结果所对应的图
像称为第一容易样本，将训练图像中除第一容易样本之外的图像称为第一难样本。例如，假设第一概率阈值为0.4，第二概率阈值为0.7。在训练过程中，待训练网络通过对图像a进行处理得到第三识别结果1。
[0389]
若在第三识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.8，图像a中第二待识别车辆为车辆2的概率为0.2。由于第三识别结果1的最大概率为0.8，该最大概率大于第二概率阈值，图像a为第一容易样本。
[0390]
若在第三识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.5，图像a中第二待识别车辆为车辆2的概率为0.5。由于第三识别结果1的最大概率为0.5，该最大概率阈值大于第一概率阈值，且该最大概率小于第二阈值，图像a为第一难样本。
[0391]
在训练过程中，通过计算第三识别结果的焦点损失得到关键点焦点损失，进而确定总损失，可提升对待训练网络的训练效果。
[0392]
作为一种可选的实施方式，训练图像属于训练图像集，训练图像集还包括训练图像的第一正样本图像和训练图像的第一负样本图像，第一全局损失还包括全局三元组损失。车辆识别装置在执行步骤28的过程中还执行以下步骤：
[0393]
59、使用上述待训练网络对上述第一正样本图像进行特征提取处理，得到上述第一正样本图像的特征数据。
[0394]
本技术实施例中，第一正样本图像的标签所包括类别信息与训练图像的标签所包括的类别信息相同，第一负样本图像的标签所包括类别信息与训练图像的标签所包括的类别信息不同。
[0395]
第一正样本图像的特征数据包括第一正样本图像的语义信息，该语义信息可用于识别第一正样本图像中的第二待识别车辆的类别。
[0396]
60、使用上述待训练网络对上述第一负样本图像进行特征提取处理，得到上述第一负样本图像的特征数据。
[0397]
第一负样本图像的特征数据包括第一正样本图像的语义信息，该语义信息可用于识别第一负样本图像中的第二待识别车辆的类别。
[0398]
61、依据上述第十二特征数据、上述第一正样本图像的特征数据和上述第一负样本图像的特征数据，得到上述全局三元组损失。
[0399]
车辆识别装置计算第十二特征数据与第一正样本图像的特征数据之间的相似度得到第一正相似度、计算第十二特征数据与第一负样本图像的特征数据之间的相似度得到第一负相似度。
[0400]
假设第十二特征数据为x
a
，第一正相似度为s1，第一负相似度为s2，全局三元组损失为l
t1
，则l
t1
、s1、s2、x
a
满足下式：
[0401]
l
t1
＝[v1 s1‑
s2]...公式(20)
[0402]
其中，v1为实数。可选的，v1＝1
[0403]
可选的，第一正相似度为第十二特征数据与第一正样本图像的特征数据之间的第二范数。第一负相似度为第十二特征数据与第一负样本图像的特征数据之间的第二范数。
[0404]
可选的，在训练图像集包括除训练图像、第一正样本图像、第一负样本图像之外的图像的情况下，车辆识别装置可将训练图像集中训练图像之外的图像分为正样本图像集和负样本图像集。正样本图像集中的图像的标签所包括的类别信息与训练图像的标签所包括
的类别信息相同，负样本图像集中的图像的标签所包括的类别信息与训练图像的标签所包括的类别信息不同。
[0405]
车辆识别装置对正样本图像集中的图像进行特征提取处理得到正样本特征数据集、对负样本图像集中的图像进行特征提取处理得到负样本特征数据集。车辆识别装置计算第十二特征数据与正样本特征数据集中的特征数据之间的相似度得到第一正相似度集、计算第十二特征数据与负样本特征数据集中的特征数据之间的相似度得到第一负相似度集。将第一正相似度集中的最小值称为第一类内最小相似度，将第一负相似度集中的最大值称为第一类外最大相似度。
[0406]
假设第十二特征数据为x
a
，第一类内最小相似度为maxd(x
a
，x
p
)，第一类外最大相似度为mind(x
a
，x
n
)，全局三元组损失为l
t1
，则l
t1
、maxd(x
a
，x
p
)、mind(x
a
，x
n
)、x
a
满足下式：
[0407]
l
t1
＝[v1 maxd(x
a
，x
p
)
‑
mind(x
a
，x
n
)]...公式(21)
[0408]
其中，v1为实数。可选的，v1＝1
[0409]
可选的，第十二特征数据与第一正样本特征数据集中的特征数据之间的相似度为，第十二特征数据与第一正样本特征数据集中的特征数据之间的第二范数。第十二特征数据与第一负样本特征数据集中的特征数据之间的相似度为，第十二特征数据与第一负样本特征数据集中的特征数据之间的第二范数。
[0410]
在训练过程中，全局三元组损失可提升待训练网络基于第十二特征数据得到的第二待识别车辆的识别结果的准确度，从而提升车辆识别网络对第一待识别车辆的分类准确度。
[0411]
应理解，在第一全局损失包括全局焦点损失和全局三元组损失的情况下，第一全局损失可以为全局焦点损失和全局三元组损失的和。
[0412]
作为一种可选的实施方式，在执行步骤56之前，车辆识别装置还执行以下步骤：
[0413]
62、依据上述第十五特征数据，得到上述第二待识别车辆的第四识别结果。
[0414]
本技术实施例中，第四识别结果包括第二待识别车辆的类别信息。车辆识别装置依据第十五特征数据，可确定第二待识别车辆的类别，进而得到第四识别结果。
[0415]
63、依据上述第四识别结果和上述标签，得到上述第四识别结果的焦点损失，作为关键点焦点损失。
[0416]
假设第四识别结果的焦点损失为l
f2
，则l
f2
满足下式：
[0417][0418]
其中，b为训练图像的数量，β
n
为正数，γ为非负数，u
m
为第四识别结果中与标签的类别对应的概率。可选的，β
n
＝2，γ＝2。
[0419]
例如，训练图像包括图像a，使用待训练网络对图像a进行处理得到第四识别结果1。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)。在第四识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.9、图像a中的第二待识别车辆为车辆2的概率为0.1。假设β
n
＝2，γ＝2，此时，l
f2
＝
‑2×
(1
‑
0.9)2×
log0.9。
[0420]
又例如，训练图像包括图像a和图像b，使用待训练网络对图像a进行处理得到第四识别结果1，使用待训练网络对图像b进行处理得到第四识别结果2。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)，图像b的标签所包括的类别为车辆2(即图像a的标签为车辆2)。在第四识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.3、图像
a中的第二待识别车辆为车辆2的概率为0.7。在第四识别结果2中，图像b中的第二待识别车辆为车辆1的概率为0.2、图像b中的第二待识别车辆为车辆2的概率为0.8。假设β
n
＝2，γ＝2，此时，l
f2
＝
‑2×
(1
‑
0.3)2×
log0.3
‑2×
(1
‑
0.8)2×
log0.8。
[0421]
在得到关键点焦点损失后，车辆识别装置在执行步骤58的过程中执行以下步骤：
[0422]
64、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失、上述关键点排序损失、上述局部像素点区域类别损失、上述关键点焦点损失和上述局部像素点区域排序损失，得到上述总损失。
[0423]
假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，局部像素点区域排序损失为r3，关键点焦点损失为p4，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、p4、r1、r2、r3、l
t
满足下式：
[0424]
l
t
＝g1 p1 p2 p3 p4 r1 r2 r3 c7…
公式(23)
[0425]
其中，c7为实数。可选的，c7＝0。
[0426]
在另一种可能实现的方式中，g1、p1、p2、p3、p4、r1、r2、r3、l
t
满足下式：
[0427]
l
t
＝α7×
(g1 p1 p2 p3 p4 r1 r2 r3)
…
公式(24)
[0428]
其中，α7为实数。可选的，α7＝1。
[0429]
在又一种可能实现的方式中，g1、p1、p2、p3、p4、r1、r2、r3、l
t
满足下式：
[0430]
l
t
＝α7×
(g1 p1 p2 p3 p4 r1 r2 r3) c7…
公式(25)
[0431]
其中，α7、c7均为实数。可选的，c7＝0，α7＝1。
[0432]
将最大概率处于第三概率阈值至第四概率阈值之间的第四识别结果所对应的图像称为第二容易样本，将训练图像中除第二容易样本之外的图像称为第二难样本。例如，假设第三概率阈值为0.4，第四概率阈值为0.7。在训练过程中，待训练网络通过对图像a进行处理得到第四识别结果1。
[0433]
若在第四识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.8，图像a中第二待识别车辆为车辆2的概率为0.2。由于第四识别结果1的最大概率为0.8，该最大概率大于第四阈值，图像a为第二容易样本。
[0434]
若在第四识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.5，图像a中第二待识别车辆为车辆2的概率为0.5。由于第四识别结果1的最大概率为0.5，该最大概率大于第三概率阈值，且该最大概率小于第四概率阈值，图像a为第二难样本。
[0435]
在训练过程中，通过计算第四识别结果的焦点损失得到局部像素点区域焦点损失，并在总损失中增加局部像素点区域损失，可提升对待训练网络的训练效果。
[0436]
作为一种可选的实施方式，在执行步骤63之前，车辆识别装置还执行以下步骤：
[0437]
65、依据上述第十五特征数据、上述第一正样本图像的特征数据和上述第一负样本图像的特征数据，得到关键点三元组损失。
[0438]
车辆识别装置计算第十五特征数据与第一正样本图像的特征数据之间的相似度得到第二正相似度、计算第十五特征数据与第一负样本图像的特征数据之间的相似度得到第二负相似度。
[0439]
假设第十五特征数据为x
b
，第二正相似度为s3，第二负相似度为s4，关键点三元组损失为l
t2
，则l
t2
、s3、s4、x
b
满足下式：
[0440]
l
t2
＝[v2 s3‑
s4]...公式(26)
[0441]
其中，v2为实数。可选的，v2＝1。
[0442]
可选的，第二正相似度为第十五特征数据与第一正样本图像的特征数据之间的第二范数。第二负相似度为第十五特征数据与第一负样本图像的特征数据之间的第二范数。
[0443]
车辆识别装置对正样本图像集中的图像进行特征提取处理得到正样本特征数据集、对负样本图像集中的图像进行特征提取处理得到负样本特征数据集。车辆识别装置计算第十五特征数据与正样本特征数据集中的特征数据之间的相似度得到第二正相似度集、计算第十五特征数据与负样本特征数据集中的特征数据之间的相似度得到第二负相似度集。将第二正相似度集中的最小值称为第二类内最小相似度，将第二负相似度集中的最大值称为第二类外最大相似度。
[0444]
假设第十五特征数据为x
b
，第二类内最小相似度为maxd(x
b
，x
p
)，第二类外最大相似度为mind(x
b
，x
n
)，关键点三元组损失为l
t2
，则l
t2
、maxd(x
b
，x
p
)、mind(x
b
，x
n
)、x
b
满足下式：
[0445]
l
t2
＝[v2 maxd(x
b
，x
p
)
‑
mind(x
b
，x
n
)|...公式(27)
[0446]
其中，v2为实数。可选的，v2＝1。
[0447]
可选的，第十五特征数据与正样本特征数据集中的特征数据之间的相似度为，第十五特征数据与正样本特征数据集中的特征数据之间的第二范数。第十五特征数据与负样本特征数据集中的特征数据之间的相似度为，第十五特征数据与负样本特征数据集中的特征数据之间的第二范数。
[0448]
在得到关键点焦点损失后，车辆识别装置在执行步骤63的过程中执行以下步骤：
[0449]
66、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失、上述关键点排序损失、上述局部像素点区域类别损失、上述关键点焦点损失、上述关键点三元组损失和上述局部像素点区域排序损失，得到上述总损失。
[0450]
假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，局部像素点区域排序损失为r3，关键点焦点损失为p4，关键点三元组损失为p5，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、l
t
满足下式：
[0451]
l
t
＝g1 p1 p2 p3 p4 p5 r1 r2 r3 c8…
公式(28)
[0452]
其中，c8为实数。可选的，c8＝0。
[0453]
在另一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、l
t
满足下式：
[0454]
l
t
＝α8×
(g1 p1 p2 p3 p4 p5 r1 r2 r3)
…
公式(29)
[0455]
其中，α8为实数。可选的，α8＝1。
[0456]
在又一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、l
t
满足下式：
[0457]
l
t
＝α8×
(g1 p1 p2 p3 p4 p5 r1 r2 r3) c8…
公式(30)
[0458]
其中，α8、c8均为实数。可选的，c8＝0，α8＝1。
[0459]
在训练过程中，关键点三元组损失可提升待训练网络基于第十五特征数据得到的第二待识别车辆的识别结果的准确度，从而提升车辆识别网络对第一待识别车辆的分类准确度。
[0460]
作为一种可选的实施方式，在执行步骤66之前，车辆识别装置还执行以下步骤：
[0461]
67、依据上述第十六特征数据，得到上述第二待识别车辆的第五识别结果。
[0462]
本技术实施例中，第五识别结果包括第二待识别车辆的类别信息。车辆识别装置依据第十六特征数据，可确定第二待识别车辆的类别，进而得到第五识别结果。
[0463]
68、依据上述第五识别结果和上述标签，得到上述第五识别结果的焦点损失，作为局部像素点区域焦点损失。
[0464]
假设第五识别结果的焦点损失为l
f3
，则l
f3
满足下式：
[0465][0466]
其中，b为训练图像的数量，β
n
为正数，γ为非负数，u
k
为第五识别结果中与标签的类别对应的概率。可选的，β
n
＝2，γ＝2。
[0467]
例如，训练图像包括图像a，使用待训练网络对图像a进行处理得到第五识别结果1。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)。在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.9、图像a中的第二待识别车辆为车辆2的概率为0.1。假设β
n
＝2，γ＝2，此时，l
f3
＝
‑2×
(1
‑
0.9)2×
log0.9。
[0468]
又例如，训练图像包括图像a和图像b，使用待训练网络对图像a进行处理得到第五识别结果1，使用待训练网络对图像b进行处理得到第五识别结果2。若图像a的标签所包括的类别为车辆1(即图像a的标签为车辆1)，图像b的标签所包括的类别为车辆2(即图像a的标签为车辆2)。在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.3、图像a中的第二待识别车辆为车辆2的概率为0.7。在第五识别结果2中，图像b中的第二待识别车辆为车辆1的概率为0.2、图像b中的第二待识别车辆为车辆2的概率为0.8。假设β
n
＝2，γ＝2，此时，l
f3
＝
‑2×
(1
‑
0.3)2×
log0.3
‑2×
(1
‑
0.8)2×
log0.8。
[0469]
在得到局部像素点区域焦点损失后，车辆识别装置在执行步骤66的过程中执行以下步骤：
[0470]
69、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损失、上述关键点类别损失、上述关键点排序损失、上述局部像素点区域类别损失、上述关键点焦点损失、上述关键点三元组损失、上述局部像素点区域焦点损失和上述局部像素点区域排序损失，得到上述总损失。
[0471]
假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，局部像素点区域排序损失为r3，局部像素点区域焦点损失为r4，关键点焦点损失为p4，关键点三元组损失为p5，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、l
t
满足下式：
[0472]
l
t
＝g1 p1 p2 p3 p4 p5 r1 r2 r3 r4 c9…
公式(32)
[0473]
其中，c9为实数。可选的，c9＝0。
[0474]
在另一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、l
t
满足下式：
[0475]
l
t
＝α9×
(g1 p1 p2 p3 p4 p5 r1 r2 r3 r4)
…
公式(33)
[0476]
其中，α9为实数。可选的，α9＝1。
[0477]
在又一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、l
t
满足下式：
[0478]
l
t
＝α9×
(g1 p1 p2 p3 p4 p5 r1 r2 r3 r4) c9…
公式(34)
[0479]
其中，α9、c9均为实数。可选的，c9＝0，α9＝1。
[0480]
将最大概率处于第五概率阈值至第六概率阈值之间的第五识别结果所对应的图像称为第三容易样本，将训练图像中除第三容易样本之外的图像称为第三难样本。例如，假
设第五概率阈值为0.4，第六概率阈值为0.7。在训练过程中，待训练网络通过对图像a进行处理得到第五识别结果1。
[0481]
若在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.8，图像a中第二待识别车辆为车辆2的概率为0.2。由于第五识别结果1的最大概率为0.8，该最大概率大于第六概率阈值，图像a为第三容易样本。
[0482]
若在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.5，图像a中第二待识别车辆为车辆2的概率为0.5。由于第五识别结果1的最大概率为0.5，该最大概率阈值大于第五概率阈值，且该最大概率小于第六阈值，图像a为第三难样本。
[0483]
在训练过程中，通过计算第五识别结果的焦点损失得到局部像素点区域焦点损失，进而确定总损失，可提升对第三难样本的训练效果，进而提升对待训练网络的训练效果。
[0484]
作为一种可选的实施方式，在执行步骤69之前，车辆识别装置还执行以下步骤：
[0485]
70、依据上述第十六特征数据、上述第一正样本图像的特征数据和上述第一负样本图像的特征数据，得到局部像素点区域三元组损失。
[0486]
车辆识别装置计算第十六特征数据与第一正样本图像的特征数据之间的相似度得到第三正相似度、计算第十六特征数据与第一负样本图像的特征数据之间的相似度得到第三负相似度。
[0487]
假设第十六特征数据为x
c
，第三正相似度为s5，第三负相似度为s6，局部像素点区域三元组损失为l
t3
，则l
t3
、s5、s6、x
c
满足下式：
[0488]
l
t3
＝[v3 s5‑
s6]...公式(35)
[0489]
其中，v3为实数。可选的，v3＝1。
[0490]
可选的，第三正相似度为第十六特征数据与第一正样本图像的特征数据之间的第二范数。第三负相似度为第十六特征数据与第一负样本图像的特征数据之间的第二范数。
[0491]
车辆识别装置计算第十六特征数据与正样本特征数据集中的特征数据之间的相似度得到第三正相似度集、计算第十六特征数据与负样本特征数据集中的特征数据之间的相似度得到第三负相似度集。将第三正相似度集中的最小值称为第三类内最小相似度，将第三负相似度集中的最大值称为第三类外最大相似度。
[0492]
假设第十六特征数据为x
c
，第三类内最小相似度为maxd(x
c
，x
p
)，第三类外最大相似度为mind(x
c
，x
n
)，局部像素点区域三元组损失为l
t3
，则l
t3
、maxd(x
c
，x
p
)、mind(x
c
，x
n
)、x
c
满足下式：
[0493]
l
t3
＝[v3 maxd(x
c
，x
p
)
‑
mind(x
c
，x
n
)]...公式(36)
[0494]
其中，v3为实数。可选的，v3＝1。
[0495]
可选的，第十六特征数据与正样本特征数据集中的特征数据之间的相似度为，第十六特征数据与正样本特征数据集中的特征数据之间的第二范数。第十六特征数据与负样本特征数据集中的特征数据之间的相似度为，第十六特征数据与负样本特征数据集中的特征数据之间的第二范数。
[0496]
在得到局部像素点区域焦点损失后，车辆识别装置在执行步骤69的过程中执行以下步骤：
[0497]
71、依据上述第一全局损失、上述第一关键点损失、上述第一局部像素点区域损
失、上述关键点类别损失、上述关键点排序损失、上述局部像素点区域类别损失、上述关键点焦点损失、上述关键点三元组损失、上述局部像素点区域焦点损失、上述局部像素点三元组损失和上述局部像素点区域排序损失，得到上述总损失。
[0498]
假设第一全局损失为g1，第一关键点损失为p1，第一局部像素点区域损失为r1，关键点类别损失为p2，关键点排序损失为p3，局部像素点区域类别损失为r2，局部像素点区域排序损失为r3，局部像素点区域焦点损失为r4，局部像素点区域三元损失为r5，关键点焦点损失为p4，关键点三元组损失为p5，总损失为l
t
，在一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、r5、l
t
满足下式：
[0499]
l
t
＝g1 p1 p2 p3 p4 p5 r1 r2 r3 r4 r5 c
10
…
公式(37)
[0500]
其中，c
10
为实数。可选的，c
10
＝0。
[0501]
在另一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、r5、l
t
满足下式：
[0502]
l
t
＝α
10
×
(g1 p1 p2 p3 p4 p5 r1 r2 r3 r4 r5)
…
公式(38)
[0503]
其中，α
10
为实数。可选的，α
10
＝1。
[0504]
在又一种可能实现的方式中，g1、p1、p2、p3、p4、p5、r1、r2、r3、r4、r5、l
t
满足下式：
[0505]
l
t
＝α
10
×
(g1 p1 p2 p3 p4 p5 r1 r2 r3 r4 r5) c
10
…
公式(39)
[0506]
其中，α
10
、c
10
均为实数。可选的，c
10
＝0，α
10
＝1。
[0507]
将最大概率处于第五概率阈值至第六概率阈值之间的第五识别结果所对应的图像称为第三容易样本，将训练图像中除第三容易样本之外的图像称为第三难样本。例如，假设第五概率阈值为0.4，第六概率阈值为0.7。在训练过程中，待训练网络通过对图像a进行处理得到第五识别结果1。
[0508]
若在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.8，图像a中第二待识别车辆为车辆2的概率为0.2。由于第五识别结果1的最大概率为0.8，该最大概率大于第六概率阈值，图像a为第三容易样本。
[0509]
若在第五识别结果1中，图像a中的第二待识别车辆为车辆1的概率为0.5，图像a中第二待识别车辆为车辆2的概率为0.5。由于第五识别结果1的最大概率为0.5，该最大概率阈值大于第五概率阈值，且该最大概率小于第六阈值，图像a为第三难样本。
[0510]
在训练过程中，局部像素点区域三元组损失可提升待训练网络基于第十六特征数据得到的第二待识别车辆的识别结果的准确度，从而提升车辆识别网络对第一待识别车辆的分类准确度。
[0511]
作为一种可选的实施方式，车辆识别装置获取生成数据集，并使用生成数据集对关键点和局部像素点区域生成模块进行训练。
[0512]
本技术实施例中，生成数据集包括至少一张热力图训练图像，且每张热力图训练图像的标签包括关键点标签热力图和局部像素点区域标签热力图。其中，关键点标签热力图包括热力图训练图像中关键点的位置信息，局部像素点区域标签热力图包括热力图训练图像中局部像素点区域的位置信息。
[0513]
基于本技术实施例提供的技术的方案，本技术实施例还提供了一种可能的应用场景。随着公共场所内摄像头数量的快速增长，如何有效的通过海量视频流确定肇事逃逸车辆的行踪具有重要的意义。
[0514]
a地方发生交通事故，且肇事车辆逃逸。通过a事故现场的监控摄像头采集到了肇
事逃逸车辆的图像。警方可将肇事逃逸车辆的图像输入至车辆识别装置。
[0515]
车辆识别装置使用本技术实施例提供的技术方案，从肇事逃逸车辆的图像中提取出肇事逃逸车辆的特征数据。
[0516]
车辆识别装置可与多个监控摄像头相连，不同的监控摄像头安装在不同位置，且车辆识别装置可从每个监控摄像头获取实时采集的视频流。车辆识别装置使用本技术实施例提供的技术方案，从视频流中的图像中提取出视频流中的车辆的特征数据，得到特征数据库。
[0517]
车辆识别装置将肇事逃逸车辆的特征数据与特征数据库中的特征数据进行比对，得到与肇事逃逸车辆的特征数据匹配的特征数据，作为目标特征数据。确定与目标特征数据对应的图像为包含肇事逃逸车辆的图像，进而可依据包含肇事逃逸车辆的图像确定肇事逃逸车辆的行踪。
[0518]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0519]
上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
[0520]
请参阅图12，图12为本技术实施例提供的一种车辆识别装置1的结构示意图，该车辆识别装置1包括：获取单元11、第一处理单元12、第二处理单元13、融合处理单元14、第三处理单元15、第四处理单元16，其中：
[0521]
获取单元11，用于获取包含第一待识别车辆的待处理图像；
[0522]
第一处理单元12，用于对所述待处理图像进行第一特征提取处理，得到包括所述第一待识别车辆的局部特征信息的第一特征数据；
[0523]
第二处理单元13，用于对所述待处理图像进行第二特征提取处理，得到包括所述第一待识别车辆的全局特征信息的第二特征数据；
[0524]
融合处理单元14，用于对所述第一特征数据和所述第二特征数据进行融合处理，得到所述第一待识别车辆的第三特征数据；所述第三特征数据用于获得所述第一待识别车辆的识别结果。
[0525]
结合本技术任一实施方式，所述局部特征信息包括关键点特征信息，所述第一特征数据包括所述待识别车辆的至少一个关键点的特征信息。
[0526]
结合本技术任一实施方式，所述局部特征信息还包括局部像素点区域特征信息，所述第一特征数据还包括所述待识别车辆的至少一个局部像素点区域的特征信息。
[0527]
结合本技术任一实施方式，所述第一处理单元12用于：
[0528]
对所述待处理图像进行第三特征提取处理，得到第四特征数据；所述第四特征数据包括所述第一待识别车辆的至少一个关键点的特征信息；
[0529]
对所述待处理图像进行第四特征提取处理，得到第五特征数据；所述第五特征数据包括所述第一待识别车辆的至少一个局部像素点区域的特征信息；所述局部像素点区域属于所述第一待识别车辆所覆盖的像素点区域，且所述局部像素点区域的面积小于所述第一待识别车辆所覆盖的像素点区域的面积；
[0530]
对所述第四特征数据和第五特征数据进行融合处理，得到所述第一特征数据。
[0531]
结合本技术任一实施方式，所述第一处理单元12用于：
[0532]
对所述待处理图像进行第五特征提取处理，得到至少一个第六特征数据；所述第六特征数据包括所述关键点的特征信息，且任意两个所述第六特征数据所包括的特征信息属于不同的所述关键点；
[0533]
从所述至少一个第六特征数据中选取包括信息量最多的k个特征数据，得到k个第七特征数据；所述k为不小于1的整数；
[0534]
依据所述k个第七特征数据得到所述第四特征数据。
[0535]
结合本技术任一实施方式，所述第一处理单元12用于：
[0536]
对所述待处理图像进行第六特征提取处理，得到至少一张第一热力图；所述第一热力图包括所述关键点在所述待处理图像中的位置信息，且任意两张所述第一热力图所包括的信息属于不同的所述关键点；
[0537]
对所述待处理图像进行第七特征提取处理，得到所述待处理图像的第一特征图像；所述第一特征图像包括所述待处理图像中的关键点的特征信息；
[0538]
分别确定每张所述第一热力图与所述第一特征图像之间的点积，得到所述至少一个第六特征数据。
[0539]
结合本技术任一实施方式，所述第一处理单元12用于：
[0540]
对所述至少一个第六特征数据中的特征数据分别进行池化处理，得到至少一个第八特征数据；
[0541]
依据所述至少一个第八特征数据所包括的信息量，得到至少一个第一概率；所述第一概率用于表征所述第六特征数据所包括的信息量；所述第一概率与所述第六特征数据一一对应；
[0542]
在所述第一概率与所述第六特征数据所包括的信息量呈正相关的情况下，选取最大的k个所述第一概率所对应的所述第六特征数据，作为所述k个第七特征数据；或，
[0543]
在所述第一概率与所述第六特征数据所包括的信息量呈负相关的情况下，选取最小的k个所述第一概率所对应的所述第六特征数据，作为所述k个第七特征数据。
[0544]
结合本技术任一实施方式，所述第一处理单元12用于：
[0545]
对所述待处理图像进行第十特征提取处理，得到至少一个第九特征数据；所述第九特征数据包括所述关键点的特征信息，且任意两个所述第九特征数据所包括的特征信息属于不同的所述局部像素点区域；
[0546]
从所述至少两个第九特征数据中选取包含信息量最多的m个特征数据，得到m个第十特征数据；所述m为不小于1的整数；
[0547]
依据所述m个第十特征数据得到所述第五特征数据。
[0548]
结合本技术任一实施方式，所述第一处理单元12用于：
[0549]
对所述待处理图像进行第十一特征提取处理，得到所述至少一张第二热力图；所述第二热力图包括所述局部像素点区域在所述待处理图像中的位置信息，且任意两张所述第二热力图所包括的信息属于不同的所述局部像素点区域；
[0550]
对所述待处理图像进行第十二特征提取处理，得到所述待处理图像的第二特征图像；所述第二特征图像包括所述待处理图像中的局部像素点区域的特征信息；
[0551]
分别确定每张所述第二热力图与所述第二特征图像之间的点积，得到所述至少一个第九特征数据。
[0552]
结合本技术任一实施方式，所述第一处理单元12用于：
[0553]
对所述第九特征数据中的特征数据分别进行池化处理，得到至少一个第十一特征数据；
[0554]
依据所述至少一个第十一特征数据所包括的信息量，得到至少一个第二概率；所述第二概率用于表征所述第九特征数据中包括的信息量；所述第二概率与所述第九特征数据一一对应；
[0555]
在所述第二概率与所述第九特征数据所包括的信息量呈正相关的情况下，选取最大的m个所述第二概率所对应的所述第九特征数据，作为所述m个第十特征数据；或，
[0556]
在所述第二概率与所述第九特征数据所包括的信息量呈负相关的情况下，选取最小的m个所述第二概率所对应的所述第九特征数据，作为所述m个第十特征数据。
[0557]
结合本技术任一实施方式，所述至少一个局部像素点区域包括：第一像素点区域和第二像素点区域，所述第九特征数据的数量和所述m均大于1，所述m个第十特征数据包括：第十二特征数据和第十三特征数据，所述第十二特征数据包括所述第一像素点区域的特征信息，所述第十三特征数据包括所述第二像素点区域的特征信息；
[0558]
所述第一处理单元12用于：
[0559]
依据所述第十二特征数据所包括的信息量得到第一权重，依据所述第十三特征数据所包括的信息量得到第二权重；所述第一权重与所述第十二特征数据所包括的信息量呈正相关，所述第二权重与所述第十三特征数据所包括的信息量呈正相关；
[0560]
依据所述第一权重和所述第二权重，对所述第十二特征数据和所述第十三特征数据进行加权融合，得到所述第五特征数据。
[0561]
结合本技术任一实施方式，所述车辆识别装置执行的车辆识别方法应用于车辆识别网络，所述获取单元，还用于获取包含第二待识别车辆的训练图像和待训练网络；
[0562]
所述第一处理单元12，还用于使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的全局特征信息的第十四特征数据和包括所述第二待识别车辆的关键点特征信息的第十五特征数据；
[0563]
第三处理单元15，用于依据所述第十四特征数据和所述训练图像的标签，得到第一全局损失；
[0564]
所述第三处理单元15，还用于依据所述第十五特征数据和所述标签，得到第一关键点损失；
[0565]
所述第三处理单元15，还用于依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失；
[0566]
第四处理单元16，用于基于所述总损失调整所述待训练网络的参数，得到所述车辆识别网络。
[0567]
结合本技术任一实施方式，所述第一处理单元12，还用于在所述依据所述第一全局损失和所述第一关键点损失，得到所述待训练网络的总损失之前，使用所述待训练网络对所述训练图像进行处理，得到包括所述第二待识别车辆的局部像素点区域的特征信息的第十六特征数据；
[0568]
所述第三处理单元15，还用于依据所述第十六特征数据和所述标签，得到第一局部像素点区域损失；
[0569]
所述第三处理单元15，还用于：依据所述第一全局损失、所述第一关键点损失和所述第一局部像素点区域损失，得到所述总损失。
[0570]
结合本技术任一实施方式，所述第一处理单元12，用于：
[0571]
使用所述待训练网络对所述训练图像进行处理，得到至少一个第十七特征数据；所述第十七特征数据包括所述第二待识别车辆的关键点特征信息，且任意两个所述第十七特征数据所包括的特征信息属于不同的所述关键点；
[0572]
从所述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到s个第十八特征数据；所述s为不小于1的整数；
[0573]
对所述s个第十八特征数据进行融合处理，得到所述第十五特征数据。
[0574]
结合本技术任一实施方式，所述第三处理单元，还用于在所述依据所述第一全局损失、所述第一关键点损失和所述第一局部像素点区域损失，得到所述总损失之前，依据所述s个第十八特征数据，得到所述第二待识别车辆的s个第一识别结果；
[0575]
分别依据所述s个第一识别结果与所述标签之间的差异，得到关键点类别损失；
[0576]
所述第四处理单元16，用于：
[0577]
依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失和所述关键点类别损失，得到所述总损失。
[0578]
结合本技术任一实施方式，所述第一处理单元12，用于：
[0579]
依据所包括的信息量对所述至少一个第十七特征数据进行排序，得到第一顺序；所述第一顺序为所包括的信息量从大到小的顺序，所述第一顺序或为所包括的信息量从小到大的顺序；
[0580]
依据所述第一顺序从所述至少一个第十七特征数据中选取包括信息量最多的s个特征数据，得到所述s个第十八特征数据；
[0581]
所述第三处理单元15，用于在所述依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失和所述关键点类别损失，得到所述总损失之前，依据所对应的所述关键点类别损失对所述s个第一识别结果进行排序，得到第二顺序；所述第二顺序为所述关键点类别损失从大到小的顺序，所述第二顺序或为所述关键点类别损失从小到大的顺序；
[0582]
依据所述第一顺序和所述第二顺序之间的差异，得到关键点排序损失；
[0583]
所述第四处理单元16，用于：
[0584]
依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失、所述关键点类别损失和所述关键点排序损失，得到所述总损失。
[0585]
结合本技术任一实施方式，所述第一处理单元12，用于：
[0586]
使用所述待训练网络对所述训练图像进行处理，得到至少一个第十九特征数据；所述第十九特征数据包括所述局部像素点区域的特征信息，且任意两个所述第十九特征数据所包括的特征信息属于不同的所述局部像素点区域；
[0587]
从所述至少一个第十九特征数据中选取包括信息量最多的p个特征数据，得到p个第二十特征数据；所述p为不小于1的整数；
[0588]
对所述p个第二十特征数据进行融合处理，得到所述第十六特征数据。
[0589]
结合本技术任一实施方式，所述第三处理单元15，用于在依据所述第一全局损失、
所述第一关键点损失、所述第一局部像素点区域损失、所述关键点类别损失和所述关键点排序损失，得到所述总损失之前，依据所述p个第二十特征数据，得到所述第二待识别车辆的p个第二识别结果；
[0590]
分别依据所述p个第二识别结果与所述标签之间的差异，得到局部像素点区域类别损失；
[0591]
所述第四处理单元16，用于：
[0592]
依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失、所述关键点类别损失、所述关键点排序损失和所述局部像素点区域类别损失，得到所述总损失。
[0593]
结合本技术任一实施方式，所述第一处理单元12，用于：
[0594]
依据所包括的信息量对所述至少一个第十九特征数据进行排序，得到第三顺序；所述第三顺序为所包括的信息量从大到小的顺序，所述第三顺序或为所包括的信息量从小到大的顺序；
[0595]
依据所述第三顺序从所述至少一个第十九特征数据中选取包括信息量最多的p个特征数据，得到所述p个第二十特征数据；
[0596]
所述第三处理单元15，用于在所述依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失、所述关键点类别损失、所述关键点排序损失和所述局部像素点区域类别损失，得到所述总损失之前，依据所对应的所述局部像素点区域类别损失对所述p个第二识别结果进行排序，得到第四顺序；所述第四顺序为所述局部像素点区域类别损失从大到小的顺序，所述第四顺序或为所述局部像素点区域类别损失从小到大的顺序；
[0597]
依据所述第三顺序和所述第四顺序之间的差异，得到局部像素点区域排序损失；
[0598]
所述第四处理单元16，用于：
[0599]
依据所述第一全局损失、所述第一关键点损失、所述第一局部像素点区域损失、所述关键点类别损失、所述关键点排序损失、所述局部像素点区域类别损失和所述局部像素点区域排序损失，得到所述总损失。
[0600]
结合本技术任一实施方式，所述第一全局损失包括全局焦点损失；所述第三处理单元15，用于：
[0601]
依据所述第十四特征数据，得到所述第二待识别车辆的第三识别结果；
[0602]
依据所述第三识别结果和所述标签，得到所述第三识别结果的焦点损失，作为所述全局焦点损失。
[0603]
结合本技术任一实施方式，所述训练图像属于训练图像集；所述训练图像集还包括所述训练图像的第一正样本图像和所述训练图像的第一负样本图像；所述第一全局损失还包括全局三元组损失；
[0604]
所述第三处理单元15，还用于：
[0605]
使用所述待训练网络对所述第一正样本图像进行特征提取处理，得到所述第一正样本图像的特征数据；
[0606]
使用所述待训练网络对所述第一负样本图像进行特征提取处理，得到所述第一负样本图像的特征数据；
[0607]
依据所述第十二特征数据、所述第一正样本图像的特征数据和所述第一负样本图
像的特征数据，得到所述全局三元组损失。
[0608]
本实施例中，车辆识别装置通过对第一特征数据和第二特征数据进行融合处理，可得到既包括第一待识别车辆的全局特征信息又包括第一待识别车辆的局部特征信息的第三特征数据。将第三特征数据作为第一待识别车辆的特征数据，可丰富第一待识别车辆的特征数据所包括的信息。
[0609]
在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0610]
图13为本技术实施例提供的一种车辆识别装置的硬件结构示意图。该车辆识别装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本技术实施例对此不作限定。应当理解，本技术的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
[0611]
处理器21可以是一个或多个图形处理器(graphics processing unit，gpu)，在处理器21是一个gpu的情况下，该gpu可以是单核gpu，也可以是多核gpu。可选的，处理器21可以是多个gpu构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本技术实施例不作限定。
[0612]
存储器22可用于存储计算机程序指令，以及用于执行本技术方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read
‑
only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read
‑
only memory，cd
‑
rom)，该存储器用于相关指令及数据。
[0613]
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
[0614]
可理解，本技术实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的待处理图像，又或者该存储器22还可用于存储通过处理器21得到的第三特征数据等等，本技术实施例对于该存储器中具体所存储的数据不作限定。
[0615]
可以理解的是，图13仅仅示出了一种车辆识别装置的简化设计。在实际应用中，车辆识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本技术实施例的车辆识别装置都在本技术的保护范围之内。
[0616]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0617]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属
领域的技术人员还可以清楚地了解到，本技术各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
[0618]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0619]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0620]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0621]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0622]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read
‑
only memory，rom)或随机存储存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的介质。