车辆外观属性识别方法、装置、存储介质和电子设备与流程

1.本技术实施例涉及计算机技术领域，尤其涉及一种车辆外观属性识别方法、装置、存储介质和电子设备。


背景技术：

2.车辆检测站负责对机动车车辆进行审查，检测车辆是否改装，是否满足在路面行驶的标准。机动车保有量每年都在不断增加，车辆检测站的检测任务也在持续增长。而目前车辆检测站主要采取人工审查的方式进行审核，即由车辆检测站中的工作人员或车主拍摄待检测车辆的照片，再由车辆检测站中的工作人员根据拍摄得到的照片，确定出审核结果。
3.然而，采用人工审核方式，会导致车辆检测站的检测压力较大，并且检测的效率较低，同时客户需要等待的时间也会同步增加。


技术实现要素：

4.为解决现有存在的技术问题，本技术实施例提供了一种车辆外观属性识别方法、装置、存储介质和电子设备，可以提高对车辆进行外观属性识别的效率。
5.为达到上述目的，本技术实施例的技术方案是这样实现的：
6.第一方面，本技术实施例提供一种车辆外观属性识别方法，所述方法包括：
7.对视频帧图像中待检测车辆的车系特征进行提取，得到所述待检测车辆的待处理车系特征；
8.基于预设的至少两个参考车系特征中，各个参考车系特征和所述待处理车系特征间的相似度，将所述待处理车系特征和所述各个参考车系特征进行融合，得到车系组合特征；
9.对所述车系组合特征进行识别，得到所述待检测车辆对应的车系识别结果。
10.本技术实施例提供的车辆外观属性识别方法，可以对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征，基于预设的至少两个参考车系特征中，各个参考车系特征和待处理车系特征间的相似度，将待处理车系特征和各个参考车系特征进行融合，得到车系组合特征，然后对车系组合特征进行识别，得到待检测车辆对应的车系识别结果。由于在得到待检测车辆的车系识别结果时，是对根据待检测车辆的待处理车系特征与多个预设的参考车系特征进行相似度比对得到的车系组合特征进行识别得到，从而可以提高对待检测车辆进行车系识别的识别准确率。
11.在一种可选的实施例中，所述对视频帧图中待检测车辆的车系特征进行提取，得到所述待检测车辆的待处理车系特征，包括：
12.获取车辆检测站的视频流数据；
13.对所述视频流数据中包括待检测车辆的视频帧图像进行检测，确定所述待检测车辆的各个车辆关键点；
14.若根据所述各个车辆关键点确定所述待检测车辆未被遮挡，则对所述视频帧图像
中所述待检测车辆的车系特征进行提取，得到所述待检测车辆的待处理车系特征。
15.在该实施例中，可以先获取车辆检测站的视频流数据，然后对视频流数据中包括待检测车辆的视频帧图像进行检测，确定出待检测车辆的各个车辆关键点，若根据各个车辆关键点确定待检测车辆未被遮挡，则对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征。由于可以对车辆检测站的视频流数据进行自动检测，不需要人工拍摄待检测车辆的照片，从而可以提高车辆检测站的自动化程度，减少人工参与，提升对待检测车辆进行检测的检测效率，并且，由于先对视频流数据中的视频帧图像进行优先过滤，筛选出待检测车辆未被遮挡的视频帧图像，然后只对未被遮挡的待检测车辆的车系特征进行提取，从而可以提高对待检测车辆进行车系识别的识别准确率。
16.在一种可选的实施例中，所述基于预设的至少两个参考车系特征中，各个参考车系特征和所述待处理车系特征间的相似度，将所述待处理车系特征和所述各个参考车系特征进行融合，得到车系组合特征，包括：
17.将所述待处理车系特征分别与预设的至少一个参考车系特征中的各个参考车系特征进行余弦相似度比对，基于所述余弦相似度比对结果，确定各个参考车系特征对应的注意力特征权重；
18.基于所述各个参考车系特征对应的注意力特征权重对所述各个参考车系特征进行加权处理，基于所述加权处理的结果得到车系记忆特征；
19.基于所述车系记忆特征对所述待处理车系特征进行处理，得到车系组合特征。
20.在该实施例中，可以将待处理车系特征分别与预设的至少一个参考车系特征中的各个参考车系特征进行余弦相似度比对，并基于余弦相似度比对结果，确定各个参考车系特征对应的注意力特征权重，然后基于各个参考车系特征对应的注意力特征权重对各个参考车系特征进行加权处理，再基于加权处理的结果得到车系记忆特征，最后基于车系记忆特征对待处理车系特征进行处理，得到车系组合特征。由于是将待处理车系特征与预设的参考车系特征进行相似度比对，确定出车系组合特征，从而可以得到较为准确的车系组合特征。
21.在一种可选的实施例中，所述确定所述待检测车辆未被遮挡后，所述方法还包括：
22.对所述视频帧图像中所述待检测车辆的属性特征进行提取，得到所述待检测车辆的待处理属性特征；
23.对所述待处理属性特征进行识别，得到所述待检测车辆对应的属性识别结果。
24.在该实施例中，在确定待检测车辆未被遮挡后，可以对视频帧图像中待检测车辆的属性特征进行提取，得到待检测车辆的待处理属性特征，并对待处理属性特征进行识别，得到待检测车辆对应的属性识别结果。从而可以得到较为准确的待检测车辆对应的属性识别结果和车系识别结果。
25.在一种可选的实施例中，所述确定所述待检测车辆未被遮挡后，所述方法还包括：
26.通过外观检测模型中的卷积层和全局池化层提取出所述待检测车辆的车辆特征；
27.通过所述外观检测模型中的全连接层，从所述车辆特征中分离出待处理属性特征和待处理车系特征；
28.通过所述外观检测模型中的全连接层，对所述车系组合特征和所述待处理属性特征分别进行识别，得到所述待检测车辆对应的车系识别结果和属性识别结果。
29.在该实施例中，在确定待检测车辆未被遮挡后，可以通过外观检测模型中的卷积层和全局池化层提取出待检测车辆的车辆特征，并通过外观检测模型中的全连接层，从车辆特征中分离出待处理属性特征和待处理车系特征，然后通过外观检测模型中的全连接层，对车系组合特征和待处理属性特征分别进行识别，得到待检测车辆对应的车系识别结果和属性识别结果。由于可以确定出待检测车辆的属性特征和车系组合特征，并且通过属性特征和车系组合特征，分别确定出待检测车辆对应的车系识别结果和属性识别结果，从而可以得到较为准确的车辆外观属性识别结果。
30.在一种可选的实施例中，所述确定所述待检测车辆未被遮挡后，所述方法还包括：
31.通过车牌检测模型对所述待检测车辆进行检测，确定所述待检测车辆中的车牌区域；
32.对所述车牌区域进行识别，得到所述待检测车辆对应的车牌识别结果；
33.将所述车牌识别结果、所述车系识别结果和所述属性识别结果，分别与所述待检测车辆对应的登记信息进行比对，确定所述待检测车辆对应的比对结果。
34.在该实施例中，在确定待检测车辆未被遮挡后，可以通过车牌检测模型对待检测车辆进行检测，确定待检测车辆中的车牌区域，并对车牌区域进行识别，得到待检测车辆对应的车牌识别结果，然后将车牌识别结果、车系识别结果和属性识别结果，分别与待检测车辆对应的登记信息进行比对，确定待检测车辆对应的比对结果。从而可以根据确定出的比对结果，检测出待检测车辆是否改装，是否满足在路面行驶的标准，以及判断车牌是否被套用等。
35.第二方面，本技术实施例还提供了一种车辆外观属性识别装置，包括：
36.车系特征提取单元，用于对视频帧图像中待检测车辆的车系特征进行提取，得到所述待检测车辆的待处理车系特征；
37.组合特征确定单元，用于基于预设的至少两个参考车系特征中，各个参考车系特征和所述待处理车系特征间的相似度，将所述待处理车系特征和所述各个参考车系特征进行融合，得到车系组合特征；
38.识别结果确定单元，用于对所述车系组合特征进行识别，得到所述待检测车辆对应的车系识别结果。
39.在一种可选的实施例中，所述车系特征提取单元，具体用于：
40.获取车辆检测站的视频流数据；
41.对所述视频流数据中包括待检测车辆的视频帧图像进行检测，确定所述待检测车辆的各个车辆关键点；
42.若根据所述各个车辆关键点确定所述待检测车辆未被遮挡，则对所述视频帧图像中所述待检测车辆的车系特征进行提取，得到所述待检测车辆的待处理车系特征。
43.在一种可选的实施例中，所述组合特征确定单元，具体用于：
44.将所述待处理车系特征分别与预设的至少一个参考车系特征中的各个参考车系特征进行余弦相似度比对，基于所述余弦相似度比对结果，确定各个参考车系特征对应的注意力特征权重；
45.基于所述各个参考车系特征对应的注意力特征权重对所述各个参考车系特征进行加权处理，基于所述加权处理的结果得到车系记忆特征；
46.基于所述车系记忆特征对所述待处理车系特征进行处理，得到车系组合特征。
47.在一种可选的实施例中，所述识别结果确定单元，还用于：
48.对所述视频帧图像中所述待检测车辆的属性特征进行提取，得到所述待检测车辆的待处理属性特征；
49.对所述待处理属性特征进行识别，得到所述待检测车辆对应的属性识别结果。
50.在一种可选的实施例中，所述识别结果确定单元，还用于：
51.通过外观检测模型中的卷积层和全局池化层提取出所述待检测车辆的车辆特征；
52.通过所述外观检测模型中的全连接层，从所述车辆特征中分离出待处理属性特征和待处理车系特征；
53.通过所述外观检测模型中的全连接层，对所述车系组合特征和所述待处理属性特征分别进行识别，得到所述待检测车辆对应的车系识别结果和属性识别结果。
54.在一种可选的实施例中，所述装置还包括比对结果确定单元，用于：
55.通过车牌检测模型对所述待检测车辆进行检测，确定所述待检测车辆中的车牌区域；
56.对所述车牌区域进行识别，得到所述待检测车辆对应的车牌识别结果；
57.将所述车牌识别结果、所述车系识别结果和所述属性识别结果，分别与所述待检测车辆对应的登记信息进行比对，确定所述待检测车辆对应的比对结果。
58.第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的车辆外观属性识别方法。
59.第四方面，本技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的车辆外观属性识别方法。
60.第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
61.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
62.图1为本技术实施例提供的一种车辆外观属性识别方法的流程图；
63.图2为本技术实施例提供的一种视频帧图像的示意图；
64.图3为本技术实施例提供的一种车辆关键点的示意图；
65.图4为本技术实施例提供的另一种视频帧图像的示意图；
66.图5为本技术实施例提供的另一种车辆关键点的示意图；
67.图6为本技术实施例提供的另一种车辆外观属性识别方法的流程图；
68.图7为本技术实施例提供的一种外观检测模型的结构示意图；
69.图8为本技术实施例提供的一种外观检测模型的训练方法的流程图；
70.图9为本技术实施例提供的一种车辆外观属性识别装置的结构示意图；
71.图10为本技术实施例提供的另一种车辆外观属性识别装置的结构示意图；
72.图11为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
73.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
74.需要说明的是，本技术的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
75.下面将结合附图，对本技术实施例提供的技术方案进行详细说明。
76.本技术实施例提供了一种车辆外观属性识别方法，如图1所示，包括如下步骤：
77.步骤s101，对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征。
78.可以先获取车辆检测站的视频流数据，然后对视频流数据中包括待检测车辆的视频帧图像进行检测，确定待检测车辆的各个车辆关键点。例如，对如图2所示的包括待检测车辆的视频帧图像进行检测，可以在该视频帧图像中确定出如图3所示的5个车辆关键点，分别为车窗关键点a、车窗关键点b、车灯关键点c、车灯关键点d和车牌关键点e。
79.若根据各个车辆关键点确定待检测车辆未被遮挡，则对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征。
80.步骤s102，基于预设的至少两个参考车系特征中，各个参考车系特征和待处理车系特征间的相似度，将待处理车系特征和各个参考车系特征进行融合，得到车系组合特征。
81.可以将待处理车系特征分别与预设的至少一个参考车系特征中的各个参考车系特征进行余弦相似度比对，基于余弦相似度比对结果，确定各个参考车系特征对应的注意力特征权重，并基于各个参考车系特征对应的注意力特征权重对各个参考车系特征进行加权处理，基于加权处理的结果得到车系记忆特征，然后基于车系记忆特征对待处理车系特征进行处理，得到车系组合特征。
82.步骤s103，对车系组合特征进行识别，得到待检测车辆对应的车系识别结果。
83.对得到的对车系组合特征进行识别，可以得到待检测车辆对应的车系识别结果。
84.在一种实施例中，在检测待检测车辆的车辆关键点时，可以先确定出需要检测出待检测车辆的预设车辆关键点，如果在对待检测车辆进行车辆关键点检测后，可以得到所有的预设车辆关键点，则可以确定待检测车辆未被遮挡。如果在对待检测车辆进行车辆关键点检测后，预设车辆关键点中有任意一个车辆关键点没有得到，则可以确定待检测车辆被遮挡。例如，车辆检测站的检测人员在对车辆周围进行拍照采集数据时，会在车辆周围走动，从而会对车辆的局部区域产生遮挡，如图4所示，车辆的车头区域被人体遮挡，则对该视频帧图像进行检测，检测出的车辆关键点可以如图5所示，即可以检测出车窗关键点a、车窗
关键点b、车灯关键点c和车灯关键点d共4个车辆关键点，而预设的车辆关键点为左右2个车窗关键点、左右2个车灯关键点和车牌关键点共5个车辆关键点，则可以确定该待检测车辆被遮挡了。
85.如果根据待检测车辆的各个车辆关键点，确定待检测车辆被遮挡，则可以获取当前视频帧图像的下一个视频帧图像，并对下一个视频帧图像进行检测，确定出下一个视频帧图像中待检测车辆的各个车辆关键点。
86.在确定待检测车辆未被遮挡后，可以通过外观检测模型中的卷积层和全局池化层提取出待检测车辆的车辆特征，然后通过外观检测模型中的全连接层，从车辆特征中分离出待处理属性特征和待处理车系特征，再通过外观检测模型中的全连接层，对车系组合特征和待处理属性特征分别进行识别，得到待检测车辆对应的车系识别结果和属性识别结果。其中，属性特征可以包括车标特征和车色特征。
87.此外，在根据待检测车辆的各个车辆关键点确定待检测车辆未被遮挡后，可以通过车牌检测模型对待检测车辆进行检测，确定出待检测车辆中的车牌区域，并对车牌区域进行识别，得到待检测车辆对应的车牌识别结果。在得到待检测车辆对应的车牌识别结果、车系识别结果、属性识别结果即车标识别结果和车色识别结果后，可以将待检测车辆对应的车牌识别结果、车系识别结果、车标识别结果和车色识别结果，分别与待检测车辆对应的登记信息进行比对，确定出待检测车辆对应的比对结果。
88.本技术实施例提供的车辆外观属性识别方法，可以对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征，基于预设的至少两个参考车系特征中，各个参考车系特征和待处理车系特征间的相似度，将待处理车系特征和各个参考车系特征进行融合，得到车系组合特征，然后对车系组合特征进行识别，得到待检测车辆对应的车系识别结果。由于在得到待检测车辆的车系识别结果时，是对根据待检测车辆的待处理车系特征与多个预设的参考车系特征进行相似度比对得到的车系组合特征进行识别得到，从而可以提高对待检测车辆进行车系识别的识别准确率。
89.在一些实施例中，本技术提出的车辆外观属性识别方法还可以按照图6中示出的过程进行实现。如图6所示，可以包括如下步骤：
90.步骤s601，对包括待检测车辆的视频帧图像进行检测，确定视频帧图像中待检测车辆的各个车辆关键点。
91.可以利用车辆检测站中安装的摄像机，获取车辆检测站的视频流数据。对于视频流数据中任意一个视频帧图像，可以执行如下操作：对包括待检测车辆的视频帧图像进行检测，输出视频帧图像中待检测车辆的车辆坐标和各个车辆关键点坐标，即分别确定出视频帧图像中待检测车辆的各个车辆关键点。
92.其中，可以采用centernet算法对包括待检测车辆的视频帧图像进行检测，输出视频帧图像中待检测车辆的车辆坐标和各个车辆关键点坐标。
93.步骤s602，确定各个车辆关键点是否均存在；若是，则执行步骤s603；若否，则执行步骤s604。
94.步骤s603，确定待检测车辆未被遮挡。
95.步骤s604，对包括待检测车辆的下一个视频帧图像进行检测，确定下一个视频帧图像中待检测车辆的各个车辆关键点。
96.可以判断各个车辆关键点是否均存在，如果各个车辆关键点均存在，则可以确定视频帧图像中的待检测车辆完整，未被遮挡。如果各个车辆关键点中的任何一个车辆关键点不存在，则可以对包括待检测车辆的下一个视频帧图像进行检测，确定下一个视频帧图像中待检测车辆的各个车辆关键点。
97.步骤s605，通过车牌检测模型对待检测车辆进行检测，确定出待检测车辆中的车牌区域。
98.其中，车牌检测模型可以包括但不限于ssd、yolov3、yolov4等。
99.步骤s606，对车牌区域进行识别，得到待检测车辆对应的车牌识别结果。
100.在确定出待检测车辆中的车牌区域后，可以对车牌区域进行识别，得到待检测车辆对应的车牌识别结果。
101.其中，在对车牌区域进行识别时，可以但不局限于采用lstm方法。
102.步骤s607，基于外观检测模型中的卷积层和全局池化层提取出待检测车辆对应的车辆特征。
103.可以将包括待检测车辆的视频帧图像输入到外观检测模型中，该外观检测模型可以包括卷积层、全局池化层和全连接层。基于外观检测模型中的卷积层和全局池化层，可以提取出待检测车辆对应的车辆特征。
104.其中，卷积层可以包括但不限于inception、resnet(residual network，残差网络)、mobilenet、densenet、regnetx等。
105.步骤s608，通过外观检测模型中的全连接层，从车辆特征中分离出车色特征、车标特征和车系特征。
106.可以基于外观检测模型中的全连接层，从车辆特征中分离出车色特征、车标特征和车系特征。其中，车色是指车辆的车身颜色信息，例如，红色、黑色、白色等。车标是指车辆的品牌，例如，大众、宝马、奔驰等。车系是指车辆的具体型号信息，例如，大众
‑
途观l
‑
2021、宝马
‑
x1
‑
2021等。
107.步骤s609，将车系特征与车系记忆特征进行组合得到车系组合特征。
108.其中，车系记忆特征是基于车系特征与预设的至少两个参考车系特征中的各个参考车系特征进行相似度比对后得到的注意力特征权重，与各个参考车系特征分别进行加权处理后确定的。
109.步骤s610，通过外观检测模型中的全连接层分别对车色特征、车标特征和车系组合特征进行识别，得到待检测车辆对应的车色识别结果、车标识别结果和车系识别结果。
110.基于外观检测模型中的全连接层，可以分别对车色特征、车标特征和车系组合特征进行识别，从而得到待检测车辆对应的车色识别结果、车标识别结果和车系识别结果。
111.步骤s611，将车牌识别结果、车色识别结果、车标识别结果和车系识别结果，分别与待检测车辆对应的登记信息进行比对，确定待检测车辆对应的比对结果。
112.在识别出待检测车辆对应的车牌识别结果、车色识别结果、车标识别结果和车系识别结果后，可以将车牌识别结果、车色识别结果、车标识别结果和车系识别结果，分别与待检测车辆对应的登记信息进行比对，确定待检测车辆对应的比对结果，从而使得相关人员根据该比对结果，可以确定出待检测车辆是否被改装、是否满足在路面行驶的标准等。其中，待检测车辆对应的登记信息是指待检测车辆在车辆管理部门或车辆检查部门等登记的
原始外观属性信息，确定待检测车辆对应的比对结果是指将得到的待检测车辆的识别结果与待检测车辆的原始外观属性信息进行比较，确定待检测车辆的原始外观属性信息是否被更改。例如，假设识别出的待检测车辆的车色识别结果为红色，而待检测车辆在车辆管理部门中登记的原始车辆颜色为白色，则可以确定待检测车辆的车身颜色被更改过。又如，假设识别出的待检测车辆的车标识别结果为奔驰，而待检测车辆在车辆管理部门中登记的原始车标为大众，则可以确定待检测车辆的车标被更改过，待检测车辆被改装过等，再如，将识别出的待检测车辆的车牌号码与待检测车辆在车辆管理部门中登记的原始车牌号码进行比对，如果两者不一致，则可以认为待检测车辆的车牌被套用等。
113.本技术实施例提供的车辆外观属性识别方法，可以对车辆检测站中的视频流数据进行自动分析、识别，不需要人工手动地拍摄车辆照片再上传识别，从而使得车辆检测站的自动化程度提高，并且可以减少人工参与以提升检测效率。同时本方法可以结合车辆关键点来判断车辆完整度，当车辆关键点缺失时，可以认为车辆不完整或存在遮挡，不进行外观识别，只有当车辆完整、不被遮挡时，才进行外观识别，即对视频流数据中的视频帧图像进行优选过滤，从而可以减少对视频流数据进行识别、分析的压力，保证识别准确率。本技术实施例中提供的车辆外观属性识别方法还引入了车系记忆特征，从而可以提升对待检测车辆对应的车系特征进行识别，得到车系识别结果的识别效果。
114.具体地，在一些实施例中，上述步骤s607中所采用的外观检测模型可以包括一个卷积层、一个全局池化层和一个全连接层。如图7所示，将包括待检测车辆的视频帧图像输入到卷积层和全局池化层中，基于卷积层和全局池化层，可以对待检测车辆进行特征提取，得到待检测车辆对应的车辆特征f
g
。基于全连接层，可以从车辆特征f
g
中分离出车标特征f
l
、车系特征f
m
和车色特征f
c
。在得到车标特征f
l
后，可以基于全连接层，对车标特征f
l
进行识别，得到车标识别结果。在得到车色特征f
c
后，可以基于全连接层，对车色特征f
c
进行识别，得到车色识别结果。在得到车系特征f
m
后，可以先将车系特征f
m
与车系记忆特征模块m
c
中包括的各个参考车系特征m
i
分别进行余弦相似度比对，并经过softmax归一化，生成各个注意力特征权重w
i
，然后将各个注意力特征权重w
i
分别与各个参考车系特征m
i
进行加权处理后得到车系记忆特征f
mn
，再将车系记忆特征f
mn
与车系特征f
m
进行处理后得到车系组合特征f
ma
，最后基于全连接层，对车系组合特征f
ma
进行识别，得到车系识别结果。
115.其中，注意力特征权重w
i
的计算公式为：τ为温度系数值；车系记忆特征f
mn
的计算公式为：参考车系特征m
i
可以根据以下公式得到：m
i
＝m
i
β(f
i
‑
m
i
)，β为超参系数，β∈(0，1)，f
i
为对应于每种车辆类别的车系特征；车系组合特征f
ma
的计算公式为：f
ma
＝f
m
f
mn
，或者为：f
ma
＝αf
m
(1
‑
α)f
mn
，α为对应的系数。
116.该外观检测模型的训练过程可以如图8所示，包括如下步骤：
117.步骤s801，获得车辆图像数据集。
118.可以获取车辆检测站的视频流数据中包括的多个视频帧图像，且每个视频帧图像中均包括有车辆，将包括有车辆的多个视频帧图像作为车辆图像数据集中包括的车辆图像。
119.在得到车辆图像数据集后，可以对车辆图像数据集中的车辆图像进行车标标注、车色标注和车系标注。
120.步骤s802，将车辆图像输入待训练的外观检测模型，基于待训练的外观检测模型中的卷积层和全局池化层，提取出车辆图像中的车辆对应的车辆特征。
121.从已标注的车辆图像中抽取多张车辆图像输入到待训练的外观检测模型中，基于待训练的外观检测模型中的卷积层和全局池化层，可以提取出每张车辆图像中的车辆对应的车辆特征。
122.步骤s803，基于待训练的外观检测模型中的全连接层，从车辆特征中分离出车色特征、车标特征和车系特征。
123.步骤s804，基于待训练的外观检测模型中的全连接层，对车色特征进行识别，得到车辆对应的车色识别结果，并确定第一损失值。
124.基于待训练的外观检测模型中的全连接层，对车色特征进行识别，得到车辆对应的车色识别结果。将得到的车色识别结果与输入的已标注的车辆图像的车色标注进行比较，确定出第一损失值l
c
。
125.步骤s805，基于待训练的外观检测模型中的全连接层，对车标特征进行识别，得到车辆对应的车标识别结果，并确定第二损失值。
126.基于待训练的外观检测模型中的全连接层，对车标特征进行识别，得到车辆对应的车标识别结果。将得到的车标识别结果与输入的已标注的车辆图像的车标标注进行比较，确定出第二损失值l
l
。
127.步骤s806，基于待训练的外观检测模型中的全连接层，对车系特征与车系记忆特征进行组合得到的车系组合特征进行识别，得到车辆对应的车系识别结果，并确定第三损失值。
128.基于待训练的外观检测模型中的全连接层，对由车系特征与车系记忆特征进行组合得到的车系组合特征进行识别，得到车辆对应的车系识别结果。将得到的车系识别结果与输入的已标注的车辆图像的车系标注进行比较，确定出第三损失值l
m
。
129.步骤s807，根据第一损失值、第二损失值和第三损失值，确定联合损失值。
130.根据得到的第一损失值l
c
、第二损失值l
l
和第三损失值l
m
，可以确定出联合损失值l
all
，即l
all
＝λl
l
μl
m
σl
c
。
131.步骤s808，确定联合损失值是否收敛至预设的目标值；如果否，执行步骤s809；如果是，执行步骤s810。
132.步骤s809，根据确定的联合损失值对待训练的外观检测模型中的卷积层、全局池化层和全连接层的网络参数进行调整。
133.如果联合损失值未收敛，则对待训练的外观检测模型中的卷积层、全局池化层和全连接层的网络参数进行调整，调整参数后，返回执行步骤s802、步骤s803、步骤s804、步骤s805和步骤s806，继续下一轮的训练过程。
134.步骤s810，结束训练得到已训练的外观检测模型。
135.如果联合损失值收敛，则将当前得到的外观检测模型作为已训练的外观检测模型。
136.与图1所示的车辆外观属性识别方法基于同一发明构思，本技术实施例中还提供
了一种车辆外观属性识别装置。由于该装置是本技术车辆外观属性识别方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
137.图9示出了本技术实施例提供的一种车辆外观属性识别装置的结构示意图，如图9所示，该车辆外观属性识别装置包括车系特征提取901、组合特征确定单元902和识别结果确定单元903。
138.其中，车系特征提取901，用于对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征；
139.组合特征确定单元902，用于基于预设的至少两个参考车系特征中，各个参考车系特征和待处理车系特征间的相似度，将待处理车系特征和各个参考车系特征进行融合，得到车系组合特征；
140.识别结果确定单元903，用于对车系组合特征进行识别，得到待检测车辆对应的车系识别结果。
141.在一种可选的实施例中，车系特征提取单元901，具体用于：
142.获取车辆检测站的视频流数据；
143.对视频流数据中包括待检测车辆的视频帧图像进行检测，确定待检测车辆的各个车辆关键点；
144.若根据各个车辆关键点确定待检测车辆未被遮挡，则对视频帧图像中待检测车辆的车系特征进行提取，得到待检测车辆的待处理车系特征。
145.在一种可选的实施例中，组合特征确定单元902，具体用于：
146.将待处理车系特征分别与预设的至少一个参考车系特征中的各个参考车系特征进行余弦相似度比对，基于余弦相似度比对结果，确定各个参考车系特征对应的注意力特征权重；
147.基于各个参考车系特征对应的注意力特征权重对各个参考车系特征进行加权处理，基于加权处理的结果得到车系记忆特征；
148.基于车系记忆特征对待处理车系特征进行处理，得到车系组合特征。
149.在一种可选的实施例中，识别结果确定单元903，还用于：
150.对视频帧图像中待检测车辆的属性特征进行提取，得到待检测车辆的待处理属性特征；
151.对待处理属性特征进行识别，得到待检测车辆对应的属性识别结果。
152.在一种可选的实施例中，识别结果确定单元903，还用于：
153.通过外观检测模型中的卷积层和全局池化层提取出待检测车辆的车辆特征；
154.通过外观检测模型中的全连接层，从车辆特征中分离出待处理属性特征和待处理车系特征；
155.通过外观检测模型中的全连接层，对车系组合特征和待处理属性特征分别进行识别，得到待检测车辆对应的车系识别结果和属性识别结果。
156.在一种可选的实施例中，如图10所示，上述装置还可以包括比对结果确定单元1001，用于：
157.通过车牌检测模型对待检测车辆进行检测，确定待检测车辆中的车牌区域；
158.对车牌区域进行识别，得到待检测车辆对应的车牌识别结果；
159.将车牌识别结果、车系识别结果和属性识别结果，分别与待检测车辆对应的登记信息进行比对，确定待检测车辆对应的比对结果。
160.与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备。该电子设备可以用于对车辆进行外观属性识别。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。在该实施例中，电子设备的结构可以如图11所示，包括存储器1101，通讯模块1103以及一个或多个处理器1102。
161.存储器1101，用于存储处理器1102执行的计算机程序。存储器1101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
162.存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(random
‑
access memory，ram)；存储器1101也可以是非易失性存储器(non
‑
volatile memory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid
‑
state drive，ssd)、或者存储器1101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1101可以是上述存储器的组合。
163.处理器1102，可以包括一个或多个中央处理单元(central processing unit，cpu)或者为数字处理单元等等。处理器1102，用于调用存储器1101中存储的计算机程序时实现上述车辆外观属性识别方法。
164.通讯模块1103用于与终端设备和其他服务器进行通信。
165.本技术实施例中不限定上述存储器1101、通讯模块1103和处理器1102之间的具体连接介质。本公开实施例在图11中以存储器1101和处理器1102之间通过总线1104连接，总线1104在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1104可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
166.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的车辆外观属性识别方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
167.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。