车辆识别方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及人工智能和交通技术，尤其涉及一种车辆识别方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.人工智能(ai，artificial intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
3.基于人工智能的智慧交通技术得到广泛应用，典型地，可用于识别套牌车。然而，相关技术根据两点间的距离和时间间隔来计算车速，从而根据车速判断是否为套牌车，对套牌车的识别精确度不高。


技术实现要素：

4.本技术实施例提供一种车辆识别方法、装置、电子设备及计算机可读存储介质，能够准确高效识别套牌车。
5.本技术实施例的技术方案是这样实现的：
6.本技术实施例提供一种车辆识别方法，包括：
7.获取车辆的实时的第一时空数据记录；
8.对所述车辆发送的近距离通信信号进行解调处理，得到所述车辆的车牌号；
9.当基于所述车辆的车牌号比对通过时，基于所述车牌号从数据库中查询所述车辆的历史的第二时空数据记录；
10.当所述第一时空数据记录与所述第二时空数据记录的比对结果满足时空约束条件时，调用机器学习模型对所述车辆的车辆图像进行外观信息识别处理，以得到第一外观信息；
11.从所述数据库中查询与所述车辆关联的第二外观信息，将所述第一外观信息与所述第二外观信息进行比对；
12.基于比对结果生成表征所述车辆是否为套牌车的识别结果。
13.本技术实施例提供一种车辆识别装置，包括：
14.获取模块，用于获取车辆的实时的第一时空数据记录；以及用于对所述车辆发送的近距离通信信号进行解调处理，得到所述车辆的车牌号；以及用于当基于所述车辆的车牌号比对通过时，基于所述车牌号从数据库中查询所述车辆的历史的第二时空数据记录；
15.识别模块，用于当所述第一时空数据记录与所述第二时空数据记录的比对结果满足时空约束条件时，调用机器学习模型对所述车辆的车辆图像进行外观信息识别处理，以得到第一外观信息；
16.比对模块，用于从所述数据库中查询与所述车辆关联的第二外观信息，将所述第一外观信息与所述第二外观信息进行比对；
17.生成模块，用于基于比对结果生成表征所述车辆是否为套牌车的识别结果。
18.上述方案中，所述车辆识别装置还包括确定模块，用于：
19.将通过所述解调处理得到的所述车牌号，与从所述车辆的车辆图像中识别出的车牌号进行比对；当比对一致时，确定基于所述车辆的车牌号比对通过。
20.上述方案中，所述确定模块，还用于：
21.对所述车辆发送的近距离通信信号进行解调处理，得到所述车辆的车检信息；
22.当基于所述车辆的车牌号比对通过时，将所述车检信息与所述数据库中与所述车辆关联的车检信息进行比对；
23.当比对一致时，确定将执行基于所述车牌号从所述数据库中查询所述车辆的历史的第二时空数据记录的操作。
24.上述方案中，所述确定模块，还用于：
25.响应于未接收到所述车辆的近距离通信信号，获取所述车辆图像，并确定将执行基于从所述车辆图像中识别出的车牌号的查询操作，所述查询操作用于从所述数据库中查询所述车辆的历史的第二时空数据记录。
26.上述方案中，所述获取模块，还用于：
27.基于所述车辆的车牌号查询所述数据库，得到所述车辆的最新的时空数据记录；
28.将所述最新的时空数据记录作为所述车辆的历史的第二时空数据记录。
29.上述方案中，所述确定模块，还用于：
30.获取所述车辆的实时路况信息，并基于所述实时路况信息确定从所述第二时空数据记录中的第二地点到所述第一时空数据记录中的第一地点的预测用时；
31.确定从所述第二地点到所述第一地点的实际用时与所述预测用时的差值；
32.当所述差值与所述实际用时的比例小于预设比例时，确定所述第一时空数据记录与所述第二时空数据记录的比对结果满足所述时空约束条件。
33.上述方案中，所述识别模块，还用于通过所述机器学习模型执行以下处理：
34.对所述车辆图像进行卷积处理，得到车辆图像特征图；
35.对所述车辆图像特征图进行卷积处理，得到位置敏感得分图；
36.对所述位置敏感得分图进行池化处理，并对得到的第一池化结果进行归一化处理，得到所述第一外观信息。
37.上述方案中，所述识别模块，还用于：
38.对所述位置敏感得分图进行卷积处理，得到前景特征图和背景特征图；
39.对所述前景特征图和背景特征图进行分类处理，得到提议框；
40.对所述提议框进行池化处理，并对得到的第二池化结果进行归一化处理，得到车检信息特征；
41.对所述车检信息特征进行分类处理，得到包括检测日期和检测类型的车检信息。
42.上述方案中，所述生成模块，还用于：
43.响应于所述第一外观信息中的车辆品牌、车身颜色和车型与对应的所述第二外观信息中的车辆品牌、车身颜色和车型比对一致，生成所述车辆不是套牌车的识别结果。
44.上述方案中，所述生成模块，还用于：
45.响应于所述第一外观信息中的车辆品牌、车身颜色和车型与对应的所述第二外观
信息中的车辆品牌、车身颜色和车型比对一致，且获取的车检信息与所述数据库中与所述车辆关联的车检信息比对一致，生成所述车辆不是套牌车的识别结果；
46.其中，所述获取的车检信息是从所述车辆的车辆图像中识别得到，或者是对所述车辆发送的近距离通信信号进行解调处理得到。
47.上述方案中，所述生成模块，还用于：
48.响应于所述第一外观信息中的车辆品牌、车身颜色和车型对应与所述第二外观信息中的车辆品牌、车身颜色和车型比对一致，且获取的车检信息特征与所述数据库中与所述车辆关联的车检信息特征的相似度高于相似度阈值，生成所述车辆不是套牌车的识别结果；
49.其中，所述获取的车检信息特征是从所述车辆的车辆图像中识别得到。
50.上述方案中，所述生成模块，还用于：
51.当所述第一时空数据记录与所述第二时空数据记录的比对结果不满足时空约束条件时，或者，当所述第一外观信息与所述第二外观信息不一致时，生成所述车辆为套牌车的识别结果。
52.本技术实施例提供一种电子设备，包括：
53.存储器，用于存储可执行指令；
54.处理器，用于执行所述存储器中存储的可执行指令时，实现本技术实施例提供的车辆识别方法。
55.本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本技术实施例提供的车辆识别方法。
56.本技术实施例具有以下有益效果：
57.通过结合车辆的车牌号、实时的时空数据和外观信息来比对是否为套牌车，在检出了违背时空约束条件的车辆的基础上，进一步基于车辆外观来保证车辆的减少了误判的可能性，提高了套牌车识别的效率和精度。
附图说明
58.图1a是本技术实施例提供的车辆识别系统10的架构示意图；
59.图1b是本技术实施例提供的车辆识别系统10的架构示意图；
60.图2是本技术实施例提供的服务器200的结构示意图；
61.图3是本技术实施例提供的车辆识别方法的流程示意图；
62.图4是本技术提供的r-fcn模型处理的流程示意图；
63.图5是本技术实施例提供的车辆识别方法的流程示意图；
64.图6是本技术实施例提供的flink的结构示意图。
具体实施方式
65.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
66.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可
transform)等，其特征提取的速度和精度不高；缺陷二是依赖交管部门的数据库进行比对，车辆数据以流式方式不断产生，若产生的每条数据均与交管部门进行比对，将严重影响比对速度，且会给交管部门的平台带来巨大的业务压力，不利于其实际实施。
78.针对上述问题，本技术实施例提供一种车辆识别方法、装置、电子设备和计算机可读存储介质，能提高套牌车识别的精度和速度，可实施性强。
79.本技术实施例提供的车辆识别方法可以由各种电子设备实施，例如，可以由服务器单独实施，也可以由服务器和终端协同实施。例如服务器独自执行下文所述的车辆识别方法，或者，由终端和服务器协同执行下文所述的车辆识别方法。例如，服务器根据终端中的摄像头发送的车辆图像识别出车辆的车牌号，根据终端中的通信天线(如etc天线)发送的obu数据可以得到车辆的车牌号，当车牌号与从车辆图像中识别出的车牌号一致时，根据车牌号在数据库中搜索车辆的时空数据记录。当时空数据记录满足时空约束条件时，确定车辆在较短的时间内并未出现在两个相距较远的地方。之后，服务器对车辆图像进行解析，得到车辆外观信息和车检标信息，当确定车辆外观信息和车检标信息分别与数据库中同一车牌号下的车辆外观信息和车检信息一致时，确定车辆不是套牌车，否则，确定车辆是套牌车。最后，将车辆是否为套牌车的识别结果根据车牌号存储归档。
80.本技术实施例提供的用于车辆识别的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cd n、以及大数据和人工智能平台等基础云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能摄像头等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例对此不做限制。
81.以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务(aiaas，ai as a service)，aiaas平台会把几类常见的ai服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个ai主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用aiaas平台提供的一种或者多种人工智能服务。
82.例如，其中的一种人工智能云服务可以是车辆识别服务，即云端的服务器封装有本技术实施例提供的车辆识别的程序。终端(如摄像头)在获取车辆图像后，将车辆图像发送给云端的服务器，同时通信天线将与车辆通信得到的o bu数据发送给云端的服务器，以使部署在云端的服务器调用封装的车辆识别的程序，基于obu数据和车辆图像识别车辆是否为套牌车，并将识别结果存储归档。
83.下面以服务器和终端协同实施本技术实施例提供的车辆识别方法为例进行说明。参见图1a，图1a是本技术实施例提供的车辆识别系统10的架构示意图。终端400通过消息中间件300连接服务器200。服务器200包括flink、r-fcn模型和存储器。其中，flink、r-fcn模型以及存储器可以分别存储于不同的服务器中。终端400可以是路侧设备(例如路两侧的智能灯杆)、交通卡口的检测设备(具有采集、近距离通信、数据存储和处理功能)或交通执法车辆上设置的可移动的交通监控设备等，终端400包括通信天线和摄像头。其中，通信天线通过近距离通信技术如蓝牙、wi-fi、紫峰(zigbee)、无线局域网等进行通信。
84.在一些实施例中，本技术实施例可以基于云技术和大数据技术实现，当车辆经过
交通卡口时，交通卡口设置的终端400采集车辆图像，并将车辆图像推送至消息中间件300，消息中间件300将车辆图像发送给r-fcn模型进行处理，得到第一外观信息和车检信息，并将它们发送给flink。同时，通信天线与车辆的obu通信，获取obu数据，通过消息中间件300将obu数据发送给flink。flink基于接收到的第一外观信息、车检信息和obu数据对车辆进行识别，以确定车辆是否为套牌车，并将识别结果存储到存储器中。
85.在一些实施例中，如图1a所示，存储器中的识别结果对外开放接口，可通过各种经授权的应用端(如web、应用程序(app，application)或小程序)访问存储器中的识别结果。
86.在另一些实施例中，本技术实施例还可以通过区块链技术来实现，参见图1b，图1b是本技术实施例提供的车辆识别系统10的架构示意图。其中，区块链网络500用于接收flink发送的识别结果，基于识别结果构建并更新套牌车数据表和套牌车数据表。
87.作为示例，flink在接收消息中间件300发送的obu数据以及r-fcn模型发送的第一外观信息和车检信息后，实时识别出经过交通卡口的车辆是否为套牌车，并将识别结果发送给区块链网络500中，以更新区块链网络500中的套牌车数据表和套牌车数据表，区块链网络中的数据可以开放给公众、交通监察部门查询。
88.以实施本技术实施例的电子设备为图1a示出的服务器200为例，说明本技术实施例提供的电子设备的结构。参见图2，图2是本技术实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器240、至少一个网络接口220。服务器200中的各个组件通过总线系统230耦合在一起。可理解，总线系统230用于实现这些组件之间的连接通信。总线系统230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统230。
89.处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
90.存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。
91.存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom，read only me mory)，易失性存储器可以是随机存取存储器(ram，random access memor y)。本技术实施例描述的存储器240旨在包括任意适合类型的存储器。
92.在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
93.操作系统241，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
94.网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(wifi)、和通用串行总线(usb，universal serial bus)等。
95.在一些实施例中，本技术实施例提供的车辆识别装置可以采用软件方式实现，图2
示出了存储在存储器240中的车辆识别装置243，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2431、识别模块2432、比对模块2433、生成模块2434和确定模块2435，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
96.下面将结合附图对本技术实施例提供的车辆识别方法进行说明，下述车辆识别方法的执行主体可以是服务器，具体可由服务器通过运行上文的各种计算机程序来实现的；当然，根据对下文的理解，不难看出也可以由终端和服务器协同实施本技术实施例提供的车辆识别方法。例如，可以由终端负责下文所涉及的数据(车辆图像和obu数据)的采集，由服务器完成相关数据的处理。
97.参见图3，图3是本技术实施例提供的车辆识别方法的流程示意图，将结合图3示出的步骤进行说明。
98.在步骤101中，获取车辆的实时的第一时空数据记录。
99.在一些实施例中，数据库中包括套牌车数据表、套牌车数据表以及车辆的时空数据记录等。时空数据记录包括车牌号、车身颜色、车型、通过时间和通过地点等。第一时空数据记录是从数据库中获取得到的车辆当前的时空数据记录。
100.在步骤102中，对车辆发送的近距离通信信号进行解调处理，得到车辆的车牌号。
101.在一些实施例中，在每个交通卡口处安装了终端(即路侧设备，路侧设备包括环路感应器、摄像头和通信天线)，当交通卡口处的环路感应器(或其他感应装置)感应到车辆经过时，摄像头将采集车辆的车辆图像，路侧设备中的通信天线与车辆的obu建立近距离通信连接，以获取车辆的车牌号等信息。其中，摄像头在采集车辆图像之后，可通过光学字识别等方法对采集的车辆图像进行初步识别，以确定车辆的车牌号，并将车牌号以字符的形式与车辆图像打包发送给消息中间件，通过消息中间件将车辆图像发送给服务器。
102.在一些实施例中，若车辆安装了车载电子标签，在路侧设备与车辆的obu建立近距离通信连接之后，路侧设备中的通信天线向车辆发送车辆信息请求，并将接收到的近距离通信信号通过消息中间件发送给服务器。近距离通信信号包括车牌号。服务器对近距离通信信号进行解调处理，得到车辆的车牌号。
103.在步骤103中，当基于车辆的车牌号比对通过时，基于车牌号从数据库中查询车辆的历史的第二时空数据记录。
104.在一些实施例中，第二时空数据记录是车辆的最新的时空数据记录，因此，从数据库中查询车辆的历史的第二时空数据记录，即，基于车辆的车牌号查询数据库，得到车辆的最新的时空数据记录，并将最新的时空数据记录作为车辆的历史的第二时空数据记录。
105.在一些实施例中，将车牌号与从车辆的车辆图像中识别出的车牌号进行比对，当车牌号比对一致时，确定将执行基于车牌号从数据库中查询车辆的历史的第二时空数据记录的操作。
106.在另一些可能的示例中，近距离通信信号还包括车检信息，车检信息包括检测日期和检测类型。对车辆发送的近距离通信信号进行解调处理，可以得到车辆的车牌号和车检信息。之后，将车牌号与从车辆的车辆图像中的车牌号进行比对。当车牌号比对一致时，将近距离通信信号中的车检信息与数据库中与车辆关联的车检信息进行比对，当车检信息比对一致时，确定将执行基于车牌号从数据库中查询车辆的历史的第二时空数据记录的操
作。
107.在另一些可能的示例中，车检信息还可以是摄像头从车辆图像中识别出来的，此时，车检信息除了检测日期和检测类型，还包括张贴位置、数量、排列轮廓。此时，上述车检信息的比对，即对检测日期、检测类型、张贴位置、数量和排列轮廓一一进行比对，当这些比对都通过时，即车检信息比对一致。
108.在一些实施例中，若车辆未安装车载电子标签，则无法建立近距离通信连接，无法接收到车辆的近距离通信信号，此时，通过摄像头识别出的车辆图像中的车牌号查询数据库，以确定车辆的历史的第二时空数据记录。其中，若摄像头仅采集了车辆图像，并未从中识别出车牌号，服务器可通过模板匹配、感知器或神经网络模型等从车辆图像中识别出车牌号。
109.可见，本技术实施例在车辆安装了车载电子标签时，可获取车牌号进行车牌号的比对，初步判断车辆是否为套牌车。若车辆未安装车载电子标签，也可通过摄像头/服务器基于车辆图像识别出的车牌号进行车牌号的比对。而且，在车牌号比对之后，还可进一步进行车检信息的比对，进一步明确车辆是否为套牌车，提高车辆识别的准确性。且车检信息的比对不依赖于车辆本身的车检标，因此，不需要对纸质的车检标进行图像识别，精简了比对流程，提高了比对效率，更为准确高效，且有利于去纸质车检标，更为环保。
110.在步骤104中，当第一时空数据记录与第二时空数据记录的比对结果满足时空约束条件时，调用机器学习模型对车辆的车辆图像进行外观信息识别处理，以得到第一外观信息。
111.在一些实施例中，在从数据库中查询车辆的历史的第二时空数据记录之后，确定第一时空数据记录中的第一地点(即实时的地点)和第二时空数据记录中的第二地点(即最新的时空数据记录中的地点)，并获取一段时间内(如过去3分钟内、过去20分钟内等)第一地点与第二地点之间的实时路况信息(包括可能的路径、可能的路径上的车流量、红绿灯情况等)。基于实时路况信息确定从第二地点到第一地点的预测用时。在一些可能的示例中，可以通过多层前馈神经网络模型或图神经网络模型等确定预测用时。当第二地点与第一地点之间存在多条路径时，相应地，存在多个预测用时，将最小的用时作为预测用时。然后，根据第一时空数据记录和第二时空数据记录确定从第二地点到第一地点的实际用时，计算实际用时与预测用时的差值；当差值与实际用时的比例小于预设比例(如10％)时，确定第一时空数据记录与第二时空数据记录的比对结果满足时空约束条件。例如，从地点a到地点b，实际用时为10分钟，而最小的预测用时为12分钟，差值(2分钟)与实际用时(10分钟)的比例(20％)大于预设比例10％，因此，认为不满足时空约束条件。在这种情况下，同一辆车短时间内出现在相隔较远的两个地点，车辆为套牌车。
112.在一些实施例中，当第一时空数据记录与第二时空数据记录的比对结果满足时空约束条件时，调用机器学习模型(如r-fcn模型)对车辆的车辆图像进行外观信息识别处理的过程可参见图4，图4是本技术提供的r-fcn模型处理的流程示意图。首先，对车辆图像进行卷积处理，得到车辆图像特征图。然后，通过全卷积网络模型对车辆图像特征图进行全卷积处理，得到位置敏感得分图。位置敏感得分图是具有平移可变性的特征图，位置敏感得分图用于描述某一类别的人/物的局部在图中的位置，在人/物的局部所在位置处具有高响应值，当位置改变时，响应值将会发生较大的变化，因此，其对位置的变化较为敏感。之后，对
位置敏感得分图进行池化处理(如平均池化处理)，并对得到的第一池化结果进行归一化处理，得到第一外观信息。第一外观信息包括车辆品牌、车身颜色和车型。在一些可能的示例中，第一外观信息还可以包括车牌号。因为摄像头所识别出的车牌号的精确度不高，此处通过r-fcn模型再次对车辆图像进行处理，所识别出车牌号的精确度更高，更为准确，后续可基于r-fcn模型识别出的车牌号从数据库中查询与车辆关联的第二外观信息。
113.在一些实施例中，在得到位置敏感得分图之后，还会对位置敏感得分图进行卷积处理，得到前景特征图和背景特征图。对前景特征图和背景特征图进行分类处理，得到提议框。还可通过边框回归对提议框进行修正，即通过边框回归计算提议框的偏移情况，根据偏移情况对提议框进行修正。之后，对提议框进行池化处理，并对得到的第二池化结果进行归一化处理，得到车检信息特征。最后，对车检信息特征进行分类处理，将车检信息特征分别映射为不同检测日期所对应的概率以及不同检测类型对应的概率，取概率最大的检测日期作为车辆的检测日期，取概率最大的检测类型作为车辆的检测类型，从而得到包括检测日期和检测类型的车检信息。
114.在一些实施例中，用于训练上述机器学习模型的样本来自于交通卡口的摄像机抓拍的车辆图像，其中，样本的标签包括车牌号等外观信息、车辆的检测日期和检测类型。
115.可见，本技术实施例通过第一时空数据记录与第二时空数据记录的比对，可以进一步确定车辆是否为套牌车。在比对时空数据记录时，获取实时路况信息以确定预测时间，基于预测时间和实际时间判断车辆是否为套牌车，相对于相关技术中通过两点间的距离除以时间得到速度，并根据速度判断是否为套牌车这种方法，实时性更强，判断结果更为准确。且本技术实施例通过r-fcn模型获取车辆的相关信息(第一外观信息和车检信息)，相比于传统的特征提取算法，精度更高，提取速度更快。
116.在步骤105中，从数据库中查询与车辆关联的第二外观信息，将第一外观信息与第二外观信息进行比对。
117.在一些实施例中，基于车牌号从数据库中查询与车辆关联的第二外观信息，将第一外观信息中的车辆品牌、车身颜色和车型分别与对应的第二外观信息中的车辆品牌、车身颜色和车型一一进行比对。
118.在步骤106中，基于比对结果生成表征车辆是否为套牌车的识别结果。
119.在一些实施例中，若第一外观信息中的车辆品牌、车身颜色和车型与对应的第二外观信息中的车辆品牌、车身颜色和车型比对一致，生成车辆不是套牌车的识别结果。
120.在另一些实施例中，若第一外观信息中的车辆品牌、车身颜色和车型与对应的第二外观信息中的车辆品牌、车身颜色和车型比对一致，确定外观信息比对通过。之后，将车检信息与数据库中与车辆关联的车检信息进行比对，若比对一致，生成车辆不是套牌车的识别结果。其中，车检信息是通过r-fcn模型对车辆图像进行处理得到的，或者是对车辆发送的近距离通信信号进行解调处理得到。
121.在一些可能的示例中，考虑到对近距离通信信号解调得到的车检信息的精确度相较于通过r-fcn模型对车辆图像进行解析得到的车检信息的精确度更高，当对近距离通信信号解调可以得到车检信息时，以对近距离通信信号解调得到的车检信息为准进行车检信息的比对。如此，可以快速得到车检信息，且车检信息的精确度更高。当无法从近距离通信信号中得到车检信息时，以通过r-fcn模型对车辆图像进行处理得到的车检信息为准进行
车检信息的比对。如此，得到的车检信息更为丰富全面，且得到的车检信息可进入样本数据库中用于对r-fcn模型进行增量训练，优化r-fcn模型。
122.在另一些实施例中，若第一外观信息中的车辆品牌、车身颜色和车型对应与第二外观信息中的车辆品牌、车身颜色和车型比对一致，且通过r-fcn模型对车辆图像进行处理得到的车检信息特征与数据库中与车辆关联的车检信息特征的相似度高于相似度阈值，生成车辆不是套牌车的识别结果。其中，可以计算需要比对的两个车检信息特征之间的余弦相似度，当余弦相似度大于相似度阈值时，确定车辆不是套牌车；当余弦相似度小于或等于相似度阈值时，确定车辆是套牌车。
123.在一些实施例中，当第一时空数据记录与第二时空数据记录的比对结果不满足时空约束条件时，或者，当第一外观信息与第二外观信息不一致时，生成车辆为套牌车的识别结果。
124.在一些实施例中，在基于比对结果生成表征车辆是否为套牌车的识别结果之后，还会将识别结果存储到数据库中，即将套牌车的车牌号写入套牌车数据表，将确定不是套牌车的车牌号写入非套牌车数据表。如此，应用端可在数据库对外开放接口后，通过接口访问套牌车数据表和非套牌车数据表。
125.可见，在本技术实施例中，通过结合车辆的车牌号、实时的时空数据和外观信息来比对是否为套牌车，在检出了违背时空约束条件的车辆的基础上，进一步基于车辆外观来保证车辆的减少了误判的可能性，提高了套牌车识别的效率和精度。
126.下面，将说明本技术实施例在交通场景中的示例性应用。
127.如1a所示，部署在交通卡口的通信天线与摄像头分别将采集到的obu数据与车辆图像推送至消息中间件。消息中间件是一个分布式、高吞吐量、高可扩展性的消息系统，它采用订阅/发布模式，能够向下订阅并向上发布海量数据，避免因推送数据量过多导致的数据拥塞、丢失现象。消息中间件可以是开源消息组件kafka。
128.消息中间件将车辆图像推送给r-fcn模型，r-fcn模型对车辆图像进行目标检测并提取特征，输出车辆图像中的三元组特征(即第一外观信息)和车检信息特征。
129.之后，obu数据、三元组特征及车检信息特征被发送到flink的作业管理器，作业管理器统一分配多个比对任务给多个任务管理器，任务管理器基于预设的策略进行批量处理，确定车辆是否为套牌车，最后将处理结果(即识别结果)进行存储归档。
130.存储归档后的结果数据对外开放接口，通过各种经授权的应用端访问归档后的结果数据。
131.在一些实施例中，上述过程可通过图5中的步骤201至步骤211说明。
132.在步骤201中，通过摄像头采集车辆图像，并建立通信天线与obu的连接。
133.车辆行驶进入交通卡口范围，通过摄像头采集车辆图像，摄像头在采集车辆图像之后，还会对车辆图像进行解析，得到车牌号，并将车牌号通过消息中间件发送给flink。同时，交通卡口的通信天线通过dsrc协议唤醒obu中的车载电子标签，以建立二者间的连接。
134.在步骤202中，确定车辆是否安装车载电子标签，若安装，执行步骤203；若未安装，执行步骤206。
135.若未能建立连接，且网络通信无故障，确定车辆未安装车载电子标签，执行步骤206。若成功建立连接，则确定车辆安装了车载电子标签。
136.在步骤203中，读取车载电子标签中的车牌号。
137.通过通信天线接收并读取车载电子标签中的车牌号。
138.在步骤204中，确定车牌号是否与摄像头采集的车辆图像中的车牌号一致，若不一致，执行步骤205；若一致，执行步骤206。
139.将车牌号推送至flink，flink通过任务管理器对车载电子标签中的车牌号与摄像头对车辆图像解析得到的车牌号进行比对，若不一致，则判定车辆为套牌车，将车牌号写入套牌车数据表。若一致，执行步骤206。
140.在步骤205中，将车牌号写入套牌车数据表。
141.数据库中包括套牌车数据表和非套牌车数据表，这两张表中都记录了对应的车辆的车牌号、车辆品牌、车型和车身颜色等数据。
142.在步骤206中，从数据库中查找车辆的时空数据记录。
143.数据库中还包括车辆的时空数据记录，即车辆在不同时间点经过的地点，所经过的地点可以经纬度参数的形式表示。如表1所示，表1为本技术实施例提供的时空约束元组表，表1中所记录的车牌号为粤b*******的车辆经过了地点a(114.25236，22.612395)和地点b(113.876078，22.596647)。
[0144][0145]
表1时空约束元组表
[0146]
在步骤207中，基于时空数据记录进行时空比对，确定是否满足时空约束条件，若不满足，执行步骤205；若一致，执行步骤208。
[0147]
根据车辆的最新的时空数据记录中的时间和当前时间得到两地点间的实际用时，基于最新的时空数据记录中的地点a、车辆当前所在地点b以及实际用时(125分钟)构建时空约束元组，如上表1所示。
[0148]
将时空约束元组作为输入参数，输入flink中的实时路径规划任务管理器，以根据当前的实际路况，规划出从地点a至地点b的最短驾驶时间。若最短驾驶时间大于时空约束元组中的实际用时10％及以上，则判定车辆为套牌车，将车牌号写入套牌车数据表。反之，执行步骤208。
[0149]
在步骤208中，确定车辆的三元组特征和车检信息特征，其中，三元组特征包括车辆品牌、车身颜色和车型。
[0150]
如图1a所示，交通卡口的摄像头将车辆图像上传至消息中间件，由消息中间件分发至r-fcn模型之后，通过r-fcn模型确定车辆的三元组特征(即第一外观信息)和车检信息特征。
[0151]
参见图4，图4是本技术提供的r-fcn模型处理的流程示意图。首先，对车辆图像进行卷积处理，得到车辆图像特征图。然后，将车辆图像特征图作为全卷积网络(fcn，fully convolutional networks)模型的输入，对车辆图像进行全卷积处理，得到位置敏感得分图。之后，对位置敏感得分图进行池化处理，并对得到的第一池化结果进行归一化处理，得
到包括车牌号、车辆品牌、车身颜色和车型的第一外观信息。
[0152]
在得到位置敏感得分图后，还可通过区域选取网络(rpn，region propos al network)模型对位置敏感得分图进行处理，得到提议框；对提议框进行池化处理，并对得到的第二池化结果进行归一化处理，得到车检信息特征。
[0153]
在步骤209中，确定三元组特征与数据库中同车牌号的三元组特征是否一致，若不一致，执行步骤205；若一致，执行步骤210。
[0154]
将三元组特征输入flink中，通过任务管理器对属于同一车牌号下的三元组特征进行比对，如果一致，则进入车检信息特征的比对。如果不一致，判定车辆为套牌车，将车牌号写入套牌车数据表。
[0155]
在步骤210中，确定车检信息特征与数据库中同车牌号的车检信息特征是否一致，若不一致，执行步骤205；若一致，执行步骤211。
[0156]
车检信息特征描述了车检标的张贴位置信息、数量信息、排列轮廓信息。将该车检信息特征与数据库中同一车牌号下的车检信息特征做余弦相似度计算。如果计算结果大于相似度阈值，则判定两者为同一辆车。反之，则判定车辆为套牌车，将车牌号写入套牌车数据表。
[0157]
在步骤211中，将车牌号写入非套牌车数据表。
[0158]
当步骤210中的计算结果大于相似度阈值时，将车辆的车牌号写入非套牌车数据表。
[0159]
以下对上文所述的flink进行介绍。如图6所示，图6是本技术实施例提供的flink的结构示意图。flink包括应用管理器和任务管理器，其中，应用管理器包括调度器、资源管理器和作业管理器。任务管理器包括任务和状态后端，状态后端可实时存储任务的处理状态，防止在处理中的任务因意外故障导致丢失。由上文可知，一共需要进行4次分层特征比对，分别是车牌号比对、时空数据记录比对、三元组特征比对和车检信息特征比对。首先，消息中间件将待处理任务(分层特征比对任务)提交给集群管理器，然后集群管理器调度并启动应用管理器，表示已接受该任务。消息中间件将待处理数据提交给调度器，由调度器来统一将任务调度给作业管理器，并确定各个任务执行的先后顺序等。
[0160]
然后，作业管理器接收调度器的启动指令，将来自于调度器的数据处理请求置入作业管理器中，作业管理器负责统筹所有的作业指令，并向资源管理器申请处理任务所需的资源。若资源管理器资源不足，向集群管理器申请资源。
[0161]
之后，集群管理器为该任务分配资源，并下发指令启动任务管理器，任务管理器向作业管理器提供资源，作业管理器将待处理的任务提交给任务管理器，以使其根据预设的处理逻辑来进行数据处理。
[0162]
最后，输出处理结果。任务管理器按照分层特征比对逻辑处理完之后，将处理结果进行归档存储。
[0163]
可见，本技术实施例获取了车辆通过交通卡口时的时间地点等信息，综合利用etc技术、r-fcn模型、flink流式大数据处理技术和实时路径规划技术，实现对套牌车的快速、准确判断。通过实时路径规划解决了时空约束中的非实时问题。r-fcn模型相较于传统的特征提取算法，具备更快、更准、特征量更多的优势。flink流式大数据处理技术，同时支持批处理任务与流处理任务，更为高效，支持城市级海量车辆记录的实时接入与处理，不依赖外
部交管等第三方平台的接口调用，处理速度更快、可实施性更高。
[0164]
下面继续说明本技术实施例提供的车辆识别装置243的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器240的车辆识别装置243中的软件模块可以包括：获取模块2431、识别模块2432、比对模块2433、生成模块2434。
[0165]
获取模块2431，用于获取车辆的实时的第一时空数据记录；以及用于对车辆发送的近距离通信信号进行解调处理，得到车辆的车牌号；以及用于当基于车辆的车牌号比对通过时，基于车牌号从数据库中查询车辆的历史的第二时空数据记录；识别模块2432，用于当第一时空数据记录与第二时空数据记录的比对结果满足时空约束条件时，调用机器学习模型对车辆的车辆图像进行外观信息识别处理，以得到第一外观信息；比对模块2433，用于从数据库中查询与车辆关联的第二外观信息，将第一外观信息与第二外观信息进行比对；生成模块2434，用于基于比对结果生成表征车辆是否为套牌车的识别结果。
[0166]
在一些实施例中，车辆识别装置还包括确定模块2435，用于将通过解调处理得到的车牌号，与从车辆的车辆图像中识别出的车牌号进行比对；当比对一致时，确定基于车辆的车牌号比对通过。
[0167]
在一些实施例中，确定模块2435，还用于对车辆发送的近距离通信信号进行解调处理，得到车辆的车检信息；当比对一致时，将车检信息与数据库中与车辆关联的车检信息进行比对；当基于车辆的车牌号比对通过时，确定将执行基于车牌号从数据库中查询车辆的历史的第二时空数据记录的操作。
[0168]
在一些实施例中，确定模块2435，还用于响应于未接收到车辆的近距离通信信号，获取车辆图像，并确定将执行基于从车辆图像中识别出的车牌号的查询操作，查询操作用于从数据库中查询车辆的历史的第二时空数据记录。
[0169]
在一些实施例中，获取模块2431，还用于基于车辆的车牌号查询数据库，得到车辆的最新的时空数据记录；将最新的时空数据记录作为车辆的历史的第二时空数据记录。
[0170]
在一些实施例中，确定模块2435，还用于获取车辆的实时路况信息，并基于实时路况信息确定从第二时空数据记录中的第二地点到第一时空数据记录中的第一地点的预测用时；确定从第二地点到第一地点的实际用时与预测用时的差值；当差值与实际用时的比例小于预设比例时，确定第一时空数据记录与第二时空数据记录的比对结果满足时空约束条件。
[0171]
在一些实施例中，识别模块2432，还用于通过机器学习模型执行以下处理：对车辆图像进行卷积处理，得到车辆图像特征图；对车辆图像特征图进行卷积处理，得到位置敏感得分图；对位置敏感得分图进行池化处理，并对得到的第一池化结果进行归一化处理，得到第一外观信息。
[0172]
在一些实施例中，识别模块2432，还用于对位置敏感得分图进行卷积处理，得到前景特征图和背景特征图；对前景特征图和背景特征图进行分类处理，得到提议框；对提议框进行池化处理，并对得到的第二池化结果进行归一化处理，得到车检信息特征；对车检信息特征进行分类处理，得到包括检测日期和检测类型的车检信息。
[0173]
在一些实施例中，生成模块2434，还用于响应于第一外观信息中的车辆品牌、车身颜色和车型与对应的第二外观信息中的车辆品牌、车身颜色和车型比对一致，生成车辆不是套牌车的识别结果。
[0174]
在一些实施例中，生成模块2434，还用于响应于第一外观信息中的车辆品牌、车身颜色和车型与对应的第二外观信息中的车辆品牌、车身颜色和车型比对一致，且获取的车检信息与数据库中与车辆关联的车检信息比对一致，生成车辆不是套牌车的识别结果；其中，获取的车检信息是从车辆的车辆图像中识别得到，或者是对车辆发送的近距离通信信号进行解调处理得到。
[0175]
在一些实施例中，生成模块2434，还用于响应于第一外观信息中的车辆品牌、车身颜色和车型对应与第二外观信息中的车辆品牌、车身颜色和车型比对一致，且获取的车检信息特征与数据库中与车辆关联的车检信息特征的相似度高于相似度阈值，生成车辆不是套牌车的识别结果；其中，获取的车检信息特征是从车辆的车辆图像中识别得到。
[0176]
在一些实施例中，生成模块2434，还用于当第一时空数据记录与第二时空数据记录的比对结果不满足时空约束条件时，或者，当第一外观信息与第二外观信息不一致时，生成车辆为套牌车的识别结果。
[0177]
本技术实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的车辆识别方法，例如，如图3示出的车辆识别方法。
[0178]
在一些实施例中，存储介质可以是fram、rom、prom、eprom、ee prom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0179]
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
[0180]
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(h tml，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
[0181]
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0182]
综上所述，本技术实施例通过车辆的车牌号以及实时的时空数据的比对，确保了数据比对的实时性，可以初步判断车辆是否为套牌车；在此基础上，通过车辆的外观信息以及车检信息的比对来确定车辆是否为套牌车，减少了误判的可能性，提高了车辆识别的精度。在进行时空数据的比对时，通过实时路径规划解决了时空约束中的非实时问题。通过r-fcn模型获取第一外观信息和车检信息，相较于传统的特征提取算法，提取速度更快，精度更高，特征量更多。此外，利用flink流式大数据处理技术处理比对任务，可支持批处理任务与流处理任务，更为高效，还可支持城市级海量车辆记录的实时接入与处理，不依赖外部交管等第三方平台的接口调用，处理速度更快、可实施性更高。
[0183]
以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。