一种车辆识别和追踪的检测方法及设备与流程

1.本发明涉及交通技术领域，更具体地，涉及一种车辆识别和追踪的检测方法及设备。


背景技术：

2.自全国省界主线站正式取消开始，高速公路收费模式也随之发生了翻天覆地的变化，新政策的实施促使客货车的车型识别成为收费环节中重要的一点，是影响车辆通行费用计算的核心因素。目前对车辆信息的取证主要包括抓拍车辆车头、车身、车尾图像，同时将车辆进入收费车道的过车视频也需要进行录制尤其重要，还需要能够自动识别车型，因为不同的车型其收费标准不同。
3.经过市场筛选与技术迭代，目前对收费车辆的车型识别主要依靠对车辆轮轴类型的识别；而车辆的识别和追踪，主要是采用相机拍摄、激光雷达扫描，然后对图片或视频进行处理。视野有限的情况下，需要进行图像过滤、图像形变处理和图像拼接，但是图像拼接容易受到其他物体(非目标车辆)的干扰，不同的车辆之间容易混乱。为了解决倒车、堵车等特殊情况容易导致图像拼接混乱的问题，车辆追踪致力于锁定同一个目标车辆，从而减少误判的情况，但是车辆运行中的速度很快，该方面还有待于持续提高。另一方面，在车流量大的情况下，还需要车辆锁定稳定，则还需要提高识别速度和准确性，这样才能保证车流量大、倒车、堵车等情况下，都能保证良好的输出结果。
4.有鉴于此，本发明提供一种车辆识别和追踪的检测方法及设备，输出结果准确性高，目标车辆锁定稳定、图像拼接效果好，并且识别速度快。


技术实现要素：

5.本发明的目的在于，提供一种车辆识别和追踪的检测方法及设备，输出结果准确性高，目标车辆锁定稳定、图像拼接效果好，并且识别速度快。
6.本技术的第一方面，提供一种车辆识别和追踪的检测方法，包括步骤：
7.s1，采用第一广角相机对目标车辆进行全程追踪，当目标车辆进入第一广角相机的车头识别区域，所述第一广角相机发出指令启动第一抓拍相机对目标车辆的车头进行抓拍；
8.s2，当目标车辆进入第一广角相机的车身拼接区域，第一广角相机指令第二广角相机对目标车辆进行拍摄以及车身拼接；
9.s3，当目标车辆进入第一广角相机的车尾识别区域，第一广角相机发出指令启动第二抓拍相机对目标车辆的车尾进行抓拍。
10.在一些实施方式中，车辆进入第一广角相机视野范围内，第一广角相机对进入视野范围内的所有车辆进行识别和全程追踪；并且第一广角相机能够判定目标车辆进入哪个视野划分区域。
11.进一步的，所述第一广角相机内设有训练好的检测模型，第一广角相机采集的实
时图像通过所述检测模型，自动对车辆进行识别和标注检测框；然后对目标车辆进行追踪，一个目标车辆具有唯一车辆id，标注检测框随着目标车辆运动，准确锁定运动过程中的目标车辆；同时，所述检测模型还能够识别目标车辆进入第一广角相机的哪个视野划分区域，然后第一广角相机发出指令到相应的第一抓拍相机、第二广角相机或第二抓拍相机。
12.进一步的，所述检测模型利用软件依靠深度学习网络完成训练，同一辆车在运动过程中保持所述检测框稳定且具有同一个车辆id。
13.进一步的，所述检测模型能够识别目标车辆进入车头识别区域、车身拼接区域和车尾识别区域，且分别发出信号到第一抓拍相机、第二广角相机和第二抓拍相机，从而获得同一辆车的车头、车身和车尾三张图片。
14.在一些实施方式中，在步骤s1中，所述第一抓拍相机抓拍一张目标车辆的车头图片，所述车头图片需要将整个车的头部拍全，所述第一抓拍相机将抓拍的车头图片传输到整合系统。
15.进一步的，所述第一抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车头的车牌进行识别。
16.在一些实施方式中，在步骤s2中，当目标车辆进入第一广角相机的车身拼接区域的拼接起始区域，第一广角相机发出信号到第二广角相机，第二广角相机启动拼接线程；当目标车辆进入第一广角相机的车身拼接区域的拼接结束区域，第二广角相机结束拼接并且获得目标车辆的车型和拼接好的车身图片。
17.进一步的，启动拼接线程则第二广角相机边拍摄边进行车身拼接，所述第二广角相机具有拼接和车型识别模块，第二广角相机采集的实时图像通过所述拼接和车型识别模块，自动对车辆进行车型识别以及车身拼接，所述拼接和车型识别模块采用多帧图像对目标车辆的车身进行拼接，拼接好的车身图片第二广角相机传输到整合系统。
18.进一步的，所述车身拼接利用拼接和车型识别模块，首先将参考帧图像和当前帧图像分别转换为灰度格式，再分别按照累加灰度值得到参考帧信号和当前帧信号，再利用互相关函数求取这两帧信号的时延，根据时延进行信号平移完成参考帧信号与当前帧信号的拼接，再根据累加灰度值进行这两帧数据的对齐，再将拼接后的信号根据灰度累加值还原成拼接后的图像。
19.进一步的，车身拼接时，对于同一个目标车辆，利用40-100帧图像进行车身拼接。
20.进一步的，所述车型识别利用拼接和车型识别模块，对第二广角相机获得的多帧图片进行模型推理，将模型输出的预测的轮轴类型与标注的真值对比，得到正确率，正确率合格则输出轮轴类型，获得目标车辆的车型。
21.在一些实施方式中，在步骤s3中，所述第二抓拍相机抓拍一张目标车辆的车尾图片，所述车尾图片需要将整个车的尾部拍全，所述第二抓拍相机将抓拍的车尾图片传输到整合系统。
22.进一步的，所述第二抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车尾的车牌进行识别。
23.在一些实施方式中，整合系统将接收到的车头图片、车尾图片和拼接的车身图片，传输到服务平台。
24.在一些实施方式中，所述第一广角相机、第二广角相机、第一抓拍相机和第二抓拍
相机设置在同一个设备内，该设备设置在车道边。
25.进一步的，第一广角相机和第二广角相机设置在一列，第一抓拍相机和第二抓拍相机分别设置在第一广角相机和第二广角相机的两侧，该设备设置在车道边。
26.进一步的，所述第一广角相机和第二广角相机面向车道，第一广角相机和第二广角相机的中轴线与车道线垂直，第一抓拍相机和第二抓拍相机与车道线之间具有夹角，该夹角为10
°‑
80
°
；所述设备安装在距离过车车辆4米-8米的位置。
27.在一些实施方式中，所述第一广角相机和第二广角相机均为鱼眼相机，所述鱼眼相机的视角为160
°‑
230
°
。优选的，所述鱼眼相机的视角为200
°‑
230
°
。
28.进一步的，所述第一广角相机为300万像素、输出频率为25帧，第一抓拍相机、第二抓拍相机和第二广角相机为500万像素、输出频帧50帧。
29.本技术的第二方面，提供一种车辆识别和追踪的设备，所述设备包括：
30.第一广角相机，第一广角相机对目标车辆进行识别和全程追踪，第一广角相机在视野范围内划分为车头识别区域、车身拼接区域和车尾识别区域，目标车辆进入不同的视野区域，第一广角相机发出信号到不同的装置；
31.第一抓拍相机，当目标车辆进入第一广角相机的车头识别区域，第一抓拍相机接收到第一广角相机发出的信号，第一抓拍相机对目标车辆的车头进行抓拍；
32.第二广角相机，当目标车辆进入第一广角相机的车身拼接区域，第二广角相机接收到第一广角相机发出的信号，第二广角相机对目标车辆进行拍摄以及车身拼接；
33.第二抓拍相机，当目标车辆进入第一广角相机的车尾识别区域，第二抓拍相机接收到第一广角相机发出的信号，第二抓拍相机对目标车辆的车尾进行抓拍。
34.在一些实施方式中，车辆进入第一广角相机视野范围内，第一广角相机对进入视野范围内的所有车辆进行识别和全程追踪；并且第一广角相机能够判定目标车辆进入哪个视野划分区域。
35.进一步的，所述第一广角相机内设有训练好的检测模型，第一广角相机采集的实时图像通过所述检测模型，自动对车辆进行识别和标注检测框；然后对目标车辆进行追踪，一个目标车辆具有唯一车辆id，标注检测框随着目标车辆运动，准确锁定运动过程中的目标车辆；同时，所述检测模型还能够识别目标车辆进入第一广角相机的哪个视野划分区域，然后第一广角相机发出指令到相应的第一抓拍相机、第二广角相机或第二抓拍相机。
36.进一步的，所述检测模型利用软件依靠深度学习网络完成训练，同一辆车在运动过程中保持所述检测框稳定且具有同一个车辆id。
37.进一步的，所述检测模型能够识别目标车辆进入车头识别区域、车身拼接区域和车尾识别区域，且分别发出信号到第一抓拍相机、第二广角相机和第二抓拍相机，从而获得同一辆车的车头、车身和车尾三张图片。
38.在一些实施方式中，所述第一抓拍相机抓拍一张目标车辆的车头图片，所述车头图片需要将整个车的头部拍全，所述第一抓拍相机将抓拍的车头图片传输到整合系统。
39.进一步的，所述第一抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车头的车牌进行识别。
40.在一些实施方式中，当目标车辆进入第一广角相机的车身拼接区域的拼接起始区域，第一广角相机发出信号到第二广角相机，第二广角相机启动拼接线程；当目标车辆进入
第一广角相机的车身拼接区域的拼接结束区域，第二广角相机结束拼接并且获得目标车辆的车型和拼接好的车身图片。
41.进一步的，启动拼接线程则第二广角相机边拍摄边进行车身拼接，所述第二广角相机具有拼接和车型识别模块，第二广角相机采集的实时图像通过所述拼接和车型识别模块，自动对车辆进行车型识别以及车身拼接，所述拼接和车型识别模块采用多帧图像对目标车辆的车身进行拼接，拼接好的车身图片第二广角相机传输到整合系统。
42.进一步的，所述车身拼接利用拼接和车型识别模块，首先将参考帧图像和当前帧图像分别转换为灰度格式，再分别按照累加灰度值得到参考帧信号和当前帧信号，再利用互相关函数求取这两帧信号的时延，根据时延进行信号平移完成参考帧信号与当前帧信号的拼接，再根据累加灰度值进行这两帧数据的对齐，再将拼接后的信号根据灰度累加值还原成拼接后的图像。
43.进一步的，车身拼接时，对于同一个目标车辆，利用40-100帧图像进行车身拼接。
44.进一步的，所述车型识别利用拼接和车型识别模块，对第二广角相机获得的多帧图片进行模型推理，将模型输出的预测的轮轴类型与标注的真值对比，得到正确率，正确率合格则输出轮轴类型，获得目标车辆的车型。
45.在一些实施方式中，所述第二抓拍相机抓拍一张目标车辆的车尾图片，所述车尾图片需要将整个车的尾部拍全，所述第二抓拍相机将抓拍的车尾图片传输到整合系统。
46.进一步的，所述第二抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车尾的车牌进行识别。
47.在一些实施方式中，整合系统将接收到的车头图片、车尾图片和拼接的车身图片，传输到服务平台。
48.在一些实施方式中，所述设备设置在车道边，所述第一广角相机和第二广角相机面向车道，第一广角相机和第二广角相机的中轴线与车道线垂直，第一抓拍相机和第二抓拍相机与车道线之间具有夹角，该夹角为10
°‑
80
°
；所述设备安装在距离过车车辆4米-8米的位置。
49.进一步的，所述第一广角相机和第二广角相机设置在一列，第一抓拍相机和第二抓拍相机分别设置在第一广角相机和第二广角相机的两侧。
50.在一些实施方式中，所述第一广角相机和第二广角相机均为鱼眼相机，所述鱼眼相机的视角为160
°‑
230
°
。优选的，所述鱼眼相机的视角为200
°‑
230
°
。
51.进一步的，所述第一广角相机为300万像素、输出频率为25帧，第一抓拍相机、第二抓拍相机和第二广角相机为500万像素、输出频帧50帧。
52.与现有技术相比，本技术的优点在于：
53.(1)本技术设计利用第一广角相机对视野内的所有目标车辆进行识别和全程追踪，一个目标车辆在运动过程中具有唯一id，标注检测框随着目标车辆运动，并且对车辆id进行分配，两个抓拍相机和拼接相机对同一个目标车辆标记相同的车辆id，因此获得的车头抓拍图片、车身拼接图片和车尾抓拍图片具有对应性，输出结果准确性高。
54.(2)第一广角相机全程追踪具有时间连贯的视频，并且只要进入车头车尾抓拍区域则两个抓拍相机就会启动，车身拼接区域内还划分为三个区域，在相应的区域也会输出相应的指令，第一广角相机与其他三个相机有相互印证的作用。通过时间队列等方式进行
逻辑判断，彻底解决队列问题，对倒车、堵车等情况，分容易分辨，能够准确判断。
55.(3)将第一广角相机的视野划分为了3个大的区域和5个小的区域，根据目标车辆进入哪个区域则分别启动另外的三个相机进行抓拍和拼接。其中，在拍车头的最佳位置启动车头抓拍相机获得最佳车头图片；在视野中部启动第二广角相机对车身进行拍摄和拼接，也获得车身拼接的理想原始视频/图片，车身的拼接效果好；在拍车尾的最佳位置启动车尾抓拍相机获得最佳的车尾图片。根据区域来分别启动不同的设备，让另外的设备来分别完成相应的工作，提高识别速度，也增加了通行率。
附图说明
56.结合以下附图一起阅读时，将会更加充分地描述本技术内容的上述和其他特征。可以理解，这些附图仅描绘了本技术内容的若干实施方式，因此不应认为是对本技术内容范围的限定。通过采用附图，本技术内容将会得到更加明确和详细地说明。
57.图1为本技术的车辆识别和追踪的检测方法和设备的第一广角相机的视野区域划分示意图。
具体实施方式
58.描述以下实施例以辅助对本技术的理解，实施例不是也不应当以任何方式解释为限制本技术的保护范围。
59.在以下描述中，本领域的技术人员将认识到，在本论述的全文中，组件可描述为单独的功能单元(可包括子单元)，但是本领域的技术人员将认识到，各种组件或其部分可划分成单独组件，或者可整合在一起(包括整合在单个的系统或组件内)。
60.同时，组件或系统之间的连接并不旨在限于直接连接。相反，在这些组件之间的数据可由中间组件修改、重格式化、或以其它方式改变。另外，可使用另外或更少的连接。还应注意，术语“联接”、“连接”、或“输入”“固定”应理解为包括直接连接、通过一个或多个中间媒介来进行的间接的连接或固定。
61.实施例1：
62.一种车辆识别和追踪的检测方法，包括步骤：s1，采用第一广角相机对目标车辆进行全程追踪，当目标车辆进入第一广角相机的车头识别区域，所述第一广角相机发出指令启动第一抓拍相机对目标车辆的车头进行抓拍；s2，当目标车辆进入第一广角相机的车身拼接区域，第一广角相机指令第二广角相机对目标车辆进行拍摄以及车身拼接；s3，当目标车辆进入第一广角相机的车尾识别区域，第一广角相机发出指令启动第二抓拍相机对目标车辆的车尾进行抓拍。其中，第一广角相机的视野划分区域示意图参见图1。
63.车辆进入第一广角相机视野范围内，第一广角相机对进入视野范围内的所有车辆进行识别和全程追踪；并且第一广角相机能够判定目标车辆进入哪个视野划分区域。所述第一广角相机内设有训练好的检测模型，第一广角相机采集的实时图像通过所述检测模型，自动对车辆进行识别和标注检测框；然后对目标车辆进行追踪，一个目标车辆具有唯一车辆id，标注检测框随着目标车辆运动，准确锁定运动过程中的目标车辆；同时，所述检测模型还能够识别目标车辆进入第一广角相机的哪个视野划分区域，然后第一广角相机发出指令到相应的第一抓拍相机、第二广角相机或第二抓拍相机。所述检测模型利用软件依靠
深度学习网络完成训练，同一辆车在运动过程中保持所述检测框稳定且具有同一个车辆id。所述检测模型能够识别目标车辆进入车头识别区域、车身拼接区域和车尾识别区域，且分别发出信号到第一抓拍相机、第二广角相机和第二抓拍相机，从而获得同一辆车的车头、车身和车尾三张图片。
64.在步骤s1中，所述第一抓拍相机抓拍一张目标车辆的车头图片，所述车头图片需要将整个车的头部拍全，所述第一抓拍相机将抓拍的车头图片传输到整合系统。所述第一抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车头的车牌进行识别。
65.在步骤s2中，当目标车辆进入第一广角相机的车身拼接区域的拼接起始区域，第一广角相机发出信号到第二广角相机，第二广角相机启动拼接线程；当目标车辆进入第一广角相机的车身拼接区域的拼接结束区域，第二广角相机结束拼接并且获得目标车辆的车型和拼接好的车身图片。启动拼接线程则第二广角相机边拍摄边进行车身拼接，所述第二广角相机具有拼接和车型识别模块，第二广角相机采集的实时图像通过所述拼接和车型识别模块，自动对车辆进行车型识别以及车身拼接，所述拼接和车型识别模块采用多帧图像对目标车辆的车身进行拼接，拼接好的车身图片第二广角相机传输到整合系统。所述车身拼接利用拼接和车型识别模块，首先将参考帧图像和当前帧图像分别转换为灰度格式，再分别按照累加灰度值得到参考帧信号和当前帧信号，再利用互相关函数求取这两帧信号的时延，根据时延进行信号平移完成参考帧信号与当前帧信号的拼接，再根据累加灰度值进行这两帧数据的对齐，再将拼接后的信号根据灰度累加值还原成拼接后的图像。车身拼接时，对于同一个目标车辆，利用50帧图像进行车身拼接。所述车型识别利用拼接和车型识别模块，对第二广角相机获得的多帧图片进行模型推理，将模型输出的预测的轮轴类型与标注的真值对比，得到正确率，正确率合格则输出轮轴类型，获得目标车辆的车型。
66.在步骤s3中，所述第二抓拍相机抓拍一张目标车辆的车尾图片，所述车尾图片需要将整个车的尾部拍全，所述第二抓拍相机将抓拍的车尾图片传输到整合系统。所述第二抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车尾的车牌进行识别。整合系统将接收到的车头图片、车尾图片和拼接的车身图片，传输到服务平台。
67.所述第一广角相机、第二广角相机、第一抓拍相机和第二抓拍相机设置在同一个设备内，第一广角相机和第二广角相机设置在一列，第一抓拍相机和第二抓拍相机分别设置在第一广角相机和第二广角相机的两侧，该设备设置在车道边。所述第一广角相机和第二广角相机面向车道，第一广角相机和第二广角相机的中轴线与车道线垂直，第一抓拍相机和第二抓拍相机与车道线之间具有夹角，该夹角为20
°
；所述设备安装在距离过车车辆4.5米的位置。所述第一广角相机和第二广角相机均为鱼眼相机，所述鱼眼相机的视角为180
°
。所述第一广角相机为300万像素、输出频率为25帧，第一抓拍相机、第二抓拍相机和第二广角相机为500万像素、输出频帧50帧。
68.实施例2：
69.一种车辆识别和追踪的设备，所述设备包括：第一广角相机，第一广角相机对目标车辆进行识别和全程追踪，第一广角相机在视野范围内划分为车头识别区域、车身拼接区域和车尾识别区域，目标车辆进入不同的视野区域，第一广角相机发出信号到不同的装置；第一抓拍相机，当目标车辆进入第一广角相机的车头识别区域，第一抓拍相机接收到第一广角相机发出的信号，第一抓拍相机对目标车辆的车头进行抓拍；第二广角相机，当目标车
辆进入第一广角相机的车身拼接区域，第二广角相机接收到第一广角相机发出的信号，第二广角相机对目标车辆进行拍摄以及车身拼接；第二抓拍相机，当目标车辆进入第一广角相机的车尾识别区域，第二抓拍相机接收到第一广角相机发出的信号，第二抓拍相机对目标车辆的车尾进行抓拍。其中，第一广角相机的视野划分区域示意图参见图1。
70.车辆进入第一广角相机视野范围内，第一广角相机对进入视野范围内的所有车辆进行识别和全程追踪；并且第一广角相机能够判定目标车辆进入哪个视野划分区域。所述第一广角相机内设有训练好的检测模型，第一广角相机采集的实时图像通过所述检测模型，自动对车辆进行识别和标注检测框；然后对目标车辆进行追踪，一个目标车辆具有唯一车辆id，标注检测框随着目标车辆运动，准确锁定运动过程中的目标车辆；同时，所述检测模型还能够识别目标车辆进入第一广角相机的哪个视野划分区域，然后第一广角相机发出指令到相应的第一抓拍相机、第二广角相机或第二抓拍相机。所述检测模型利用软件依靠深度学习网络完成训练，同一辆车在运动过程中保持所述检测框稳定且具有同一个车辆id。所述检测模型能够识别目标车辆进入车头识别区域、车身拼接区域和车尾识别区域，且分别发出信号到第一抓拍相机、第二广角相机和第二抓拍相机，从而获得同一辆车的车头、车身和车尾三张图片。
71.所述第一抓拍相机抓拍一张目标车辆的车头图片，所述车头图片需要将整个车的头部拍全，所述第一抓拍相机将抓拍的车头图片传输到整合系统。所述第一抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车头的车牌进行识别。
72.当目标车辆进入第一广角相机的车身拼接区域的拼接起始区域，第一广角相机发出信号到第二广角相机，第二广角相机启动拼接线程；当目标车辆进入第一广角相机的车身拼接区域的拼接结束区域，第二广角相机结束拼接并且获得目标车辆的车型和拼接好的车身图片。启动拼接线程则第二广角相机边拍摄边进行车身拼接，所述第二广角相机具有拼接和车型识别模块，第二广角相机采集的实时图像通过所述拼接和车型识别模块，自动对车辆进行车型识别以及车身拼接，所述拼接和车型识别模块采用多帧图像对目标车辆的车身进行拼接，拼接好的车身图片第二广角相机传输到整合系统。所述车身拼接利用拼接和车型识别模块，首先将参考帧图像和当前帧图像分别转换为灰度格式，再分别按照累加灰度值得到参考帧信号和当前帧信号，再利用互相关函数求取这两帧信号的时延，根据时延进行信号平移完成参考帧信号与当前帧信号的拼接，再根据累加灰度值进行这两帧数据的对齐，再将拼接后的信号根据灰度累加值还原成拼接后的图像。车身拼接时，对于同一个目标车辆，利用80帧图像进行车身拼接。所述车型识别利用拼接和车型识别模块，对第二广角相机获得的多帧图片进行模型推理，将模型输出的预测的轮轴类型与标注的真值对比，得到正确率，正确率合格则输出轮轴类型，获得目标车辆的车型。
73.所述第二抓拍相机抓拍一张目标车辆的车尾图片，所述车尾图片需要将整个车的尾部拍全，所述第二抓拍相机将抓拍的车尾图片传输到整合系统所述第二抓拍相机具有车牌识别功能，在抓拍目标车辆的同时，对车尾的车牌进行识别。整合系统将接收到的车头图片、车尾图片和拼接的车身图片，传输到服务平台。
74.所述第一广角相机和第二广角相机设置在一列，第一抓拍相机和第二抓拍相机分别设置在第一广角相机和第二广角相机的两侧，该设备设置在车道边。所述第一广角相机和第二广角相机面向车道，第一广角相机和第二广角相机的中轴线与车道线垂直，第一抓
拍相机和第二抓拍相机与车道线之间具有夹角，该夹角为60
°
；所述设备安装在距离过车车辆7米的位置。所述第一广角相机和第二广角相机均为鱼眼相机，所述鱼眼相机的视角为200
°
。所述第一广角相机为300万像素、输出频率为25帧，第一抓拍相机、第二抓拍相机和第二广角相机为500万像素、输出频帧50帧。
75.尽管本技术已公开了多个方面和实施方式，但是其它方面和实施方式对本领域技术人员而言将是显而易见的，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。本技术公开的多个方面和实施方式仅用于举例说明，其并非旨在限制本技术，本技术的实际保护范围以权利要求为准。