基于多尺度YOLOv5嵌套的车辆车牌检测定位方法与流程

基于多尺度yolov5嵌套的车辆车牌检测定位方法
技术领域
1.本发明涉及一种车辆和车牌的检测定位方法，主要是基于人工智能技术领域中的深度学习技术。
技术背景
2.车辆车牌检测是智慧交通领域的一个重要研究分支，也是车牌识别的基础，其主要任务是将公路监控视频车辆检测出来再逐个对单一车辆的车牌进行检测和定位。该任务在公路车辆行为监控场景有着广泛的应用需求。面对公路车辆的不文明行为，该任务结合车牌识别可以直接锁定车辆的车牌信息，对于公路监控视频检查可以节约监督人员人力成本，提高监督效率，覆盖更广的监督范围，加强安全管控。


技术实现要素：

3.针对现有的技术问题，本发明的目的在于实现对于公路监控视频中车辆车牌的检测和定位，本发明旨在提出一种基于多尺度yolov5嵌套的深度学习检测算法，利用它能直接检测定位出公路视频在车牌的位置。
4.本发明是一种基于多尺度yolov5嵌套的车辆车牌检测定位方法，步骤包括：
5.1)通过视频流，截取单帧图片；
6.2)对图像进行hsv增强，增强后的图片与原始图片的比例一致；
7.3)训练大尺度yolov5网络作为车辆检测网络：
8.3)训练小尺度yolov5网络作为车牌检测网络；
9.4)使用大尺度yolov5车辆检测网络检测车辆，对步骤2)输入图像进行检测，得到车辆检测roi；
10.6)用车辆检测roi对原始输入图像进行裁剪，得到图像中的车辆部分，再采用步骤2)的图像处理方法对车辆图片逐个处理；
11.7)使用小尺度yolov5车辆检测网络检测车牌，对步骤6)得到的车辆图片逐个检测，得到每个车辆的车牌检测坐标。
12.本方法通过多尺度的yolov5嵌套模型实现车辆和车牌的检测，采用大尺度的yolov5模型对公路监控视频检测车辆，定位到车辆区域后，将车辆图片放大后送入小尺度yolov5模型检测车牌区域，最终实现车辆和车牌的检测定位。
13.该算法相比传统的从视频中直接检测车牌，定位车辆后单独对每个车辆进行放大后的检测，可以实现更高的精度。
14.本发明提出的车辆车牌检测方法是基于人工智能技术领域中的深度学习技术，结合大数据，在实施时候，使用大量的公路车辆数据和车辆车牌数据采用监督学习的方式进行智能识别训练。
附图说明
15.图1是本车辆车牌检测定位方法的流程示意图；
16.图2是yolov5网络结构示意图。
具体实施方式
17.本发明使用多个尺度的yolov5模型分别对车辆和车牌进行检测，大幅提高检测的效率。传统的检测算法直接通过整幅图片定位车牌，由于车牌较小，在处理完图片后车牌信息损失。本发明通过模型级联的方式，通过检测出的车辆roi对原始图像进行裁剪和放大，不会造成车牌信息损失，提高了车牌检测的精度和召回率，使模型具备更强的鲁棒性。
18.下面结合附图与具体实施方式对本发明进一步说明。
19.本例中，基于多尺度yolov5嵌套的车辆车牌检测定位方法包括以下步骤(如图1)：
20.1)通过opencv读取视频流，截取单帧图片。
21.2)对图像进行hsv增强，其中h通道增强参数为0.014，s通道增强参数为0.68，v通道增强参数为0.36，将图像处理为416
×
416
×
3，先将图片以最长边与416的比值进行缩放，然后在短边方向补0像素，采取这种缩放方式不会改变图像的原比例。
22.3)使用detrac数据集训练大尺度yolov5车辆检测网络设置参数：网络深度参数为0.33，网络宽度参数为0.5，学习率learning_rate为0.01，随机梯度下降动量参数momentum为0.937，权重衰减为0.0005。设置yolov5车辆检测损失函数公式为：
23.l＝l
car_conf
l
car_loc
24.其中，lcar_conf为车辆目标置信度损失，lcar_loc为车辆目标定位损失，由于只有车辆检测类别，因此没有类别损失。
25.表1是大尺度yolov5网络参数信息
26.layerinputoperatorcsn0imageconv322-10cbs642-21c3641132cbs1282-43c31281354cbs2562-65c32561376cbs5122-87spp5121-98c351211109cbs2561-1110upsample256
‑‑
126,11concat512
‑‑
1312c3256111413cbs1281-1514upsample128
‑‑
164,15concat256
‑‑
1716c3128111817cbs1282-1914,18concat256
‑‑
2019c3256112120cbs2562-2210,20concat512
‑‑
2322c351211out117conv3*(nc 1)1-out220conv3*(nc 1)1-out323conv3*(nc 1)1-27.4)使用ccpd2020数据集训练小尺度yolov5车牌检测网络设置参数：网络深度参数为0.2，网络宽度参数为0.25，学习率learning_rate为0.01，随机梯度下降动量参数momentum为0.937，权重衰减为0.0005。设置yolov5车牌检测损失函数公式为：
28.l＝l
lp_conf
l
lp_loc
29.其中，llp_conf为车牌目标置信度损失，llp_loc为车牌目标定位损失。
30.表2小尺度yolov5网络参数信息
31.layerinputoperatorcsn0imageconv162-10cbs322-21c3321132cbs642-43c3641254cbs1282-65c31281276cbs2562-87spp2561-98c325611109cbs1281-1110upsample128
‑‑
126,11concat256
‑‑
1312c3128111413cbs641-1514upsample64
‑‑
164,15concat128
‑‑
1716c364111817cbs642-1914,18concat128
‑‑
2019c312811
2120cbs1282-2210,20concat256
‑‑
2322c325611out117conv3*(nc 1)1-out220conv3*(nc 1)1-out323conv3*(nc 1)1-32.5)构建训练好的大尺度yolov5神经网络检测车辆，对输入图像进行检测，得到车辆检测roi。
33.6)用检测roi对原始输入图像进行裁剪，得到图像中的车辆部分，采用步骤2)的图像处理方法对车辆图片逐个处理。
34.7)构建训练好的小尺度yolov5神经网络检测车牌，对车辆图片逐个进行检测，得到每个车辆的车牌检测坐标。
35.8)将车牌检测的坐标映射回输入图片，实现在图片中的车辆车牌检测定位。
36.yolov5网络结构如图2所示。
37.本发明基于多尺度yolov5建立深度学习算法，设计网络框架。通过大尺度yolov5检测出公路视频中的车辆，并以检测框为roi，对框内车辆用小尺度yolov5检测车牌，得到车牌的定位信息。