一种基于YOLOv4-Tiny算法的车让人检测方法

一种基于yolov4-tiny算法的车让人检测方法
技术领域
1.本发明涉及一种基于yolov4-tiny算法的车让人检测方法，属于深度学习中的目标检测领域，主要应用于人行横道上车辆是否礼让行人的场景。


背景技术：

2.在城市交通中，行人通常被认为是脆弱的道路使用者，在道路交通事故中极易受到严重的伤害甚至死亡，行人过街造成的交通事故占了各类事故的一大部分，根据《中国道路交通事故统计年报》数据，这类事故能占到道路交通事故死亡总人数的26％，因此设计一种车让人检测算法对于保障道路交通安全显得尤为重要。
3.在传统的车让人检测方法中，主要通过交警现场发现车辆不礼让行人或者通过传统的摄像头抓拍。交警现场发现的方式，效率较低，占用大量的人力，同时易受人为主观因素影响，会发生一定的漏检和误检现象；采用常规的摄像头抓拍的方式，易受摄像头安装的影响，其存在着对系统要求计算能力较高、识别率较低、稳定性较低等缺点。
4.在本发明设计的车让人检测方法中，对从摄像头获取的视频中的行人和车辆，对其进行位置实时检测是一个关键问题，实现对车辆和行人位置关系的一个判定后，进而判断车辆是否礼让行人。当前的车让人检测方法主要包括两种：基于对象的检测方法、基于关系的检测方法。中国专利cn104680133a中的车让人检测方法就是基于关系的车辆检测方法，该专利首先获取图像视频信息，接着对车辆进行速度检测和轨迹追踪，然后判别车辆和行人的关系，最后判别出车辆是否礼让行人的状况。
5.上述车让人检测算法虽然能够获取视频车辆检测结果，但是摄像头实际安装时，因为不能够确保安装摄像头在同一视角，所以当摄像头视角发生变化时，摄像头会识别车辆和行人的位置会发生错误，从而检测结果会发生很大的偏差，增加了误检率；同时采用的算法实时性较差，对系统的计算能力要求较高，不能够实时准确的检测出车辆在斑马线上是否礼让行人的违规行为，


技术实现要素：

6.为了克服上述现有技术的不足，本发明提出了一种基于yolov4-tiny算法的车让人检测方法。一方面为了提高检测速率，对深度学习中的通用目标检测框架yolov4-tiny进行优化设计，从而提高车辆和行人的检测速率。另一方面，对检测区域采用画框并标号的方法，即使在摄像头视角发生变化时，也能极大的提高检测准确率，实现车辆是否礼让行人的场景实时准确检测。
7.本发明所采用的技术方案是：
8.一种车让人检测方法，
9.步骤一：yolov4-tiny算法改进设计
10.步骤s1，yolov4-tiny是由9个卷积层和6个最大池化层交替组成的前向网络，整体网络结构属于端对端型。将cspdarknet53网络作为骨干网络。
11.步骤s2，在cspdarknet53网络中添加上采样层.
12.步骤s3，首先卷积层进行反卷积操作，然后与特征层相加，最后再进行卷积操作。
13.步骤s4，添加一条横线，将最后得尺度归一化。
14.步骤二：车让人检测算法设计
15.步骤s10：通过摄像头得到当前区域的区域视频，将视频处理为帧信息，将帧中的车道区域进行划分，命名区域id；
16.步骤s20：对视频中的信息进行初步处理，检测出行人信息，使用改进的yolov4-tiny算法识别当前帧中的行人，命名行人id；
17.步骤s30：检测出车辆信息，使用改进的yolov4-tiny识别当前车辆的车牌号码，车辆驾驶员的状态，命名车辆id；
18.步骤s40：检测行人位置，使用kcf跟踪算法，检测出行人并分析行人当前所处的位置，获取行人位置id。
19.步骤s50：检测车辆位置，使用kcf跟踪算法，计算车辆当前所处的位置，获取车辆位置id。
20.步骤s60：将区域id赋值给车辆和行人，根据前后帧检测区域的行人位置id和车辆位置id是否相近判断车辆是否礼让行人。如果礼让，返回步骤1；如果未礼让，跟踪识别车牌并记录车牌，将数据回传至交通管理部门。
21.上述技术方案根据区域信息来判别车辆是否礼让行人，很好的解决了摄像头的视角造成的识别率较低甚至识别错误，使得根据获取车辆图像所获得的车辆检测结果的准确率更高，用时使用yolov4-tiny算法，使其识别速度更快，检测系统的延迟更小。上述技术方案在摄像头视角不好的情况下也能够获得准确的视频车辆检测结果，不需要借助其他复杂的道路情况分析设备来分析车辆是否礼让行人，极大提高了车辆是否礼让行人的检测效率，也为后期系统维护提供了方便。
附图说明
22.图1为：本发明实例提供的车让人检测方法步骤图。
23.图2为：yolov4-tiny算法改进流程图。
具体实施方式
24.下面结合附图对本发明进一步说明。本发明实施例提供一种基于yolov4算法的车让人检测方法，包括：
25.步骤一：yolov4-tiny算法改进设计
26.步骤s1在yolov4-tiny中将cspdarknet53-tiny网络作为骨干网络，在cspdarknet53-tiny网络中添加上采样层。将添加上采样层与前面卷积层的特征进行融合，提高网络对目标的特征学习。
27.步骤s2，首先卷积层进行反卷积操作，然后与特征层相加，最后再进行卷积操作。将13*13大小的卷积层进行两次反卷积操作，然后和前面特征层52*52对应像素相加，再进行步长为2的卷积操作，
28.步骤s3，添加一条横线，将最后得尺度归一化。添加一条横向连线(即将上一步卷
积操作后的特征和26*26的特征层进行融合)，最后将最终的特征尺度归一化到13*13大小，进行最后的预测，从而提高检测精度，使得检测得速度更快。
29.步骤二：车让人检测算法设计
30.步骤s11，通过摄像头获取视频图像，对视频图像进行具体分析，得到其中的关键帧信息。
31.步骤s12，对图像帧信息中的车道信息，进行手动划分，命名为1，2，3，
…
，
32.步骤s21，检测出行人，使用改进的yolov4-tiny算法检测出图像帧中的行人，命名行人id。
33.具体过程如下；
34.使用改进后yolov4-tiny算法，首先将图片resize到448*448大小，然后将图片送入vgg16卷积网络进行特征提取，使用卷积滤波器来预测目标的类别和坐标位置，并为不同的识别对象设置不同的预测器，最后进行非极大值抑制处理得到结果。在行人检测中是从输入的视频或者图像中提取候选框，并确定其中是包含行人。如果包含，则给出在图像中的位置。同时命名行人id。
35.常规的
36.步骤s31，检测出车辆信息，使用改进后的yolov4-tiny算法检测出图像帧中的车辆，命名为车辆id，同时检测出车辆车牌信息。
37.检测车辆的过程与上述步骤大致相同，从输入的视频或者图像中提取候选框，并确定其中是否包含车辆。如果包含，则给出图像的位置，同时命名车辆id。
38.车牌检测有以下过程，
39.步骤s311使用像素大小为400x400 px的窗口去完全覆盖车牌标注，加入一个窗口中心坐标的随机偏移量，使得偏移后的窗口仍满足完全覆盖车牌目标。假设窗口大小为wwin*hwin车牌框大小为wlabel*hlabel,车牌框中心位置为(xo,yo),则窗口中心位置[20的x轴的随机偏移范围为[xc-(wwin-wlabe)/2,xc (wwin-wlabe)/2],y轴的随机偏移范围为[yc-(wwin-wlabe)/2,yc (wwin-wlabe)/2]。
[0040]
步骤s312使用双线性差值方式缩小裁剪的窗口尺寸，并结合原窗口尺寸作为一组低分辨率和高分辨率的训练对。为了增强网络对车牌的信息学习能力，对缩放倍数加入随机性，将所有缩放后的图片重新设置到200*200px大小作为低分辨率输入。
[0041]
步骤313使用一个反卷积层对原图进行尺寸扩张，再通过一个卷积层生成高分辨率结果，从而获得图像中车辆的车牌信息。
[0042]
步骤s41检测行人位置，使用kcf跟踪算法，检测出行人并分析行人当前所处的位置，获取行人位置id，主要过程如下：
[0043]
首先图像输入，然后经过卡尔曼滤波跟踪和匈牙利匹配，最后得出数据，得出图像中行人的id，其中卡尔曼滤波跟踪是指卡尔曼滤波器根据目标检测算法得到的前一帧某一个目标的目标信息，并对其进行跟踪和检测，得到该目标在后一帧的具体信息。经卡尔曼滤波跟踪模块处理后，视频中的每一帧图像中包含的信息不仅仅是经过目标检测算法得到的目标信息，而且包括跟踪算法得到的目标跟踪信息，所以需要经匈牙利匹配模块进行两种信息的匹配，得出最终的检测结果，从而避免跟踪目标被多此检测，降低算法的性能。卡尔曼滤波跟踪实际上由两个过程组成：预测过程和校正过程。预测过程是滤波器使用上一状
态的估计做出对当前状态的预测。校正过程是滤波器利用对当前状态的观测值修正在预测阶段的预测值，从而获得一个更接近真实值的新估计值，从而获得行人的位置id。
[0044]
步骤s51检测车辆位置，使用kcf跟踪算法，计算车辆当前所处的位置，获取车辆位置id。
[0045]
与上述步骤106相似，将图片信息输出，经过卡尔曼滤波跟踪，然后经过匈牙利匹配，最终获得车辆的位置id，
[0046]
步骤s61获得到图像中车辆和行人的位置id后，看二者id是否相同，如果不相同，返回步骤101；如果相同，则车辆未礼让行人，将车辆的车牌传回数据库系统。
[0047]
本发明实施例提供的一种基于yolov4算法的车让人检测方法，一方面，经过改进后的yolov4-tiny算法在使用nano的嵌入式开发板上，可以将速率提升至120帧/秒，从而对人形横道的交通情况精确统计。另一方面，利用区域id是否重叠的方法判断车辆是否礼让行人，克服了现有的技术缺陷而提供了一种不对摄像头安装位置有要求、检测速率快、误检率低的车让人检测方法。并且对整个车让人检测系统的计算要求大大降低，提高车让人检测效率，实现简单的同时，独立性较强。
[0048]
本发明实施例提供的车让人检测方法，可以应用在大数据交通系统中，将检测的摄像头装在不同高度的红绿灯杆下面，降低了对摄像头的安装要求；同时使用改进的yolov4-tiny算法来实现车让人的实时准确检测。
[0049]
以上所述，仅为本发明的具体实施方式，本说明中所公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征或/和步骤外，均可以任何方式组合。