一种机动车违章压线行驶检测方法及系统与流程

1.本发明属于智慧交通管理领域，更具体涉及包括机动车违章压线检测技术。


背景技术：

2.违章压线行驶，即是无特殊情况下压实线行驶。违章压线行驶是造成交通拥堵的原因之一。交管部门如果可以第一时间发现并纠正违章压线行驶行为，就可以有效改善城市道路交通状况。车联网的出现使得交管部门的治理能力大幅度提升，交管部门只需要利用城市道路的摄像头和公共交通车辆的车载摄像头上传的实时图像，就可以对超大范围的道路进行有效治理。
3.对于机动车违章压线检测，现有技术已经有很多研究。专利文献cn110298300a即公开了一种检测车辆违章压线的方法，该方法是：读入视频，并抽取所述视频中的视频帧；通过基于深度学习的目标检测技术和图像语义分割技术对所述视频帧进行车辆检测和车道线分割；融合所获得的车辆检测图和车道线分割图，获得融合图像，并进行压线判断；确定压线帧中的感兴趣区域，应用水平投影技术对所述感兴趣区域中所压车道线进行实虚线判断；如果确定所述压线为实线，则判断为违章压线，进行违章取证和车牌识别及信息存储。该方法采用的yolo车辆目标检测模型对数据进行处理，但是其通过yolo采集车辆数据后，对判别车辆是否压线选框的判断，由于yolo采集车辆数据后未做处理，会导致判断错误率较高。另外，该方法虽然采用了语义分割模型，但采用scnn提取车道线后需要进行后期车道线处理。还有，该方法在对压线判断上是通过上一帧与本帧进行对比，计算像素点差值来作为判断压线依据；以上，使得该方法存在判别精度不高，存在失真性、判别误差较大的问题。


技术实现要素：

4.本发明解决的问题是克服当前技术的不足，提供一种机动车违章压线行驶的检测方法，基于深度学习建立车辆违章压线行驶检测模型，通过检测车联网系统获取的实时道路交通信息，对图像中每一台车辆的违规行为进行检测，区分虚线与实线的压线检测，提升违章压线行驶的检测准确率，从而及时发现和纠正车辆的违规行为，改善道路交通状况。
5.本发明提供的解决方案如下：一种机动车违章压线行驶检测方法，其包括：步骤1，目标检测与跟踪，利用目标检测模型对每一帧图像进行检测获得机动车在每一帧图像中的位置信息；如果是第一帧，则赋予图像中每一台机动车一个全新的id，并记录下每台机动车的id号和左上、右下在图像坐标系下的横纵坐标；如果不是第一帧，则先将每个目标的左上方纵坐标乘以1/3，获得车辆底部区域在图像中的位置信息，计算前一帧和当前帧中每一辆机动车之间的iou，然后进行目标匹配，匹配上的目标继承上一帧的id，未匹配上的目标则被赋予一个全新的id，从而实现目标跟踪。
6.步骤2，车道线检测：利用车道线检测模型对每一帧图像的车道线进行检测，输出
一个与原图像同样大小的灰度图，背景的像素值为0，虚线的像素值为120，实线的像素值为255；步骤3，压线检测：将每台机动车检测结果可视化输出是一个矩形框，矩形框的底部1/3之一部分对应车辆底部；统计车辆底部区域内的实线像素点和虚线像素点个数，若实线像素点个数大于等于虚线像素点个数，则此时车辆压实线，否则虚线。记录下每一帧中每台机动车的压线状态，若一台机动车连续设定帧数都处于压实线状态，则认为该车存在压线形式行为。
7.具体地，所述步骤1包括：步骤1.1，将图像输入车辆检测模型进行检测，输出图像中每辆机动车在图像中的位置信息；步骤1.2，如果是第一帧，就赋予每一辆被检测到的机动车一个id并转入步骤2，否则转入步骤1.3；步骤1.3，将每个目标的左上方纵坐标乘以1/3，获得车辆底部区域在图像中的位置信息。
8.步骤1.4，基于每个目标在图像中的位置信息，计算当前帧每一个目标与上一帧每一个目标的iou。
9.步骤1.5，根据iou，利用多目标跟踪算法对当前帧和上一帧的目标进行匹配.如果匹配上的目标之间的iou小于设定值或没有匹配成功，则赋予该目标一个新id。这个设定值是经过试验得出的，可以根据实际情况调整。
10.具体地，所述步骤2具体是：通过车载摄像头获取车前实时图像信息，并利用 deeplabv3 车道线检测模型进行车道线检测，对图像中每个像素点进行分类，像素值为0的像素点为背景，像素值为120为虚线，像素值为255为实线。
11.具体地，所述步骤3具体是：基于每个目标通过步骤1得到的机动车底部区域，统计步骤2得到的车道线检测结果中对应区域的虚线、实线以及背景的像素点个数；如果区域内实线像素点数量大于虚线像素点数量则当前机动车压实线，如果区域内虚线像素点数量大于等于实线像素点数量则认为当前机动车压虚线，如果区域内只有背景像素点则认为当前车辆未压线。
12.进一步，本方法还包括：步骤4 ，记录每个目标的压线情况、id、所在帧数。
13.步骤5，查询当前帧所有id在记录中的压线次数，如果同一id连续设定帧数压实线，则认为该车存在违章压线行驶行为。
14.所述设定帧数位标定值，车速范围60~100km/h，可标定连续帧在30帧~48帧。
15.作为优选，本方法的所述目标检测是采用yolov5目标检测模型。所述车道线检测模型采用 deeplabv3 语义分割模型。
16.本发明另一发明目的是提供一种机动车违章压线行驶检测系统，其目标检测与跟踪模块、车道线检测模块和压线检测模块。该系统利用标注好的数据训练一个机动车检测模型和车道线检测模型，然后对图像中的机动车进行目标检测与跟踪，对图像中的车道线进行检测，区分出虚线和实线。最后，结合机动车检测和车道线检测结果判断其是否存在违章压线行驶行为。
17.本发明通过采用以上的技术方案，可以获得比现有技术更好的效果，包括：1、本发明采用了yolo车辆目标检测模型，通过yolo采集车辆数据后，采用方框下方1/3底盘部分数据作为判别车辆是否压线选框，此步骤缩小了判断车辆压线基准，可提高判断车辆压线的准确度。
18.2、本发明对车道线处理是deeplabv3 语义分割模型，直接转换实景图片为黑白图，生成车道线并模拟出被遮挡车道线，用于压线判断，采用黑白图片使得判别压线时120像素和255像素的准确性，不被其他颜色干扰。
19.3、本发明压线判断是计算每一帧1/3方框区域内的120像素（虚线）和255像素（实线）个数对比来判断是否压线，在同一帧图像上进行判别是否压线，判别逻辑简单、不出错。
20.总体来说，本发明精度较高、鲁棒性较强，能够在各种恶劣天气和复杂道路场景下检测机动车压线情况，此外本模型能够分辨虚线和实线对违章行为实线针对性检测。
附图说明
21.图1为车道线检测训练数据标注示意图；图2为方案总体流程图；图3为机动车检测结果可视化示意图；图4为机动车底部区域可视化示意图；图5为压线检测可视化示意图。
具体实施方式
22.为了让本领域内技术人员更好地理解和实施本发明的技术方案，下面结合附图对本发明实施作进一步详细说明。
23.本发明需要用到两个深度学习模型，一个是车辆检测模型，一个是车道线检测模型。车辆检测模型使用优选是yolov5目标检测模型，训练数据来源于开源数据集：coco数据集、voc数据集以及bdd数据集。将上述数据集中的机动车数据筛选出来对模型进行训练，最终获得一个机动车检测模型。yolov5是目前精度较高，速度较快的一种单阶段目标检测模型。单阶段目标检测模型相对于双阶段而言，速度更快，精度稍低。
24.yolov5的模型结构与单阶段检目标检测模型相同，可以分为输入、骨干特征提取网络和预测三部分。yolov5将骨干特征提取网络输出的特征图划分成sxs的网格，每个各自负责对落入其中的目标进行检测，一次性预测所有格子中目标的边界框、定位置信度、以及类别概率向量。训练数据需要提供两方面信息即可第一个是图片本身，第二个是图片中每个车辆的位置信息，例如左上右下横纵坐标，或者中心点横纵坐标和宽高。
25.车道线检测模型使用的是deeplabv3 语义分割模型，deeplabv3 是利用cnn网络来提取特征进行分像素点分类语义分割模型，其输出一个与视频图像同样大小的灰度图，灰度图中像素值为0的像素点代表背景，像素值为120的像素点代表虚线，像素值为255的像素点代表实线。训练数据标注示意图如图1所示。
26.本方法检测的图像来源于安装在公共车辆的车载摄像头和道路两侧的监控摄像头，这些图像通过车联网传输到服务器上，服务器对这些接收到的图像进行检测。
27.实施例1,机动车违章压线行驶检测系统，其包括：机动车检测和跟踪模块：对每一帧图像都利用yolov5目标检测模型进行目标检测，获得机动车在每一帧图像中的位置信息，即左上、右下在图像坐标系下的横纵坐标，(xmin,ymin,xmax,ymax)。如果是第一帧，则赋予图像中每一台机动车一个全新的id，如1、2、3、4、5等，并记录下每台机动车的id号和左上、右下在图像坐标系下的横纵坐标。如果不是第一帧，则先计算前一帧和当前帧中每一辆机动车之间的iou，然后利用匈牙利算法进行目标匹配，匹配上的目标继承上一帧的id，未匹配上的目标则被赋予一个全新的id，从而实现目标跟踪。
28.车道线检测模块：利用deeplabv3 对每一帧的车道线进行检测，这里将输出一个与原图像同样大小的灰度图，背景的像素值为0，虚线的像素值为120，实线的像素值为255。
29.压线检测模块：每台机动车检测结果可视化输出是一个矩形框，矩形框的底部1/3之一部分恰好对应车辆底部。统计车辆底部区域内的实线像素点和虚线像素点个数，若实线像素点个数大于等于虚线像素点个数，则此时车辆压实线，否则虚线。记录下每一帧中每台机动车的压线状态，若一台机动车连续48帧都处于压实线状态，则认为该车存在压线形式行为。这里48帧是标定值，如在车辆正常车速60km/h（16.7m/s）时，48帧图片时间：为0.8s，车辆将行驶13m；13m的行驶距离可用于判断车辆是否在此区间压线。若考虑车速范围60~100km/h，可标定连续帧在：30帧~48帧。
30.实施例2，检测方法,如图2所示:采用实施例1的系统进行检测的方法是：首先利用标注好的数据训练一个机动车检测模型和车道线检测模型，然后对图像中的机动车进行目标检测与跟踪，对图像中的车道线进行检测，区分出虚线和实线。最后，结合机动车检测和车道线检测结果判断其是否存在违章压线行驶行为。
31.检测具体步骤如下：步骤1，机动车检测和跟踪：步骤1.1，将图像输入车辆检测模型对其进行检测，输出图像中每辆机动车在图像中的位置信息，即机动车在图像坐标系下的左上右下坐标，可视化结果如图3所示。
32.步骤1.2，如果是第一帧，就赋予每一辆被检测到的机动车一个id并转入步骤2，否则转入步骤1.3。
33.步骤1.3，将每个目标的左上方纵坐标乘以1/3，获得车辆底部区域在图像中的位置信息，如图4所示，底部区域即为黄线以下红线以上区域。以第一帧和第二帧图像举例，每个目标是指第二帧检测到的每一个目标，若与第一帧检测到目标iou相同，则持续跟踪；若不同，则新增iou，以此类推到后续帧，从而保证每个目标都被持续监控。
34.步骤1.4，基于每个目标在图像中的位置，计算当前帧每一个目标与上一帧每一个目标的iou。
35.步骤1.5，根据iou，利用算法对当前帧和上一帧的目标进行匹配，如果匹配上的目标之间的iou小于0.7或没有匹配成功，则赋予该目标一个新id。可以用匈牙利算法，还可以用多目标跟踪算法deepsort等。
36.步骤2，车道线检测通过车载摄像头获取实时车前图像信息，并利用 deeplabv3 车道线检测模型进
行车道线检测。车道线检测模型将对图像中每个像素点进行分类，像素值为0的像素点为背景，像素值为120为虚线，像素值为255为实线。
37.步骤3：压线检测模块基于每个目标步骤1.3得到的机动车底部区域，统计步骤2得到的车道线检测结构中对应区域的虚线、实线以及背景的像素点个数。如果区域内实线像素点数量大于虚线像素点数量则当前机动车压实线，如果区域内虚线像素点数量大于等于实线像素点数量则认为当前机动车压虚线，如果区域内只有背景像素点则认为当前车辆未压线，图5为示意图。
38.步骤4：记录每辆车的压线情况、id、所在帧数。
39.步骤5：查询当前帧所有id在记录中的压线次数，如果同一id连续48帧压实线，则认为该车存在违章压线行驶行为。