基于车载相机视频的车辆违停检测方法

1.本发明涉及计算机视觉领域，具体涉及一种基于车载相机视频的车辆违停检测方法。


背景技术：

2.城市车辆大量增加的同时，也给城市的交通管理带来了巨大的挑战。构建智能交通系统有助于保证居民的生命安全和提高居民出行的效率。智能交通系统的一个重要功能是能够快速、正确处理城市中的交通违章现象。城市道路有大量的监控摄像头，智能交通系统对这些相机采集到的视频数据进行处理，能够成功找出违章的车辆。但监控摄像头并没有遍布每个角落，对于没有监控摄像头的地方所发生的违章行为，也应该得到处理。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于车载相机视频的车辆违停检测方法，通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。
4.为实现上述目的，本发明采用如下技术方案：一种基于车载相机视频的车辆违停检测方法，包括以下步骤：步骤s1:获取车载相机视频；步骤s2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；步骤s3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；步骤s4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。
5.进一步的，所述步骤s2具体为：采用yolo v5检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置；基于deepsort方法进行车辆跟踪，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系；根据从每一帧图像检测出来的车的位置计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。
6.进一步的，所述deepsort方法以加权平均的方式结合了两种关联方式，一种是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一种是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。
7.进一步的，所述步骤s3具体为：根据保留的文件在相同分辨率的空白图像上画点；
打开一个文件，根据文件保存的质心坐标在空白图像上画点，所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。
8.进一步的，所述图像二分类网络基于卷积神经网络构建，输入是轨迹图，输出是预测的标签值。
9.进一步的，所述图像二分类网络训练的数据集，具体为：采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签将yolo v5的检测结果进行标注、关联，绘制轨迹图，作为训练的样本。
10.本发明与现有技术相比具有以下有益效果：本发明通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。
附图说明
11.图1是本发明方法流程图；图2是本发明一实施例中违停车辆的轨迹图；图3是本发明一实施例中正前方正常行驶车辆的轨迹图；图4是本发明一实施例中左侧车道加速行驶的车辆的轨迹图。
具体实施方式
12.下面结合附图及实施例对本发明做进一步说明。
13.请参照图1，本发明提供一种基于车载相机视频的车辆违停检测方法，包括以下步骤：步骤s1:获取车载相机视频；步骤s2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；步骤s3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；步骤s4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。
14.在本实施例中，采用yolo系列检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置（左上角的坐标和边界框的宽高）和概率。车辆跟踪的过程中使用速度较快的deepsort方法，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系。
15.优选的，yolo系列检测器采用的是yolo v5，因为yolo v5在小物体检测方面性能优于其他版本，能够更好地检测出远处的车辆。
16.优选的，deepsort方法中以加权平均的方式结合了两种关联方式,以提高检测结果匹配的精度。其中一个关联方式是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一个是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。从每一帧图像检测出来的车
的位置可以计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。
17.在本实施例中，绘制车辆运动轨迹图，具体如下:据保留的文件在相同分辨率的空白图像上画点，这里的空白图像指的是新建的每个位置灰度值均为0的图像，显示出来整张图为黑色。打开一个文件，根据文件保存的质心坐标在空白图像上画白色的点，点的大小应该适中，实验中点的半径大小设置为8像素。所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。视频中的违停车辆停在道路右侧，该车辆在较远处便可被检测器yolo v5检测到，又因为在车载视频中，违停车辆的质心坐标会往右下角移动，因此得到的轨迹图接近于斜向下的较长的一条曲线，违停车辆的轨迹图像如图2所示。在正前方行驶的车辆的轨迹图如图3所示，正前方行驶的车辆运动速度一般变化不大，因此正前方车辆的质心在接近于圆形的区域内运动，若该车辆的速度变化越小，则这个圆形区域越小，越接近于一个点。左侧车道的加速行驶的车辆的轨迹则是和违停的轨迹类似，但是方向不同，如图4，其质心向着图像右上角的方向运动。
18.在本实施例中，图像二分类网络构建，具体如下：训练这个网络需要先自己制作数据集，采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签。训练过程要求较高质量的训练数据，在跟踪的过程中可能会出现错误关联和身份切换的情况，即将不同的车认定为是同一辆车或同一辆车被认定为不同的车辆导致轨迹被切分。因此在采集车的轨迹图这一步，选择人工将yolo v5的检测结果进行标注、关联，从而绘制出更加精确的轨迹图，作为训练的样本。之后基于卷积神经网络设计一个二分类网络，输入是轨迹图，输出是预测的标签值。网络推理时，将车辆跟踪得到的轨迹图送入二分类网络，便会输出网络的预测结果，即可得知该视频中是否存在违停行为。
19.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。


技术特征：
1.一种基于车载相机视频的车辆违停检测方法，其特征在于，包括以下步骤：步骤s1:获取车载相机视频；步骤s2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；步骤s3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；步骤s4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。2.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述步骤s2具体为：采用yolo v5检测器进行检测视频中的车辆，检测的过程是对每一帧图像进行检测，输出车的位置；基于deepsort方法进行车辆跟踪，车辆跟踪则是将每一帧图中的车辆检测结果关联起来，关联的过程即为找出两帧图像中相似的车辆并建立联系；根据从每一帧图像检测出来的车的位置计算得到车的质心位置，将该信息写到文本中，一辆车写一个文件，后续跟踪得到的车的质心信息，同一辆车的质心坐标写到同一个文件中，新出现的车的质心位置信息则是写到新的文件中。3.根据权利要求2所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述deepsort方法以加权平均的方式结合了两种关联方式，一种是运动匹配度，将当前帧检测的车辆质心位置与卡尔曼滤波器预测的车辆质心位置进行计算马氏距离，由马氏距离来表征运动匹配程度；另一种是外观匹配度，根据检测结果裁剪出当前帧每辆车的图像，经过卷积神经网络提取特征，与之前的特征计算相似度，由最小余弦距离表征外观匹配程度。4.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述步骤s3具体为：根据保留的文件在相同分辨率的空白图像上画点；打开一个文件，根据文件保存的质心坐标在空白图像上画点，所有点绘制完成之后会得到一张新的图像，即为这辆车的运动轨迹图。5.根据权利要求1所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述图像二分类网络基于卷积神经网络构建，输入是轨迹图，输出是预测的标签值。6.根据权利要求5所述的基于车载相机视频的车辆违停检测方法，其特征在于，所述图像二分类网络训练的数据集，具体为：采集车的轨迹图，打上标签，违停车辆的轨迹图可以打上“1”的标签，而其他的记为“0”标签将yolo v5的检测结果进行标注、关联，绘制轨迹图，作为训练的样本。

技术总结
本发明涉及一种基于车载相机视频的车辆违停检测方法，包括以下步骤：步骤S1:获取车载相机视频；步骤S2:基于车载相机视频，对视频进行车辆检测和跟踪，将同一辆车的质心坐标信息记录到同一个文档中；步骤S3:基于保存的文档中的质心坐标信息在一张空白的相同分辨率的图像中绘制轨迹，每一辆车绘制得到一张运动轨迹图；步骤S4:根据得到的运动轨迹图，基于图像二分类网络分类，判断是否为违停。本发明通过车辆检测和跟踪，再对车辆的运动轨迹进行分类，提高车载相机视频的违停检测精度。提高车载相机视频的违停检测精度。提高车载相机视频的违停检测精度。


技术研发人员：杨明静 李洁
受保护的技术使用者：福州大学
技术研发日：2022.01.12
技术公布日：2022/4/26