一种基于深度学习的车辆违规检测方法与流程

1.本技术属于图像处理技术领域，更具体地说，是涉及一种基于深度学习的车辆违规检测方法。


背景技术：

2.现代城市的发展，交通问题越来越引起人们的关注。随着城市车辆的增加，已经成为交通管理部门所面临的重要问题。智能交通违章识别算法对于道路车辆的管理很重要。
3.伴随着道路交通出行的发展趋势，车道区划得更为细腻。车道的区划一般是应用黄实线和白实线，不一样颜色的线、不一样式样的线及其单线铁路和多线都是有不一样的需求和规则。其中，最常见的白实线为禁止跨越同向车道分界线，黄色双实线和黄色单实线都是禁止跨越对向车道分界线，用于分隔对向行驶的交通流，并禁止车辆越线或压线行驶。
4.在现有技术中，为检测车辆是否按照车道规定行驶，会用到传统的非监督学习图像分割法，主要是提取图片的低级特征再进行分割，分割的方法大致为otsu、fcm、n-cut算法等，分割出来的结果存在语义模糊的问题，例如夜晚、雨雪等特殊场景感知能力弱，同时当实线上有物体遮挡和边缘模糊存在时，易发生误分割、目标残缺以及图像边缘轮廓分割不清晰等问题；同时对于车辆违规的种类繁多，例如压白实线违规、压单黄线违规、压双黄线违规、掉头违规、停车违规等现象，交通法规定对压虚线、黄实线、白实线的规定及处罚都有不同，现有交通识别算法输出车辆违规的种类准确率不足。


技术实现要素：

5.本技术实施例的目的在于提供一种基于深度学习的车辆违规检测方法，以解决现有技术对车辆违规检测过程中存在的图像分割效果差以及输出车辆违规的种类的准确率不足的技术问题。
6.为实现上述目的，本技术采用的技术方案是：提供一种基于深度学习的车辆违规检测方法，包括步骤：
7.采集路面实线场景数据集；
8.对路面实线场景数据集的背景区域、黄实线区域、白实线区域标注；
9.通过设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像；
10.将mask标签图像进行数据增强的扩充处理，生成训练集；
11.将训练集输入带全局池化模块的分割网络中进行训练，得到路面实线分割模型；
12.将车辆实时图像分别输入到路面实线分割模型以及车辆目标检测模型，输出黄实线区域、白实线区域以及车辆目标；
13.检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果。
14.优选地，所述通过设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像的方法，包括步骤：
15.将背景区域的像素全部设置为0，黄实线区域的像素全部设置为1，白实线区域的像素全部设置为2，再生成mask标签图像。
16.优选地，所述将mask标签图像进行数据增强的扩充处理的方法，包括步骤：
17.获取python的pil图像处理库；
18.对mask标签图像分别执行水平镜像、尺寸缩放、图像翻转的随机概率增强；
19.保持路面实线场景数据集和对应mask标签图像的同步扩充；
20.将同步扩充完毕后的数据集生成训练集保存。
21.优选地，所述将训练集输入带全局池化模块的分割网络中进行训练的方法，包括步骤：
22.构建上下文路径模块使用resnet-18作为主干网络，在末端加上全局池化模块，生成分割网络；
23.将训练集输入至分割网络中进行训练以及验证测试；
24.计算分析深度学习分割网络bisenet的定量分析指标mean iou的结果，mean iou的计算公式为：
[0025][0026]
其中，k为分割的目标物体类别，p
ii
表示预测分类正确的像素点，p
ij
和p
ji
表示假正和假负的像素点数量。
[0027]
优选地，所述将训练集输入带全局池化模块的分割网络中进行训练的方法，还包括步骤：
[0028]
计算损失函数loss优化网络模型，loss的计算公式为：
[0029]
loss＝-α(1-pi)2log(pi)，
[0030]
其中，且p∈[0,1]，α表示损失系数，p表示预测标签为1的概率；y表示标签的取值。
[0031]
优选地，所述检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果的方法，包括步骤：
[0032]
对车辆目标检测模型输出黄实线区域、白实线区域进行轮廓位置信息提取；
[0033]
提取车辆目标的俯视面；
[0034]
分别判断车辆目标的俯视面与黄实线轮廓、白实线轮廓是否有交集。
[0035]
优选地，所述提取车辆目标的俯视面的方法，包括步骤：
[0036]
提取车辆目标图像；
[0037]
检测车辆目标图像中的全部车轮目标；
[0038]
若车轮目标的数量为2，则以2个车轮目标的中心点的连线为底边，生成等腰梯形区域，以等腰梯形区域为车辆目标的俯视面。
[0039]
优选地，所述提取车辆目标的俯视面的方法，包括步骤：
[0040]
若车轮目标的数量为3，则根据3个车轮目标的中心点的相互连线，生成第一三角形；
[0041]
将第一三角形以第一三角形的长边的中点为中心点旋转180
°
得到第二三角形；
[0042]
将第一三角形与第二三角形执行像素逻辑或操作，得到平行四边形区域；以平行四边形区域为车辆目标的俯视面。
[0043]
优选地，所述检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果的方法，包括步骤：
[0044]
判断车辆目标的俯视面与黄实线轮廓、白实线轮廓都无有交集时，检测车辆目标的行驶方向；
[0045]
判断车辆目标的俯视面位于黄实线轮廓左侧或右侧，输出车辆是否逆行。
[0046]
优选地，所述采集路面实线场景数据集的方法，包括步骤：
[0047]
将摄像头设置于道路中间的黄实线正上方，摄像头的中心视角平行于路面延伸方向。
[0048]
本技术提供的基于深度学习的车辆违规检测方法，与现有技术相比，通过标注并设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像，能够实现端到端的像素级分割方法，避免了传统的分割方法所产生的实线分割结果图像边缘模糊和误分割的现象；将训练集输入带全局池化模块的分割网络中进行训练，使得像素点在预测类别时能够结合周边像素的信息，提升了实线分割准确率并减少计算资源；车辆目标检测模型输出的黄实线区域、白实线区域是带有不同色彩的连续线条，不仅可以更加满足更多复杂场景下的违规种类精准检测，并且可以输出具体交通违规类型。
附图说明
[0049]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0050]
图1为本技术实施例提供的基于深度学习的车辆违规检测方法的流程示意图；
[0051]
图2为本技术实施例提供的根据路面实线场景数据集生成mask标签图像的效果示意图；
[0052]
图3为本技术实施例提供的带全局池化模块的分割网络的架构示意图；
[0053]
图4为本技术实施例提供的输出车辆违规检测结果的方法的处理过程示意图。
具体实施方式
[0054]
为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0055]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0056]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有
特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0057]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0058]
请一并参阅图1至图2，现对本技术实施例提供的基于深度学习的车辆违规检测方法进行说明。所述基于深度学习的车辆违规检测方法，包括步骤：
[0059]
步骤s01，采集路面实线场景数据集；
[0060]
步骤s02，对路面实线场景数据集的背景区域、黄实线区域、白实线区域标注；
[0061]
步骤s03，通过设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像；
[0062]
步骤s04，将mask标签图像进行数据增强的扩充处理，生成训练集；
[0063]
步骤s05，将训练集输入带全局池化模块的分割网络中进行训练，得到路面实线分割模型；
[0064]
步骤s06，将车辆实时图像分别输入到路面实线分割模型以及车辆目标检测模型，输出黄实线区域、白实线区域以及车辆目标；
[0065]
步骤s07，检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果。
[0066]
可以理解的是，在步骤s01中，所述采集路面实线场景数据集，例如采集路面实线场景图像采集500张，为提高适应性，满足各种环境下的车辆违规检测，500张图像可以包括雨雪天气、雾霾天气、白天和夜晚等自然条件复杂场景。
[0067]
另外，未满足图片大小要求，需要将图像首先统一尺寸裁剪到640*480大小，并转化成24位png格式图像。
[0068]
在步骤s02中，对路面实线场景数据集进行labelme深度学习打标工具进行标签标注，先标注黄实线区域与白实线区域，如此即使是被车辆、行人、红路灯、天桥等遮挡的黄实线与白实线区域，或者是，依然能够全部标注出来，然后通过反选即可得到背景区域，可以理解的是，背景区域既包括部分路面区域、天空区域、马路两侧区域等。
[0069]
在步骤s03中，所述通过设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像，这里可以将属于同一类区域的像素设置同一固定像素值或者像素区间。但是，无论是设置同一固定像素值或者像素区间，最终的不同类区域的像素值不存在交集。如此，可以通过像素值精准区分背景区域、黄实线区域、白实线区域。
[0070]
在步骤s04中，所述将mask标签图像进行数据增强的扩充处理，例如将数据集由原来的500张扩充至2500张，并保持原图和对应mask标签图像的同步扩充，增加模型的泛化能力。不需要进行大批量的标记，减少耗费人工时间和资源成本，得到精准标注的大量数据集
[0071]
在步骤s05中，所述将训练集输入带全局池化模块的分割网络中进行训练得到路面实线分割模型，如此，一方面基于通过步骤s02-04，得到路面实线分割模型可以解决当实线上有物体遮挡和边缘模糊存在时，易发生误分割和图像边缘轮廓分割不清晰等问题；另一方面，改进网络引入全局池化模块，扩大了感受野，使得预测图像时能够更好地结合周边像素信息，防止细节信息丢失，提升分割准确率。
[0072]
步骤在s06中，所述将车辆实时图像分别输入到路面实线分割模型以及车辆目标检测模型，输出黄实线区域、白实线区域以及车辆目标，可以使用gpu个数为2，路面实线分割模型以及车辆目标检测模型各使用一个gpu，互不干扰，提升速率。
[0073]
在步骤s07中，所述检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果，相对于常规的车辆违规检测，本技术输出的黄实线区域、白实线区域，不仅可以区分实线的颜色，并且可以将被车辆、行人、红路灯、天桥等遮挡的黄实线与白实线区域检测到，如此本技术输出的黄实线区域、白实线区域是带有不同色彩的连续线条，区别于传统分割算法输出的断断续续的边缘模糊线条。基于上述有点，不仅可以更加精准的检测是否违规，并且可以输出具体的违规类型，例如压白实线违规、压单黄线违规、压双黄线违规、掉头违规、停车违规等现象。
[0074]
本技术提供的基于深度学习的车辆违规检测方法，与现有技术相比，通过标注并设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像，能够实现端到端的像素级分割方法，避免了传统的分割方法所产生的实线分割结果图像边缘模糊和误分割的现象；将训练集输入带全局池化模块的分割网络中进行训练，使得像素点在预测类别时能够结合周边像素的信息，提升了实线分割准确率并减少计算资源；车辆目标检测模型输出的黄实线区域、白实线区域是带有不同色彩的连续线条，不仅可以更加满足更多复杂场景下的违规种类精准检测，并且可以输出具体交通违规类型。
[0075]
在本技术另一个实施例中，请一并参阅图2，所述通过设置像素值区分背景区域、黄实线区域、白实线区域生成mask标签图像的方法，包括步骤：
[0076]
将背景区域的像素全部设置为0，黄实线区域的像素全部设置为1，白实线区域的像素全部设置为2，再生成mask标签图像。
[0077]
可以理解的是，通过将背景区域的像素全部设置为0，黄实线区域的像素全部设置为1，白实线区域的像素全部设置为2，不仅实现了基于像素级进行区域划分，提升路面实线分隔的精准度，而且可以降低图像增强、模型训练的难度以及算力需求，起到化繁为简的作用。
[0078]
在本技术另一个实施例中，所述将mask标签图像进行数据增强的扩充处理的方法，包括步骤：
[0079]
获取python的pil图像处理库；
[0080]
对mask标签图像分别执行水平镜像、尺寸缩放、图像翻转的随机概率增强；
[0081]
保持路面实线场景数据集和对应mask标签图像的同步扩充；
[0082]
将同步扩充完毕后的数据集生成训练集保存。
[0083]
可以理解的是，将图像进行数据增强的扩充处理，数据增强主要采用python的pil图像处理库对样本数据进行扩充，主要操作分别为水平镜像、尺寸缩放、图像翻转进行随机概率的五倍增强，例如将数据集由原来的500张扩充至2500张，并保持原图和对应mask标签图像的同步扩充，增加模型的泛化能力。
[0084]
在本技术另一个实施例中，请一并参阅图3，所述将训练集输入带全局池化模块的分割网络中进行训练的方法，包括步骤：
[0085]
构建上下文路径模块使用resnet-18作为主干网络，在末端加上全局池化模块，生成分割网络；
[0086]
将训练集输入至分割网络中进行训练以及验证测试；
[0087]
计算分析深度学习分割网络bisenet的定量分析指标mean iou的结果，mean iou的计算公式为：
[0088][0089]
其中，k为分割的目标物体类别，p
ii
表示预测分类正确的像素点，p
ij
和p
ji
表示假正和假负的像素点数量。
[0090]
进一步地，在本实施例中，例如将数据集图像训练集和验证集设置为2000张和500张，其中训练的迭代次数设置为150000次，batch_size设置为16，momentum动量设置为0.9；将深度学习分割网络改进的bisenet的定量分析指标mean_iou进行结果分析和计算，得出mean iou为0.828。
[0091]
可以理解的是，采用构建上下文路径模块使用resnet-18作为主干网络，在末端加上全局池化模块，改进网络引入全局池化模块，扩大了感受野，使得预测图像时能够更好地结合周边像素信息，防止细节信息丢失，提升分割准确率，使得像素点在预测类别时能够更好的结合周边像素的信息，提升了分割准确率，极大程度上减少了计算资源，具备良好的实用性。
[0092]
进一步地，请一并参阅图3，所述将训练集输入带全局池化模块的分割网络中进行训练的方法，还包括步骤：
[0093]
计算损失函数loss优化网络模型，loss的计算公式为：
[0094]
loss＝-α(1-pi)2log(pi)，
[0095]
其中，且p∈[0,1]，α表示损失系数，p表示预测标签为1的概率；y表示标签的取值。
[0096]
可以理解的是，对于遮挡和重叠物体情况，属于困难样本，对loss函数进行改进之后，当图像中存在遮挡和重叠物体时，也能展现较好的场景感知和分割能力，极大程度提高了模型对于困难样本的感知能力，模型准确率也进一步得以提升。
[0097]
进一步地，损失函数loss中的α＝0.3。其中α取0.3时，损失函数能够使得优化器更适合网络模型，模型的性能更为突出。
[0098]
在本技术另一个实施例中，请一并参阅图4，所述检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果的方法，包括步骤：
[0099]
对车辆目标检测模型输出黄实线区域、白实线区域进行轮廓位置信息提取；
[0100]
提取车辆目标的俯视面；
[0101]
分别判断车辆目标的俯视面与黄实线轮廓、白实线轮廓是否有交集。
[0102]
可以理解的是，由于不同的车辆都存在一定的高度，传统车辆违规检测算法是通过获取车辆目标的矩形检测框，但是车辆实时图像的获取角度又不是俯视视角，因此被误判违规的车辆很多。如此，基于车辆实时图像先进行目标检测，再通过提取车辆目标的俯视面检测违规，可以提高图像检测准确性。若判断车辆目标的俯视面与其中一个黄实线轮廓存在交集，则输出压单黄线违规，若判断车辆目标的俯视面与其中两个黄实线轮廓同时存在交集，则输出压双黄线违规，若判断车辆目标的俯视面与其中一个白实线轮廓同时存在
交集，则输出压白实线违规。
[0103]
进一步地，请一并参阅图4，所述提取车辆目标的俯视面的方法，包括步骤：
[0104]
提取车辆目标图像；
[0105]
检测车辆目标图像中的全部车轮目标；
[0106]
若车轮目标的数量为2，则以2个车轮目标的中心点的连线为底边，生成等腰梯形区域，以等腰梯形区域为车辆目标的俯视面。
[0107]
可以理解的是，当车辆实时图像只有车辆的尾部，没有拍摄到车辆侧面时，车轮目标检测时，一般只能检测到两个后轮，如此，以2个车轮目标的中心点的连线为底边生成等腰梯形区域，该等腰梯形区域即为模拟生成的车辆目标的俯视面。值得补充说明的是，由于远近视角的关系，靠近摄像头更近的车尾在图像中更大，远离摄像头更远的车头在图像中更大。当然，如果车辆朝着摄像头行驶，远近视角的关系则相反。
[0108]
进一步地，请一并参阅图4，所述提取车辆目标的俯视面的方法，包括步骤：
[0109]
若车轮目标的数量为3，则根据3个车轮目标的中心点的相互连线，生成第一三角形；
[0110]
将第一三角形以第一三角形的长边的中点为中心点旋转180
°
得到第二三角形；
[0111]
将第一三角形与第二三角形执行像素逻辑或操作，得到平行四边形区域；以平行四边形区域为车辆目标的俯视面。
[0112]
可以理解的是，大多数情况下，车辆与摄像头存在一定夹角，可以同时拍摄到车辆的侧面与背面，该情况下可以检测到车轮目标的数量为3，另一个车轮被车体遮挡，第一三角形可以理解为半个车身的俯视图，经过几何变换得到的第二三角形可以理解为剩余的半个车身的俯视图，如此，平行四边形区域即为模拟得到的整个车辆目标的俯视面。
[0113]
进一步地，请一并参阅图4，所述检测车辆目标相对于黄实线区域、白实线区域的位置关系，输出车辆违规检测结果的方法，包括步骤：
[0114]
判断车辆目标的俯视面与黄实线轮廓、白实线轮廓都无有交集时，检测车辆目标的行驶方向；
[0115]
判断车辆目标的俯视面位于黄实线轮廓左侧或右侧，输出车辆是否逆行。
[0116]
可以理解的是，若车辆目标的车头朝向摄像头且车辆目标的俯视面位于黄实线轮廓右侧，或者车辆目标的车头背对摄像头且车辆目标的俯视面位于黄实线轮廓左侧，输出车辆逆行违规；若车辆目标的车头朝向摄像头且车辆目标的俯视面位于黄实线轮廓左侧，或者车辆目标的车头背对摄像头且车辆目标的俯视面位于黄实线轮廓右侧，输出车辆未违规。
[0117]
在本技术另一个实施例中，所述采集路面实线场景数据集的方法，包括步骤：
[0118]
将摄像头设置于道路中间的黄实线正上方，摄像头的中心视角平行于路面延伸方向。
[0119]
可以理解的是，所述将摄像头设置于道路中间的黄实线正上方,可以同时拍摄到双向车道，一个摄像头可以同时检测多个车道。所述摄像头的中心视角平行于路面延伸方向，一方面可以提高监控范围，另一方面相对于传统的倾斜视角可以更好的识别车辆信息，提高精准度。
[0120]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精
神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。