一种基于计算机视觉的车辆加塞的检测方法、系统和装置与流程

1.本发明涉及计算机视觉技术领域，特别是涉及一种基于计算机视觉的车辆加塞的检测方法、系统和装置。


背景技术：

2.随着家用汽车的拥有量的急剧攀升，交通拥堵成为不可避免的问题，一些车辆在交通拥堵时进行强行并线以减少等待时间，即通过加塞减少等待时间。然而，加塞行为进一步恶化了交通拥堵问题。
3.如何识别并准确检测车辆的加塞行为成为本领域技术人员亟待解决的技术问题。


技术实现要素：

4.为了解决上述问题至少之一，本发明第一个实施例提供一种基于计算机视觉的车辆加塞的检测方法，包括：
5.使用预设置的车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框；
6.基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息；
7.响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
8.进一步地，所述基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息进一步包括：
9.基于预设置的车道区域，检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框；
10.根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息。
11.进一步地，所述基于预设置的车道区域，检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框进一步包括：检测各车辆检测框的中心点、和/或底边中点与各车道的相交情况获取各车道包括的车辆检测框；
12.所述根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息进一步包括：根据同一车道内相邻车辆检测框的位置坐标，判断相邻车辆检测框的中心点距离是否小于预设拥堵阈值，若小于所述拥堵阈值则所述车道的拥堵信息为拥堵状态。
13.进一步地，在所述基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息之前，所述检测方法还包括：基于所述车辆检测框，分别使用预设置的车辆关键点检测模型获取各车辆检测框的关键点信息，所述关键点信息包括所述车辆检
测框的多个关键点的坐标信息和分类信息，所述分类信息包括属性信息和可见信息；
14.所述基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息进一步包括：
15.基于预设置的车道区域，根据各车辆检测框的关键点信息，检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框；
16.根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息。
17.进一步地，所述多个车辆关键点包括所述车辆检测框对应的目标车辆的各车轮的车轮关键点，
18.所述基于预设置的车道区域，根据各车辆检测框的关键点信息，检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框进一步包括：分别检测各车辆检测框，响应于所述车辆检测框的任意一个车轮关键点落入所述车道内判断所述车辆检测框属于所述车道，并获取各车道包括的车辆检测框；
19.所述根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息进一步包括：根据同一车道内相邻车辆检测框的位置坐标判断相邻车辆检测框的中心点距离是否小于预设拥堵阈值、和/或根据同一车道内相邻车辆检测框的对应的至少一个关键点的距离是否小于预设拥堵阈值，若小于所述拥堵阈值则所述车道的拥堵信息为拥堵状态。
20.进一步地，所述响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆还包括：
21.提取所述车道中各车辆检测框的中心点坐标；
22.将各所述中心点坐标投影至预设置的投影区域并获取对应的中心点投影坐标，使用所述加塞车辆以外的各中心点投影坐标形成排队区域；
23.响应于所述加塞车辆对应的中心点坐标属于所述排队区域以确定所述加塞车辆、并获取所述加塞车辆的加塞位置。
24.进一步地，在所述响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆之后，所述检测方法还包括：
25.拍摄并存储所述加塞车辆的加塞图像，并使用预设置的车牌检测模型检测所述加塞图像并输出所述加塞车辆的车牌信息。
26.本发明的第二个实施例提供一种基于计算机视觉的车辆加塞的检测系统，包括车辆检测模型、拥堵状态检测单元、加塞检测单元和控制单元，所述控制单元被配置为：
27.使用所述车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框；
28.基于预设置的车道区域，使用所述拥堵状态检测单元根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息；
29.响应于所述拥堵信息为拥堵状态的车道，使用所述加塞检测单元根据所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
30.进一步地，所述检测系统还包括车辆关键点检测模型，所述控制单元进一步配置为：
31.基于所述车辆检测框，分别使用所述车辆关键点检测模型获取各车辆检测框的关键点信息，所述关键点信息包括所述车辆检测框的多个关键点的坐标信息和分类信息，所述分类信息包括属性信息和可见信息。
32.进一步地，所述检测系统还包括车牌检测模型，所述控制单元进一步配置为：
33.拍摄并存储所述加塞车辆的加塞图像，并使用所述车牌检测模型检测所述加塞图像并输出所述加塞车辆的车牌信息。
34.本发明的第三个实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明的第一个实施例所述的方法。
35.本发明的第四个实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明的第一个实施例所述的方法。
36.本发明的有益效果如下：
37.本发明针对目前现有的问题，制定一种基于计算机视觉的车辆加塞的检测方法、系统和装置，其中一个实施例的检测方法基于计算机视觉获取交通图像，并通过预设置的车道区域判断各车道的拥堵状态和新增车辆，在车道处于拥堵状态的情况下当新增车辆同时属于相邻车道时判断该车辆为加塞车辆，从而实现准确地检测车辆加塞行为，有效解决相关技术中加塞车辆检测失效的问题；进一步通过自适应的关键点选取能够有效解决因车辆被部分遮挡或拍摄角度特殊导致的变道误判断问题，具有实际应用价值。
附图说明
38.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1示出本发明的一个实施例所述检测方法的流程图；
40.图2示出本发明的一个实施例所述加塞车辆的示意图；
41.图3示出本发明的另一个实施例所述遮挡车辆的示意图；
42.图4示出本发明的一个实施例所述车辆检测框的关键点的示意图；
43.图5示出本发明的一个实施例所述车辆检测框的中心点投影的示意图；
44.图6示出本发明的一个实施例所述检测系统的结构框图；
45.图7示出本发明的另一个实施例所述的一种计算机设备的结构示意图；
46.图8示出本发明的另一个实施例所述的检测方法的流程图。
具体实施方式
47.为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
48.根据《道路交通安全法》第四十五条规定，机动车遇有前方车辆停车排队等候或者缓慢行驶时，不得借道超车或者占用对面车道，不得穿插等候的车辆，根据相关法律规定，机动车实施“加塞”的交通违法行为，记2分，处以罚款200元。
49.相关技术中，电子警察利用计算机视觉技术实现对加塞行为的自动检测和告警，通常在判断车辆的变道行为的基础上对车道的拥堵情况进行判断：例如在辅助驾驶场景下对前车加塞行为作出预测以期进行及时反应，通过实时检测车道线并判断前车行为，然而，实时检测车道线容易受天气、光照影响而导致车道线检测失效，并且该方法只能实现对前车加塞行为的判断，在车辆被部分遮挡或者特殊角度下，容易导致的变道误判；同时该方法对后车等无法判断，不适用于需要监控大车流量的电子警察。
50.根据上述问题，如图1所示，本发明的一个实施例提供了一种基于计算机视觉的车辆加塞的检测方法，包括：
51.使用预设置的车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框；
52.基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息；
53.响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
54.在本实施例中，基于获取的交通图像通过预设置车道区域的方式，在各交通图像具有明确各车道位置的基础上，通过训练后的车辆检测模型准确检测出车辆检测框，进而确定各车道的车辆检测框和车道拥堵情况，在车道拥堵的情况下通过判断当前车道是否存在新增车辆、以及新增车辆是否同时属于相邻车道以确认该车辆是否为加塞车辆，从而通过计算机视觉准确地检测车辆加塞行为，有效解决相关技术中加塞车辆检测失效的问题，具有较高的鲁棒性。
55.在一个具体的示例中，以一个具体道路为例，通过以下检测步骤实现对加塞车辆的识别，具体过程如下：
56.第一步，获取道路设置的图像采集装置采集的交通图像，使用预设置的车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框。
57.在本实施例中，如图2所示，利用车辆检测模型对交通图像进行车辆检测并输出多个车辆检测框，即图2中的多个标识车辆的矩形框，每个矩形框表征为一个检测到的目标车辆。所述车辆检测模型为经过训练后的目标检测模型，本技术对使用的目标检测模型不作具体限定，可以为faster rcnn、cascadercnn、maskrcnn、yolo系列、ssd、retinanet、fcos、cornernet等，以实现对目标车辆的检测为设计准则，本实施例使用的车辆检测模型为训练后的yolov5目标检测网络，根据输入的交通图像输出如图2所示的具有多个车辆检测框的交通图像。
58.在本实施例中，对yolov5目标检测网络进行训练具体包括：
59.首先，收集本实施例所述道路的真实场景图片，例如包括晴天、雨天、雪天、黑夜、城市、乡镇、平视、俯视、远景、近景等多维度场景图片。
60.其次，对上述真实场景图片中的车辆进行手动标注并保存为与该真实场景图片一一对应的标签文件，所述车辆包括轿车、大巴、货车等机动车。
61.再次，将标注好的真实场景图片和标签文件作为训练数据输入yolov5网络进行训练，获得本实施例的车辆检测模型。其中，yolov5(you only lookonce)是由uitralyticsllc公司发布的一种单阶段目标检测算法，yolov5相比yolov4而言，在检测平均精度降低不多的基础上，具有均值权重文件更小，训练时间和推理速度更短的特点。
62.本实施例通过收集道路真实场景的图片，包括气候、角度、景别等多维度场景，并手工对图片进行标注，获得高质量的训练数据；再选用本领域中成熟、高效的yolov5网络进行训练以获取车辆检测模型；从而对输入的交通图像进行快速、准确地检测以稳定输出交通图像中的多个车辆检测框。
63.第二步，基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息。
64.在本实施例中，如图2所示，在获得车辆检测框的基础上，根据已知的车道区域，通过检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框；根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息。具体包括：
65.首先，图像采集装置输出具有车道区域的交通图像，例如图中使用黑色实线标注的车道线，该交通图像具有四个车道，在交通图像从右向左的方向上，分别为车道1、车道2、车道3和车道4。本实施例针对相关技术中实时检测车道线易受天气、光照等因素的影响导致的存在车道线检测易失效的问题，基于预设置的车道区域进行车道判断有效避免上述问题，并且避免实时计算以降低车道线识别的硬件成本，减小车道线识别的计算量，能够高效、稳定、低成本的实现车道线检测。本实施例在安装调试摄像头阶段，通过对该摄像头拍摄的场景中的车道线信息进行标注，例如选用人工打点构建多边形的方式对车道线信息进行标注，形成车道多边形表示车道线信息。
66.值得说明的是，本发明对标注方式不作具体限定，本领域技术人员应当根据具体的使用场景选择适合的标注方式，包括但不限定由现场的摄像头安装调试人员在相关测绘仪器的协助下，通过客户端软件对道路信息进行标注；或者通过交通管理人员在控制中心的控制客户端中，直接读取摄像头采集的道路图像进行手工标注；或者控制客户端先通过图像识别技术自动生成所述车道区域的标注信息，再由管理人员手工进行调整和确认等。
67.其次，获取各车道包括的车辆检测框，通过检测各车辆检测框与各车道的相交情况，判断该车辆检测框是否属于某一车道。本实施例的车道区域为通过人工标注的方式确定的多边形，通过人工打点的疏密程度，实现不同精度的多边形，能够精确的标识各种复杂道路信息，如直线、弧线、无规律的折线等；所述车辆检测框如图2所示为一个标准的矩形框。本实施例通过判断所述车辆检测框是否与所述人工标注的多边形所标识的车道信息相交即可判断该车辆检测框是否属于某一车道，相对于相关技术中依靠实时检测车道线的方式判断是否属于某车道，本实施例的判断方法更加简单、快捷、稳定和高效。
68.考虑到车辆的高度差别以及道路的弯曲程度差别，在一个可选的实施例中，检测各车辆检测框的中心点与各车道的相交情况获取各车道包括的车辆检测框，或者检测各车辆检测框的底边中点与各车道的相交情况获取各车道包括的车辆检测框，或者检测各车辆检测框的中心点与各车道的相交情况获取各车道包括的车辆检测框、以及检测各车辆检测框的底边中点与各车道的相交情况获取各车道包括的车辆检测框，从而获取各车道包括的车辆检测框。
69.具体的，检测各车辆检测框的中心点与各车道的相交情况获取各车道包括的车辆检测框，即根据车辆检测框的位置信息获取车辆检测框的中心点位置，若所述中心点位置位于所述车道区域则确定该车辆检测框对应的车辆位于所述车道内。检测各车辆检测框的底边中点与各车道的相交情况获取各车道包括的车辆检测框，即根据车辆检测框的位置信息获取车辆检测框的底边中点位置，若所述底边中点位置位于所述车道区域则确定该车辆检测框对应的车辆位于所述车道内。或者同时通过检测各车辆检测框的中心点与各车道的相交情况和检测各车辆检测框的底边中点与各车道的相交情况以确定该车辆检测框对应的车辆位于所述车道内。
70.在本实施例中，所述摄像头将现实中三维空间的图像投影到一个二维平面中完成道路现场画面的采集和录制，在投影过程中，因车辆高度的不同，或者车辆所处位置刚好在弯曲程度较大的位置时，使用车辆检测框获取各车道包括的车辆检测框时容易产生误判，因此本实施例中使用车辆检测框的中心点、和/或底边中点与各车道的相交情况获取各车道包括的车辆检测框更加准确，具有较好的精确度和稳定性。
71.考虑到实际道路中车辆存在不同程度遮挡，或者车辆所处位置与道路延伸方向的角度较大时，因车辆检测模型输出的车辆检测框不能完全代表车辆容易导致对车辆是否在车道内造成误判断。例如如图3所示，在交通图像从右向左的方向上，分别为车道1、车道2和车道3，车辆检测框包括位于车道3的第一车辆检测框10、第二车辆检测框20和第三车辆检测框30，以及位于车道1的第四车辆检测框40和第五车辆检测框50。其中，轿车20的大部分车身被货车10遮挡，此时轿车20的车辆检测框不能完全、准确的表征目标车辆的位置信息，因此使用车辆检测框对轿车20判断是否属于车道3内时容易造成误判。为解决此问题，在一个可选的实施例中，基于所述车辆检测框，分别使用预设置的车辆关键点检测模型获取各车辆检测框的关键点信息，所述关键点信息包括所述车辆检测框的多个关键点的坐标信息和分类信息，所述分类信息包括属性信息和可见信息；基于预设置的车道区域，根据各车辆检测框的关键点信息，检测各车辆检测框与各车道的相交情况获取各车道包括的车辆检测框；根据所述车道方向，分别对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息。
72.在本实施例中，如图4所示为图3中第五车辆检测框50的关键点示意图，车辆关键点检测模型根据输入的车辆检测框输出该车辆检测框的关键点信息，包括坐标信息和可见信息，其中坐标信息为关键点的具体坐标，可见信息为关键点在此交通图像中是否可见，所述关键点包括但不限于目标车辆的前后车灯、车顶角点和车轮等多个关键点。具体的，先收集大量带有标注的车辆关键点的图片，即人为对车辆图片进行关键点标注，获取每个关键点的坐标、每个关键点对应的部位名称，以及每个关键点是否为可见点。再将图片和标注同时送入深度学习网络训练，本实施例使用resnet网络，模型根据标注的关键点信息进行坐
标回归训练，从而获得关键点检测模型。
73.具体的，先根据所述车辆检测框对交通图像中所有的目标车辆的图片进行裁剪，得到所有车辆的车辆图片；然后将各车辆图片输入车辆关键点检测模型，分别获取各车辆检测框的关键点信息。如图4所示，第五车辆检测框50包括能够表征目标车辆轮廓的多个关键点，例如第五车辆检测框50的车顶角点511、512、513和514，第五车辆检测框50的前车灯522和523，第五车辆检测框50的后车灯515和516，第五车辆检测框50的车轮517、518、521和524，其中，关键点511、512、513、514、515、516、517和518为该图像中的可见点，关键点521、522、523和524为该图像中的不可见点，即被遮挡的点，例如车轮521和524为位于车辆另一侧的两个车轮的关键点，前车灯522和523为被路边灌木遮挡的点。
74.如图3所示，交通图像中由于第一车辆检测框10为高度较高的货车，对第二车辆检测框造成遮挡，第二车辆检测框20仅为目标车辆的右侧半个车身，如果只使用车辆检测框对车辆是否属于车道3进行判断容易产生误判。因此通过训练后的车辆关键点检测模型，输入车辆图片输入模型后，得到车辆所有关键点，包括但不限定于前后车灯、车顶角点、车轮等。具体的，对于第二车辆检测框20通过使用车辆关键点检测模型能够获取完整的车辆关键点信息，并使用所述车辆关键点信息与车道多边形内的几何关系进行车道判断，如图3所示，第二车辆检测框20虽然被遮挡，但是根据关键点模型推测出其车轮关键点可以判断出第二车辆检测框20被遮挡部分并未跨越车道。本实施例使用的关键点检测模型获取各车辆检测框的关键点进行判断，相对于上述实施例使用车辆检测框的中心点和/或底边中点进行判断，进一步有效解决因遮挡导致车辆检测框不完整导致的检测失效问题。
75.进一步地，考虑到大型车辆在车道拐弯的情况下，即处于大角度的情况下，车辆检测框在透视关系的作用下投射到地面后容易导致车道检测失效的问题，在一个可选的实施例中，使用车轮关键点与车道区域的关系进行车道判断。
76.在本实施例中，只要目标车辆的任意一个车轮关键点落在该车道的多边形内部即确定该目标车辆属于该车道内。本实施例采用的所属车道检测方法，能够有效避免因遮挡和大角度情况下使用车辆检测框引起的误判问题，能够准确、稳定和有效的实现车道判断。例如分别检测各车辆检测框，响应于所述车辆检测框对应的目标车辆的任意一个车轮关键点落入所述车道内判断所述车辆检测框属于所述车道，从而获取各车道包括的车辆检测框。
77.再次，根据所述车道方向，分别对各车道的各车辆检测框进行排序。
78.在本实施例中，根据所述车道方向，分别对各车道的各车辆检测框进行排序，例如所述车道方向包括横向和纵向，考虑到实际道路情况往往较为复杂，车道大多无法达到完全的水平或垂直，甚至经常出现弯曲、折线等情况，在安装或调试所述摄像头设备时，相关设置人员应该根据实际情况判断并标注该车道整体上属于横向还是纵向。若该车道为纵向，则根据所述车辆检测框中心点的纵坐标进行上下排序；若该车道为横向，则根据所述车辆检测框中心点的横坐标进行左右排序。本实施例所述根据所述车道方向分别对各车道的各车辆检测框进行排序，能够适应各种复杂的路面情况，实现得到各个车道排序后的所有车辆。
79.最后，根据同一车道内相邻车辆检测框的位置信息获取所述车道的拥堵信息。
80.在本实施例中，根据同一车道内相邻车辆检测框的位置坐标，判断相邻车辆检测
框的中心点距离是否小于预设拥堵阈值，若小于所述拥堵阈值则所述车道的拥堵信息为拥堵状态。根据《道路交通安全法》第四十五条规定，机动车遇有前方车辆停车排队等候或者缓慢行驶时，不得借道超车或者占用对面车道，不得穿插等候的车辆。因此首先要判断该道路是否属于拥堵状态。即判断每个车辆距离其临近的前后的设置阈值而灵活调整拥堵判断的尺度，并且能够准确的判断所述摄像头的监控范围内整条车道整体的拥堵情况。
81.基于上述实施例获取的各车辆检测框对应的目标车辆的多个关键点信息，在一个可选的实施例中，根据同一车道内相邻车辆检测框的对应的至少一个关键点的距离是否小于预设拥堵阈值，若小于所述拥堵阈值则所述车道的拥堵信息为拥堵状态。
82.在本实施例中，通过使用关键点信息能够进一步准确地判断车辆所属车道是否处于拥堵状态。
83.值得说明的是，本实施例还包括根据同一车道内同时使用相邻车辆检测框的中心点距离是否小于预设拥堵阈值、以及相邻车辆检测框对应的至少一个关键点的距离是否小于预设拥堵阈值进行拥堵判断，若小于所述拥堵阈值则所述车道的拥堵信息为拥堵状态，进一步提高该车道拥堵状态的准确性。
84.本实施例所述基于预设置的车道区域，能够简单、快捷、稳定的检测各车道包括的车辆检测框；并根据所述车道方向对各车道的各车辆检测框进行排序，并根据同一车道内相邻车辆检测框的位置信息灵活、准确的获取所述车道的拥堵信息。
85.第三步，响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
86.在本实施例中，根据加塞行为的定义，加塞车辆应为跨越车道线的车辆，因此只对跨越车道线的车辆检测框进行判断可以事半功倍。具体的，如图2所示，车道1和车道2处于非拥堵状态，车道3和车道4处于拥堵状态，例如车道1和车道2为直行车道且处于绿灯状态，车道3和车道4为左转车道且处于红灯状态。此状态下进一步通过对比相邻两帧交通图像中各车道内的车辆，能够通过比较该车道内当前帧相对于前一帧新增的车辆是否也同时在相邻的车道内进行判断，若是则判定此车辆跨越车道线，且方向为进入当前车道，否则则为正常汇入车辆。
87.如图2所示，在车道2处于非拥堵状态而车道3处于拥堵状态的情况下，黑色车辆对应的车辆检测框100同时属于车道2和车道3，即黑色车辆跨越车道2和车道3，因此判断车辆检测框100对应的黑色车辆为加塞车辆。
88.为了进一步获取加塞车辆的加塞位置，在一个可选的实施例中，所述响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆还包括：提取所述车道中各车辆检测框的中心点坐标；将各所述中心点坐标投影至预设置的投影区域并获取对应的中心点投影坐标，使用所述加塞车辆以外的各中心点投影坐标形成排队区域；响应于所述加塞车辆对应的中心点坐标属于所述排队区域以确定所述加塞车辆、并获取所述加塞车辆的加塞位置。
89.在本实施例中，如图5所示为图2的局部图，车道3处于拥堵状态且拥堵队列包4各车辆检测框，沿纵向方向分别为车辆检测框200、车辆检测框300、车辆检测框400和车辆检
测框500，此时车辆检测框100正从车道2向车道3发生跨越车道线的加塞行为。本实施例将车道3中四各车辆检测框的中心点投影至左侧的坐标轴y上形成排队区域，即车辆检测框200的中心点201投影到坐标轴y上、车辆检测框300的中心点301投影到坐标轴y上、车辆检测框400的中心点401投影到坐标轴y上、车辆检测框500的中心点501投影到坐标轴y上，并沿y轴进行排序；当车辆检测框100的车头进入车道3时，响应于车辆检测框100对应的中心点101投影到坐标轴y上，进一步确定车辆检测框100对应的目标车辆发生加塞行为并且加塞位置在车辆检测框300和车辆检测框400之间，即进一步获取加塞车辆的加塞位置。
90.在检测到加塞车辆的加塞行为的基础上，考虑到对加塞车辆的处罚需求，在一个可选的实施例中，所述检测方法还包括：拍摄并存储所述加塞车辆的加塞图像，并使用预设置的车牌检测模型检测所述加塞图像并输出所述加塞车辆的车牌信息。
91.本实施例使用所述车牌检测模型通过加塞图像能够识别加塞车辆的车牌信息，例如，拍摄发生加塞行为的加塞车辆的现场图像，输入车牌检测模型进行车牌识别，最终将拍摄的现场图像与车牌识别结果上报交通管理部门，以便交通管理部门依法进行交通处罚。
92.至此，完成对加塞车辆的识别。在本实施例中，首先使用预设置的车辆检测模型获取车辆检测框以及车辆id，进一步使用预设置的车辆关键点检测模型获取各车辆检测框的关键点信息，包括该车辆的关键点位置和分类；其次通过预测得到的车辆的车轮关键点是否在车道多边形内的几何关系进行车道判断以获取各车道包括的车辆检测框和车道拥堵状态。最后在车道处于拥堵状态下判断该车道相邻两帧交通图像是否存在新增车辆，且新增车辆是否同时属于相邻车道，从而判断新增车辆是否为加塞车辆，能够实现通过计算机视觉对车辆的加塞行为进行准确检测。
93.为进一步说明本实施例对车辆加塞状态的检测，如图8所示，以一个实际的例子进行说明：
94.s1：图像采集装置采集交通图像。
95.在本实施例中，利用设置在道路上的摄像头实时采集交通图像，所述交通图像包括预设置的车道区域，即所述交通图像已经标注车道区域。本实施例针对相关技术中实时检测车道线易受天气、光照等因素的影响导致的存在车道线检测易失效的问题，基于预设置的车道区域进行车道判断有效避免上述问题，并且避免实时计算以降低车道线识别的硬件成本，减小车道线识别的计算量，能够高效、稳定、低成本的实现车道线检测。
96.s2：获取交通图像并使用车辆检测模型进行目标检测并输出车辆检测框。
97.在本实施例中，通过车辆检测模型实时检测交通图像并快速、准确地检测出交通图像中的多个车辆检测框，例如检测并遍历所述交通图像中的所有车辆并输出对应的车辆检测框。
98.s3：使用车辆关键点检测模型获取各车辆检测框的关键点信息。
99.在本实施例中，考虑到实际道路中车辆存在不同程度遮挡，基于获取的各车辆检测框，使用车辆关键点检测模型获取各车辆检测框的关键点信息，所述关键点信息包括所述车辆检测框的多个关键点的坐标信息和分类信息。例如交通图像中的车辆检测框仅包括目标车辆的部分图像，通过车辆关键点检测模型可以获取该车辆的的前后车灯、车顶角点和车轮等多个关键点、以及各关键点的坐标、部位名称和是否可见，从而进一步获取目标车辆的位置信息。
100.s4：遍历各车道区域以获取各车道区域包括的车辆检测框。
101.在本实施例中，根据已知的车道区域，获取每个车道区域中的车辆检测框，例如根据各车辆检测框和/或各车辆检测框的关键点信息与各车道的相交情况获取各车道包括的车辆检测框。
102.s5：根据各车道区域的车辆检测框判断各车道区域是否处于拥堵状态。
103.在本实施例中，根据各车道区域包括的车辆检测框按照车道方向对各车辆检测框进行排序，并通过相邻两个车辆的车辆检测框和/或各车辆检测框的关键点信息进行拥堵状态判断。
104.s6：通过车辆检测框和/或各车辆检测框的关键点信息检测是否有车辆跨越车道线。
105.在本实施例中，基于车道区域处于拥堵状态，通过车辆检测框和/或各车辆检测框的关键点信息判断处于拥堵状态的车道是否有新增车辆，并且该新增车辆是否同时属于相邻车道，若是则表明该车辆为加塞车辆。
106.s7：判断加塞车辆是否处于该车道区域的拥堵队列。
107.在本实施例中，为进一步确定加塞车辆的加塞行为，通过将该车道区域的各车辆检测框的中心点坐标投影至投影区域获取该车道区域的拥堵队列，并判断加塞车辆的中心点坐标投影是否属于拥堵队列，通过中心点坐标投影不仅再次验证加塞车辆的加塞行为，并且能够获取加塞车俩的加塞位置。
108.s8：对加塞车辆进行取证并上报。
109.在本实施例中，基于检测出的加塞车辆，拍摄该加塞车辆的加塞图像以作为加塞证据，例如该车辆跨越车道线进入处于拥堵状态的车道，并利用车牌检测模型检测所述加塞图像并输出所述加塞车辆的车牌信息，以便于作为交通处罚的依据上报交通管理部门。
110.本实施例通过车辆检测模型获取车辆检测框，进一步通过车辆关键点检测模型获取各车辆检测框的关键点信息；再通过车辆的车轮关键点是否在车道多边形内的几何关系进行车道判断以获取各车道包括的车辆检测框和车道拥堵状态；在车道处于拥堵状态下判断该车道相邻两帧交通图像是否存在新增车辆，且新增车辆是否同时属于相邻车道，从而判断新增车辆是否为加塞车辆，能够实现通过计算机视觉对车辆的加塞行为进行准确检测。
111.与上述实施例提供的一种基于计算机视觉的车辆加塞的检测方法相对应，本技术的一个实施例还提供一种基于计算机视觉的车辆加塞的检测系统，如图6所示，包括车辆检测模型、拥堵状态检测单元、加塞检测单元和控制单元，所述控制单元被配置为：使用所述车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框；基于预设置的车道区域，使用所述拥堵状态检测单元根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息；响应于所述拥堵信息为拥堵状态的车道，使用所述加塞检测单元根据所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
112.本实施例的车辆加塞的检测系统基于计算机视觉获取交通图像，并通过预设置的车道区域判断各车道的拥堵状态和新增车辆，在车道处于拥堵状态的情况下当新增车辆同
时属于相邻车道时判断该车辆为加塞车辆，从而实现准确地检测车辆加塞行为，有效解决相关技术中加塞车辆检测失效的问题，具有实际应用价值。本实施例的具体实施方式参见前述实施例，在此不再赘述。
113.值得说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
114.本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：使用预设置的车辆检测模型对接收的交通图像进行实时检测并输出所述交通图像中的车辆检测框；基于预设置的车道区域、根据所述车辆检测框获取所述交通图像的各车道的车辆信息，所述车辆信息包括所属车道内的车辆检测框、以及所述车道的拥堵信息；响应于所述拥堵信息为拥堵状态的车道、并且所述车道的车辆检测框相比于前一帧交通图像存在新增车辆检测框，判断所述新增车辆检测框是否同时属于所述车道的相邻车道，若是则所述新增车辆检测框对应的目标车辆为加塞车辆。
115.在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
116.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
117.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
118.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
119.如图7所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图7显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
120.如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
121.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
122.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
123.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
124.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
125.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图7所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图7中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
126.处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种基于计算机视觉的车辆加塞的检测方法。
127.本发明针对目前现有的问题，制定一种基于计算机视觉的车辆加塞的检测方法、系统和装置，其中一个实施例的检测方法基于计算机视觉获取交通图像，并通过预设置的车道区域判断各车道的拥堵状态和新增车辆，在车道处于拥堵状态的情况下当新增车辆同时属于相邻车道时判断该车辆为加塞车辆，从而实现准确地检测车辆加塞行为，有效解决相关技术中加塞车辆检测失效的问题；进一步通过自适应的关键点选取能够有效解决因车
辆被部分遮挡或拍摄角度特殊导致的变道误判断问题，具有实际应用价值。
128.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。