一种基于深度学习的机动车违停智能识别方法及系统

1.本发明涉及智能识别技术领域，尤其是涉及一种基于深度学习的机动车违停智能识别方法及系统。


背景技术：

2.近年来，计算机视觉技术快速发展，且在众多军用和民用领域得到了有效应用。其中，基于深度学习的目标检测技术能自动提取出场景中的关键特征信息，快速、准确地进行目标的识别和定位。因此，目标检测能够为智慧园区中的机动车的状态进行识别，对齐停放区域以及停放时长进行判断，从而实现无需人员实时看管，基于园区利旧摄像头即可准确高效地识别违停机动车。
3.作为智慧园区中的一种重要应用场景，基于计算机视觉的机动车违停识别目前被广泛使用。但是目前识别不准确、误报率漏报率高等问题严重阻碍了用户体验，因此亟需一种准确高效的机动车违停识别。


技术实现要素：

4.本发明的目的在于提供一种基于深度学习的机动车违停智能识别方法及系统，以解决现有技术中存在的基于计算机视觉的机动车违停识别不准确、误报率漏报率较高的技术问题。
5.本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
6.为实现上述目的，本发明提供了以下技术方案：本发明提供的一种基于深度学习的机动车违停智能识别方法及系统，包括以下步骤：步骤100，采集用于训练的数据图像，人工标注所述数据图像中的所有机动车以得到用于训练的数据集；步骤200，使用所述数据集对基于目标检测领域state-of-the-art的目标检测模型yolov5的预训练模型进行迁移学习训练；步骤300，通过基于web的用户配置界面配置算法参数及违停区；步骤400，获取摄像头视频数据，将摄像头采集到的每一帧图像送入所述目标检测模型，得到机动车目标检测结果；步骤500，将所述机动车目标检测结果送入sort跟踪算法，对识别到的机动车目标进行跟踪；步骤600，识别并判断跟踪的机动车目标是否位于所述违停区并判断所述机动车目标是否违停。
7.优选地，对基于目标检测领域state-of-the-art的目标检测模型yolov5的预训练模型进行迁移学习训练后，使用tensorrt对模型进行算子融合、kernal funciton优化、权
重量化的优化操作。
8.优选地，判断车辆是否处于违停区包含以下步骤：步骤601，获取当前图像帧中某一个机动车检测框的左下方和右下方脚点及检测框中心点坐标；步骤602，若机动车检测框左下脚点与右下脚点均在违停区内，判断机动车违停；步骤603，若机动车检测框只有一侧脚点位于违停区内，则进行步骤604；步骤604，判断车辆中心点是否位于违停区内，若车辆中心点位于违停区内则判断机动车违停，否则进行下一步；步骤605，继续获取当前图像帧中的其他检测目标并进车辆是否违停判断的操作。
9.本技术还包含一种判断机动车位于违停区内是否缓慢移动的方法，包括以下步骤：步骤a01，计算前一帧图像中机动车的中心坐标与当前帧图像中所述机动车的中心坐标的像素距离，若所述像素距离超过阈值，则判定为车辆移动；步骤a02，若判断车辆处于移动状态，则将车辆信息中的违停时长清零并处理其他检测目标车辆；步骤a03，若车辆未在动，则获取当前时间并计算车辆停止累计时间，将所述车辆停止累计时间与设定的违停时长阈值进行比较，若所述车辆停止累计时间超过违停时长阈值，则判断为车辆违停，若所述车辆停止累计时间未超过违停时长，则当前目标车辆处理结束，继续处理其他检测目标。
10.优选地，所述阈值采用d/p的动态形式阈值来判断车辆缓慢移动，其中，式中字母d表示检测框的对角线距离，字母p为阈值比例因子。
11.优选地，若跟踪信息中上一帧图像跟踪到某一车辆，而当前帧中未跟踪到所述车辆时，则系统设置一个最大消失帧数，在未达到最大消失帧数之前，并不判断所述机动车丢失，之后使用sort跟踪算法中的卡尔曼滤波基于上一帧中的所述机动车目标框位置对当前帧的所述机动车目标框进行预测，预测的结果作为当前帧目标框；若下一帧图像检测到所述机动车目标框位置与所述当前帧目标框匹配，则判断为检测算法错误导致的车辆消失；若达到最大消失帧数后，直接视为所述机动车目标消失，系统删除此目标跟踪信息；若未达到最大消失帧数的时间段中所述机动车目标重新出现，则判断为所述机动车目标被短时间遮挡。
12.优选地，所述最大消失帧数建议设置为250-500帧，即10秒-20秒。
13.本技术的系统包含检测模型模块，图像处理模块及违停判断模块，其中：所述检测模型模块用于对所述图像处理模块采集到的摄像头视频数据进行目标检测并得到车辆的检测框及检测框信息；所述图像处理模块用于采集摄像头视频数据、配置禁区框位置及对所述检测模型模块得到的车辆检测框及检测框信息匹配唯一id后传入至所述违停判断模块；所述违停判断模块接收到匹配好唯一id的车辆检测框及检测框信息后输出跟踪器信息，查找每一个所述跟踪器信息，根据所述禁区框位置判断此车辆是否位于禁区内，并
再次更新跟踪器信息，根据更新后的所述跟踪器信息判断车辆是否应该被告警。
14.优选地，所述跟踪器信息包括：车辆id、车辆检测框、车辆是否进入违停区、车辆进入违停区时间、车辆是否已被告警。
15.优选地，所述数据集可采用平移、翻转、缩放的数据增强方式一增加训练数据量。
16.本发明将于深度学习的目标检测技术用于机动车违规停放识别，该方法能能从图像中准确地识别机动车目标，并对机动车目标进行跟踪，然后通过一系列机动车违停的逻辑判断，准确高效地识别出违规停放的机动车并产生告警，从而实现机动车违停的智能化监管。基于本发明所提出的智能违停识别系统，工作人员能够无需定时定点巡逻即能实时获取园区内机动车违规停放的告警消息，从而大幅度地提高了工作人员的效率，同时也节约大量的人力物力；检测模型模块：本发明采用state-of-the-art检测模型yolov5进行定制化训练，保证机动车检测准确率。本发明使用神经网络模型经过nvidia tensorrt网络模型压缩工具的算子融合、kernal funciton优化、权重量化处理等功能进行了吞吐量性能优化，以保证在有限预算下的性能最优化；图像处理模块：本发明对检测到的机动车进行基于跟踪算法（sort）的跟踪，并维护其个体结构体，用于对机动车状态进行判断，并且设置跟踪失效阈值避免被遮挡后产生误报；违停判断模块：本发明首先对跟踪到的机动车进行是否在禁区内进行判断，并提出多种对机动车缓慢移动的判断方式，通过对机动车进行缓慢移动判断，从而避免了传统方法中缓慢移动车辆误报问题；本发明可方便地从web页面对违停识别算法进行配置，告警消息也可实时地显示在web页面中供工作人员查看，与核心检测识别算法共同组成了一个机动车违停智能识别系统。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明一种基于深度学习的机动车违停智能识别方法及系统一实施例的流程示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
20.下面参照附图详细地说明本发明的具体实施方式。在各附图中，相同的附图标记表示相同或相应的技术特征。各附图仅作为示意图，并非一定按实际比例绘制的。
21.本发明一种基于深度学习的机动车违停智能识别方法及系统一实施例的流程示意图如图1所示，检测模型模块首先基于实际场景采集用于训练的数据，得到数据之后，经过人工标注数据图像中的所有机动车，得到用于训练的数据集。
22.为更好的保证训练效果，本发明可通过对训练数据集采用平移、翻转、缩放等数据增强的方式使得训练数据量大大增加。
23.然后通过训练数据集对基于目标检测领域state-of-the-art的目标检测模型yolov5的预训练模型进行迁移学习训练，以确保模型的准确性。
24.得到训练好的模型之后，传统方法一般直接将训练好的原始模型结合业务程序直接进行部署使用，这种方式不仅推理速度慢而且极其占用硬件资源。
25.为保证业务中目标检测的实时性，本发明中原始模型使用tensorrt对模型进行算子融合、kernal funciton优化、权重量化等优化模型推理吞吐量的操作，进行前向推理，使得推理加速。
26.图像处理模块首先，本发明的智能识别系统通过基于web的用户配置界面配置算法参数，web页面实时显示要配置摄像头的画面，用户可通过鼠标在画面中绘制违停区，当用户绘制完毕后，算法的配置将通过网络发送至算法服务器。
27.算法接收到配置之后，会根据指定的视频流地址拉取配置摄像头的实时数据，将得到的每一帧图像送入训练好的目标检测模型，得到机动车的目标检测结果。
28.然后将目标检测结果送入sort跟踪算法，对识别到的机动车目标进行跟踪。
29.跟踪的好处是将时间序列上的同一目标进行匹配并赋予同一id，避免了连续检测到同一辆车连续报警的问题。
30.违停判断模块根据图像处理模块的跟踪器跟踪信息，遍历所有跟踪到的目标，若为新跟踪到的车辆，则对其信息进行初始化；若之前系统已跟踪到此车辆，当前帧又跟踪到此车辆，则首先判断其是否位于违停区内，采用机动车检测框左下方和右下方脚点和检测框中心点坐标判断车辆是否处于违停区。
31.具体方法为：首先获取检测框bounding box 的左下方和右下方脚点和检测框中心点坐标；若左下脚点与右下脚点均在违停区内，判断机动车违停；若只有一侧脚点位于违停区内，则判断车辆中心点是否位于违停区内，若位于，则判断机动车违停；其余均视为不存在违停。
32.若机动车未位于违停区内，则当前目标车辆处理结束，继续处理其他检测目标，当所有目标遍历完成之后，则当前帧处理结束，继续获取下一帧。
33.若机动车位于违停区内，本发明采用一种判断机动车是否缓慢移动的方法，来避免车辆在很大的一片违停区内由于堵车或其他原因缓慢行驶的过程中一直处于违停区内而被误认为违停而报警的问题。
34.具体方法为：（1）计算前一帧图像中此机动车的中心坐标与当前帧的机动车中心坐标计算像素距离，若此距离超过一定阈值，则判定为车辆移动；（2）由于车辆距离摄像头距离不同从而在图像中距离摄像头远近不同的机动车检测出的box大小会存在很大差异；例如，远处的10个像素距离与近处的10个像素距离所对应的实际路面距离是不一样的。
35.因此，若步骤（1）中的方法使用单一的阈值作为判定条件，会造成对不同远近车辆判断缓慢移动标准不同的情况。
36.本发明提出使用动态阈值=d/p形式来判断车辆是否缓慢移动；式中d为检测框的对角线距离，p为阈值比例因子；在判断过程中p为固定值，可由算法人员调节。
37.设立动态阈值的效果为，当检测框较大时，对应的距离阈值越大，当检测框较小时，对应的距离阈值越小，从而使得在距离摄像头不同远近的车辆进行移动判断时更精确。
38.若车辆在移动，则将车辆信息中的违停时长清零，继续处理其他检测目标；若车辆未在移动，则获取当前时间并计算车辆停止累计时间，将车辆停止累计时间与违停时长阈值进行比较，若超过违停时长阈值，则判断为车辆违停，通过网络将车辆信息发送至web端，web端接收到告警消息后，在页面会显示告警信息；若没有超过违停时长，则当前目标车辆处理结束，继续处理其他检测目标。
39.若跟踪信息中上一帧跟踪到某一辆车，当前帧中未跟踪到，此时会出现以下3种情况：1、检测算法错误未检到目标；2、目标驶出画面范围；3、存在遮挡，其他物体将目标遮挡导致检测算法无法检测到目标。
40.针对上述情况，本发明处理的具体方法为：结合以上三种可能出现的情况，设置一个最大消失帧数，在未达到最大消失帧数之前，并不判断此目标丢失。使用sort跟踪算法中的卡尔曼滤波基于上一帧的目标框位置对其当前帧的目标框进行预测，预测的结果作为当前帧目标框，但跟踪状态依然为未跟踪到。
41.针对第一种情况，若为检测算法错误未检到目标，则当下一帧检测到目标框时，跟踪算法得到的目标框会与当前帧目标框匹配，避免了由于检测算法不稳定而导致的重复报警问题；针对第二种情况，当达到最大消失帧数后，算法视为当前车辆目标消失，删除此目标跟踪信息；针对第三种情况，若为短时间遮挡，在目标重新出现后跟踪算法依然能基于之前的目标框与遮挡后的目标框匹配，识别为同一车辆，避免了重复报警的问题。
42.最大消失帧数建议设置为250-500帧，即10秒-20秒。
43.具体的检测模型模块、图像处理模块及违停判断模块之间通过以下内容通信：检测模型模块经过训练、加速之后生成一个模型文件；图像处理模块首先通过网络通信获取web配置；其中web配置具体包括：摄像头rtsp流地址、禁区框位置；
配置完成后图像处理模块加载检测模型模块的模型文件对摄像头视频数据进行目标检测并得到车辆的检测框及检测框信息；再将检测框送入sort跟踪算法，为每个检测框匹配唯一id后传入违停判断模块得到跟踪器信息，其中，跟踪器信息包括车辆id、车辆检测框、车辆是否进入违停区、车辆进入违停区时间、车辆是否已被告警；违停判断模块遍历每一个跟踪器信息，根据禁区框位置判断此车辆是否位于禁区内，并更新跟踪器信息，并根据跟踪器信息判断车辆是否应该告警。
44.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。