交通道路车道级车流计数系统及其方法、设备、介质与流程

本发明涉及智慧城市交通技术领域，具体地，涉及一种交通道路车道级车流计数系统及其方法、设备、介质，尤其涉及一种基于图像视频算法的交通道路车道级车流计数系统及其方法、设备、介质。

背景技术：

自动车流统计在智能交通领域有着广泛而深刻的应用，目前大致有两种实现方案：一种是基于高精度传感器或激光雷达这样的硬件设备，需要在道路两旁部署这些硬件设备以及配套的基础设施，因此成本高昂，是许多地方都无法承受的，并不具有普适性。另一种是基于计算机视觉，使用现有的交通摄像头数据，但也有着统计粒度不够、部署困难以及成本高昂的缺点。

经过检索，专利文献cn110009023a公开了一种智慧交通中的车流统计方法，采用神经网络中的ssd和resnet，与传统的目标跟踪camshift算法两个部分组建，包括车辆检测方法和车辆跟踪方法。车辆检测方法首先建立ssd网络，ssd得到多个不同尺寸的特征图，对于同一特征层上的默认框采取不同的宽高比，增强默认框对物体形状的鲁棒性，ssd训练同时对位置和目标种类进行回归。车辆跟踪方法是采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪。该现有技术的不足之处在于采用ssd网络速度更慢、精度不够高，并且camshift方法的精度也不高。

专利文献cn110599781a公开了一种智慧化成时的车流统计识别系统，，包括视频源、车辆统计系统和信号机，视频源为交通视频接入的视频信息，车辆统计系统包括ai识别车辆、图像处理以及生成车流信息数据报告。该智慧化城市的车流量统计系统结合现代人工智能技术及图像处理技术研发一套关于路口通过交通摄像头实现的车辆统计算法，可实现在路口根据图像获取并得到车辆信息的目的；通过车辆计数模块对经过车辆进行计数统计，并计算车辆的进出时间达到有效控制红绿灯时间的长短，数据结果返回信号机自适应控制调节路口信号灯。该现有技术的不足之处在于只使用了基于目标检测的技术，对同一辆车容易重复统计，精度较低；并且该现有技术需要额外的信号，需要另外安装设备，成本高昂。

因此，亟需研发设计一种能够自动统计不同时段各类车辆的进出数量，分析路口、路段的交通状况的系统和方法。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种交通道路车道级车流计数系统及其方法、设备、介质，适用于交叉路口车道级别车流量的实时计数，可自动统计不同时段各类车辆的进出数量，分析路口、路段的交通状况，为交通调度、路况优化提供参考依据。

根据本发明提供的一种交通道路车道级车流计数系统，包括：

远程取数据模块：从多种视频源获取图像数据，将图像数据推入到对应的全局图像数据队列；

车辆检测模块：检测识别将全局图像数据队列中每一帧图像中的车辆和车型；

车辆跟踪模块：针对车辆检测模块的检测识别数据进行车辆多目标跟踪；

车流计数模块：基于每辆车的跟踪数据进行轨迹分析，统计当前时刻的车流量。

优选地，远程取数据模块针对不同视频源启动相应的方法获取图像数据，将获取的图像数据进行处理，按照图像的分辨率推入到对应的全局图像数据队列。

优选地，车辆检测模块使用yolov3模型将每一帧图像中的车辆和车型检测并识别。

优选地，车辆检测模块包括第一子模块和第二子模块；第一子模块从图像数据队列中获取图像，根据检测模型的batchsize，将图像数据分批次打包推入到内部的数据交换队列中；第二子模块从内部的数据交换队列中获取一个批次的图像进行处理。

优选地，车辆跟踪模块使用deepsort模型对图像数据队列的同一辆车赋予同一个id，实时知道某一辆车在某个时刻的位置。

优选地，车流计数模块根据不同的需求，实时统计道路级别、车道级别的的车流量，实时统计每种车型的数量以及路口每个方向的车流量。

根据本发明提供的一种交通道路车道级车流计数方法，包括如下步骤：

步骤s1：从多种视频源获取图像数据，将图像数据推入到对应的全局图像数据队列；

步骤s2：检测识别将全局图像数据队列中每一帧图像中的车辆和车型；

步骤s3：针对车辆检测模块的检测识别数据进行车辆多目标跟踪；

步骤s4：基于每辆车的跟踪数据进行轨迹分析，统计当前时刻的车流量。

优选地，步骤s3包括如下步骤：

步骤s3.1：使用车辆重识别模型获取每个车辆检测框的128维特征；

步骤s3.2：使用卡尔曼滤波基于车辆轨迹预测其在此刻的位置；

步骤s3.3：根据马氏距离和外观特征，将当前帧的车辆与前一帧的车辆进行关联。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。

根据本发明提供的一种交通道路车道级车流计数设备，包括上述的交通道路车道级车流计数系统或者上述的存储有计算机程序的计算机可读存储介质。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过交通道路摄像头数据，使用深度学习目标检测和跟踪方法，实现了车流自动统计，提高了统计粒度、部署简单且成本低廉。

2、本发明通过yolov3目标检测算法对车流进行自动计数，使得测量的速度更快，精度更高。

3、本发明采用多进程并发技术和多图像同时推理的技术，能够在同一时间支持更多的图像数据采集头。

4、本发明不需要另外安装设备，成本低廉，可扩展，包括车辆类型的扩展、模型类型数目的替换和模型数目的扩展。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的交通道路车道级车流计数系统工作流程示意图；

图2为本发明的远程取数据模块工作流程示意图；

图3为本发明的车辆检测模块工作流程示意图；

图4为本发明的车辆跟踪模块工作流程示意图；

图5为本发明的车流计数模块工作流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供了一种交通道路车道级车流计数系统，包括：

如图2所示，远程取数据模块从多种视频源获取图像数据，将图像数据推入到对应的全局图像数据队列；远程取数据模块针对不同视频源启动相应的方法获取图像数据，将获取的图像数据进行处理，按照图像的分辨率推入到对应的全局图像数据队列。包括本地视频、本地图片、远程视频流、远程图像等，最后将获取的图片数据进行简单的处理，按照图片的分辨率，将其推入到对应的全局图片数据队列中，供后面的模块消费和使用。

如图3所示，车辆检测模块检测识别将全局图像数据队列中每一帧图像中的车辆和车型；将每一帧图像中的车辆和车型检测和识别出来，使用了yolov3这个兼顾准确率和运行速度的模型。它又可以分成两个子模块：

从图像数据队列中获取图像，根据检测模型的batchsize，将图像数据分批次打包推入到内部的数据交换队列中；第二子模块从内部的数据交换队列中获取一个批次的图像进行处理，最后将结果写入到全局的检测数据队列中。

如图4所示，车辆跟踪模块针对车辆检测模块的检测识别数据进行车辆多目标跟踪；车辆跟踪模块使用deepsort模型对图像数据队列的同一辆车赋予同一个id，实时知道某一辆车在某个时刻的位置。基于此可以做进一步的车辆行为分析。

车辆跟踪模块首先从全局的检测数据队列获得图像的检测数据，然后对这些数据进行处理。最后将跟踪的结果写入到一个全局跟踪数据队列中。

如图5所示，车流计数模块基于每辆车的跟踪数据进行轨迹分析，统计当前时刻的车流量。车流计数模块根据不同的需求，实时统计道路级别、车道级别的的车流量，实时统计每种车型的数量以及路口每个方向的车流量。

在处理时，首先会读取每个道路摄像头的mask文件，这个文件包含了道路上需要注意的区域，并设置一条越准线；它根据车辆id将每辆出现在这些区域的车辆的轨迹保存在一个哈希表中，当有车辆越过该直线时便会将车辆数目加一。

根据本发明提供的一种交通道路车道级车流计数方法，包括如下步骤：

步骤s1：从多种视频源获取图像数据，将图像数据推入到对应的全局图像数据队列。

步骤s2：检测识别将全局图像数据队列中每一帧图像中的车辆和车型。

步骤s2.1：进行图像预处理，将图像进行resize、通道转换、归一化等处理。

步骤s2.2：图片推理，对图像使用tensorrt在gpu上进行推理。

步骤s2.3：预测后处理，对预测的结果进行解析，获得一个个检测框结果。

步骤s3：针对车辆检测模块的检测识别数据进行车辆多目标跟踪。

步骤s3.1：使用车辆重识别模型获取每个车辆检测框的128维特征。

步骤s3.2：使用卡尔曼滤波基于车辆轨迹预测其在此刻的位置。

步骤s3.3：根据马氏距离和外观特征，将当前帧的车辆与前一帧的车辆进行关联。

步骤s4：基于每辆车的跟踪数据进行轨迹分析，统计当前时刻的车流量。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。

根据本发明提供的一种交通道路车道级车流计数设备，包括上述的交通道路车道级车流计数系统或者上述的存储有计算机程序的计算机可读存储介质。

本发明通过上述的设置，能够实现：

1、准确率高：在200多路摄像头场景下，我们的车流统计准确率超过97％。

2、实时监控：基于目标检测和跟踪的计数，对一路摄像头每秒能够处理15帧的数据，完全达到了实时性的要求。

3、车道级别：根据不同的mask能够为每个车道实时统计出车流量，能够随时掌握路口每个方向的车辆数。

4、车型级别：可以提供卡车、公交、轿车三种机动车，以及自行车和电动车两种非机动车，共计5种车厢的车流数据统计。

5、易于部署：使用docker虚拟化技术将服务打包进容器中，简单修改配置文件后便可部署在任何机器上。

6、成本低廉：使用了深度学习中效率与准确率都比较高的yolov3目标检测方法和deepsort多目标追踪方法，利用模型剪枝和英伟达tensorrt技术进一步提升了模型的运行效率，在一台1080显卡上能够支持高达16路摄像头的实时车流统计，因此相同的设备能支持更多的摄像头服务。

7、可扩展：各个子模块是解耦的，因此整个系统十分容易可扩展，包括车辆类型的扩展、模型类型数目的替换和模型数目的扩展。

8、支持多分辨率：系统会对接入的摄像头的不同分辨率进行统计，对每种分辨率提供相应的资源，从而达到最优的性能状态。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。