一种针对复杂监控场景的多车道车流量检测方法与流程

1.本发明涉及智能交通系统和图像处理技术的技术领域，具体公开了一种针对复杂监控场景的多车道车流量检测方法。


背景技术：

2.随着现代化城市规模的不断发展壮大，城市机动车保有量逐年升高，据公安部统计，2019年全国新注册登记机动车已有3214万辆，全国机动车保有量到达3.48亿量。各类因事故，复杂交通场景或异常天气而导致的拥堵也愈发平常，同时，车辆与交通道路带来的巨大海量数据信息为城市智慧交通系统建设提供了基础信息资源，也加快了对于系统建设的迫切需求，城市道路的实时车流量统计是智慧交通系统中最为基础环节。
3.早期的车流量计数监控系统皆需要依靠人力进行监测与分析，或是依靠特殊的传感器进行检测，人力监测不但费时而且效率低下，而传感器检测又需要车辆对各种检测传感器的支持，普及困难。随着机器视觉技术的发展，开始逐渐衍生出各种依靠机器视觉进行的监控视频分析，例如通过帧差法检测运动物体并计数的方式统计车流量。但此类方法鲁棒性较差，且针对不同场景需要人工进行检测区域划定，故而普适性较弱。现有技术中有对运动车辆检测的车流量统计方法，如公开号为cn106952474a公开了一种基于运动车辆检测的车流量统计方法，具体方法为：首先利用多尺度的形态学算子进行图像预处理，再结合背景实时更新、背景差分和边缘梯度差分检测出车辆目标，从而获取车辆目标的二值化图像；最后根据二值化图像，通过双阈值和车道检测线圈的状态转变方法进行单车道或多车道的车流量统计，实现了对车辆流量的自动统计，但是其统计的精确度不高，无法适应复杂环境。公开号为cn111932908a公开了一种基于深度学习的转向比及车流量统计方法，具体包括1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取实时视频流；4)检查相机工作状态；5)使用卷积神经网络模型对兴趣区域进行车辆目标检测；6)车辆目标跟踪；7)车道转向比统计；8)车流量统计，主要考虑到车辆转弯时，车辆的边界框变化大的特点，提出了车辆转弯时宽松化跟踪阈值的方法，以缓解目标跟踪丢失的情况。


技术实现要素：

4.为了解决上述问题，本发明提供了一种针对复杂监控场景的多车道车流量检测方法，利用深度学习在面对复杂环境时的优势，解决在各种不同场景环境下中的拥堵时段，雨雪天气，夜间等场景下的车流量统计问题。
5.为了达到上述目的，本发明是通过以下技术方案来实现的：本发明是一种针对复杂监控场景的多车道车流量检测方法，包括以下步骤：步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；
步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果。
6.本发明的进一步改进在于：步骤2的具体处理步骤如下：步骤2.1，获取上一步输出的实时视频帧的前景图像；步骤2.2，基于图像透视原理对前景图像做自适应膨胀处理：其中为前景图像，k为自适应卷积核，(x, y)为当前卷积坐标， m，n为卷积核的宽与高，w，h为前景图像的宽与高，为设定系数；步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像构成前景图像集合m,通过前景图像集合m合成道路区域。
7.步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。
8.本发明的进一步改进在于：步骤3的具体处理步骤如下：步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道。
9.本发明的进一步改进在于：步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布，对任意车辆的边界框转换为二维高斯分布式为：
其中为第i辆车辆的中心点，，分别为第i辆车辆边界框的宽与高，scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为的空白热图标签上，其中由于互不相关，故取0；步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：其中表示正样本，即与属于同一id的目标，而为负样本，即与不属于同一id的目标，表示正类的权重，表示负类的权重，为所选样本批次大小；步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息。
10.本发明的进一步改进在于：步骤5的具体步骤如下：步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：其中是图像块所有像素的平均值，是图像像素值的方差，为防止分母为0的常量；步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图。
11.本发明的进一步改进在于：步骤6的具体操作如下：步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：
其中，分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，，为该目标框左上角坐标，为相应坐标点处密度值，对于通常非密集状态时边界框的；步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
12.本发明的进一步改进在于：步骤7具体步骤如下：步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置；步骤7.2，根据相交点于图像中的纵向位置根据所设计逻辑划定虚拟检测线；步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的车辆数目，并以此对计数值进行增加。
13.本发明的进一步改进在于：步骤7.2的具体操作为：取各道路区域边界线段于图像左右两侧的交接点，若两交接点皆是位于图像左右边上，则取两交接点纵向最高点做平行于水平方向的直线作为计数分界线；若两交接点一个位于左右边界，一个位于下方边界，且交接点高于，则从该交接点做平行于水平方向的直线作为计数分界线，其中为图像的纵向高度，为一由相机假设高度与俯仰角所决定的系数；若交接点低于或两交接点均位于图像下边上，取平行于图像下边界的水平直线作为计数分界线，其中距离图像底边高。
14.本发明的进一步改进在于：步骤3.1利用训练的深度模型对一定间隔的帧图像提取光流矩阵o
i1
，所述深度模型采用flownet光流提取网络，重复3.1并对得到的光流矩阵做融合处理得到：并对中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：其中为光流矩阵中位于i行j列的光流向量元素，h、w分别为图像高度与宽度。
15.本发明的有益效果是：本发明针对复杂场景中的多车道分割难题，设计了一种基于无监督学习的多车道分割方法。为提升复杂拥堵场景中车辆检测精度，提出了基于车辆分布密度热图辅助的车辆计数方法，结合多目标跟踪和车辆分布密度热图对场景中的车流
量进行检测。相对于现有技术，本发明的优势在于：1）本发明使用基于背景建模与光流矢量聚类的多车道分割方法，在保证适应绝大部分道路场景的情况下，仅占用较少的计算资源；2）采用结合车辆分布密度的跟踪式车流量计数，使得本方法能够在较为拥堵的场景中对车辆集群进行整体跟踪与计数。3）能够根据道路场景中道路于图像中的空间信息自适应的选定计数检测线，使得场景能够自主适应不同道路场景。
附图说明
16.图1为本发明针对复杂监控场景多车道车流量统计方法的流程示意图。
17.图2为车道分割结果示意图。
18.图3为车辆跟踪结果示意图。
19.图4为车辆分布密度估计结果示意图。
20.图5为虚拟检测线划定逻辑示意图。
21.图6为最中车流量统计实现示意图。
具体实施方式
22.以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
23.下面结合附图对本发明的技术方案做进一步的详细说明 ：本发明是一种针对复杂监控场景的多车道车流量检测方法，包括以下步骤：步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；步骤2的具体处理步骤如下：步骤2.1，获取上一步输出的实时视频帧的前景图像；步骤2.2，基于图像透视原理对前景图像做自适应膨胀处理：其中为前景图像，k为自适应卷积核，(x, y)为当前卷积坐标， m，n为卷积核的宽与高，w，h为前景图像的宽与高，为设定系数；步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像构成前景图像集合m,通过前景图像集合m合成道路区域，
步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。
24.步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤3的具体处理步骤如下：步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵o
i1
，交通监控场景训练的深度模型采用flownet光流提取网络，步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息，即，对得到的光流矩阵做融合处理得到：并对中的光流向量做单位化处理，使其仅包含光流矢量的方向信息：其中为光流矩阵中位于i行j列的光流向量元素，h、w分别为图像高度与宽度。
25.步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道，进一步的，可采用dbscan进行聚类。
26.步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；具体过程如下：步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注；将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布，对任意车辆的边界框转换为二维高斯分布式为：其中为第i辆车辆的中心点，，分别为第i辆车辆边界框的宽与高，scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为的空白热图标签上，其中由于互不相关，故取0；步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中车辆跟踪网络训练特征匹配部分采用损失函数为：
其中表示正样本，即与属于同一id的目标，而为负样本，即与不属于同一id的目标，表示正类的权重，表示负类的权重，为所选样本批次大小；其中，正类，即，参考样本所属的id类；步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息，如图3。
27.步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；步骤5的具体步骤如下：步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：其中是图像块所有像素的平均值，是图像像素值的方差，为防止分母为0的常量；步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图，如图4。
28.步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；步骤6的具体操作如下：步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：其中，分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，，为该目标框左上角坐标，为相应坐标点处密度值，对于通常非密集状态时边界框的；步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
29.步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测
线进行车辆计数，从而得到车流量统计结果。
30.步骤7具体步骤如下：步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置；步骤7.2，取各道路区域边界线段于图像左右两侧的交接点，若两交接点皆是位于图像左右边上，则取两交接点纵向最高点做平行于水平方向的直线作为计数分界线，若两交接点个位于左右边界，一个位于下方边界，且交接点高于，则从该交接点做平行于水平方向的直线作为计数分界线，其中为图像的纵向高度，为一由相机假设高度与俯仰角所决定的系数。若交接点低于或两交接点均位于图像下边上，取平行于图像下边界的水平直线作为计数分界线，其中距离图像底边高；步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的车辆数目，并以此对计数值进行增加，如图6；其中，虚拟检测线为计数分界线。
31.上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。