一种基于关联度量的车流量统计方法与流程

本发明涉及智能交通技术领域，尤其涉及一种基于关联度量的车流量统计方法。

背景技术：

当前，高速公路已经进入数字信息化建设时代，基于云-边的高速道路大型化信息综合管理平台，利用多模态传感器技术，通过对高速道路全方位、全时段的监控、监测，实现对高速路网综合监控管理运营。其中，视频监控设备由于布设简单、成本低，被广泛的安装在道路路侧，而传统的线圈检测器由于布设困难，安装率逐渐降低，激光雷达等设备由于价格昂贵普及率仍然较低。因此，对大规模监控视频进行数据分析，实时监测路网车流量、车速等信息，及时发现道路拥堵指数、饱和度等的异常变化，并将异常信息上报至监控平台，已成为路网管理和交通精准管控的重要手段。

目前基于路侧监控视频的交通流量统计方法，由于不能很好的跟踪车辆行为，造成漏检、误检率较高，且缺乏一个有效的车辆关联关系度量方法，造成场景迁移困难，无法对多个不同路段场景提供准确的统计结果，难以应用于精准的交通监测。因此，本发明引入深度学习方法，提出一种高效准确的基于关联度量的车流量统计方法，通过持续跟踪经过虚拟断面的车辆行为，减少由于车辆换道、互相遮挡带来的漏检、误检问题，为精准交通监测提供可靠依据。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于关联度量的车流量统计方法，解决现有的车流量统计方法由于不能准确持续跟踪车辆行为，造成的对通过虚拟断面车辆的漏检、误检而造成的车流量统计精准度缺失的问题。本发明方法引入基于深度学习的车辆检测方法，在连续视频帧中对运动车辆外框进行准确贴合的检测，通过融合前后视频帧中运动车辆的位置重叠度和特征匹配度这两个度量因子，分析车辆的关联关系，从而达到对经过虚拟断面车辆的持续稳定跟踪，减少由于车辆换道、互相遮挡造成的统计结果不准的问题。

本发明的目的是通过以下技术方案来实现的：一种基于关联度量的车流量统计方法，该方法包括以下步骤：

步骤一：根据高速道路路侧监控视频，在视频画面中的单向车道区域无视觉遮挡部分设置一条水平虚拟断面线；

步骤二：定义虚拟断面线在视频画面中的高度为h；定义一个已统计车辆列表l，存储已经过虚拟断面线的车辆信息，初始化为空；定义一个变量c={car_id，bbox，embedding_set，frame_id}，表示一辆车的信息，其中car_id表示车辆id，编号唯一；bbox表示车辆检测框位置，包含检测框的左上角坐标，检测框的右下角坐标；embedding_set表示车辆检测框区域内所有子区域的特征向量的集合，一个车辆检测框区域根据车辆检测框的长宽比划分为多个子区域，每个子区域被resnet50网络编码为特征向量；frame_id表示当前视频帧序列号，初始化为0，每过一帧，frame_id加1；定义车流量统计数目n，初始化为0；

步骤三：采用基于深度学习的目标检测方法检测出当前视频帧中的车辆，并过滤出车辆外边框和虚拟断面线交叉的车辆为待关联车辆，并对这些待关联车辆的检测框划分成多个子区域，并对每个子区域利用神经网络进行embedding特征编码，将每个子区域编码为一个二进制的特征向量；

步骤四：分别计算待关联车辆和已统计车辆列表中车辆的特征匹配度和位置重叠度；特征匹配度计算方法具体为：对任意一辆待关联车辆，其特征向量集合为，为第i个子区域的二进制特征向量，对任意一辆已统计车辆列表中的车辆，其特征向量集合为，对任一，采用暴力匹配法，计算其和q中所有子区域的特征向量的hamming距离；其hamming距离为两个二进制特征向量的不同位的个数；按照和q间所有子区域的hamming距离大小进行排序，返回q中和距离最小的两个最近邻匹配，并计算次小距离和最小距离的比率，若比率满足大于某比率阈值，说明这两个最近邻匹配区别足够大，则认为距离最近的子区域是的正确匹配，生成一组子区域匹配对；否则，不生成子区域匹配对；

对集合p中所有的子区域匹配完毕后，统计正确匹配的组数，并计算车辆和的特征匹配度；特征匹配度的计算公式为：

特征匹配度（，）=正确匹配的子区域匹配对组数/集合p中子区域总数

按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的特征匹配度；

步骤五：融合位置重叠度和特征匹配度这两个度量因子，对每一辆待关联车辆，计算其和已统计车辆列表中的车辆的关联度；关联度计算公式为：

关联度=位置重叠度*λ 特征匹配度*（1-λ）

其中λ为这两个度量因子的融合超参数，按实际具体的视频数据设定；

步骤六：步骤五中计算得到的关联度的最大值大于等于阈值的待关联车辆，说明其和已统计车辆列表中的车辆关联上了，该车已被统计，更新其在已统计车辆列表中的信息；对关联度的最大值小于阈值的，新建变量c，生成其车辆信息，并将其添加至已统计车辆列表，车流量统计数目n加1；

步骤七：将已统计车辆列表中视频序列号和当前视频帧序列号差值大于m的车辆删除，认为m帧前的车辆已驶离虚拟断面线；其中m值和当前监控视频中车辆大小相关，通过观测车辆从到达虚拟断面线至驶离虚拟断面线所经历的最长视频帧数得到；

步骤八：重复步骤三~步骤七，直至待车流量统计视频结束。

进一步地，根据车辆检测框的长宽比划分为多个子区域具体过程为：按照车辆检测框的长宽比，将检测框区域划分为m=a*b个子区域，a表示垂直划分等份数，b表示水平划分等份数；其中，a，b表示如下：

其中，表示垂直等分系数，表示水平等分系数，，，且均为正整数，系数和车辆外形特点相关。

进一步地，所述步骤三通过以下子步骤来实现：

（3.1）将当前帧图像输入目标检测模型，检测出当前视频帧图像中的车辆；其中，目标检测模型基于centernet网络模型，通过采用高速道路车辆的标注数据进行训练，能准确稳定的检测出贴合车辆的矩形外边框；

（3.2）计算检测出的车辆的矩形外边框是否和虚拟断面线相交；假设一辆车的检测框位置的左上角坐标为，右下角坐标为，若时，则认为该车辆和虚拟断面线交叉，过滤出该车辆为待关联车辆；

（3.3）将待关联车辆根据车辆检测框的长宽比划分为多个子区域，每个子区域分别输入resnet50网络，所述resnet50网络通过数据集imagenet训练完成，且将最后一层特征层维度修改为k，则最后一层特征层即为该子区域的特征向量，将该特征向量中数值大于等于的编码为1，小于的编码为0，设为0，从而将其转换为二进制向量；则一辆待关联车辆的检测框区域特征向量集合描述为，其中为第i个子区域的二进制特征向量，维度为k，k取2的指数。

进一步地，所述步骤四中，位置重叠度计算方法具体为；假设某一待关联车辆检测框的左上角坐标为，右下角坐标为，某一已统计车辆列表中的车辆边框的左上角坐标为，右下角坐标为，则位置重叠度计算公式：

按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的位置重叠度。

进一步地，所述步骤六通过以下子步骤来实现：

（6.1）对某一辆待关联车辆，最大关联度值大于等于阈值，则认为该待关联车辆在已统计车辆列表中找到了相关联车辆，说明该车已被统计，并在当前视频帧中被持续跟踪到了，更新其在已统计车辆列表中的信息，更新车辆检测框信息bbox为车辆在当前帧中的检测框信息，车辆检测框区域的embedding_set为车辆在当前帧中的检测框区域的特征向量集合信息，将视频序列帧号frame_id更新为当前视频帧序列号；其中阈值通过观察一定量的连续视频帧，同一车辆在连续变化的帧间的关联度值和不同车辆之间的关联度值，同一车辆的关联度值簇的中心点和不同车辆之间的关联度值簇的中心点的算术平均值即可设置为阈值；

（6.2）对某一辆待关联车辆，最大关联度值小于阈值的则认为未关联上，该车第一次被检测到通过虚拟断面线，车流量统计数目n加1，新建变量c为该车的车辆信息，并将该车辆信息c添加至已统计车辆列表。

本发明的有益效果是，本发明提出一种高效准确的基于关联度量的车流量统计方法，采用深度学习的目标检测方法对运动车辆进行检测，通过对连续视频帧中的运动车辆进行关联度分析，实现对经过虚拟断面车辆的持续稳定跟踪，显著减少由于车辆换道、互相遮挡造成的车流量统计结果不准的问题。其实现方法简单高效，能有效的运用于广泛布设的视频摄像头的高速道路的交通监控，为交通管理精准决策提供可靠支撑。

附图说明

图1是本发明基于关联度量的车流量统计方法流程图。

图2是在高速道路杭向、甬向车道区域分别放置一条水平虚拟断面线示意图。

图3是基于目标检测模型检测出视频帧中的车辆，并过滤出外边框和虚拟断面线交叉的车辆示意图。

图4是杭向车道区域车辆car_39第一次被检测到通过杭向车道虚拟断面线示意图。

图5是杭向车道区域车辆car_39被持续跟踪经过杭向车道虚拟断面线示意图。

图6是高速道路杭向、甬向车道最近5分钟的车流量统计结果示意图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提出了一种基于关联度量的车流量统计方法，包括以下步骤：

步骤一：根据沪杭甬高速道路路侧监控视频，在视频画面中的杭向车道区域无视觉遮挡部分设置一条水平虚拟断面线。虚拟线设置如图2所示。

步骤二：定义虚拟断面线在视频画面中的高度为h；定义一个已统计车辆列表l，存储已经过虚拟断面线的车辆信息，初始化为空；定义一个变量c={car_id，bbox，embedding_set，frame_id}，表示一辆车的信息，其中car_id表示车辆id，编号唯一；bbox表示车辆检测框位置，包含检测框的左上角坐标，检测框的右下角坐标；embedding_set表示车辆检测框区域内所有子区域的特征向量的集合，一个车辆检测框区域根据车辆检测框的长宽比划分为多个子区域，每个子区域被resnet50网络编码为特征向量；frame_id表示当前视频帧序列号，初始化为0，每过一帧，frame_id加1；定义车流量统计数目n，初始化为0。

步骤三：采用基于深度学习的目标检测方法检测出当前视频帧中的车辆，并过滤出车辆外边框和虚拟断面线交叉的车辆为待关联车辆，如图3所示。并对这些待关联车辆的检测框划分成多个子区域，并对每个子区域利用神经网络进行embedding特征编码，将每个子区域编码为一个二进制的特征向量；

该步骤是本发明的核心，分为以下子步骤。

（3.1）将当前帧图像输入目标检测模型，检测出当前视频帧图像中的车辆。其中，目标检测模型基于centernet网络模型，通过采用高速道路车辆的标注数据进行训练，能准确稳定的检测出贴合车辆的矩形外边框。

（3.2）计算检测出的车辆的边框是否和虚拟断面线相交。假设一辆车的检测框位置的左上角坐标为，右下角坐标为，若时，则认为该车辆和虚拟断面线交叉，过滤出该车辆为待关联车辆。

（3.3）将待关联车辆按照车辆检测框的长宽比，将检测框区域划分为m=a*b个子区域，a表示垂直划分等份数，b表示水平划分等份数。其中，a，b表示如下：

其中，表示垂直等分系数，取值为3，表示水平等分系数，取值为2，该取值和车辆外形有关，车辆垂直方向可分为车头，车窗，车厢等部分，车辆水平方向大致对称，可分为左右两部分。

（3.4）将每个子区域分别输入resnet50网络，该网络已用大型数据集imagenet训练好了，且最后一层特征层维度已修改为256。该网络具备提取图像的浅层和深层特征的能力，该网络的最后一层特征层即为该子区域的特征向量，将该特征向量中数值大于等于0.0的编码为1，小于0.0的编码为0，转换为二进制向量。则一辆待关联车辆的检测框区域特征编码描述为，其中为第i个子区域的二进制特征向量，维度为256。

步骤四：分别计算待关联车辆和已统计列表中车辆的位置重叠度和特征匹配度。

该步骤是本发明的核心，分为以下子步骤。

（4.1）分别计算待关联车辆和已统计车辆列表中车辆的检测框的位置重叠度。假设某一待关联车辆检测框的左上角坐标为，右下角坐标为，某一已统计车辆列表中的车辆边框的左上角坐标为，右下角坐标为，则位置重叠度计算公式：

按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的位置重叠度。

（4.2）分别计算待关联车辆和历史车辆列表中车辆的特征匹配度。

对任意一辆待关联车辆，其特征向量集合为，对任意一辆已统计车辆列表中的车辆，其特征向量集合为，对任一，采用暴力匹配法，计算其和q中所有子区域的特征向量的hamming距离。其hamming距离为两个二进制特征向量的不同位的个数。按照和q间所有子区域的的hamming距离大小进行排序，返回q中和距离最小的两个最近邻匹配，并计算最小距离和次小距离的比率，若比率满足小于某比率阈值，按经验，一般可以设成1/2，说明这两个最近邻匹配区别足够大，则认为距离最近的子区域是的正确匹配，生成一组子区域匹配对。否则，不生成子区域匹配对。

对集合p中所有的子区域匹配完毕后，统计正确匹配的组数，并计算车辆和的特征匹配度。特征匹配度的计算公式为：

特征匹配度（，）=正确匹配的子区域匹配对组数/集合p中子区域总数

按此方法，计算出每一辆待关联车辆和已统计车辆列表中车辆间的特征匹配度。

步骤五：融合位置重叠度和特征匹配度这两个度量因子，对每一辆待关联车辆，计算其和已统计列表中的车辆的关联度。关联度计算公式为：

关联度=位置重叠度*λ 特征匹配度*（1-λ）

其中λ按实际视频数据设定为0.6。在沪杭甬高速道路监控视频中车辆前后帧运动确定性较高，通过车辆位置重叠度能有效关联前后帧的车辆，且融合特征匹配度能很好的减少车辆变道或相互遮挡带来的目标丢失问题，有效关联前后帧的车辆。

步骤六：对关联度的最大值大于等于阈值的待关联车辆，更新其在已统计车辆列表中的信息；对关联度的最大值小于阈值的，车流量统计数目加1，并将其添加至已统计车辆列表。

该步骤是本发明的核心，分为以下子步骤。

（6.1）对某一辆待关联车辆，最大关联度值大于等于阈值，阈值通过观察一定量的连续视频帧，同一车辆在连续变化的帧间的关联度值和不同车辆之间的关联度值，同一车辆的关联度值簇的中心点和不同车辆之间的关联度值簇的中心点的算术平均值即可设置为阈值；此处根据实际数据分析结果设置阈值为0.5，则认为该待关联车辆在已统计车辆列表中找到了相关联车辆，说明该车已被统计，并在当前视频帧中被持续跟踪到了。更新其在已统计车辆列表中的信息，更新车辆检测框信息bbox为车辆在当前帧中的检测框信息，车辆检测框区域的特征点embedding_set为车辆在当前帧中的检测框区域的特征向量集合信息，将视频序列帧号frame_id更新为当前视频帧序列号。

（6.2）对关联度小于阈值的则认为未关联上，该车第一次被检测到通过该虚拟断面线，车流量统计数目n加1，新建变量c为该车的车辆信息，并将该车辆信息c添加至已统计车辆列表。

杭向车道区域车辆car_39被持续跟踪效果如图4和图5所示。图4是杭向车道区域车辆car_39第一次被检测到通过杭向虚拟断面线。图5是杭向车道区域车辆car_39最后一次被检测通过杭向虚拟断面线。

步骤七：将已统计车辆列表中视频序列号和当前视频帧序列号差值大于m的车辆删除，其目的在于减少关联搜索空间，认为m帧前的车辆已驶离虚拟断面线；其中m值和当前监控视频中车辆大小相关，通过观测车辆从到达虚拟断面线至驶离虚拟断面线所经历的最长视频帧数得到；m可设置为10。

步骤八：重复步骤三~步骤七，直至待统计车流量视频结束。

杭向车道区域车辆最近5分钟车流量统计结果如图6所示。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。