一种基于视频的路口死锁事件检测方法及设备与流程

1.本技术涉及智能交通技术领域，尤其涉及一种基于视频的路口死锁事件检测方法及设备。


背景技术：

2.随着经济的发展，城市中机动车数量显著增多，饱和交通已成为一种常见的现象。特别是在高峰期，交通拥堵越发严重，已成为各城市共同面对的难题。
3.在交叉路口处，一个方向的拥堵导致的车辆积压，会最终令路口其他方向的交通都受到影响，拥堵成为阻塞，路口交通进入“死锁”（deadlock）状态，道路交通瘫痪。
4.为避免交通拥堵，需对路口死锁事件进行检测以合理的控制行驶车辆。目前，路口死锁事件的检测，往往基于路口中目标车辆的检测跟踪结果，确定该路口的拥堵情况，进而确定是否发生死锁事件。
5.然而，在实际场景中，进入死锁状态的路口，堵塞的车辆数较多、车辆分布密集、车辆之间存在严重遮挡；同时，路口死锁时，车辆因行驶方向、路口转向不同，导致车辆姿态及可视范围都存在较大的不同。这些问题导致路口中目标车辆的检测准确率较低，进而影响了死锁事件的检测结果。


技术实现要素：

6.本技术实施例提供了一种基于视频的路口死锁事件检测方法及设备，用以提高路口死锁事件的检测准确率。
7.第一方面，本技术实施例提供一种基于视频的路口死锁事件检测方法，包括：获取目标路口的交通视频流；针对每一视频帧，采用训练好的车辆检测模型，获取所述视频帧的预设检测区域对应的特征图集合，所述特征图集合中不同特征图的尺度不同；对所述特征图集合中的至少一张特征图，分别进行部分通道随机分组卷积，获得相应特征图对应的特征向量；对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量；根据所述特征图集合中每个特征图对应的特征向量，获得所述视频帧中包含的至少一个目标车辆；根据检测出的各目标车辆，确定所述目标路口的交通参数集合，并根据所述交通参数集合，确定是否发生路口死锁事件。
8.可选的，所述对所述特征图集合中的全部或部分特征图，分别进行部分通道随机分组卷积，获得每个特征图对应的特征向量，包括：针对所述特征图集合中的至少一张特征图，分别执行以下操作：对所述特征图的通道进行分组卷积，并将卷积后特征图通道的后三分之二部分进
行重组，得到所述特征图对应的特征向量。
9.可选的，所述对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量，包括：将最小尺度的特征图复制为n张，n为大于1的整数；对复制的n-1张特征图进行池化，得到n-1个第一特征向量，n-1张特征图使用的池化核不同；对复制的剩余1张特征图，采用不同尺度的池化核分别进行池化，并融合为一张新的特征图，将新的特征图作为下一次强化池化操作的输入，重新进行多尺度强化池化，得到第二特征向量；将n-1个所述第一特征向量和所述第二特征向量进行融合，得到融合后的特征向量。
10.可选的，所述根据检测出的各目标车辆，确定所述目标路口的交通参数集合，包括：根据检测出的各目标车辆在不同时刻的行驶数据，确定所述各目标车辆的行驶方向；计算检测出的各目标车辆的总区域与所述预设检测区域的面积比；根据所述行驶方向和所述面积比，获得所述目标路口的交通参数集合。
11.可选的，所述根据所述交通参数集合，确定是否发生路口死锁事件，包括：当所述面积比大于预设面积阈值，且所述行驶方向相互垂直的目标车辆的数量大于预设车辆阈值时，确定发生路口死锁事件。
12.可选的，当确定发生路口死锁事件后，所述方法还包括：向所述目标路口关联的下游车辆发送提示信息，以使所述下游车辆根据所述提示信息重新规划路线或调整行驶速度。
13.第二方面，本技术实施例提供一种基于视频的路口死锁事件检测设备，包括处理器、存储器和通信接口，所述通信接口、所述存储器与所述处理器通过总线连接：所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：通过所述通信接口，获取目标路口的交通视频流；针对每一视频帧，采用训练好的车辆检测模型，获取所述视频帧的预设检测区域对应的特征图集合，所述特征图集合中不同特征图的尺度不同；对所述特征图集合中的至少一张特征图，分别进行部分通道随机分组卷积，获得相应特征图对应的特征向量；对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量；根据所述特征图集合中每个特征图对应的特征向量，获得所述视频帧中包含的至少一个目标车辆；根据检测出的各目标车辆，确定所述目标路口的交通参数集合，并根据所述交通参数集合，确定是否发生路口死锁事件。
14.可选的，所述处理器对所述特征图集合中的全部或部分特征图，分别进行部分通道随机分组卷积，获得每个特征图对应的特征向量，具体操作为：
针对所述特征图集合中的至少一张特征图，分别执行以下操作：对所述特征图的通道进行分组卷积，并将卷积后特征图通道的后三分之二部分进行重组，得到所述特征图对应的特征向量。
15.可选的，所述处理器对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量，具体操作为：将最小尺度的特征图复制为n张，n为大于1的整数；对复制的n-1张特征图进行池化，得到n-1个第一特征向量，n-1张特征图使用的池化核不同；对复制的剩余1张特征图，采用不同尺度的池化核分别进行池化，并融合为一张新的特征图，将新的特征图作为下一次强化池化操作的输入，重新进行多尺度强化池化，得到第二特征向量；将n-1个所述第一特征向量和所述第二特征向量进行融合，得到融合后的特征向量。
16.可选的，所述处理器根据检测出的各目标车辆，确定所述目标路口的交通参数集合，具体操作为：根据检测出的各目标车辆在不同时刻的行驶数据，确定所述各目标车辆的行驶方向；计算检测出的各目标车辆的总区域与所述预设检测区域的面积比；根据所述行驶方向和所述面积比，获得所述目标路口的交通参数集合。
17.可选的，所述处理器根据所述交通参数集合，确定是否发生路口死锁事件，具体操作为：当所述面积比大于预设面积阈值，且所述行驶方向相互垂直的目标车辆的数量大于预设车辆阈值时，确定发生路口死锁事件。
18.可选的，当确定发生路口死锁事件后，所述处理器还执行以下操作：向所述目标路口关联的下游车辆发送提示信息，以使所述下游车辆根据所述提示信息重新规划路线或调整行驶速度。
19.第三方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本技术实施例提供的基于视频的路口死锁事件检测方法。
20.本技术的有益效果如下：在本技术的实施例中，针对目标路口的交通视频流中的每一视频帧，采用训练好的车辆检测模型，获取该视频帧的预设检测区域对应的特征图集合，由于特征图集合中不同特征图的尺度不同，充分保留了该视频帧中目标车辆的多尺度信息和语义信息，有助于提高目标车辆的检测准确率；通过对特征图集合中的至少一张特征图，分别进行部分通道随机分组卷积，获得相应特征图对应的特征向量，该特征向量保留了部分通道的原始信息和部分通道的重组信息，提高了特征向量的丰富度，有助于目标车辆检测；通过对特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，使得融合后的特征向量能够保留该视频帧中车辆的姿态信息，进一步提高了目标车辆检测的准确率；接下来，根据检测出的各目标车辆，确定目标路口的交通参数集合，并根据交通参数集合，确定是否发生路口
死锁事件，由于采用训练好的车辆检测模型可以准确的检测出个目标车辆，这样，可以准确的得到用于描述路口死锁事件特征的交通参数集合，从而实时、准确的检测出路口死锁事件。
附图说明
21.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1示例性示出了本技术实施例提供的车辆检测模型的训练方法流程图；图2示例性示出了本技术实施例提供的通道随机分组卷积原理示意图；图3示例性示出了本技术实施例提供的强化池化方式示意图；图4示例性示出了本技术实施例提供的车辆检测模型的整体结构图；图5示例性示出了本技术实施例提供的车辆检测模型的特征向量提取结构图；图6示例性示出了本技术实施例提供的基于视频的路口死锁事件检测方法流程图；图7示例性示出了本技术实施例提供的部分通道随机分组卷积示意图；图8示例性示出了本技术实施例提供的强化池化方法流程图；图9示例性示出了本技术实施例提供的交通参数集合获取方法流程图；图10示例性示出了本技术实施例提供的路口死锁事件检测效果图；图11示例性示出了本技术实施例提供的基于视频的路口死锁事件检测设备的结构图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.道路交通涉及城市居民的日常出行，路口作为道路交通的要塞，如果路口进入“死锁”状态，交通拥堵将会降低车辆通行效率，影响社会运行秩序。因此，实时检测路口的拥堵情况，以在发现路口发生死锁时，及时进行疏通，显得尤为重要。
25.目前，受路口中车辆数量、密集程度、遮挡、行驶方向等因素的影响，已有技术无法准确的检测出目标车辆，也就无法准确的检测路口的拥堵情况，进而降低了路口死锁事件的检测准确率，导致无法及时地疏通交通，车辆通行效率较低。
26.鉴于此，本技术实施例提供一种基于视频的路口死锁事件检测方法及设备，该方法中，采用基于部分通道随机分组卷积的车辆检测模型，提升路口中目标车辆的检测准确率；同时，该车辆检测模型采用多层特征强化融合方式，降低模型对车辆姿态的敏感度，进一步提升了路口中目标车辆的检测准确率；进一步地，通过对车辆检测模型检测出的目标车辆进行跟踪，获得路口对应的交通参数集合，并根据获得的交通参数集合，检测是否发生
路口死锁事件。通过准确地检测出目标车辆，提高了路口死锁事件的检测准确率，以便对发生死锁事件的路口及时进行处置，避免车辆在路口持续积累，从而提高路口中车辆的通行效率，有效缓解城市交通拥堵，降低交通事故的发生率。
27.在本技术的实施例中，为了获得车辆检测模型，需要预先收集训练车辆检测模型的训练样本集合。
28.目前，各种形态的交叉路口（如：十字路口、t字路口、五道口等）中普遍安装有采集设备，包括但不限于路口摄像头、电子警察、卡口；采集设备可以采集到各种类型的车辆，包括但不限于小轿车、大货车、客车、搅拌车等。因此，可通过交叉路口中的采集设备获得训练样本集合。考虑到采集设备的安装位置、角度的差别，各采集设备拍摄的交通画面可能不同，需要预先配置各采集设备以使其采集到满足检测要求的画面。
29.以采集设备为电子警察为例，交管人员在安装电子警察时，通常会对摄像头的安装高度和拍摄角度进行调试，使其能够拍摄到路口的交通画面。因此，本技术实施例中的检测设备接通电子警察后，实时获取路口视频，当获取的路口视频满足预设车辆检测要求（如路口处于视频帧的中心区域）时，无需进行二次调试；当获取的路口视频不满足预设车辆检测要求时，则重新进行调试，直至满足预设车辆检测要求。进一步地，获得满足预设车辆检测要求的路口视频后，从路口视频中随机选取一帧基准图像，并基于选取的基准图像人工标注路口死锁事件的检测区域，并记录标注的检测区域框的位置信息。
30.同理，检测设备接通路口摄像头、卡口后，针对其采集的路口视频，也进行检测区域的标注。
31.本技术的实施例中，由于同一采集设备的安装位置、角度、分辨率等参数不变，因此，仅需要选取一张基准图像进行检测区域的标注即可，提高了标注效率；并且，通过标注的检测区域，可以排除复杂背景的干扰，提高目标检测的准确率。
32.需要说明的是，由于采集设备的分辨率大小、角度等的不同，针对不同采集设备采集的路口视频，标注的检测区域的位置、大小可能不同。各采集设备对应的检测区域如表1所示。
33.表1、各采集设备对应的检测区域其中，（xi,yi）表示检测区域框的原点，wi表示检测区域框的宽度，hi表示检测区域框的高度。
34.预先为各采集设备采集的路口视频标注好检测区域后，以各采集设备采集的路口视频作为训练样本集合，训练车辆检测模型。具体训练过程参见图1：s101：获取训练样本集合。
35.在本技术的实施例中，训练样本集合来自交叉路口中各采集设备采集的路口视频。由于预先标注了各采集设备采集的路口视频的检测区域，因此，基于每个采集设备对应的检测区域，对该采集设备采集的路口视频进行裁剪，得到训练样本集合。其中，训练样本集合中包含正训练样本和负训练样本，正训练样本中包含至少一个车辆，各车辆的类型和行驶方向可以不同，负训练样本中不包含任何车辆。
36.获得训练样本集合后，为每个训练样本标上样本标签。例如，正训练样本标记为1，负训练样本标记为0。
37.s102：将训练样本集合中的多个训练样本，以及每个训练样本对应的预先标注的真实标签，输入至初始的车辆检测模型，通过多轮迭代训练，得到检测损失值在预设范围内的车辆检测模型。
38.在s102中，针对每一轮训练，执行以下操作：s1021：通过初始的车辆检测模型中的多个残差单元，分别对每个训练样本进行卷积操作，得到浅层特征向量和深层特征向量。
39.在执行s1021时，将训练样本集合中的多个训练样本输入至初始的车辆检测模型后，通过初始的车辆检测模型中的多个残差单元（resblock_body），提取每个训练样本的特征向量。具体实施时，考虑到输入的训练样本具有目标多尺度的特点，针对每个训练样本，通过多个残差单元，分别提取该训练样本的深层特征向量和浅层特征向量，其中，深层特征向量包含复杂的路口交通场景下该训练样本内检测对象的语义信息，浅层特征向量包含复杂的路口交通场景下该训练样本内检测对象的位置信息和多尺度信息。
40.通常的，路口交通场景较为复杂，各采集设备的分辨率大小不一，这样，训练样本中的检测对象往往受环境因素影响，存在着光线变化大、遮挡不一、尺度变化大等问题。初始的车辆检测模型提取的浅层特征向量虽然包含了检测对象的位置信息和多尺度信息，但也降低了提取特征向量的感受野。当训练样本的分辨率较大时（如：分辨率为11920*1080像素），感受野降低的越明显。
41.针对上述情况，本技术实施例在训练车辆检测模型时，在提取浅层特征向量和深层特征向量的至少一个残差单元中，采用了部分通道随机分组卷积，相对于标准卷积，使得至少一个残差单元提取的特征向量既可以保留检测对象部分通道的原始信息，又可以获得检测对象部分通道的重组信息，其中，在检测对象分布较为密集或存在遮挡的情况下，部分通道混合后的重组信息能够增强检测对象的语义特征，从而在路口死锁的复杂交通场景下，能够提取到车辆的多角度、多尺度和空间位置等丰富特征，进而提高路口死锁事件的检测准确率。
42.可选的，本技术实施例在车辆检测模型的最后两个残差单元中，采用了部分通道随机分组卷积。
43.通道随机分组卷积的原理是：对分组卷积（group convolution）后的特征图的进行“重组”。例如，假设将输入分为 g 组，总通道数为 g*n，首先将通道维度拆分为 (g，n) 两个维度，然后将这两个维度转置变成 (n，g) ，最后重组成g* n一个维度。这样，可以保证获得的特征向量来自不同的组，接下来将该特征向量作为其他组的输入时，使得检测对象的特征信息可以在不同组之间流转。
44.参见图2，为通道随机分组卷积示意图，假设训练样本的特征图有9个通道，分为3
组，将通道均匀的打乱后进行重组，每一组都包含其他组的特征。
45.s1022：对每个训练样本的深层特征向量进行多次强化池化，每次强化池化使用多个不同尺度的池化核。
46.本技术的实施例中，在车辆检测模型提取出深层特征向量后，为了增加了感受野且降低计算量，对从每个训练样本中提取的深层特征向量进行了池化操作。池化是在通过卷积提取特征的基础上，对每次卷积提取的特征取平均，缩小隐藏节点对特征维数的影响，从而减小分类器的设计负担。同时，池化的维度不同，最终输出结果所表征的语义信息也有变化。
47.如图3所示，为一次强化池化操作示意图，池化过程中，针对每次卷积后的结果，分别使用不同尺度的池化核（如：1*1、2*2、3*3、5*5等）进行池化操作，并对池化后的结果进行上采样，使得池化前后输入、输出的尺寸一致，从而进行特征融合。
48.本技术实施例提供的车辆检测模型，通过对每个训练样本的深层特征向量进行连续多次的强化池化，可以进一步保留池化前对于能否检测出检测对象的重要信息，如多姿态信息、多尺度信息和空间位置信息等，从而能够在路口死锁的情况下，降低由于车辆外观、行驶方向、路口转向不同导致的多姿态车辆的检测难度，以及，降低了由于各路口安装的采集设备的可视范围不同导致的多尺度车辆的检测难度，提高了车辆检测准确率。
49.s1023：根据每个训练样本的浅层特征向量和深层特征向量，获得相应训练样本的预测标签。
50.在s1023中，针对每个训练样本，对该训练样本的深层特征向量和浅层特征向量，预测该训练样本中是否包含检测对象，并根据预测结果，确定该训练样本的预测标签。
51.s1024：根据每个训练样本对应的真实标签和预测标签，确定检测损失值。
52.例如，针对正训练样本，其真实标签为1，假设预测标签为0.89，则损失值为0.11，损失值较小；针对负训练样本，其真实标签为0，假设预测标签为0.78，则损失值为0.78.损失值较大。
53.s1025：根据检测损失值对初始的车辆检测模型的参数进行调整。
54.在s1025中，利用每一轮训练得到的检测损失值，调整初始的车辆检测模型的参数，直至检测损失值在预设范围内，从而得到训练好的车辆检测模型。
55.本技术实施例的上述车辆检测模型，一方面，在提取训练样本浅层特征向量和深层特征向量的过程中，通过在车辆检测模型的至少一个残差单元中采用部分通道随机分组卷积，使得提取的特征向量既可以保留检测对象部分通道的原始信息，又可以获得检测对象部分通道的重组信息，重组信息在检测对象分布较为密集或存在遮挡的情况下，能够增强检测对象的语义特征，从而在路口死锁的复杂交通场景下，能够提取到车辆的多角度、多尺度和空间位置等丰富特征，进而提高路口死锁事件的检测准确率；另一方面，通过对每个训练样本的深层特征向量进行连续多次的强化池化，可以进一步保留池化前对于能否检测出检测对象的重要信息，如多姿态信息、多尺度信息和空间位置信息等，从而能够在路口死锁的情况下，降低由于车辆外观、行驶方向、路口转向不同导致的多姿态车辆的检测难度，以及，降低了由于各路口安装的采集设备的可视范围不同导致的多尺度车辆的检测难度，提高了车辆检测准确率。
56.本技术实施例中车辆检测模型的网络结构以cspnet结构为基础，cspnet是将特征
图拆成两个部分，一部分进行卷积操作，另一部分和上一部分卷积操作的结果进行特征融合，强了卷积神经网络（convolutional neural networks，cnn）的学习能力，能够对网络进行轻量化的同时，保持目标检测的准确性。
57.车辆检测模型的完整结构参见图4，主要包括特征提取模块、池化模块和预测模块。如图5所示，特征提取模块包含5个残差单元，且不同残差单元中残差块的数量不同，并为每个残差单元加上一个跨阶段部分（cross stage partial）结构，以减少了车辆检测模型的参数，使其更容易训练。
58.其中，每个残差单元可以输出不同尺度的特征图，以输入一张大小为256*256像素大小的训练样本为例，通过多个残差单元的卷积操作，得到尺寸分别大小为128*128、64*64、32*32、16*16、8*8共五张特征图。本技术的实施例中的车辆检测模型选取最后三个残差单元输出的特征图（即32*32、16*16、8*8的特征图）进行目标检测。
59.如图5示出的，车辆检测模型在最后两个残差单元中，采用了部分通道随机分组卷积，相对于标准卷积，使得采用了部分通道随机分组卷积的残差单元，在车辆分布较为密集或存在遮挡的情况下，能够提取到更强的语义信息，从而在路口死锁的复杂交通场景下，丰富车辆的多角度、多尺度和空间位置等特征，进而提高路口死锁事件的检测准确率。
60.原始的cspnet结构在池化模块使用的是最大池化方式，该池化方式会导致空间分辨率下降，从而降低了对多角度、多姿态的车辆的检测效果。而在本技术实施例提供的车辆检测模型的池化模块，如图4所示，对最后一个残差单元输出的特征图，分别采用3*3、5*5、8*8的池化核进行普通池化，以及对最后一个残差单元输出的特征图，连续进行两次强化池化，每次强化池化时使用多个不同尺度的池化核，最后将普通池化和强化池化获得的深层特征向量进行融合。通过引入强化池化，可以进一步保留池化之前对于能否检测出检测对象的重要信息，如多姿态信息、多尺度信息和空间位置信息等，从而提高了车辆检测模型的准确度。
61.需要说明的是，图5中的池化核的选取仅是一种示例，也可以根据特征图的大小选用其他的池化核。
62.在车辆检测模型的预测模块，如图4所示，对池化后的深层特征向量进行降维，基于降维后的深层特征向量，预测训练样本中存在检测对象的第一概率；以及，对池化后的深层特征向量进行上采样，结合第四个残差单元输出的特征图对应的一个浅层特征向量，预测训练样本中存在检测对象的第二概率；以及，结合第三、第四个残差单元输出的特征图对应的两个浅层特征向量，预测训练样本中存在检测对象的第三概率。进一步地，对第一概率、第二概率和第三概率进行加权，得到加权后的概率，从而预测该训练样本中是否包含检测对象。
63.基于上述训练好的车辆检测模型，执行基于视频的路口死锁事件检测方法流程，参见图6，该流程由检测设备执行，主要包括以下几步：s601：获取目标路口的交通视频流。
64.在s601中，检测设备接通目标路口的采集设备，从接通的采集设备中获取交通视频流。
65.s602：针对每一视频帧，采用训练好的车辆检测模型，获取该视频帧的预设检测区域对应的特征图集合。
66.在本技术的实施例中，预先确定了各采集设备对应的检测区域，在执行s602时，检测设备针对获取的每一视频帧，通过确定该视频帧所属的采集设备，确定该视频帧的预设检测区域，并采用训练好的车辆检测模型，获取该视频帧的预设检测区域对应的特征图集合。其中，特征图集合中不同特征图的尺度不同。
67.例如，特征图集合包含三张特征图，第一张特征图的尺度为32*32像素，第二张特征图的尺度为16*16像素，第三张特征图的尺度为8*8像素。
68.s603：对该特征图集合中的至少一张特征图，分别进行部分通道随机分组卷积，获得相应特征图对应的特征向量。
69.具体实施时，如图7所示，针对该特征图集合中的至少一张特征图，分别执行：对该特征图的部分进行分组卷积，并将卷积后特征图通道的后三分之二部分进行重组，得到该特征图对应的特征向量。
70.需要说明的是，当至少一张特征图为该特征图集合中的部分时，对剩余特征图进行标准卷积即可。
71.例如，仍以特征图包含三张特征图为例，第一张特征图进行标准卷积，对第二、第三张特征图分别进行部分通道随机分组卷积，从而得到每张特征图的特征向量。
72.s604：对该特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量。
73.由于该特征图集合中不同特征图的尺度不同，尺度越小，通常表示特征图所在的卷积层数越深，包含的语义信息越丰富，因此，在s604中，最小尺度的特征图包含的深层语义信息最丰富，对最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量。具体参见图8：s6041：将最小尺度的特征图复制为n张，n为大于1的整数。
74.例如，仍以该特征图集合包含三张体特征图为例，将8*8的特征图复制为4张。
75.s6042：对复制的n-1张特征图进行池化，得到n-1个第一特征向量，其中，n-1张特征图使用的池化核不同。
76.具体实施时，对复制的第1张特征图，采用池化核1进行空间金字塔池化；对复制的第2张特征图，使用池化核2进行空间金字塔池化；以此类推，对复制的第n-1张特征图，使用池化核n-1进行空间金字塔池化。
77.s6043：对复制的剩余1张特征图，采用不同尺度的池化核分别进行池化，并融合为一张新的特征图，将新的特征图作为下一次强化池化操作的输入，重新进行多尺度强化池化，得到第二特征向量。
78.以对复制的剩余1张特征图连续进行两次强化池化为例，如图3所示，首先，将该特征图分别用1*1、2*2、3*3、5*5的池化核分别进行池化，并在池化后进行上采样，得到与该特征图尺寸一致的四张特征子图，然后将这四张特征子图与该特征图进行融合，得到新的特征图，然后，针对新的特征图，再次分别用1*1、2*2、3*3、5*5的池化核分别进行池化，并在池化后进行上采样，得到与新的特征图尺寸一致的四张特征子图，然后将这四张特征子图与新的特征图进行融合，得到最终的特征向量。
79.s6044：将n-1个第一特征向量和第二特征向量进行融合，得到融合后的特征向量。
80.由于n-1个第一特征向量是采用空间金字塔池化方式得到的，而空间金字塔池化
采用最大池化（max pooling），剔除了第一特征向量中与车辆无关的信息，而第二特征向量是采用至少一次强化池化得到的，保留了车辆的姿态、尺度信息和空间位置等信息，二者融合后，增强了车辆的特征描述，从而提高了车辆检测的准确率。
81.s605：根据特征图集合中每个特征图对应的特征向量，获得该视频帧中包含的至少一个目标车辆。
82.在s605中，不同尺度的特征图对应的浅层特征向量和深层特征向量中，包含了车辆的多姿态、多尺度和空间位置等信息，因此，基于每个特征图对应的特征向量，可以准确的检测出该视频帧中包含的至少一个目标车辆。
83.s606：根据检测出的各目标车辆，确定该目标路口的交通参数集合。
84.其中，确定交通参数集合的具体过程参见图9：s6061：根据检测出的各目标车辆在不同时刻的行驶数据，确定各目标车辆的行驶方向。
85.以一个目标车辆为例，采用雷达通过对该目标车辆进行跟踪，获取该目标车辆在t1时刻方向信息1和在t2时刻的方向信息2，根据方向信息1和方向信息2确定该目标车辆的行驶方向。其中，当相互垂直的行驶方向的车辆数较多时，可能发生了路口死锁事件。
86.s6062：计算检测出的各目标车辆的总区域与该视频帧的预设检测区域的面积比。
87.考虑到路口交通场景复杂，一个路口中可能有多个目标车辆，通过各目标车辆的检测框的大小，可以得到各目标车辆的总区域大小，而该视频帧的预设检测区域的大小是已知的，因此，计算出各目标车辆的总区域与预设检测区域的面积比。其中，面积比反映了个目标车辆在该视频帧中的空间占有率，空间占有率越大，表明该目标路口中的车辆数越多，发生路口死锁事件的概率越大。
88.s6063：根据确定的行驶方向和面积比，获得该目标路口的交通参数集合。
89.在s6063中，交通参数集合中各目标车辆的行驶方向和面积占比，充分描述了路口死锁事件的特征，可用于路口死锁事件的判定。
90.s607：根据该交通参数集合，确定是否发生路口死锁事件。
91.具体的，当面积比大于预设面积阈值，且行驶方向相互垂直的目标车辆的数量大于预设车辆阈值时，确定发生路口死锁事件。
92.例如，当交通参数集合中各目标车辆面积比大于70%，且相互垂直的两个行驶方向中目标车辆的数量大于30%时，则确定该目标路口发生了路口死锁事件。
93.本技术实施例提供一种基于视频的路口死锁事件检测方法中，基于实时获取的路口的交通视频流进行路口死锁事件的自动检测，通过训练的车辆检测模型检测出目标路口的各目标车辆，并根据检测出的各目标车辆的行驶方向和面积占比，获得目标路口的交通参数集合，进一步地，利用获得的交通参数集合，进行路口死锁事件的逻辑判定。由于该方法使用的车辆检测模型中的至少一个残差单元采用了部分通道随机分组卷积，使得特征提取过程既保留了车辆特征图中部分通道的原始信息，也得到了车辆特征图中部分通道的重组信息，增强了提取的特征向量中车辆的语义信息，从而在车辆分布较为密集或存在遮挡的交叉路口中，提高车辆的检测准确率，进而提高路口死锁事件的检测准确率；并且，该车辆检测模型采用多层特征强化融合方式，降低模型对车辆姿态的敏感度，进一步提升了路口中目标车辆的检测准确率以及路口死锁事件的检测准确率，以便对发生死锁事件的路口
及时进行处置，避免车辆在路口持续积累，从而提高路口中车辆的通行效率，有效缓解城市交通拥堵，降低交通事故的发生率。
94.参见图10，为本技术实施例提供的路口死锁事件检测的效果图，其中，在粗实线标注的预设检测区域，采用本技术实施例提供的车辆检测模型，能够准确的检测出多个目标车辆，根据检测出的各目标车辆的行驶方向和在预设检测区域内的面积占比，能够准确地判定该路口发生了路口死锁事件，需要及时进行交通疏导。
95.在一些实施例中，当确定发生路口死锁事件后，进一步地，检测设备向该目标路口关联的下游车辆发送提示信息，下游车辆接收到提示信息后，可重新规划路线或调整行驶速度，以便缓解该路口的拥堵情况，提高该目标路口的正常运行的效率，避免发生交通事故。
96.本技术实施例提供的基于视频的路口死锁事件检测方法，可应用于智能交通系统，实现路口死锁事件的自动检测以及实时预警。在多方向的交叉路口进入死锁的状态下，该方法可在30s内快速、准确地检测出死锁事件，将路口死锁事件的处理效率提升了20%，有效维护了交通秩序的正常运行状态。
97.基于相同的技术构思，本技术实施例提供一种检测设备，该检测设备可以执行上述实施例提供的基于视频的路口死锁事件检测方法，且能达到同样的技术效果，在此不再赘述。
98.参见图11，该检测设备包括处理器1101、存储器1102、通信接口1103，通信接口1103、存储器1102与处理器1101通过总线1104连接，存储器1102存储有计算机程序指令，处理器1101根据存储器1102存储的计算机程序指令，执行以下操作：通过所述通信接口1103，获取目标路口的交通视频流；针对每一视频帧，采用训练好的车辆检测模型，获取所述视频帧的预设检测区域对应的特征图集合，所述特征图集合中不同特征图的尺度不同；对所述特征图集合中的至少一张特征图，分别进行部分通道随机分组卷积，获得相应特征图对应的特征向量；对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量；根据所述特征图集合中每个特征图对应的特征向量，获得所述视频帧中包含的至少一个目标车辆；根据检测出的各目标车辆，确定所述目标路口的交通参数集合，并根据所述交通参数集合，确定是否发生路口死锁事件。
99.可选的，所述处理器1101对所述特征图集合中的全部或部分特征图，分别进行部分通道随机分组卷积，获得每个特征图对应的特征向量，具体操作为：针对所述特征图集合中的至少一张特征图，对所述特征图的通道进行分组卷积，并将卷积后特征图通道的后三分之二部分进行重组，得到所述特征图对应的特征向量。
100.可选的，所述处理器1101对所述特征图集合中最小尺度的特征图，进行至少一次多尺度强化池化操作，得到融合后的特征向量，具体操作为：将最小尺度的特征图复制为n张，n为大于1的整数；对复制的n-1张特征图进行池化，得到n-1个第一特征向量，n-1张特征图使用的池
化核不同；对复制的剩余1张特征图，采用不同尺度的池化核分别进行池化，并融合为一张新的特征图，将新的特征图作为下一次强化池化操作的输入，重新进行多尺度强化池化，得到第二特征向量；将n-1个所述第一特征向量和所述第二特征向量进行融合，得到融合后的特征向量。
101.可选的，所述处理器1101根据检测出的各目标车辆，确定所述目标路口的交通参数集合，具体操作为：根据检测出的各目标车辆在不同时刻的行驶数据，确定所述各目标车辆的行驶方向；计算检测出的各目标车辆的总区域与所述预设检测区域的面积比；根据所述行驶方向和所述面积比，获得所述目标路口的交通参数集合。
102.可选的，所述处理器1101根据所述交通参数集合，确定是否发生路口死锁事件，具体操作为：当所述面积比大于预设面积阈值，且所述行驶方向相互垂直的目标车辆的数量大于预设车辆阈值时，确定发生路口死锁事件。
103.可选的，当确定发生路口死锁事件后，所述处理器1101还执行以下操作：通过所述通信接口1103，向所述目标路口关联的下游车辆发送提示信息，以使所述下游车辆根据所述提示信息重新规划路线或调整行驶速度。
104.需要说明的是，图11仅是检测设备实现本技术实施例提供的基于视频的路口死锁事件检测方法的必要硬件，可选的，该检测设备还包括如显示器、视频处理器等常规硬件。
105.本技术实施例上述涉及的处理器可以是中央处理器（central processing unit，cpu），通用处理器，数字信号处理器（digital signal processor，dsp），专用集成电路（application-specific integrated circuit，asic），现场可编程门阵列（field programmable gate array，fpga）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
106.本技术实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
107.本技术实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
108.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
109.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
110.本技术是参照根据本技术的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
111.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
112.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
113.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。