一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种基于视频的交通故障检测方法及设备与流程

2022-03-19 21:57:57 来源:中国专利 TAG:


1.本技术涉及智能交通技术领域,尤其涉及一种基于视频的交通故障检测方法及设备。


背景技术:

2.随着道路交通的发展,公路的建设日益完善,有效减少了出行和运输所需的时间,为城市之间的互联互通带来了方便。
3.车辆在公路上的行驶速度高达80-120km/h,一旦发生交通事故,不仅会造成车辆、公物(如防护栏、交通牌等)的损坏,往往还会造成交通拥堵,甚至会导致后续车辆的连续撞击,危及司乘人员的生命安全。
4.目前,针对高速行驶状态下的交通事故检测主要依赖人工巡检或群众上报的方式,可能无法及时的发现事故,导致事故处理效率低、联动响应慢、事故提示信息不及时,增加了交通二次事故发生概率高。


技术实现要素:

5.本技术实施例提供了一种基于视频的交通事故检测方法及设备,用以提高交通事故检测的准确率和实时性。
6.一方面,本技术实施例提供一种基于视频的交通事故检测方法,包括:获取检测周期内的交通视频流;针对每一视频帧,采用训练好的车辆检测模型,对所述视频帧的预设检测区域进行检测,获得至少一个目标车辆,其中,所述车辆检测模型的损失函数包括所述车辆检测模型所使用的正训练样本集中正训练样本之间的平衡系数,所述平衡系数用于增加所述正训练样本集中第一类正样本的损失值,降低所述正训练样本集中第二类正样本的损失值;获取所述检测周期内位于同一路线上的各目标车辆的交通参数集合,所述交通参数集合中的每一个交通参数用于描述交通事故的特征;按照预设权重,对所述交通参数集合中的各个交通参数进行加权,并根据加权后的结果,确定是否发生交通事故。
7.另一方面,本技术实施例提供一种检测设备,包括处理器、存储器和通信接口,所述通信接口、所述存储器与所述处理器通过总线连接:所述存储器存储有计算机程序,所述处理器根据所述计算机程序,执行以下操作:通过所述通信接口,获取检测周期内的交通视频流;针对每一视频帧,采用训练好的车辆检测模型,对所述视频帧的预设检测区域进行检测,获得至少一个目标车辆,其中,所述车辆检测模型的损失函数包括所述车辆检测模型所使用的正训练样本集中正训练样本之间的平衡系数,所述平衡系数用于增加所述正训练样本集中第一类正样本的损失值,降低所述正训练样本集中第二类正样本的损失值;获取所述检测周期内位于同一路线上的各目标车辆的交通参数集合,所述交通参
数集合中的每一个交通参数用于描述交通事故的特征;按照预设权重,对所述交通参数集合中的各个交通参数进行加权,并根据加权后的结果,确定是否发生交通事故。
8.可选的,所述处理器采用训练好的车辆检测模型,对所述视频帧的预设检测区域进行检测,获得至少一个目标车辆,具体操作为:通过所述车辆检测模型的多个残差单元,分别提取所述视频帧的预设检测区域内的深层语义特征和浅层位置尺度特征,其中,至少一个残差单元包含空洞卷积核;对深层语义特征进行混合池化,得到混合深层语义特征;对所述混合深层语义特征进行上采样;根据上采样后的混合深层语义特征和所述至少一个浅层位置尺度特征,确定所述预设检测区域内各目标车辆的目标概率;根据确定的各目标概率,获得至少一个目标车辆。
9.可选的,所述处理器根据上采样后的混合深层语义特征和所述至少一个浅层位置尺度特征,确定所述预设检测区域内包含至少一个目标车辆的概率,具体操作为:对上采样后的混合深层语义特征进行降维,并根据降维后的混合深层语义特征,确定预设检测区域内包含至少一个目标车辆的第一概率;根据上采样后的混合深层语义特征和第一浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第二概率;对所述第一浅层位置尺度特征进行上采样,结合上采样后的混合深层语义特征和第二浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第三概率;根据所述第一概率、所述第二概率和所述第三概率,确定所述预设检测区域内包含至少一个目标车辆的目标概率。
10.可选的,所述交通参数集合包括每一视频帧中静止的目标车辆数、静止目标车辆间的静止时间差、每一视频帧中目标车辆间的重合度和目标车辆的行驶速度中的至少一项。
11.可选的,当确定发生交通事故后,所述处理器还执行以下操作:上报所述交通事故对应的位置信息、车辆信息、事故时间、事故类型中的至少一项事故信息。
12.可选的,当所述检测周期内不同路线发生多起交通事故时,所述处理器还执行以下操作:确定每一交通事故的事故等级;按照事故等级,有序上报事故信息。
13.可选的,所述车辆检测模型是通过以下方式训练得到的:获取训练样本集合;将所述训练样本集合中的多个训练样本,以及每个训练样本对应的预先标注的真实标签,输入至初始的车辆检测模型,通过多轮迭代训练,得到检测损失值在预设范围内的车辆检测模型;其中,针对每一轮训练,执行以下操作:通过初始的车辆检测模型,提取每个训练样本的至少一个浅层特征向量和深层特征向量;
根据每个训练样本的至少一个浅层特征向量和所述深层特征向量,获得相应训练样本的预测标签;根据每个训练样本对应的真实标签和预测标签,确定检测损失值;根据所述检测损失值对初始的车辆检测模型的参数进行调整。
14.可选的,计算所述检测损失值的损失函数为:其中,表示检测损失值,表示正训练样本和负训练样本之间的平衡系数,表示包含不同类型的车辆的正训练样本之间的平衡系数,表示每个训练样本的真实标签, 表示每个训练样本的预测标签。
15.另一方面,本技术提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行本技术实施例提供的基于视频的交通事故检测方法。
16.本技术实施例的有益效果如下:在本技术的实施例中,针对获取的检测周期内的交通视频流中的每一视频帧,采用训练好的交通事故检测模型,对视频帧的预设检测区域进行检测,获得至少一个目标车辆,从而减少了复杂背景的干扰,提高了目标检测的准确性,并且,在训练交通事故检测模型时,考虑到不同类别的车辆数量不同,可能会导致不同类别车辆的正训练样本不均衡,因此,交通事故检测模型的损失函数中增加了平衡因子,该平衡因子用于增加正训练样本集中第一类样本(车辆数量较少的样本)的损失值,降低正训练样本集中第二类样本(车辆数量较少的样本)的损失值,增加了模型的收敛速度,并且能够有效提高目标检测的准确率;进一步地,检测到至少一个目标车辆后,获取检测周期内位于同一路线上的各目标车辆的交通参数集合,由于交通参数集合中的每一个交通参数用于描述交通事故的特征,因此,对交通参数集合中的各个交通参数进行加权后的概率,能够准确、实时地检测交通事故。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
18.图1示例性示出了本技术的实施例提供的车辆检测模型的训练方法流程图;图2示例性示出了本技术的实施例提供的车辆检测模型的特征提取模块的结构图;图3示例性示出了本技术的实施例提供的车辆检测模型的整体框架图;图4示例性示出了本技术的实施例提供的空间金字塔池化示意图;图5示例性示出了本技术的实施例提供的条纹池化示意图;图6示例性示出了本技术的实施例提供的基于视频的交通事故检测方法流程图;
图7示例性示出了本技术的实施例提供的车辆检测流程图;图8示例性示出了本技术的实施例提供的交通事故检测效果图;图9示例性示出了本技术的实施例提供的检测设备结构图。
具体实施方式
19.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,并不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
20.依赖人工巡检或群众上报的方式,无法及时地检测到高速行驶状态下的车辆发生的交通事故。而随着公路的建设日益完善,公路上普遍存在交管部门安装的摄像头,促进了基于视频实时检测交通事故的发展。
21.目前,对视频进行分析检测交通事故时,由于事故类型多种多样(如车辆撞到路边的护栏、两车追尾、车辆起火等),缺乏统一事故描述特征定义事故,且一些轻微的事故描述特征不显著,因此,大多利用司乘人员的逗留时间超过时间阈值后进行事故预警,但由于高速行驶状态下的车速较快,当车辆发生剧烈碰撞时,可能出现司乘人员无法下车的情况,这样,就无法获取司乘人员的逗留时间,因此,目前的检测算法无法准确地检查到高速行驶状态下的交通事故,进而,无法准确地追踪事故车辆,扰乱交通秩序。
22.鉴于此,本技术实施例提供了一种基于视频的交通事故检测方法及设备,按照设定的检测周期,实时获取公路上的采集设备采集的交通视频流,针对每一视频帧,通过目标检测、目标跟踪、交通事故逻辑判定等方法,能够准确地检测出车辆在高速行驶状态下的交通事故(如碰撞、追尾等),并及时地上报给交通系统,便于交管部门高效地处理交通事故,维护交通运转的稳定性。该方法能够自动实现交通事故的检测,无需人工参与,节省了人力成本。
23.在本技术的实施例中,为了对获取的每一视频帧进行目标检测,需要预先收集训练车辆检测模型的训练样本集合。
24.目前,由于公路上普遍安装有采集设备,包括但不限于路口摄像头、电子警察、卡口,因此,可通过公路上的采集设备获取训练样本集合。考虑到采集设备的安装位置、角度的差别,各采集设备拍摄的交通画面可能不同,需要预先配置各采集设备以使其采集到满足检测要求的画面。
25.以采集设备为电子警察为例,交管人员在安装电子警察时,通常会对摄像头的安装高度和拍摄角度进行调试,使其能够拍摄到车辆行驶的画面。因此,本技术实施例中的检测设备接通电子警察后,实时获取交通视频,当获取的交通视频满足预设车辆检测要求(如公路处于视频帧的中心区域)时,无需进行二次调试;当获取的交通视频不满足预设车辆检测要求时,则重新进行调试,直至满足预设车辆检测要求。进一步地,获得预设车辆检测要求的交通视频后,从交通视频帧随机选取一帧基准图像,并基于选取的基准图像人工标注交通事故的检测区域,并记录标注的检测区域框的位置信息。
26.同理,检测设备接通路口摄像头、卡口后,针对其采集的交通视频,也进行检测区域的标注。
27.本技术的实施例中,由于同一采集设备的安装位置、角度、分辨率等参数不变,因此,仅需要选取一张基准图像进行检测区域的标注即可,提高了标注效率;并且,通过标注的检测区域,可以排除复杂背景的干扰,提高目标检测的准确率。
28.需要说明的是,由于采集设备的分辨率大小、角度等的不同,针对不同采集设备采集的交通视频,标注的检测区域的位置、大小可能不同。各采集设备对应的检测区域如表1所示。
29.表1、各采集设备对应的检测区域其中,(xi,yi)表示检测区域框的原点,wi表示检测区域框的宽度,hi表示检测区域框的高度。
30.预先为各采集设备采集的交通视频标注好检测区域后,以各采集设备采集的交通视频作为训练样本集合,训练车辆检测模型。具体训练过程参见图1:s101:获取训练样本集合。
31.在本技术的实施例中,训练样本集合来自公路上的各采集设备采集的交通视频。由于预先标注了各采集设备采集的交通视频的检测区域,因此,基于每个采集设备对应的检测区域,对该采集设备采集的交通视频进行裁剪,得到训练样本集合。
32.其中,训练样本集合中包含正训练样本集和负训练样本集,正训练样本集由包含车辆的图像组成,负训练样本集由不包含车辆的图像组成。由于不同类型车辆的使用量有较大差距,使用量多的车辆(如小汽车)的正训练样本更容易采集,而使用量少的车辆(如搅拌车)的正训练样本更不易采集,这样,正训练样本集中包含不同类型的车辆的正训练样本的数量可能不同。因此,本技术实施例将正训练样本集中的正训练样本分为第一类正样本和第二类正样本,第一类正样本的数量小于第一样本阈值,第二类正样本的数量大于第二样本阈值。其中,第一样本阈值和第二样本阈值的大小可以相同,也可以不同,可根据实际需求进行设置。
33.获得训练样本集合后,对每个训练样本标上样本标签。例如,正训练样本标记为1,负训练样本标记为0。
34.s102:将训练样本集合中的多个训练样本,以及每个训练样本对应的预先标注的真实标签,输入至初始的车辆检测模型,通过多轮迭代训练,得到检测损失值在预设范围内的车辆检测模型。
35.在s102中,针对每一轮训练,执行以下操作:s1021:通过初始的车辆检测模型,提取每个训练样本的至少一个浅层特征向量和
深层特征向量。
36.在执行s1021时,将训练样本集合中的多个训练样本输入至初始的车辆检测模型后,通过初始的车辆检测模型,提取每个训练样本的特征向量。具体实施时,考虑到输入的训练样本具有目标多尺度的特点,针对每个训练样本,通过初始的车辆检测模型提取该训练样本的深层特征向量和浅层特征向量,其中,深层特征向量包含该训练样本内目标对象的语义信息,浅层特征向量包含该训练样本内目标对象的位置信息和多尺度信息。
37.通常的,道路交通场景较为复杂,各采集设备的分辨率大小不一,这样,训练样本中的目标对象往往受环境因素影响,存在着光线变化大、遮挡不一、尺度变化大等问题。初始的车辆检测模型提取的浅层特征向量虽然融合了较多的目标对象的位置信息和多尺度信息,但也降低了提取浅层特征向量的感受野。当训练样本的分辨率较大时(如分辨率为11920*1080像素),感受野降低的越明显。
38.针对上述情况,本技术实施例在训练车辆检测模型时,在该模型提取浅层特征向量和深层特征向量的至少一个残差单元中,使用了空洞卷积(atrous convolution)核,以增加提取特征向量时的感受野,同时,增加该模型对大分辨率训练样本和多尺度目标对象的适配性。
39.可选的,本技术实施例在车辆检测模型的最后两个残差单元中,使用了空洞卷积核。
40.s1022:根据每个训练样本的至少一个浅层特征向量和深层特征向量,获得相应训练样本的预测标签。
41.在执行s1022时,针对每一个训练样本,采用特征维度增广融合方法对深层特征向量进行空间金字塔的池化操作,以减少车辆检测模型中的卷积运算和防止训练样本中的目标对象变形。
42.具体实施时,首先通过选择性搜索(selective search),对待检测的训练样本进行搜索,得到多个候选区域;然后对整张训练样本进行卷积运算,得到一个特征图;然后将每个候选区域与特征图进行映射,得到每个候选区域的特征向量,并将每个候选区域的特征向量输入至金字塔空间池化层,得到固定长度的特征向量;最后将多个固定长度的特征向量输入至全连接层,得到池化后深层特征向量。
43.由于金字塔空间池化层的最大池化(max pooling)方式容易造成局部信息的丢失,影响车辆检测模型的检测准确率。因此,本技术的实施例在金字塔空间池化层增加基于位置敏感的条形池化结构,实现对特征图的细粒度分割池化,解决了最大池化带来的弊端。
44.本技术实施例经最大池化和条纹池化后的深层特征向量,既包含了较多的语义信息,同时也保存了一定的局部位置信息,使得初始的车辆检测模型提取的深层特征向量同时包含丰富的位置和语义信息,有利于后续的多目标对象的检测。
45.进一步地,在s1022中,对池化后的深层特征向量进行上采样,分别与至少一个浅层特征向量进行融合,并基于融合后的各个特征向量以及池化后的深层特征向量,分别预测每个训练样本的子标签,然后根据每个训练样本的预测子标签,确定每个训练样本最终的预测标签。
46.s1023:根据每个训练样本对应的真实标签和预测标签,确定检测损失值。
47.本技术实施例中初始的车辆检测模型用于计算检测损失值的损失函数,不仅考虑
训练样本集合中正训练样本和负训练样本数量之间的不平衡,还考虑了包含不同类型的车辆的正训练样本之间的不平衡。具体的,计算检测损失值的损失函数如下:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1其中,表示检测损失值,表示正训练样本集和负训练样本集之间的平衡系数,用于优化不同数量的正、负训练样本的权重,保证正样本的召回率;表示正训练样本集中包含不同类型车辆的正训练样本之间的平衡系数,该平衡系数用于增加正训练样本集中第一类正样本的损失值,降低正训练样本集中第二类正样本的损失值,防止被数量较多的负训练样本和第二类正训练样本所淹没;表示每个训练样本的真实标签,表示每个训练样本的预测标签。
48.本技术的实施例中,通过在模型的损失函数中增加训练样本之间的平衡系数,相比于原损失函数,能够有效解决正训练样本之间的数量不平衡问题,提高了模型的检测准确率;并且,增加训练样本之间的平衡系数后的损失函数,使得模型在训练过程中针对数目较少的第一类正训练样本的情况,也可以快速收敛,提升模型的检测效率。
49.s1024:根据检测损失值对初始的车辆检测模型的参数进行调整。
50.在s1024中,利用每一轮训练得到的检测损失值,调整初始的车辆检测模型的参数,直至检测损失值在预设范围内,从而得到训练好的车辆检测模型。
51.本技术的上述车辆检测模型,一方面,通过在车辆检测模型的至少一个残差单元中使用空洞卷积核,使得训练好的车辆检测模型在不丢失分辨率的前提下,扩大了提取特征向量的感受野,同时,可以通过控制空洞卷积核的扩张率(dilation rate)控制感受野大小,获取高分辨率下目标对象的多尺度信息和位置信息,从而有效解决了复杂的交通场景中同一目标对象由于远近不同所带来的多尺度变化以及遮挡变化等问题;另一方面,通过在车辆检测模型的金字塔空间池化层中增加条纹池化,实现对深层特征向量的细粒度分割,弥补了最大池化造成局部信息的丢失;在一方面,通过在车辆检测模型的损失函数中增加正训练样本之间的平衡系数,有效解决正训练样本之间的数量不平衡问题,提高了车辆检测模型的检测准确率和检测效率。
52.下面以cspdarknet53网络结构为基础,描述本技术实施例中车辆检测模型的网络结构。
53.参见图2,为本技术实施例提供的车辆检测模型的特征提取模块,其中,该模块包含5个残差单元(resblock_body),不同残差单元中残差块的数量不同,并在为每个残差单元加上一个跨阶段部分(cross stage partial)结构,减少了车辆检测模型的参数,使其更容易训练。
54.考虑到各采集设备分辨率的大小不同,交通场景中的目标对象受环境因素影响往往存在着光线变化大、遮挡不一、尺度变化大等诸多问题,浅层特征向量虽然包含了目标对象的位置信息,但也降低了提取浅层特征向量的感受野,尤其对大分辨率的图像,效果较为
明显。因此,本技术实施例在车辆检测模型特征提取模块的最后两个残差单元中,使用了dilation rate为2,大小为5*5的空洞卷积核,相对于原始的cspdarknet53特征提取结构,增加了提取特征向量的感受野,同时,也保证了对复杂交通场景下的小目标对象定位的准确度。
55.车辆检测模型的完整结构参见图3,主要包括特征提取模块、池化模块和预测模块。以输入一张大小为608*608像素大小的训练样本为例,通过多个残差单元的卷积操作,提取到尺寸分别大小为76*76、38*38、19*19的三张特征图。其中,76*76、38*38的特征图作为浅层特征向量,19*19的特征图作为深层特征向量。
56.针对得到的深层特征向量,进行特征维度增广融合的空间金字塔池化(spatial pyramid pooling,ssp)。假设深层特征向量经卷积后得到维度为13*13*256的特征图,在进行ssp池化时,通过对该特征图进行选择性搜索,得到多个候选区域。针对每一个候选区域,ssp池化层将该候选区域分割为1*1,2*2,4*4三张子图,对每个子图作最大池化(max pooling),再将池化后的特征向量连接到一起,得到(16 4 1)* 256的特征向量,如图4所示,其中,d表示维度或通道数。
57.在车辆检测模型的池化模块,在空间金字塔池化中加入了基于位置敏感的条形池化结构,如图5所示,通过使用水平和垂直条纹池化操作来捕获不同位置之间的短距离和长距离依赖关系,实现对深层语义信息的细粒度分割,提高目标对象检测的准确性。
58.在车辆检测模型的预测模块,将ssp池化和条纹池化后的深层特征向量进行融合,并对融合后的特征向量进行降维,基于降维后的融合特征向量,预测存在目标对象的第一概率;以及,对融合后的特征向量进行上采样,结合一个浅层特征向量,预测存在目标对象的第二概率;以及,利用另一浅层特征向量,预测存在目标对象的第三概率。进一步地,对第一概率、第二概率和第三概率进行加权,得到加权后的概率,从而预测该训练样本中是否包含目标对象。
59.基于上述训练好的车辆检测模型,执行基于视频的交通事故检测方法流程,参见图6,该流程由检测设备执行,主要包括以下几步:s601:获取检测周期内的交通视频流。
60.在s601中,检测设备按照预先设定的检测周期,从接通的各采集设备中获取交通视频流。其中,检测周期大小可根据实际需求进行设置,例如,检测周期为1小时。
61.s602:针对每一视频帧,采用训练好的车辆检测模型,对视频帧的预设检测区域进行检测,获得至少一个目标车辆。
62.其中,车辆检测模型的结构参见前述实施例,在此不再重复。
63.由前述实施例可知,对各采集设备采集的交通视频已经预先标注了检测区域,在执行s602时,检测设备针对获取的每一视频帧,通过确定该视频帧所属的采集设备,确定该视频帧的预设检测区域,并采用训练好的车辆检测模型,检测预设检测区域内的至少一个目标车辆。具体检测过程参见图7:s6021:通过车辆检测模型的多个残差单元,分别提取视频帧的预设检测区域内的深层语义特征和浅层位置尺度特征。
64.残差单元的结构参见图2-3,其中,针对提取浅层位置尺度特征的一个残差单元和针对提取深层语义特征的一个残差单元,使用dilation rate为2、大小为5*5的空洞卷积
核,增加了特征提取的感受野,同时,针对大分辨率的视频帧,使得提取的浅层位置尺度特征保留目标车辆位置信息,也能够适应目标车辆尺度的变化,提高目标检测的准确性。
65.s6022:对深层语义特征进行混合池化,得到混合深层语义特征。
66.在一种可选的实施方式中,在执行s6022时,参见图3,采用最大池化方式,对深层语义特征进行ssp池化,以及,对深层语义特征进行条纹池化,并将池化后的深层语义特征进行融合,得到混合深层语义特征。
67.s6023:对混合深层语义特征进行上采样。
68.通过对混合深层语义特征进行上采样,增加了特征图的尺寸,便于后续进行逐像素预测。
69.s6024:根据上采样后的混合深层语义特征和至少一个浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的概率。
70.以两个浅层位置尺度特征为例,在执行s6024时,对上采样后的混合深层语义特征进行降维,并根据降维后的混合深层语义特征,确定预设检测区域内包含至少一个目标车辆的第一概率;以及,根据上采样后的混合深层语义特征和第一浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第二概率;以及,对第一浅层位置尺度特征进行上采样,结合上采样后的混合深层语义特征和第二浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第三概率;进一步地,根据第一概率、第二概率和第三概率,确定预设检测区域内各目标车辆的目标概率。
71.s6025:根据确定的各目标概率,获得至少一个目标车辆。
72.通常的,在公路上高速行驶的车辆不止一辆,可能存在同一视频帧包含多个车辆的情况。因此,车辆检测模型在进行车辆检测时,可能存在多个目标概率均大于检测阈值的情况,此时,将大于检测阈值的全部目标概率对应的目标车辆均用检测框框出。
73.s603:获取检测周期内位于同一路线上的各目标车辆的交通参数集合,交通参数集合中的每一个交通参数用于描述交通事故的特征。
74.在本技术的实施例中,针对检测出的每一目标车辆进行跟踪,获得检测周期内位于同一路线上的各目标车辆的交通参数集合,交通参数集合中的每一个交通参数用于描述交通事故的特征。具体的,交通参数集合包括每一视频帧中静止的目标车辆数、静止目标车辆间的静止时间差、每一视频帧中目标车辆间的重合度和目标车辆的行驶速度中的至少一项。
75.交通参数集合中各交通参数的获取方式如下:目标车辆的行驶速度:针对每一个目标车辆,从前后两视频帧中获取该目标车辆的尾部位移(单位:像素),并根据两视频帧的时间差,计算出该目标车辆的行驶速度。
76.静止目标车辆间的静止时间差:对检测出的目标车辆的运动情况进行跟踪,获取到某两辆目标车辆变为静止的时间差。
77.每一视频帧中静止的目标车辆数:对检测出的目标车辆的运动情况进行跟踪,在同一采集设备采集的不同视频帧内,当某一目标车辆在预设检测区域内始终维持相对静止时,则判定该目标车辆为静止车辆,并统计每一视频帧中所有的静止车辆数。
78.每一视频帧中目标车辆间的重合度:针对每一视频帧,确定相交的两个目标车辆之间的遮挡面积与两车面积之和的占比,并统计该视频帧所有相交的两车的遮挡面积与两
车面积之和的占比,对统计的各个占比求均值,得到目标车辆间的重合度。
79.通常的,在较短的时间内,同一视频帧中的两个目标车辆从较高的行驶速度变为静止,且静止时间超过时间阈值时,很可能发生了车辆碰撞事故。
80.s604:按照预设权重,对交通参数集合中的各个交通参数进行加权,并根据加权后的概率,确定是否发生交通事故。
81.在执行s604时,按照交通参数集合中各交通参数的预设权重,对每个目标车辆的交通参数集合中的各交通参数进行加权,并根据加权后的结果,确定是否发生交通事故。
82.例如,当加权后的结果大于等于预设事故阈值时,则确定发生了交通事故;当加权后的结果小于预设事故阈值时,则确定未发生了交通事故。
83.本技术实施例提供的基于视频的交通事故检测方法,基于实时获取的交通视频流进行交通事故的自动检测,通过训练的车辆检测模型进行目标检测,并对检测出的目标车辆进行跟踪,获得对应的交通参数集合,进一步地,利用获得的交通参数集合,进行交通事故的逻辑判定。由于本技术实施例中的车辆检测模型使用了空洞卷积核、混合池化,在不丢失分辨率的前提下,扩大了特征提取的感受野,保留了目标对象位置信息和多尺度信息,实现了对深层语义特征的细粒度分割,保留目标车辆的局部信息,从而提高了目标检测的准确性;并且,本技术实施例中使用的交通参数集合中的各个交通参数,准确定义了不同形态的目标车辆在高速行驶状态下发生交通事故的特征,使得基于各个交通参数集合,能够准确地识别交通事故,整个交通事故检测的过程无需人工参与,节约了人力成本。
84.参见图8,为本技术实施例提供的交通事故检测的效果图,其中,801为预设检测区域,802和802分别为采用本技术实施例提供的车辆检测模型检测出的目标车辆,通过获取的这两车的交通参数集合,能够准确地判定发生了交通事故。
85.在一些实施例中,当确定发生交通事故后,进一步地,检测设备将该交通事故对应的位置信息、车辆信息、事故时间、事故类型中的至少一项事故信息实时上报给交通系统,以便交管部门派送相应的人员及时处理交通事故,维护交通秩序,提高交通的运转效率,避免二次交通事故的发生。
86.在一些实施例中,由于检测设备接收的是来自不同位置的各采集设备采集的交通视频流,一个检测周期可能涉及到多条行驶路线,当检测周期内不同路线发生多起交通事故时,检测设备每一交通事故的事故等级,并按照事故等级,有序上报事故信息,以便交管部门优先处理较为严重的事故,保护司乘人员的生命健康。其中,事故等级越高,表明交通事故的程度越严重。
87.例如,假设检测周期内路线1发生了交通事故1,交通事故1中涉及到两车追尾,无人员损伤,事故等级为1级;路线2发生了交通事故2,交通事故2中涉及多车连环相撞,有人员受伤,事故等级为4级。此时,检测设备优先上报交通事故2对应的事故信息。
88.本技术实施例提供的基于视频的交通事故检测方法,可应用于智能交通系统,实现交通事故的自动检测以及实时上报,以便交管部门派遣人员处理交通事故。针对高速行驶状态下的车辆碰撞事故,该方法可在30s内快速、准确地检测出交通事故,将交通事故的处理效率提升了20%,有效降低二次危害事故发生的几率。相对于人工上报的方式,该方法解决了事故上报实时性差、高速交通拥堵以及引发二次事故的问题,从而提高交通运转效率。
89.基于相同的技术构思,本技术实施例提供一种检测设备,该检测设备可以执行上述实施例提供的基于视频的交通事故检测方法,且能达到同样的技术效果,在此不再赘述。
90.参见图9,该检测设备包括处理器901、存储器902、通信接口903,通信接口903、存储器902与处理器901通过总线904连接,存储器902存储有计算机程序指令,处理器901根据存储器902存储的计算机程序指令,执行以下操作:通过通信接口903,获取检测周期内的交通视频流;针对每一视频帧,采用训练好的车辆检测模型,对视频帧的预设检测区域进行检测,获得至少一个目标车辆,其中,车辆检测模型的损失函数包括车辆检测模型所使用的正训练样本集中正训练样本之间的平衡系数,平衡系数用于增加正训练样本集中第一类正样本的损失值,降低正训练样本集中第二类正样本的损失值;获取检测周期内位于同一路线上的各目标车辆的交通参数集合,交通参数集合中的每一个交通参数用于描述交通事故的特征;按照预设权重,对交通参数集合中的各个交通参数进行加权,并根据加权后的结果,确定是否发生交通事故。
91.可选的,处理器901采用训练好的车辆检测模型,对视频帧的预设检测区域进行检测,获得至少一个目标车辆,具体操作为:通过车辆检测模型的多个残差单元,分别提取视频帧的预设检测区域内的深层语义特征和浅层位置尺度特征,其中,至少一个残差单元包含空洞卷积核;对深层语义特征进行混合池化,得到混合深层语义特征;对混合深层语义特征进行上采样;根据上采样后的混合深层语义特征和至少一个浅层位置尺度特征,确定预设检测区域内各目标车辆的目标概率;根据确定的各目标概率,获得至少一个目标车辆。
92.可选的,处理器901根据上采样后的混合深层语义特征和至少一个浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的概率,具体操作为:对上采样后的混合深层语义特征进行降维,并根据降维后的混合深层语义特征,确定预设检测区域内包含至少一个目标车辆的第一概率;根据上采样后的混合深层语义特征和第一浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第二概率;对第一浅层位置尺度特征进行上采样,结合上采样后的混合深层语义特征和第二浅层位置尺度特征,确定预设检测区域内包含至少一个目标车辆的第三概率;根据第一概率、第二概率和第三概率,确定预设检测区域内包含至少一个目标车辆的目标概率。
93.可选的,交通参数集合包括每一视频帧中静止的目标车辆数、静止目标车辆间的静止时间差、每一视频帧中目标车辆间的重合度和目标车辆的行驶速度中的至少一项。
94.可选的,当确定发生交通事故后,处理器901还执行以下操作:上报交通事故对应的位置信息、车辆信息、事故时间、事故类型中的至少一项事故信息。
95.可选的,当检测周期内不同路线发生多起交通事故时,处理器901还执行以下操
作:确定每一交通事故的事故等级;按照事故等级,有序上报事故信息。
96.可选的,车辆检测模型是通过以下方式训练得到的:获取训练样本集合;将训练样本集合中的多个训练样本,以及每个训练样本对应的预先标注的真实标签,输入至初始的车辆检测模型,通过多轮迭代训练,得到检测损失值在预设范围内的车辆检测模型;其中,针对每一轮训练,执行以下操作:通过初始的车辆检测模型,提取每个训练样本的至少一个浅层特征向量和深层特征向量;根据每个训练样本的至少一个浅层特征向量和深层特征向量,获得相应训练样本的预测标签;根据每个训练样本对应的真实标签和预测标签,确定检测损失值;根据检测损失值对初始的车辆检测模型的参数进行调整。
97.可选的,计算检测损失值的损失函数为:其中,表示检测损失值,表示正训练样本和负训练样本之间的平衡系数,表示包含不同类型的车辆的正训练样本之间的平衡系数,表示每个训练样本的真实标签,表示每个训练样本的预测标签。
98.需要说明的是,图9仅是检测设备实现本技术实施例提供的基于视频的交通事故检测方法的必要硬件,可选的,该检测设备还包括如显示器、视频处理器等常规硬件。
99.本技术实施例上述涉及的处理器可以是中央处理器(central processing unit,cpu),通用处理器,数字信号处理器(digital signal processor,dsp),专用集成电路(application-specific integrated circuit,asic),现场可编程门阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。其中,所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
100.本技术实施例还提供一种计算机可读存储介质,用于存储一些指令,这些指令被执行时,可以完成前述实施例的方法。
101.本技术实施例还提供一种计算机程序产品,用于存储计算机程序,该计算机程序用于执行前述实施例的方法。
102.最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进
行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
103.为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
104.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
105.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
106.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
107.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
108.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献