一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

车辆事故检测方法、装置及电子设备与流程

2021-12-14 23:42:00 来源:中国专利 TAG:


1.本发明涉及图像检测技术领域,尤其是涉及一种车辆事故检测方法、装置及电子设备。


背景技术:

2.智慧交通作为智慧城市的主要组成部分,及时发现交通事故对于伤者的及时救治、避免二次事故的发生、交通拥堵的及时疏通都有着重要作用。现有的交通事故检测大体分为两种,一种是基于车载运动传感器的异常速度、加速度等数据进行分析,但是该方法硬件成本高,难以推广;另一种是基于各路段监控摄像头的视频数据进行分析。
3.目前的基于监控视频数据的方法中,一些方法将交通事故作为目标检测任务在单帧图像上进行匹配和检测,但是交通事故变化较多,通过该方法进行检测往往导致能够检测到的交通事故较少,因此这种方法的稳定性较低。另外一些方法中,仅仅通过车辆行驶的路径信息进行聚类和分析,得到异常车辆,但是交通事故的现场场景实时变化,仅通过路径信息进行事故判断,仍然会导致较多交通事故被漏报或误报,影响结果判断的全面性和准确性。


技术实现要素:

4.有鉴于此,本发明的目的在于提供一种车辆事故检测方法、装置及电子设备,以提升车辆事故检测结果的全面性和准确性。
5.第一方面,本发明实施例提供了一种车辆事故检测方法,该方法包括:从待检测视频帧序列中确定处于静止状态的目标车辆;根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者;状态信息包括以下至少之一:车门状态参数、双闪状态参数、车辆破损参数、周围行人数量和信号逗留率;环境信息包括以下至少之一:目标车辆所在车道的车辆数、目标车辆所在车道的车道占有率、目标车辆所在车道的车辆的平均速度、同向车道的车辆数、同向车道的车道占有率、同向车道的车辆的平均速度、目标车辆所在车道的车辆换道比例、目标车辆所在车道内后方的车辆数;其中,同向车道为与目标车辆所在车道同方向的车道;根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。
6.上述从待检测视频帧序列中确定处于静止状态的目标车辆的步骤,包括:从待检测视频帧序列中确定出现在待检测视频帧序列中多个车辆的车辆轨迹;根据车辆轨迹,确定处于静止状态的目标车辆、目标车辆的静止时间、目标车辆的静止地点和目标车辆的车辆轨迹。
7.上述轨迹信息为轨迹异常信息,上述方法还包括:获取待检测视频帧序列对应的监控区域的历史车辆轨迹,历史车辆轨迹为根据待检测视频帧序列之前的预定时长内的视频帧序列获取的车辆轨迹;根据历史车辆轨迹确定模板轨迹;上述根据待检测视频帧序列
确定目标车辆的轨迹信息的步骤,包括:根据目标车辆的车辆轨迹和模板轨迹计算轨迹异常信息。
8.上述目标车辆为多辆;上述根据待检测视频帧序列确定目标车辆的共同静止信息的步骤,包括:根据多辆目标车辆的静止时间的重叠时间以及静止地点之间的距离,确定目标车辆的共同静止信息。
9.上述状态信息包括双闪状态参数;上述根据待检测视频帧序列确定目标车辆的状态信息的步骤,包括;根据静止时间内的待检测视频帧序列,确定包含目标车辆的车灯区域的图像帧子序列;对于图像帧子序列中的每个图像帧,根据该图像帧中的车灯区域图像的当前像素值和历史像素值确定该图像帧对应的像素差,将图像帧子序列的多个图像帧对应的像素差构成像素差序列;历史像素值为图像帧子序列中该图像帧之前的历史图像帧中的车灯区域图像的像素值;根据像素差序列确定目标车辆的双闪状态参数。
10.上述历史像素值为图像帧子序列中该图像帧之前的第一数量个历史图像帧中的车灯区域图像的像素值;上述根据该图像帧中的车灯区域图像的当前像素值和历史像素值确定该图像帧对应的像素差的步骤,包括:将当前像素值与每个历史像素值进行像素差计算,得到第一数量个像素差;将第一数量个像素差中最大的像素差,确定为该图像帧对应的像素差。
11.上述状态信息包括周围行人数量;上述根据待检测视频帧序列确定目标车辆的状态信息的步骤,包括;根据静止时间内的待检测视频帧序列确定目标车辆的车辆检测框、行人的行人id和行人的行人检测框;计算膨胀后的车辆检测框与行人检测框的行人交并比;将行人交并比大于行人交并比阈值的行人id与目标车辆进行关联;根据与目标车辆关联的各行人id中关联次数大于关联次数阈值的行人id的数量,确定周围行人数量。
12.上述根据待检测视频帧序列确定目标车辆的环境信息的步骤,包括:计算待检测视频帧序列中的当前视频帧的俯视图视角下各车辆的车辆底盘框;确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域;将车辆底盘框和目标车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于目标车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道车辆;确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域中位于目标车辆后方的后方子区域;将车辆底盘框和后方子区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框中心点位于后方子区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道后方车辆;和/或,确定当前视频帧的俯视图视角下目标车辆所在车道的同向车道的同向车道区域;将车辆底盘框和同向车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于同向车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同向车道同向车辆。
13.上述目标车辆的环境信息包括目标车辆所在车道的车道占有率、同向车道的车道占有率中至少一者;上述根据待检测视频帧序列确定目标车辆的环境信息的步骤,还包括以下至少一项:计算当前视频帧中同车道车辆的车辆底盘面积之和与目标车道区域的面积的第一比值,将第一比值确定为当前视频帧中目标车辆所在车道的车道占有率;计算当前视频帧中同向车辆的车辆底盘面积之和与同向车道区域的面积的第二比值,将第二比值确定为当前视频帧中同向车道的车道占有率。
14.上述目标车辆的环境信息包括目标车辆所在车道的车辆换道比例、目标车辆所在
车道后方的车辆换道比例中至少一者,上述根据待检测视频帧序列确定目标车辆的环境信息的步骤,包括以下至少一项;将多个车辆的车辆轨迹中满足换道条件的车辆轨迹对应的车辆作为换道车辆;换道条件包括:在第一时段对应的视频帧中属于同车道车辆、第二时段对应的视频帧中属于同向车辆且第一时段的结束时间早于第二时段的开始时间;从同车道车辆中选择换道车辆;根据换道车辆的数量和同车道车辆的数量,确定当前视频帧中目标车辆所在车道的车辆换道比例;将多个车辆的车辆轨迹中满足后方换道条件的车辆轨迹对应的车辆作为换道车辆;后方换道条件包括:在第一时段对应的视频帧中属于同车道车辆、第二时段对应的视频帧中属于同向车辆、第一时段的结束时间早于第二时段的开始时间;从同车道后方车辆中选择换道车辆,作为后方换道车辆;根据后方换道车辆的数量和同车道车辆的数量,确定目标车辆所在车道后方的车辆换道比例。
15.上述目标车辆的环境信息包括目标车辆所在车道的同道车辆的平均速度、目标车辆所在车道的同向车道的同向车辆的平均速度中至少一者,上述根据待检测视频帧序列确定目标车辆的环境信息的步骤,包括;根据多个车辆轨迹中属于同车道车辆的时段,计算目标车辆所在车道的同车道车辆的平均速度;和/或,根据多个车辆轨迹中属于同向车辆的时段,计算目标车辆所在车道的同向车道的同向车辆的平均速度。
16.上述根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果的步骤,包括:将轨迹信息、共同静止信息、状态信息以及环境信息中至少一者输入事故检测模型,得到事故检测结果;其中,事故检测模型通过使用对应有车辆事故标签信息的样本图像训练获得。
17.上述根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果的步骤,包括:根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行初始事故检测;若初始事故检测结果为发生事故,根据目标车辆的环境信息进行二级事故检测,将二级事故检测的结果作为目标车辆的事故检测结果;根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行初始事故检测,包括以下至少一项:根据周围行人数量判断周围行人数量是否大于行人数量阈值和/或根据目标车辆的车门状态参数判断车门是否打开;根据共同静止信息判断共同静止的多辆目标车辆是否满足静止时间的重叠时间大于时长阈值以及静止地点之间的距离小于距离阈值;根据目标车辆的双闪状态参数判断目标车辆是否处于打开双闪状态且打开双闪的时间大于双闪时间阈值;根据目标车辆的车辆破损参数和目标车辆的静止开始时间判断目标车辆是否在目标车辆的静止开始时间之后发生破损;根据目标车辆的轨迹信息判断目标车辆的行驶轨迹是否异常。
18.上述若初始事故检测结果为发生事故,根据目标车辆的环境信息进行二级事故检测,包括:若满足以下异常条件之一,则确定二级事故检测结果为发生事故:目标车辆所在车道后方的车辆换道比例大于后方车辆换道比例阈值;所述目标车辆所在车道的车辆换道比例大于换道比例阈值;目标车辆所在车道的车辆的平均速度大于事故速度阈值;同向车道的车辆的平均速度大于同向速度阈值且目标车辆所在车道内只包含目标车辆。
19.第二方面,本发明实施例还提供一种车辆事故检测装置,该装置包括:目标车辆确
定模块,用于从待检测视频帧序列中确定处于静止状态的目标车辆;信息确定模块,用于根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者;状态信息包括以下至少之一:车门状态参数、双闪状态参数、车辆破损参数、周围行人数量和信号逗留率;环境信息包括以下至少之一:目标车辆所在车道的车辆数、目标车辆所在车道的车道占有率、目标车辆所在车道的车辆的平均速度、同向车道的车辆数、同向车道的车道占有率、同向车道的车辆的平均速度、目标车辆所在车道的车辆换道比例、目标车辆所在车道内后方的车辆数;其中,同向车道为与目标车辆所在车道同方向的车道;事故检测模块,用于根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。
20.本发明实施例提供的车辆事故检测方法、装置及电子设备,通过从待检测视频帧序列中确定处于静止状态的目标车辆,根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者,根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。通过本发明实施例提供的方法,可以从车辆的轨迹信息、共同静止信息、车辆本身的状态信息以及车辆所处的环境信息等多方面综合对交通事故进行检测,相对于仅从轨迹信息检测交通事故,有效提高了检测结果的全面性和准确性。
21.本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
22.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
23.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
24.图1为本发明实施例提供的一种电子系统的结构示意图;
25.图2为本发明实施例提供的一种车辆事故检测方法的流程图;
26.图3为本发明实施例提供的一种模板轨迹的示意图;
27.图4为本发明实施例提供的一种车辆事故检测装置;
28.图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
30.目前的车辆事故检测方法,仅通过对车辆行驶轨迹进行检测,难以对实际应用场景中各种不同交通环境下的车辆事故进行检测,检测结果精度较低,基于此,本发明实施例提供的一种车辆事故检测方法、装置及电子设备,可以有效提高车辆事故检测结果的全面性和准确性。
31.首先,参照图1所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的车辆事故检测方法和装置。
32.如图1所示的一种电子系统的结构示意图,电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子系统100的组件和结构只是示例性的,而非限制性的,根据需要,电子系统也可以具有其他组件和结构。
33.处理设备102可以为服务器、智能终端,或者是包含中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备,可以对电子系统100中的其它组件的数据进行处理,还可以控制电子系统100中的其它组件以执行车辆事故检测的功能。
34.存储装置104可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理设备102可以运行程序指令,以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
35.输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
36.输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
37.图像采集设备110可以获取待检测视频帧序列,并且将采集到的视频帧序列存储在存储装置104中以供其它组件使用。
38.示例性地,用于实现根据本发明实施例的车辆事故检测方法、装置及电子设备中的各器件可以集成设置,也可以分散设置,诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体,而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时,该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
39.图2为本发明实施例提供的一种车辆事故检测方法的流程图,该方法应用于电子设备,通过该电子设备对车辆数据进行检测,如图2所示,该方法包括以下步骤:
40.s202:从待检测视频帧序列中确定处于静止状态的目标车辆;
41.本技术实施例提供的事故检测方法,是通过对某一个或者多个摄像装置在一定时间内采集到的视频进行分析,进而确定交通事故的发生时间和位置,因此,首先获取需要进行交通事故检测的视频帧序列。
42.当车辆发生交通事故时,车辆会在短时间内停止,并且保持较长时间的静止状态。因此,车辆事故的判断是将处于静止状态的车辆确定为目标车辆,对目标车辆进行进一步的检测与分析。
43.待检测视频帧序列为同一摄像头拍摄的同一视野下的一系列图像。在判断某个时刻是否发生车辆事故时,需要借助该时刻之前或之后一个时间段(例如该时刻前后各1s)所拍摄的待检测视频帧序列判断该时刻是否发生车辆事故。具体实现时,在得到多个时刻的车辆事故检测结果后,可以根据多个时刻的车辆事故检测结果给出该视野下是否发生车辆事故的结论。例如,若连续10个时刻的检测结果均认为目标车辆发生事故,则认为目标车辆发生事故。
44.s204:根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者;
45.一例中,可以通过视频结构化算法获得在待检测视频帧序列中出现的车辆、行人的结构化信息。以一辆车为例,其在某个视频帧中的结构化信息包括,车辆id、车辆2d关键点p、车辆2d检测框、车辆的3d检测框、车辆在世界坐标系下的位姿r、车门状态、破损参数等。将同一id的车辆在多个视频帧中的结构化信息进行汇总,可得到车辆轨迹、车辆速度。
46.其中,上述状态信息包括以下至少之一:车门状态参数、双闪状态参数、车辆破损参数、周围行人数量和信号逗留率;
47.上述环境信息包括以下至少之一:目标车辆所在车道的车辆数、目标车辆所在车道的车道占有率、目标车辆所在车道的车辆的平均速度、同向车道的车辆数、同向车道的车道占有率、同向车道的车辆的平均速度、目标车辆所在车道的车辆换道比例、目标车辆所在车道内后方的车辆数;其中,同向车道为与目标车辆所在车道同方向的车道;
48.可理解的是,目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中部分参数可直接通过对待检测视频帧序列的结构化分析获得,部分参数需要对结构化分析结果进行进一步处理获得。
49.s206:根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。
50.本发明实施例提供的车辆事故检测方法,通过从待检测视频帧序列中确定处于静止状态的目标车辆,根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者,根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。通过本发明实施例提供的方法,可以从车辆的轨迹信息、共同静止信息、车辆本身的状态信息以及车辆所处的环境信息等多方面综合对交通事故进行检测,相对于仅从轨迹信息检测交通事故,有效提高了检测结果的全面性和准确性。
51.在一些可能的实施方式中,上述从待检测视频帧序列中确定处于静止状态的目标车辆的步骤,可以通过以下方法实现:
52.(1)从待检测视频帧序列中确定出现在待检测视频帧序列中多个车辆的车辆轨迹;
53.(2)根据车辆轨迹,确定处于静止状态的目标车辆、目标车辆的静止时间、目标车
辆的静止地点和目标车辆的车辆轨迹。
54.具体地,对视频帧序列的各视频帧进行车辆检测,得到各视频帧对应的车辆的位置信息和车辆id,对同一id的车辆的位置信息进行汇总,即可获得位置信息

视频帧的对应关系,即该id车辆的车辆轨迹。车辆的位置信息可以为车辆在视频帧中的2d检测框、车辆在视频帧中的坐标(即车辆在像素坐标系下的坐标)、根据车辆在视频帧中的坐标和车辆的3d模型、像素坐标系和世界坐标系(可以以车辆所在路面为横纵坐标面)的换算关系得出的车辆的3d检测框、根据车辆在视频帧中的坐标和车辆的3d模型、像素坐标系和世界坐标系的换算关系得出的车辆在世界坐标系下的坐标。
55.可理解的是,待检测视频帧序列为视频帧1

10,一辆车可以只出现在其中的部分视频帧中,例如视频帧1

5中。若某车辆在其车辆轨迹中一定时间段内的位置信息未发生变化,那么该车辆在这个时间段内是静止车辆。同时,可将位置信息未发生变化的时间段作为静止时间,将未发生变化的位置信息作为静止地点。
56.在一些可能的实施方式中,上述轨迹信息是轨迹异常信息,基于此,本发明还提供了一种轨迹异常信息的判断方法,该方法包括以下步骤:
57.1)获取待检测视频帧序列对应的监控区域的历史车辆轨迹,历史车辆轨迹为根据待检测视频帧序列之前的预定时长内的视频帧序列获取的车辆轨迹;
58.轨迹信息为轨迹异常信息,例如轨迹异常得分。将历史车辆轨迹与目标车辆的车辆轨迹进行比较,可得出目标车辆的轨迹异常得分。
59.历史车辆轨迹与前文介绍的车辆轨迹获取方式相同,在此不再赘述。需要说明的是,历史车辆轨迹可以根据待检测视频帧序列之前的预定时长内的视频帧序列获取,预定时长可以比待检测视频帧序列对应的时长更长,例如待检测视频帧序列是当前时刻前后1s内获取的视频帧序列,预定时长可以是10min。
60.2)根据历史车辆轨迹确定模板轨迹;
61.模板轨迹可理解为正常行驶的车辆的轨迹。模板轨迹可以采用如下的方式进行确定:对历史车辆轨迹进行预处理;对预处理后的历史车辆轨迹进行聚类;对聚类后的车辆轨迹进行压缩处理。
62.预处理可以为对历史车辆轨迹进行去噪处理,具体可以包括去除过短的轨迹、静止轨迹以及去除轨迹中的离群点。
63.一例中,可采用豪斯多夫距离(车辆轨迹为点集,豪斯多夫距离可以很好的衡量两个点集之间的距离,具体来说为一个集合到另一个集合中最近点的最大距离,如果两个轨迹很相似,则这个距离很小)作为度量函数,进行轨迹聚类。
64.在一些可能的实施方式中,可以运用道格拉斯

普克算法对聚类后的车辆轨迹进行轨迹压缩,获得该场景下车辆正常行驶的模板轨迹。其中,道格拉斯

普克算法是线状要素抽稀的经典算法,用它处理大量冗余的几何数据点,既可以达到数据量精简的目的,又可以在很大程度上保留几何形状的骨架。
65.经过上述模板轨迹确定方法,可以得到例如图3所示的模板轨迹。
66.3)根据目标车辆的车辆轨迹和模板轨迹计算轨迹异常信息。
67.一例中,可计算目标车辆的车辆轨迹和模板轨迹之间的豪斯多夫距离,距离越大说明目标车辆的车辆轨迹越异常。另一例中,可计算目标车辆的车辆轨迹中不处于静止状
态的子轨迹和模板轨迹之间的豪斯多夫距离,距离越大说明目标车辆的车辆轨迹越异常。
68.需要注意的是,实际应用场景中,车辆事故可以是多辆车发生碰撞产生的,此时可能出现多辆静止车辆,这种同时出现多个静止车辆的情况也可以作为判断车辆是否发生事故的参考标准,具体地,在上述情景下,从待检测视频帧序列中检测到的目标车辆为多辆;上述根据待检测视频帧序列确定目标车辆的共同静止信息,可以具体是:根据多辆目标车辆的静止时间的重叠时间以及静止地点之间的距离,确定目标车辆的共同静止信息。即,目标车辆的共同静止信息可以包括多辆目标车辆的静止时间的重叠时间以及多辆目标车辆的静止地点之间的距离。
69.在一些可能的实施方式中,上述目标车辆的状态信息包括双闪状态参数,基于此,本发明实施例还提供了一种目标车辆双闪状态的判断方法,该方法包括以下步骤:
70.(1)根据静止时间内的待检测视频帧序列,确定包含目标车辆的车灯区域的图像帧子序列;
71.本步骤中,从待检测视频帧序列中确定出对应于目标车辆静止时间内的多个视频帧,从静止时间段对应的多个视频帧中每个视频图像帧中确定包含目标车辆车灯区域的图像(例如,可通过车辆检测模型获得车灯关键点,车灯关键点围成的区域为车灯区域),静止时间段对应的视频帧序列包括多个视频帧,因此,从静止时间段对应的多个视频帧图像提取的车灯区域的图像构成了图像序列,我们称之为图像帧子序列。可以理解的是,提取出的包含车灯区域的图像,可能存在影响后续像素判断的噪声,因此,为了保证双闪判断的准确性,对提取的包含车灯区域的图像可以进行去噪处理,例如可以对图像进行膨胀处理,再经过高斯滤波,还可以采用其他的去噪方法,本发明实施例对此不做限定。
72.(2)对于图像帧子序列中的每个图像帧,根据该图像帧中的车灯区域图像的当前像素值和历史像素值确定该图像帧对应的像素差,将图像帧子序列的多个图像帧对应的像素差构成像素差序列;历史像素值为图像帧子序列中该图像帧之前的历史图像帧中的车灯区域图像的像素值;
73.在一些可能的实施方式中,历史像素值为图像帧子序列中该图像帧之前的第一数量个历史图像帧中的车灯区域图像的像素值。第一数量所对应的时间段需要至少包含双闪的一个车灯开关周期。
74.具体地,每个图像帧的车灯区域图像的像素差,可以是将当前像素值与每个历史像素值进行像素差计算,得到第一数量个像素差;将第一数量个像素差中最大的像素差,确定为该图像帧对应的像素差。
75.(3)根据像素差序列确定目标车辆的双闪状态参数。
76.为便于理解,下面详细说明在实际应用场景中如何进行车灯双闪判断,在该实施例中,假设目标车辆静止时间对应的待检测的视频帧序列中包含10个视频帧,预先设定包含车灯区域图像的图像帧子序列长度为5,图像帧子序列用s来表示。该方法包括以下步骤:
77.(1)在当前视频帧中,提取出包含目标车辆的车灯区域的图像。
78.(2)判断图像帧子序列s是否已满,如果是,执行步骤s606;如果否,执行步骤s608。
79.(3)将最先加入图像帧子序列s的图像删除。
80.(4)将当前视频帧的包含目标车辆的车灯区域的图像加入图像帧子序列s。
81.可以理解的是,如果当前视频帧是第1个视频帧,那么图像帧子序列s是空序列,可
以直接将当前视频帧中包含目标车辆的车灯区域的图像加入图像帧子序列s即可,只有在当前视频帧是第6个及之后的视频帧时,图像帧子序列s已经累积了5个包含车灯区域的图像,此时,将第1个视频帧对应的车灯区域的图像从图像帧子序列s中删除,并将当前的第6个视频帧对应的车灯区域的图像加入图像帧子序列s中。
82.(5)确定图像帧子序列中,当前图像帧与其他图像帧之间的车灯区域交集。
83.续举前例,确定第5个图像帧与第1

4个图像帧的交集,具体的确定方法可以采用现有的图像配准方法,本技术实施例对交集的确定方法不做限定。例如,经过图像配准发现第1个图像帧拍摄到了区域1、区域2和区域3,第2个图像帧拍摄到了区域2、区域3和区域4,第3个图像帧拍摄到了区域3,则三者的交集为区域3。
84.(6)确定当前图像帧与每一个其他图像帧之间的车灯区域交集的像素差。
85.如上所述,当确定出当前第5个图像帧与前4个图像帧的车灯区域交集后,分别计算第5个图像帧与前4个图像帧在车灯区域交集的像素差。例如,车灯区域交集在第5个图像帧中为左上角的100*100的像素,车灯区域交集在第1个图像帧中为右下角的100*100的像素,将第5个图像帧中100*100个像素点的像素值分别与第1个图像帧中100*100个像素点的像素值分别做差,得到100*100个像素差。在一些可能的实施方式中,可以通过计算当前图像分别与前4个图像中,像素差值大于预设像素值(例如100)的像素的个数作为这两个图像的像素差值,例如经统计,得到第5个图像与前4个图像中像素值的差大于100的像素点的数量分别为{1,3,8,5}个。
86.(7)将最大像素差确定为当前图像帧对应的像素差,加入像素差序列中。
87.上述得到的像素差数组中,最大的像素差是8,那么当前图像帧对应的像素差就是8,将像素差加入像素差序列中。其中,像素差序列包含了每一个视频帧对应的图像帧对应的像素差。可以理解的是,对于第一帧视频,没有历史帧可以进行像素差计算,那么第一帧视频对应的像素差可以设置为0。基于此,可以得到该目标车辆对应的像素差序列为{0,0,8,2,8,1,7,1,9,2}。进一步地,可以根据该像素差序列确定双闪灯是否打开,可以理解的是,像素差序列成周期性的增大后减小再增大,则说明双闪灯打开的概率较大,如果双闪灯关闭则像素差序列中的每个分值均较低,则说明双闪灯打开的概率低。
88.基于此,通过像素差序列,可以判断车辆双闪灯是否打开,例如可以统计像素差序列中超过阈值(例如5)的比例或者直接统计像素差序列中得分超过阈值的数量即可判断是否有打开双闪灯。
89.发生事故的车辆周围常有行人,因此在一些可能的实施方式中,上述目标车辆的状态信息包括周围行人数量,基于此,通过以下方法确定目标车辆的周围行人数量:
90.(1)根据静止时间内的待检测视频帧序列确定目标车辆的车辆检测框、行人的行人id和行人的行人检测框;
91.如前所述,可对静止时间内的待检测视频帧序列中各视频帧进行结构化分析,得到目标车辆的车辆检测框、车辆的车辆id、行人的行人id和行人的行人检测框。其中,车辆检测框和车辆id具有绑定关系,行人检测框和行人id具有绑定关系。
92.(2)计算膨胀后的车辆检测框与行人检测框的行人交并比;
93.对于静止时间内的待检测视频帧序列中每个视频帧,可计算该视频帧中目标车辆的车辆检测框与各行人检测框的行人交并比。
94.膨胀后的车辆检测框是通过将车辆检测框的坐标乘以某个大于零的参数获得的,例如,将车辆检测框的四个顶点的坐标乘以120%,即得到膨胀了20%的膨胀后的车辆检测框。
95.判断该膨胀后的车辆检测框包含哪些行人,具体可以通过膨胀后的车辆检测框与周围行人的交并比(iou)来判断该行人是否属于该目标车辆的周围行人,例如,可以针对与膨胀后的车辆检测框有交集的各个行人检测框,逐一判断该行人检测框与膨胀后的车辆检测框的iou,当iou大于某一iou阈值(例如0.5),则确定该行人属于该目标车辆的周围行人。
96.(3)将行人交并比大于行人交并比阈值的行人id与目标车辆进行关联;
97.对于静止时间内的待检测视频帧序列中每个视频帧,将该视频帧中行人交并比大于行人交并比阈值的行人id与目标车辆进行关联。
98.(4)根据与目标车辆关联的各行人id中关联次数大于关联次数阈值的行人id的数量,确定周围行人数量。
99.可理解的是,若某行人id与目标车辆在1个视频帧中关联,则二者的关联次数为1次,若某行人id与目标车辆在5个视频帧中关联,则二者的关联次数为5次。对静止时间内的待检测视频帧序列中各个视频帧中行人id与目标车辆的关联次数进行叠加,得到各行人id与目标车辆的关联次数。如果行人id与目标车辆的关联次数大于关联次数阈值,说明该行人在目标车辆附近出现时间较长,不是偶然出现在目标车辆附近,该行人可能是目标车辆的乘客或关系人。
100.上述目标车辆周围行人数量指的是不同行人的数量,因此单纯依靠行人检测框确定行人数量并不准确,例如,同一个位置出现两个行人,则这两个行人的检测框位置相同,会造成统计出来的周围行人数量少于实际行人数量的情况。而当同一个人在不同的视频帧中处在车辆周围不同位置时,又会导致统计出来的周围行人数量多于实际行人数量的情况,基于此,本发明实施例提供的方法,利用行人的id来确定周围行人数量,可以更加准确的计算目标车辆的周围行人数量。
101.在一些可能的实施方式中,还可以通过运营商获取手机信令信息,截取同一时间段内同一地理范围内的手机信号位置信息,从而根据手机信号位置信息计算信号逗留率。信号逗留率高说明有人员逗留,可根据信号逗留率判断是否发生车辆事故。
102.在实际交通事故的判断中,目标车辆所处的环境信息也是重要的参数之一。为了更加清楚的说明如何根据环境信息进行交通事故的判断,下面首先对计算环境信息过程中用到的参数进行说明,需要注意的是,以下参数是针对待检测视频帧序列中的某一个视频帧图像计算的参数:
103.车辆底盘框:是待检测视频帧序列中的当前视频帧的俯视图视角下各车辆的车辆底盘框;拍摄待检测视频帧序列的摄像设备可以是预先标定的,根据标定信息,可将当前视频帧中的车辆检测框投影到世界坐标系中,获得目标车辆的3d位姿,进一步地,根据目标车辆的3d模型、3d位姿换算得到当前视频帧的俯视图视角下2d的车辆底盘框。
104.同车道车辆:确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域;将车辆底盘框和目标车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于目标车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道车辆;
105.同车道后方车辆:确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域中位于目标车辆后方的后方子区域;将车辆底盘框和后方子区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框中心点位于后方子区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道后方车辆;
106.一例中,在进行车辆检测的同时还可通过识别车头等方式判断车辆方向,将车辆方向与目标车辆方向一致,且车辆底盘框和后方子区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框中心点位于后方子区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道后方车辆。
107.同向车辆:确定当前视频帧的俯视图视角下目标车辆所在车道的同向车道的同向车道区域;将车辆底盘框和同向车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于同向车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同向车道的同向车辆。
108.确定了哪些车辆是同车道车辆、同车道后方车辆、同向车辆,也就确定了同车道车辆、同车道后方车辆、同向车辆的数量。
109.可理解的是,在车辆事故检测系统初始化时,可标注各车道的车道区域和车道方向;也可以根据之前的车辆轨迹聚类结果自动判断各车道的车道区域和车道方向。
110.可理解的是,发生车辆事故时车辆行驶缓慢,车间距近,车道占有率高。在一些可能的实施方式中,目标车辆的环境信息包括目标车辆所在车道的车道占有率、同向车道的车道占有率中至少一者,基于上述参数,可以通过以下方式计算得到目标车辆所在车道的车道占有率以及同向车道的车道占有率:
111.(1)计算当前视频帧中同车道车辆的车辆底盘面积之和与目标车道区域的面积的第一比值,将第一比值确定为当前视频帧中目标车辆所在车道的车道占有率;
112.例如,在当前视频帧中,与目标车辆相同车道的车辆共有5个,那么这5个车辆的车辆底盘面积之和为a1,目标车辆所在车道的车道区域面积为a2,a1/a2即上述第一比值,该第一比值a1即为目标车辆所在车道的车道占有率。
113.(2)计算当前视频帧中同向车辆的车辆底盘面积之和与同向车道区域的面积的第二比值,将第二比值确定为当前视频帧中同向车道的车道占有率。
114.可理解的是,可将根据当前检测时刻所对应的视频帧计算出的车辆数、车道占有率作为当前检测时刻对应的车辆数、车道占有率,也可将当前检测时刻对应的各待检测视频帧所对应的车辆数、车道占有率的平均值作为当前检测时刻的车辆数、车道占有率。
115.可理解的是,发生车辆事故时目标车辆后方车辆换道比例高。在一些可能的实施方式中,目标车辆的环境信息包括目标车辆所在车道的车辆换道比例、目标车辆所在车道后方的车辆换道比例中至少一者,基于上述参数,可以通过以下方式计算得到目标车辆所在车道的车辆换道比例以及目标车辆所在车道后方的车辆换道比例:
116.将多个车辆的车辆轨迹中满足换道条件的车辆轨迹对应的车辆作为换道车辆;换道条件包括:在第一时段对应的视频帧中属于同车道车辆、第二时段对应的视频帧中属于同向车辆且第一时段的结束时间早于第二时段的开始时间;从同车道车辆中选择换道车辆;根据换道车辆的数量和同车道车辆的数量,确定当前视频帧中目标车辆所在车道的车辆换道比例;
117.例如,以待检测视频帧序列包括20个视频帧p1

p20为例,在这20个视频帧中共检测到4个同车道车辆c1

c4。其中c1在第1

10个视频帧与目标车辆属于同车道车辆,在第11

20个视频帧与目标车辆属于同向车辆,c2和c3在第1

20个视频帧均属于同车道车辆,c4在第1

15帧未出现,在第16

20帧属于同车道车辆。那么目标车辆所在车道的车辆换道比例是1/4=0.25。
118.将多个车辆的车辆轨迹中满足后方换道条件的车辆轨迹对应的车辆作为换道车辆;后方换道条件包括:在第一时段对应的视频帧中属于同车道车辆、第二时段对应的视频帧中属于同向车辆、第一时段的结束时间早于第二时段的开始时间;从同车道后方车辆中选择换道车辆,作为后方换道车辆;根据后方换道车辆的数量和同车道车辆的数量,确定目标车辆所在车道后方的车辆换道比例。
119.后方的车辆换道比例与同车道车辆的换道比例计算方法类似,在此不再赘述。
120.发生车辆事故后,车辆的行驶速度常发生变化。在一些可能的实施方式中,上述目标车辆的环境信息包括目标车辆所在车道的同道车辆的平均速度、目标车辆所在车道的同向车道的同向车辆的平均速度中至少一者,基于上述参数,可以通过以下方式计算得到目标车辆所在车道的同道车辆的平均速度以及目标车辆所在车道的同向车道的同向车辆的平均速度:
121.根据多个车辆轨迹中属于同车道车辆的时段,计算目标车辆所在车道的同车道车辆的平均速度;
122.继举前例,那么计算c1在p1

p10中的平均速度avg1,计算c2在p1

p20中的平均速度avg2,计算c3在p1

p20中的平均速度avg3,计算c4在p16

p20中的平均速度avg4,进一步地,计算avg1

avg4的平均值,该平均值即为待检测视频帧序列中目标车辆所在车道的同车道车辆的平均速度。当然,也可将属于同车道车辆的时段过短的车辆轨迹去除,以提高计算精度。
123.根据多个车辆轨迹中属于同向车辆的时段,计算目标车辆所在车道的同向车道的同向车辆的平均速度。
124.同向车辆的平均速度的计算方法可以参考上述同车道车辆的平均速度计算方法,在此不再赘述。
125.为了进一步提升车辆事故检测结果的准确性,使车辆事故检测结果与实际场景更匹配,可以预先训练车辆事故检测模型,具体地,可以使用标记有车辆事故的车辆的样本数据,采用现有的训练方法训练得到上述车辆事故检测模型,本技术实施例对具体的模型训练方法不做限定。
126.基于此,上述根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果的步骤,可以具体是:
127.将轨迹信息、共同静止信息、状态信息以及环境信息中至少一者输入事故检测模型,得到事故检测结果。
128.上述事故检测模型,可以是神经网络模型,也可以是xgboost模型,本技术实施例对事故检测模型的具体结构不做限定。
129.本发明实施例还提供的另一种车辆事故检测方法,该方法侧重于描述如何根据检
测到的信息综合的进行事故检测和判断。该方法包括以下步骤:
130.步骤1:根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行初始事故检测;
131.其中,可以采用以下方法中的一个或者多个进行初始事故检测:
132.(1)根据周围行人数量判断周围行人数量是否大于行人数量阈值和/或根据目标车辆的车门状态参数判断车门是否打开(车门状态参数,例如打开为1、关闭为0,可通过将视频帧或视频帧中的车辆检测框输入车门状态检测模型确定);
133.(2)根据共同静止信息判断共同静止的多辆目标车辆是否满足静止时间的重叠时间大于时长阈值且静止地点之间的距离小于距离阈值;
134.(3)根据目标车辆的双闪状态参数判断目标车辆是否处于打开双闪状态且打开双闪的时间大于双闪时间阈值;
135.(4)根据目标车辆的车辆破损参数和目标车辆的静止开始时间判断目标车辆是否在目标车辆的静止开始时间之后发生破损(车辆破损参数,例如破损为1,未破损为0,可通过将视频帧或视频帧中的车辆检测框输入车辆破损检测模型确定);
136.(5)根据目标车辆的轨迹信息判断目标车辆的行驶轨迹是否异常。
137.一例中,满足上述判断条件(1)

(5)中任一个,则初始事故检测结果为发生事故。另一例中,将判断条件(1)

(5)的结果加权求和得到初始事故检测分,根据初始事故检测分得到初始事故检测结果。
138.步骤2:若初始事故检测结果为发生事故,根据目标车辆的环境信息进行二级事故检测,将二级事故检测的结果作为目标车辆的事故检测结果;
139.其中,若满足以下异常条件之一,则确定二级事故检测结果为发生事故:
140.(1)目标车辆所在车道后方的车辆换道比例大于后方车辆换道比例阈值;
141.(2)所述目标车辆所在车道的车辆换道比例大于换道比例阈值;
142.(3)目标车辆所在车道的车辆的平均速度大于事故速度阈值;该条件主要实现“目标车辆所在车道中,其他车都在动,只有目标车辆停在路中间”这一情景的判断。
143.(4)同向车道的车辆的平均速度大于同向速度阈值且目标车辆所在车道内只包含目标车辆。该条件主要实现“目标车辆所在车道就目标车辆一辆车,其他车辆在较远处就完成了换道”这一特殊情形的判断。
144.可理解的是,用于二级事故检测的环境信息的计算需要遍历各车辆的车辆轨迹,耗费算力,可先在步骤s204中计算用于进行初始事故检测的参数,再在步骤s206中根据用于进行初始事故检测的参数得到初始事故检测结果,在初始事故检测结果为发生车辆事故时在步骤s204中计算用于进行二级事故检测的参数,再在步骤s206中根据用于进行二级事故检测的参数得到二级事故检测的结果;在初始事故检测结果为未发生车辆事故时不再计算用于进行二级事故检测的参数,直接给出当前检测时刻未发生车辆事故的结论,等待下一检测时刻到来后再获取下一检测时刻对应的待检测视频帧序列。如此,可在耗费算力较小的情况下得到准确的检测结果,防止漏报误报。
145.下面结合实际应用场景,介绍本发明实施例提供的一种在实际应用场景中的车辆事故检测方法,该方法包括以下步骤:
146.步骤1:获取某一摄像机在当前检测时刻前后1s内的视频,构成视频帧序列。提取
视频帧序列中各个视频帧的结构化信息,其中,结构化信息可以包括但不限于以下任意一个:
147.车辆的轨迹t、该车辆轨迹所对应的车辆在每一视频帧中车辆2d关键点p、车辆2d检测框b2d_vehicle、车辆的3d检测框b3d、车辆在世界坐标系下的位姿r、车辆的速度v、每一视频帧中行人的2d检测框b2d_person、行人id。
148.步骤2:判断各车辆轨迹对应车辆的车辆速度是否一直大于阈值,如果是,确定该视频帧序列没有事故发生;否则,进行s806。
149.步骤3:确定出视在频帧序列中静止的目标车辆,对目标车辆进行车辆周围行人检测、车门状态检测、共同静止车辆检测、双闪灯检测、车辆破损检测。
150.其中,车辆周围行人检测具体是检测车辆静止时间段内周围行人的数量是否大于行人数量阈值,如果是,则车辆周围行人检测结果表征为发生事故。
151.车门状态检测具体是在车辆静止时间段或者在车辆静止时间段内的某一子时间段内,目标车辆的车门是否一直打开,如果是,则车门状态检测结果表征为发生事故。
152.共同静止车辆检测具体是检测在目标车辆静止的视频帧序列中,同样静止的共同静止车辆,如果共同静止车辆中存在与目标车辆的距离小于静止距离阈值且共同静止的时间大于静止时间阈值的车辆,则共同静止车辆检测结果表征为发生事故。
153.双闪灯检测是判断目标车辆的双闪灯打开时间是否大于双闪灯阈值,如果是,则确定双闪灯检测结果表征为发生事故。
154.车辆破损检测是根据待检测视频帧判断车辆是否破损,如果车辆静止时间段对应的待检测视频帧中检测到车辆发生破损且车辆静止时间段之前对应的待检测视频帧中检测到车辆发生破损,则确定车辆破损检测结果表征为发生事故。
155.车辆轨迹信息检测:确定目标车辆所在区域的模板轨迹,计算目标车辆在静止时间段之前对应的视频帧中的轨迹与模板轨迹之间的异常得分,如果异常得分大于轨迹阈值,则确定车辆轨迹检测结果表征为发生事故。
156.步骤4:判断上述检测结果中是否包含表征为发生事故的检测结果,如果否,则确定目标车辆未发生事故;否则,进行步骤7。
157.步骤5:确定目标车辆的环境信息,根据目标车辆的环境信息进行车辆事故检测,得到车辆事故检测结果。
158.根据目标车辆的环境信息进行车辆事故检测可以是以下检测中的任意一个或多个:
159.(1)判断目标车辆所在车道后方的车辆换道比例是否大于后方车辆换道比例阈值,如果是,确定车辆事故检测结果表征为发生事故;
160.(2)判断目标车辆所在车道的车辆换道比例是否大于换道比例阈值,如果是,确定车辆事故检测结果表征为发生事故;
161.(3)判断目标车辆所在车道的车辆的平均速度是否大于事故速度阈值,如果是,确定车辆事故检测结果表征为发生事故;
162.(4)判断同向车道的车辆的平均速度是否大于同向速度阈值且目标车辆所在车道内只包含目标车辆,如果是,确定车辆事故检测结果表征为发生事故。
163.步骤6:判断车辆事故检测结果是否表征为发生事故,如果是,则确定当前检测时
刻该目标车辆发生事故,否则,确定当前检测时刻该目标车辆没有发生事故。
164.步骤7:将下一检测时刻作为当前检测时刻,重复执行步骤1至步骤6,根据多个检测时刻的检测结果判断目标车辆是否发生事故。
165.基于上述方法实施例,本发明实施例还提供一种车辆事故检测装置,参见图4所示,该装置包括:
166.目标车辆确定模块402,用于从待检测视频帧序列中确定处于静止状态的目标车辆;
167.信息确定模块404,用于根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者;状态信息包括以下至少之一:车门状态参数、双闪状态参数、车辆破损参数、周围行人数量和信号逗留率;环境信息包括以下至少之一:目标车辆所在车道的车辆数、目标车辆所在车道的车道占有率、目标车辆所在车道的车辆的平均速度、同向车道的车辆数、同向车道的车道占有率、同向车道的车辆的平均速度、目标车辆所在车道的车辆换道比例、目标车辆所在车道内后方的车辆数;其中,同向车道为与目标车辆所在车道同方向的车道;
168.事故检测模块406,用于根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。
169.本发明实施例提供的车辆事故检测装置,通过从待检测视频帧序列中确定处于静止状态的目标车辆,根据待检测视频帧序列确定目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者,根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行事故检测,得到目标车辆的事故检测结果。通过本发明实施例提供的装置,可以从车辆的轨迹信息、共同静止信息、车辆本身的状态信息以及车辆所处的环境信息等多方面综合对交通事故进行检测,相对于仅从轨迹信息检测交通事故,有效提高了检测结果的全面性和准确性。上述目标车辆确定模块402,还用于从待检测视频帧序列中确定出现在待检测视频帧序列中多个车辆的车辆轨迹;根据车辆轨迹,确定处于静止状态的目标车辆、目标车辆的静止时间、目标车辆的静止地点和目标车辆的车辆轨迹。
170.进一步地,上述轨迹信息为轨迹异常信息,上述装置还包括:历史车辆轨迹获取模块,用于获取待检测视频帧序列对应的监控区域的历史车辆轨迹,历史车辆轨迹为根据待检测视频帧序列之前的预定时长内的视频帧序列获取的车辆轨迹;模板轨迹确定模块,用于根据历史车辆轨迹确定模板轨迹;上述根据待检测视频帧序列确定目标车辆的轨迹信息的过程,包括:根据目标车辆的车辆轨迹和模板轨迹计算轨迹异常信息。
171.进一步地,上述目标车辆为多辆;上述根据待检测视频帧序列确定目标车辆的共同静止信息的过程,包括:根据多辆目标车辆的静止时间的重叠时间以及静止地点之间的距离,确定目标车辆的共同静止信息。
172.进一步地,上述状态信息包括双闪状态参数;上述根据待检测视频帧序列确定目标车辆的状态信息的过程,包括;根据静止时间内的待检测视频帧序列,确定包含目标车辆的车灯区域的图像帧子序列;对于图像帧子序列中的每个图像帧,根据该图像帧中的车灯区域图像的当前像素值和历史像素值确定该图像帧对应的像素差,将图像帧子序列的多个
图像帧对应的像素差构成像素差序列;历史像素值为图像帧子序列中该图像帧之前的历史图像帧中的车灯区域图像的像素值;根据像素差序列确定目标车辆的双闪状态参数。
173.进一步地,上述历史像素值为图像帧子序列中该图像帧之前的第一数量个历史图像帧中的车灯区域图像的像素值;上述根据该图像帧中的车灯区域图像的当前像素值和历史像素值确定该图像帧对应的像素差的过程,包括:将当前像素值与每个历史像素值进行像素差计算,得到第一数量个像素差;将第一数量个像素差中最大的像素差,确定为该图像帧对应的像素差。
174.进一步地,上述状态信息包括周围行人数量;上述根据待检测视频帧序列确定目标车辆的状态信息的过程,包括;根据静止时间内的待检测视频帧序列确定目标车辆的车辆检测框、行人的行人id和行人的行人检测框;计算膨胀后的车辆检测框与行人检测框的行人交并比;将行人交并比大于行人交并比阈值的行人id与目标车辆进行关联;根据与目标车辆关联的各行人id中关联次数大于关联次数阈值的行人id的数量,确定周围行人数量。
175.进一步地,上述根据待检测视频帧序列确定目标车辆的环境信息的过程,包括:计算待检测视频帧序列中的当前视频帧的俯视图视角下各车辆的车辆底盘框;确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域;将车辆底盘框和目标车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于目标车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道车辆;确定当前视频帧的俯视图视角下目标车辆所在车道的目标车道区域中位于目标车辆后方的后方子区域;将车辆底盘框和后方子区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框中心点位于后方子区域的车辆确定为当前视频帧对应的目标车辆所在车道的同车道后方车辆;和/或,确定当前视频帧的俯视图视角下目标车辆所在车道的同向车道的同向车道区域;将车辆底盘框和同向车道区域的底盘框交并比大于底盘框交并比阈值的车辆或车辆底盘框的中心点位于同向车道区域的车辆确定为当前视频帧对应的目标车辆所在车道的同向车道同向车辆。
176.进一步地,上述目标车辆的环境信息包括目标车辆所在车道的车道占有率、同向车道的车道占有率中至少一者;上述根据待检测视频帧序列确定目标车辆的环境信息的过程,还包括以下至少一项:计算当前视频帧中同车道车辆的车辆底盘面积之和与目标车道区域的面积的第一比值,将第一比值确定为当前视频帧中目标车辆所在车道的车道占有率;计算当前视频帧中同向车辆的车辆底盘面积之和与同向车道区域的面积的第二比值,将第二比值确定为当前视频帧中同向车道的车道占有率。
177.进一步地,上述目标车辆的环境信息包括目标车辆所在车道的车辆换道比例、目标车辆所在车道后方的车辆换道比例中至少一者,上述根据待检测视频帧序列确定目标车辆的环境信息的过程,包括以下至少一项;将多个车辆的车辆轨迹中满足换道条件的车辆轨迹对应的车辆作为换道车辆;换道条件包括:在第一时段对应的视频帧中属于同车道车辆、第二时段对应的视频帧中属于同向车辆且第一时段的结束时间早于第二时段的开始时间;从同车道车辆中选择换道车辆;根据换道车辆的数量和同车道车辆的数量,确定当前视频帧中目标车辆所在车道的车辆换道比例;将多个车辆的车辆轨迹中满足后方换道条件的车辆轨迹对应的车辆作为换道车辆;后方换道条件包括:在第一时段对应的视频帧中属于
同车道车辆、第二时段对应的视频帧中属于同向车辆、第一时段的结束时间早于第二时段的开始时间;从同车道后方车辆中选择换道车辆,作为后方换道车辆;根据后方换道车辆的数量和同车道车辆的数量,确定目标车辆所在车道后方的车辆换道比例。
178.进一步地,上述目标车辆的环境信息包括目标车辆所在车道的同道车辆的平均速度、目标车辆所在车道的同向车道的同向车辆的平均速度中至少一者,上述根据待检测视频帧序列确定目标车辆的环境信息的步骤,包括;根据多个车辆轨迹中属于同车道车辆的时段,计算目标车辆所在车道的同车道车辆的平均速度;和/或,根据多个车辆轨迹中属于同向车辆的时段,计算目标车辆所在车道的同向车道的同向车辆的平均速度。
179.进一步地,上述事故检测模块404,还用于将轨迹信息、共同静止信息、状态信息以及环境信息中至少一者输入事故检测模型,得到事故检测结果;其中,事故检测模型通过使用对应有车辆事故标签信息的样本图像训练获得。
180.进一步地,上述事故检测模块404,还用于根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行初始事故检测;若初始事故检测结果为发生事故,根据目标车辆的环境信息进行二级事故检测,将二级事故检测的结果作为目标车辆的事故检测结果;根据目标车辆的轨迹信息、目标车辆的共同静止信息、目标车辆的状态信息和目标车辆的环境信息中的至少一者进行初始事故检测,包括以下至少一项:根据周围行人数量判断周围行人数量是否大于行人数量阈值和/或根据目标车辆的车门状态参数判断车门是否打开;根据共同静止信息判断共同静止的多辆目标车辆是否满足静止时间的重叠时间大于时长阈值以及静止地点之间的距离小于距离阈值;根据目标车辆的双闪状态参数判断目标车辆是否处于打开双闪状态且打开双闪的时间大于双闪时间阈值;根据目标车辆的车辆破损参数和目标车辆的静止开始时间判断目标车辆是否在目标车辆的静止开始时间之后发生破损;根据目标车辆的轨迹信息判断目标车辆的行驶轨迹是否异常。
181.进一步地,上述若初始事故检测结果为发生事故,根据目标车辆的环境信息进行二级事故检测的过程,包括:若满足以下异常条件之一,则确定二级事故检测结果为发生事故:目标车辆所在车道后方的车辆换道比例大于后方车辆换道比例阈值;所述目标车辆所在车道的车辆换道比例大于换道比例阈值;目标车辆所在车道的车辆的平均速度大于事故速度阈值;同向车道的车辆的平均速度大于同向速度阈值且目标车辆所在车道内只包含目标车辆。
182.本发明实施例提供的车辆事故检测装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,上述装置的实施例部分未提及之处,可参考前述车辆事故检测方法实施例中的相应内容。
183.本发明实施例还提供了一种电子设备,如图5所示,为该电子设备的结构示意图,其中,该电子设备包括处理器501和存储器502,该存储器502存储有能够被该处理器501执行的计算机可执行指令,该处理器501执行该计算机可执行指令以实现上述车辆事故检测方法。
184.在图5示出的实施方式中,该电子设备还包括总线503和通信接口504,其中,处理器501、通信接口504和存储器502通过总线503连接。
185.其中,存储器502可能包含高速随机存取存储器(ram,random access memory),也
可能还包括非不稳定的存储器(non

volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线503可以是isa(industry standard architecture,工业标准体系结构)总线、pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。所述总线503可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
186.处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field

programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器501读取存储器中的信息,结合其硬件完成前述实施例的车辆事故检测方法的步骤。
187.本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使处理器实现上述车辆事故检测方法,具体实现可参见前述方法实施例,在此不再赘述。
188.本发明实施例所提供的目标检测方法、装置及电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
189.除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
190.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
191.在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
192.最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献