违法事件检测方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别是涉及一种违法事件检测方法、装置、设备及存储介质。


背景技术：

2.道路的违法事件检测，如压线检测等往往需要预先配置场景信息，一般由人工绘制或算法生成二维画面，从而丢失了空间信息，导致违法事件检测过程中缺少空间交互引起误检、漏检。
3.对于交通场景的三维重建，往往通过获取到场景中的物体的多视角图像，得到点云，从图像中检测包括点特征与线特征在内的特征信息，对检测到的特征信息做出匹配后，根据完成匹配的特征信息完成位姿估计与深度估计等，最终处理得到其三维场景模型。但点云数据集的计算往往需要大量到的计算资源，处理速度慢、处理效率低，因此，对于违法事件检测过程并不适合采用上述三维重建的方式。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种违法事件检测方法、装置、设备及存储介质，用于解决对于相关技术中二维画面进行违法事件检测存在误检、漏检问题，传统的三维重建又依赖于对点云数据集的处理，需要计算资源多、处理速度慢、处理效率低且不适用于违法事件检测的技术问题。
5.针对于上述问题，本发明提供了一种违法事件检测方法，所述方法包括：
6.获取通过深度图像采集设备采集预设交通区域的多个历史时刻的多张历史待检测道路图像，所述历史待检测道路图像包括第一待检测道路图像和第二待检测道路图像，所述预设交通区域包括规则交通线；
7.对所述第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配，基于匹配的所述第一像素点和所述第二像素点之间预设方向的位置差作为视图差，基于所述视图差确定所述第一像素点的像素深度信息，以确定各所述第一待检测道路图像的图像深度信息；
8.对各所述第一待检测道路图像进行目标检测，得到待检测目标在各所述第一待检测道路图像中的检测目标框位置信息；
9.基于各所述检测目标框位置信息和各所述图像深度信息通过卡尔曼滤波模型确定预测目标框位置信息；
10.基于所述待检测目标在各述第一待检测道路图像中的目标位置确定所述待检测目标的运动向量；
11.基于所述预测目标框位置信息和所述运动向量确定所述待检测目标的待检测线段的待检测线段位置信息；
12.根据所述待检测线段位置信息和所述规则交通线的规则交通线位置信息确定所
述待检测目标的压线状态，以检测所述待检测目标的违法事件。
13.于本发明一实施例中，对所述第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配包括：
14.获取所述第一像素点的第一像素值、第一像素位置信息、所述第一像素点所在像素窗口的第一像素均值，以及所述第二像素点的第二像素值、第二像素位置信息、所述第二像素点所在像素窗口的第二像素均值；
15.根据所述第一像素位置信息和所述第二像素位置信息确定所述第一像素点与所述第二像素点之间的偏移量；
16.若所述偏移量小于预设偏移阈值，根据所述第一像素值与所述第一像素均值确定第一差值，根据所述第二像素值与所述第二像素均值确定第二差值；
17.基于所述第一差值和所述第二差值确定所述第一像素点与所述第二像素点之间的相关度；
18.若所述相关度大于预设相关阈值，所述第一像素点与所述第二像素点匹配；
19.若所述相关度小于或等于所述预设相关阈值，所述第一像素点与所述第二像素点不匹配。
20.于本发明一实施例中，所述相关度的确定方式包括：
[0021][0022]
其中，ncc(i1i2)为相关度，i1(x)为第一像素点的第一像素值，i2(x)为第二像素点的第二像素值，第一像素点与第二像素点之间的偏移量小于预设偏移阈值，μ1为第一像素均值，μ2为第二像素均值。
[0023]
于本发明一实施例中，基于所述视图差确定所述第一像素点的像素深度信息包括：
[0024]
获取所述深度图像采集设备的基线和焦距；
[0025]
根据所述视图差和所述基线确定视图基差；
[0026]
基于所述视图基差和所述焦距确定所述像素深度信息。
[0027]
于本发明一实施例中，根据所述待检测线段位置信息和所述规则交通线的规则交通线位置信息确定所述待检测目标的压线状态之前，所述违法事件检测方法包括：
[0028]
获取所述深度图像采集设备的转动状态；
[0029]
若所述转动状态包括转动，通过预设图像分割模型检测所述第一待检测道路图像中所述规则交通线的规则交通线位置信息。
[0030]
于本发明一实施例中，所述预测目标框为四边形，基于所述预测目标框位置信息和所述运动向量确定所述待检测目标的待检测线段的待检测线段位置信息包括：
[0031]
连接所述四边形沿目标对象前进方向的相对边，得到相对连线；
[0032]
确定所述运动向量通过连线辅助点所形成的直线与所述四边形的两个交点，并将两个所述交点之间的连线确定为所述待检测线段，所述连线辅助点为所述相对连线上的一点。
[0033]
于本发明一实施例中，根据所述待检测线段位置信息和所述规则交通线的规则交通线位置信息确定所述待检测目标的压线状态，以检测所述待检测目标的违法事件包括：
[0034]
根据所述待检测线段位置信息和所述规则交通线的规则交通线位置信息确定所述待检测线段与所述规则交通线的相交情况；
[0035]
若所述待检测线段与所述规则交通线相交，将所述压线状态确定为压线，所述待检测目标存在违法事件；
[0036]
若所述待检测线段与所述规则交通线相离，将所述压线状态确定为不压线，所述待检测目标不存在违法事件。
[0037]
本发明实施例还提供了一种违法事件检测装置，所述装置包括：
[0038]
获取模块，用于获取通过深度图像采集设备采集预设交通区域的多个历史时刻的多张历史待检测道路图像，所述历史待检测道路图像包括第一待检测道路图像和第二待检测道路图像，所述预设交通区域包括规则交通线；
[0039]
匹配模块，用于对所述第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配，基于匹配的所述第一像素点和所述第二像素点之间预设方向的位置差作为视图差，基于所述视图差确定所述第一像素点的像素深度信息，以确定各所述第一待检测道路图像的图像深度信息；
[0040]
检测模块，用于对各所述第一待检测道路图像进行目标检测，得到待检测目标在各所述第一待检测道路图像中的检测目标框位置信息；
[0041]
预测目标框确定模块，用于基于各所述检测目标框位置信息和各所述图像深度信息通过卡尔曼滤波模型确定预测目标框位置信息；
[0042]
运动向量确定模块，用于基于所述待检测目标在各述第一待检测道路图像中的目标位置确定所述待检测目标的运动向量；
[0043]
待检测线段确定模块，用于基于所述预测目标框位置信息和所述运动向量确定所述待检测目标的待检测线段的待检测线段位置信息；
[0044]
违法事件检测模块，用于根据所述待检测线段位置信息和所述规则交通线的规则交通线位置信息确定所述待检测目标的压线状态，以检测所述待检测目标的违法事件。
[0045]
本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线；
[0046]
所述通信总线用于将所述处理器和存储器连接；
[0047]
所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中任一项所述的方法。
[0048]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。
[0049]
如上所述，本发明提供的一种违法事件检测方法、装置、设备及存储介质，具有以下有益效果：
[0050]
通过多组第一待检测道路图像和第二待检测道路图像进行像素点匹配，得到视图差，进而确定图像深度信息，以及对第一待检测道路图像和第二待检测道路图像中之一进行目标检测，得到目标检测框位置，进而可以确定预测目标框位置信息，基于待检测目标的运动向量和预测目标框位置信息来确定待检测线段位置信息，通过待检测线段位置信息和规则交通线位置信息确定待检测目标的压线状态，以检测待检测目标的违法事件，通过引入深度信息对待检测目标的位置进行预测，提供了不需要依赖于对点云数据集的处理，节约了算力，提升了处理速度和效率，能够实现违法事件检测的方案。
附图说明
[0051]
图1是本技术的一示例性实施例示出的违法事件检测系统的实施环境示意图；
[0052]
图2是本技术的一示例性实施例示出的违法事件检测方法的流程图；
[0053]
图3是本技术的一示例性实施例示出的待检测线段的示意图；
[0054]
图4是本技术的一示例性实施例示出的一种具体的违法事件检测方法的流程图；
[0055]
图5是本技术的一示例性实施例示出的违法事件检测装置的框图；
[0056]
图6为一实施例提供的电子设备的一种结构示意图。
具体实施方式
[0057]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0058]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0059]
请参见图1，图1是本技术的一示例性实施例示出的相关技术中违法事件检测系统的实施环境示意图，如图1所示，该违法事件检测系统包括客户端102和服务器101，其中，该服务器101可以包括独立运行的服务器、分布式服务器或由多个服务器组成的服务器集群。服务器101可以包括有网络通信单元、处理器和存储器等。服务器101可以用于执行本实施例提供的路沿线拟合预测方法。客户端102可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。客户端102也可以用于执行本实施例提供的路沿线拟合预测方法，或者通过服务器和客户端的交互以执行本实施例提供的违法事件检测方法。在此不做限定。
[0060]
请参阅图2，图2是本技术的一示例性实施例示出的违法事件检测方法的流程图。该方法可以应用于图1所示的实施环境，并由该实施环境中的客户端和/或服务器具体执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
[0061]
道路的违法事件检测，如压线检测等往往需要预先配置场景信息，一般由人工绘制或算法生成二维画面，从而丢失了空间信息，导致违法事件检测过程中缺少空间交互引起误检、漏检。
[0062]
对于交通场景的三维重建，往往通过获取到场景中的物体的多视角图像，得到点云，从图像中检测包括点特征与线特征在内的特征信息，对检测到的特征信息做出匹配后，根据完成匹配的特征信息完成位姿估计与深度估计等，最终处理得到其三维场景模型。但点云数据集的计算往往需要大量到的计算资源，处理速度慢、处理效率低，因此，对于违法事件检测过程并不适合采用上述三维重建的方式。
[0063]
为解决这些问题，本技术的实施例分别提出一种违法事件检测方法、一种违法事件检测装置、一种电子设备、一种计算机可读存储介质，以下将对这些实施例进行详细描述。
[0064]
如图2所示，在一示例性的实施例中，违法事件检测方法至少包括步骤s201至步骤s207，详细介绍如下：
[0065]
步骤s201，获取通过深度图像采集设备采集预设交通区域的多个历史时刻的多张历史待检测道路图像。
[0066]
其中，深度图像采集设备可以是深度相机、双目相机等设备。例如，设置在电子警察、交通卡口、高速卡口场景等预设交通区域中的双目相机等。通常情况下，深度图像采集设备的设置位置将保持不变，在上述示例的应用场景中，深度图像采集设备往往具有固定的点位，没有复杂的位姿变换，导致多角度的视图资源不够，不适合做复杂的点云数据集和线性重建，并且交通违法事件的判断不需要周边的树木、房屋等信息。因此，一方面并不适合采用相关技术中的三维重建方案进行三维重建。
[0067]
历史待检测道路图像包括第一待检测道路图像和第二待检测道路图像，当深度图像采集设备为双目相机等设备时，则会在同一时刻采集两张图像，分别为第一待检测道路图像和第二待检测道路图像。
[0068]
预设交通区域包括规则交通线，规则交通线可以是导流线、停止线、人行横道线等本领域技术人员所规定的交通指示线。
[0069]
步骤s202，对第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配，基于匹配的第一像素点和第二像素点之间预设方向的位置差作为视图差，基于视图差确定第一像素点的像素深度信息，以确定各第一待检测道路图像的图像深度信息。
[0070]
可以将第一待检测道路图像中的各像素点确定为第一像素点，相应的，将第二待检测道路图像中的各像素点确定为第二像素点。由于第一待检测道路图像与第二待检测道路图像为对相同的预设交通区域的图像，故两者所拍摄的对象具有对应性，则可以对第一像素点和第二像素点进行匹配。
[0071]
在一实施例中，对第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配包括：
[0072]
获取第一像素点的第一像素值、第一像素位置信息、第一像素点所在像素窗口的第一像素均值，以及第二像素点的第二像素值、第二像素位置信息、第二像素点所在像素窗口的第二像素均值，其中第一像素位置为该第一像素点的坐标信息，第一像素均值可以是包括该第一像素点的图像区域(像素窗口)中各像素点的像素值的平均值，对应的，第二像素位置为该第二像素点的坐标信息，第二像素均值可以是包括该第二像素点的图像区域(像素窗口)中各像素点的像素值的平均值；
[0073]
根据第一像素位置信息和第二像素位置信息确定第一像素点与第二像素点之间的偏移量，其中当图像坐标系为二维坐标系时，则偏移量可以是与地面平行的坐标轴方向上的坐标差值；
[0074]
若偏移量小于预设偏移阈值，根据第一像素值与第一像素均值确定第一差值，根据第二像素值与第二像素均值确定第二差值；
[0075]
基于第一差值和第二差值确定第一像素点与第二像素点之间的相关度；
[0076]
若相关度大于预设相关阈值，第一像素点与第二像素点匹配；
[0077]
若相关度小于或等于预设相关阈值，第一像素点与第二像素点不匹配。
[0078]
预设相关阈值可以由本领域技术人员根据需要进行设定，在此不做限定。
[0079]
在一实施例中，相关度的确定方式包括：
[0080][0081]
其中，ncc(i1i2)为相关度，i1(x)为第一像素点的第一像素值，i2(x)为第二像素点的第二像素值，第一像素点与第二像素点之间的偏移量小于预设偏移阈值，μ1为第一像素均值，μ2为第二像素均值。
[0082]
例如，相关度为-1～1，其中-1表示相关性很低，1表示相关性很高。此时，预设相关阈值可以为大于-1且小于1的数值，如0等。
[0083]
在一实施例中，根据ncc匹配的特征点，计算出在水平方向(与地面平行的坐标轴方向)的差值即为视图差，得到各匹配的第一像素点和第二像素点的视图差的集合：
[0084]
d＝{d|d＝|xl
–
xr|}
ꢀꢀ
公式(2)，
[0085]
其中，d为集合，d为一组匹配的第一像素点和第二像素点的视图差，xl为第一像素点的水平方向坐标值，xr为第二像素点的水平方向坐标值。
[0086]
在一实施例中，对第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配包括：
[0087]
对各第一待检测道路图像进行目标对象的识别，得到第一目标对象区域，对各第二待检测道路图像进行目标对象的识别，得到第二目标对象区域，对第一目标对象区域和第二目标对象区域中的第一像素点和第二像素点进行像素点匹配。
[0088]
这样可以只针对于感兴趣区域进行后续的像素点匹配及后续处理，能够有效的节省算力资源。
[0089]
在一实施例中，基于视图差确定第一像素点的像素深度信息包括：
[0090]
获取深度图像采集设备的基线和焦距；
[0091]
根据视图差和基线确定视图基差；
[0092]
基于视图基差和焦距确定像素深度信息。
[0093]
例如，继续以双目相机为例，获取该双目相机的基线tx，相机焦距f，以及上述实施例所得到的视图差d，可以计算出像素深度信息：
[0094]
z＝f*tx/d
ꢀꢀ
公式(3)，
[0095]
其中，z为像素深度信息，f为焦距，tx为基线，d为视图差。
[0096]
需要说明的是，上述是以第一像素点为例，由于第一像素点与第二像素点匹配，两者的视图差是相同的，所以本领域技术人员也可以采用第二像素点的像素深度信息。
[0097]
在一实施例中，基于视图差确定第一像素点的像素深度信息，以确定各第一待检测道路图像的图像深度信息，可以是将各像素深度信息的平均值作为图像深度信息，也可以为将像素深度信息依据其所在区域的权重来进行加权平均，以得到图像深度信息。
[0098]
步骤s203，对各第一待检测道路图像进行目标检测，得到待检测目标在各第一待检测道路图像中的检测目标框位置信息。
[0099]
其中，步骤s202与步骤s203的执行先后顺序在此不做限定。当需要减少进行像素点匹配的计算量时，推荐先执行步骤s203，得到上述实施例提到的第一目标对象区域和第二目标对象区域。
[0100]
步骤s203的实现可以采用本领域技术人员所知晓的方式实现，比如通过预先训练好的目标检测模型对各第一待检测道路图像进行目标检测实现等。
[0101]
步骤s204，基于各检测目标框位置信息和各图像深度信息通过卡尔曼滤波模型确定预测目标框位置信息。
[0102]
通过步骤s201-步骤s203能够得到各历史时刻下检测目标框位置信息和图像深度信息，通过预设的卡尔曼滤波模型可以实现轨迹点的预测，进而得到预测目标框位置信息。
[0103]
例如，以检测目标框为矩形框为例，检测目标框位置信息为【w，h，x，y】，其中w为检测目标框的宽度，y为检测目标框的高度，以上w和h可以为预设值，x和y为检测目标框的左上角(或者其他本领域技术人员所制定的角)的坐标值。基于各检测目标框位置信息和对应的图像深度信息d，进行卡尔曼滤波，图像深度信息增加了运动信息维度，预测得到的预测目标框位置信息会更加贴合实际运动，传入卡尔曼滤波的滤波器的参数【w，h，x，y，d】，输出的参数为【wout，hout，xout，yout】，以该输出的参数作为预测目标框位置信息。
[0104]
步骤s205，基于待检测目标在各述第一待检测道路图像中的目标位置确定待检测目标的运动向量。
[0105]
其中，运动向量可以表示该目标对象的运动轨迹，或者说，可以通过运动轨迹来计算得到运动向量。对于运动向量的确定方式，可以是将多个第一待检测道路图像中目标位置进行连线，将该连线取直，得到运动向量。运动向量的确定方式还可以通过本领域技术人员所知晓的其他方式实现。
[0106]
步骤s206，基于预测目标框位置信息和运动向量确定待检测目标的待检测线段的待检测线段位置信息。
[0107]
在一实施例中，步骤s206执行之前，该需要将步骤s204三维坐标系下的预测目标框位置信息映射在二维坐标系下的数值。以二维坐标系下的预测目标框位置信息和二维坐标系下的运动向量确定待检测线段位置信息。
[0108]
在一实施例中，预测目标框为四边形，基于预测目标框位置信息和运动向量确定待检测目标的待检测线段的待检测线段位置信息包括：
[0109]
连接四边形沿目标对象前进方向的相对边，得到相对连线；
[0110]
确定运动向量通过连线辅助点所形成的直线与四边形的两个交点，并将两个交点之间的连线确定为待检测线段，连线辅助点为相对连线上的一点。
[0111]
其中，相对连线可以是相对边的各边中点连线，或者各边距离左侧顶点1/x处的参考点的连线，其中x大于1。连线辅助点可以为相对连线上距离地面方向的一边预设距离的一点，该预设距离可以为相对连线的长度的1/4或本领域技术人员所设定的其他距离。
[0112]
例如，请参阅图3，图3是本技术的一示例性实施例示出的待检测线段的示意图，如图3所示，预测目标框m为四边形，由于存在深度信息，则此时得到二维坐标系下的预测目标框有可能并非是矩形，四边形的四个边分别为a、b、c、d，目标对象前进方向可以为道路的延伸方向，当目标对象为车辆时也可以是车头车尾连线方向等。继续参见图3，相对边为a、c，相对连线为op连线，连线辅助点q，运动向量α通过连线辅助点q所形成的直线与四边形的两
个交点r、s，rs的连线所得到的线段为待检测线段。
[0113]
通过上述方式所得到的的待检测线段能够表征目标对象(待检测目标)的“中轴线”或者目标对象的实体所在路面的投影。
[0114]
步骤s207，根据待检测线段位置信息和规则交通线的规则交通线位置信息确定待检测目标的压线状态，以检测待检测目标的违法事件。
[0115]
待检测线段位置信息、规则交通线位置信息可以通过本领域技术人员所知晓的方式得到，在此不做限定。
[0116]
在一实施例中，根据待检测线段位置信息和规则交通线的规则交通线位置信息确定待检测目标的压线状态之前，违法事件检测方法包括：
[0117]
获取深度图像采集设备的转动状态；
[0118]
若转动状态包括转动，通过预设图像分割模型检测第一待检测道路图像中规则交通线的规则交通线位置信息。
[0119]
若转动状态包括未转动，则可以将历史预设的规则交通线位置信息作为当前的规则交通线位置信息。
[0120]
预设图像分割模型可以是通过道路感知算法等方式得到的模型。
[0121]
在一实施例中，根据待检测线段位置信息和规则交通线的规则交通线位置信息确定待检测目标的压线状态，以检测待检测目标的违法事件包括：
[0122]
根据待检测线段位置信息和规则交通线的规则交通线位置信息确定待检测线段与规则交通线的相交情况；
[0123]
若待检测线段与规则交通线相交，将压线状态确定为压线，待检测目标存在违法事件；
[0124]
若待检测线段与规则交通线相离，将压线状态确定为不压线，待检测目标不存在违法事件。
[0125]
相交也即待检测线段与规则交通线存在交点，相离也即待检测线段与规则交通线不存在交点。继续参见图3，可见待检测线段与规则交通线n相交t，则可以说明待检测目标存在违法事件(压线)。
[0126]
需要说明的是，由于基于预测目标框位置信息和运动向量确定待检测目标的待检测线段，可以理解违法事件检测实际上为违法事件的预测，预测下一时刻待检测目标是否存在违法事件的可能性。
[0127]
本实施例提供的违法事件检测方法，通过多组第一待检测道路图像和第二待检测道路图像进行像素点匹配，得到视图差，进而确定图像深度信息，以及对第一待检测道路图像和第二待检测道路图像中之一进行目标检测，得到目标检测框位置，进而可以确定预测目标框位置信息，基于待检测目标的运动向量和预测目标框位置信息来确定待检测线段位置信息，通过待检测线段位置信息和规则交通线位置信息确定待检测目标的压线状态，以检测待检测目标的违法事件，通过引入深度信息对待检测目标的位置进行预测，提供了不需要依赖于对点云数据集的处理，节约了算力，提升了处理速度和效率，能够实现违法事件检测的方案。
[0128]
下面通过一个具体的实施例对上述实施例提供的违法事件检测方法进行进一步示例性的说明，请参阅图4，图4是本技术的一示例性实施例示出的一种具体的违法事件检
测方法的流程图。如图4所示，在一示例性的实施例中，该具体的违法事件检测方法详细介绍如下：
[0129]
第一，获取交通视频。例如，可以获取交通卡口所采集的交通视频流。
[0130]
第二，解码交通视频获取帧图像。其中解码方式可以采用本领域技术人员所知晓的方式实现。得到多张历史待检测道路图像。
[0131]
第三，判断深度图像采集设备是否发生转动。
[0132]
3.1：有两种判断方法，一种是直接获取相机转动的运动参数，另一种是通过vibe背景建模，逐帧对比背景差异，从而判断相机是否转动。
[0133]
3.2：如果相机在转动，则进入道路感知算法，并返回至第二的部分重新获取帧图像，直到相机不再转动。由于转动将导致后续的深度信息存在较大的误差，故对于转动过程中我们不再进行违法事件检测。
[0134]
3.3：如果相机没有转动，则进入目标检测算法和视差图计算。
[0135]
第四，道路感知。
[0136]
例如，通过图像分割模型检测出车道线的轮廓，再进一步通过计算拟合出车道线的准确位置、道路的有效区域(有效区域道路线段，也即规则交通线)。每做一次道路感知，就更新一次道路数据，只会在镜头转动的时候执行该步骤。
[0137]
第五，视差图计算：
[0138]
5.1：极线校正。使用双目相机，保证左右两张图的极线处于水平方向，便于做ncc计算。
[0139]
5:2：特征匹配。
[0140]
采用ncc算法来计算水平方向上像素点的相关性，例如公式(1)。
[0141]
5.3：视差图计算。
[0142]
根据ncc匹配的特征点，计算出在水平方向的差值即为视图差，视图差的集合d＝{d|d＝|xl
–
xr|}，为减少计算资源，这里只计算有效区域内的视图差。
[0143]
5.4：计算深度。
[0144]
根据双目相机基线tx，相机焦距f，视图差d，可以计算出深度信息：z＝f*tx/d。
[0145]
第六，目标检测。
[0146]
通过目标检测模型识别出帧图像中的人、机动车、非机动车等目标。将其中的一个作为待检测目标。
[0147]
第七，目标跟踪。
[0148]
例如可以通过位置相关性和时序相关性来跟踪目标。
[0149]
第八，违法事件检测。
[0150]
违法压线判断流程如下：
[0151]
a.获取道路线段、图像的深度信息。
[0152]
b.获取车辆的检测框。
[0153]
c.根据车辆的检测框(w,h,x,y)和对应的深度信息d。在3d轨迹上做卡尔曼滤波，让轨迹更加贴合实际，同时预测出下一时刻的位置p(预测目标框位置信息)。深度信息增加了运动信息维度，预测除的预测目标框会更加贴合实际运动。传入卡尔曼滤波器的参数为(w,h,x,y，d)，输出参数为(wout,hout,xout,yout)。
[0154]
d.把预测位置p映射至2d，记录车辆的运动轨迹，计算出目标在平面上的运动向量dir；
[0155]
e.根据运动向量dir和目标框估算出车辆的底部线(左右两个轮胎的连线，也即待检测线段)；
[0156]
f.判断底部线是否和车道实线(规则交通线)交叉，如果交叉则判定为违法。
[0157]
与相关技术的方案是用点云数据和线性重建来对交通场景重建，有较大的计算量。占用过多的计算资源会影响算法的性能、指标。本实施例提供的方法使用基于ncc算法的视差图像深度估计的方法构建空间场景，并且只计算道路有效区域的场景，计算量大大减小。
[0158]
本实施例提供的方法将二维目标映射至三维空间(预测目标框在三维维度下的预测)做事件判断，根据深度信息计算车辆的三维轨迹和空间分布，更贴近真实场景，提高检测精度。
[0159]
本实施例提供的方法考虑了相机转动引起监控视角发生变化，交通场景的二维线段需要重新获取能够自动获取交通场景的二维线段，例如车道线、斑马线。
[0160]
可见，本实施例提供的方法大大降低了三维重建的计算量，节省cpu计算资源。能对像素级别做深度估计。速度快，使用双目相机获取的图像不需要对视图基线做水平校正。
[0161]
本实施例提供的方法还有以下优点：
[0162]
与传统的交通事件是在二维画面中完成。由于缺少空间信息，对目标车辆的运动轨迹判断有较大误差，从而引起事件的误判相比，本实施例提供的方法将目标映射至三维空间，加入卡尔曼滤波，可以更准确的获取目标轨迹。
[0163]
本实施例提供的方法可以通过三维空间的映射获取车辆的真实空间分布，有助于道路拥堵的判断。
[0164]
请参阅图5，图5是本技术的一示例性实施例示出的违法事件检测装置的框图，如图5所示，本实施例提供了一种违法事件检测装置500，该装置包括：
[0165]
获取模块501，用于获取通过深度图像采集设备采集预设交通区域的多个历史时刻的多张历史待检测道路图像，历史待检测道路图像包括第一待检测道路图像和第二待检测道路图像，预设交通区域包括规则交通线；
[0166]
匹配模块502，用于对第一待检测道路图像的第一像素点和第二待检测道路图像的第二像素点进行像素点匹配，基于匹配的第一像素点和第二像素点之间预设方向的位置差作为视图差，基于视图差确定第一像素点的像素深度信息，以确定各第一待检测道路图像的图像深度信息；
[0167]
检测模块503，用于对各第一待检测道路图像进行目标检测，得到待检测目标在各第一待检测道路图像中的检测目标框位置信息；
[0168]
预测目标框确定模块504，用于基于各检测目标框位置信息和各图像深度信息通过卡尔曼滤波模型确定预测目标框位置信息；
[0169]
运动向量确定模块505，用于基于待检测目标在各述第一待检测道路图像中的目标位置确定待检测目标的运动向量；
[0170]
待检测线段确定模块506，用于基于预测目标框位置信息和运动向量确定待检测目标的待检测线段的待检测线段位置信息；
[0171]
违法事件检测模块507，用于根据待检测线段位置信息和规则交通线的规则交通线位置信息确定待检测目标的压线状态，以检测待检测目标的违法事件。
[0172]
在本实施例中，该装置实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0173]
参见图6，本发明实施例还提供了一种电子设备600，包括处理器601、存储器602和通信总线603；
[0174]
通信总线603用于将处理器601和存储器连接602；
[0175]
处理器601用于执行存储器602中存储的计算机程序，以实现如上述实施例中的一个或多个所述的方法。
[0176]
本发明实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
[0177]
计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。
[0178]
本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例的实施例一所包含步骤的指令(instructions)。
[0179]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0180]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0181]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务
提供商来通过因特网连接)。
[0182]
附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0183]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。