对象异常的检测方法及装置、存储介质、电子装置与流程

1.本发明实施例涉及图像处理领域，具体而言，涉及一种对象异常的检测方法及装置、存储介质、电子装置。


背景技术：

2.目前道路上的交通事件检测很多依赖于车道。当相机为球机时，巡航设置情况下，需要基于预置点调整规则配置。例如车道方向已经变更，原有的分辨率对应的距离也有了变更，这样就需要能够检测出变化，并调整规则。极端情况下，球机旋转导致车道方向完全相反，则在检测规则不变时，正常行驶的车辆将被视作逆行，出现大量的误报，而真正逆行的车辆则视作正常行驶，造成大量的漏报。


技术实现要素：

3.本发明实施例提供了一种对象异常的检测方法及装置、存储介质、电子装置，以至少解决相关技术中对交通事件检测的问题。
4.根据本发明的一个实施例，提供了一种对象异常的检测方法，包括：确定在第一时间获取的第一视频文件的第一场景信息，其中，上述第一视频文件中包括第一对象的图像信息；在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式，其中，上述第二场景信息为第二时间获取的第二视频文件的场景信息，上述第二时间早于上述第一时间；按照上述事件检测方式检测上述第一对象是否出现异常。
5.根据本发明的另一个实施例，提供了一种对象异常的检测装置，包括：第一确定模块，用于确定在第一时间获取的第一视频文件的第一场景信息，其中，上述第一视频文件中包括第一对象的图像信息；第二确定模块，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式，其中，上述第二场景信息为在第二时间获取的第二视频文件的场景信息，上述第二时间早于上述第一时间；第一检测模块，用于按照上述事件检测方式检测上述第一对象是否出现异常。
6.在一个示例性实施例中，上述装置还包括：第一获取模块，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式之前，获取摄像设备拍摄上述第一视频文件的第一变焦倍数；第二获取模块，用于获取上述摄像设备拍摄上述第二视频文件的第二变焦倍数；第三确定模块，用于在上述第一变焦倍数与上述第二变焦倍数不匹配的情况下，确定上述第一场景信息相对于上述第二场景信息发生了变化。
7.在一个示例性实施例中，上述装置还包括：第四确定模块，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式之前，从上述第一视频文件中确定摄像设备的第一动作信息，其中，上述第一动作信息中包括上述摄像设备的第一旋转信息和/或第一缩放信息；第五确定模块，用于在上述第一动作
信息与第二动作信息不一致的情况下，确定上述第一场景信息相对于上述第二场景信息发生了变化，其中，上述第二视频信息中包括上述第二动作信息，上述第二动作信息中包括上述摄像设备的第二旋转信息和/或第二缩放信息。
8.在一个示例性实施例中，上述第二确定模块，包括：第一获取单元，用于从上述第一场景信息中获取目标区域中的车道线；第一确定单元，用于基于上述视频文件中包括的对象信息和设备信息确定上述车道线的车道类型和行驶方向；第二确定单元，用于按照上述车道类型和上述行驶方向确定与上述第一场景信息对应的上述事件检测方式。
9.在一个示例性实施例中，上述第二确定模块，包括：第一匹配单元，用于从事件检测数据库中查找与上述第一场景信息中的车道线匹配的事件检测方式。
10.在一个示例性实施例中，上述第一检测模块，包括：第三确定单元，用于在上述第一对象行驶的车道类型与上述事件检测方式中的车道线的车道类型不匹配，和/或，上述第一对象的行驶方向和上述事件检测方式中的行驶方向不相同的情况下，确定上述第一对象出现异常。
11.在一个示例性实施例中，上述装置还包括：第一过滤模块，用于在检测上述第一场景信息是否发生变化的过程中，过滤获取的对象异常信息。
12.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
13.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
14.通过本发明，通过确定在第一时间获取的第一视频文件的第一场景信息，其中，第一视频文件中包括第一对象的图像信息；在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式，其中，第二场景信息为第二时间获取的第二视频文件的场景信息，第二时间早于第一时间；按照事件检测方式检测第一对象是否出现异常。实现了基于不同的场景确定不同的事件检测方式的目的。因此，可以解决相关技术中对交通事件检测的问题，达到降低场景切换造成的交通事件的误报和漏报，提升检测交通事件的准确性和有效性的效果。
附图说明
15.图1是本发明实施例的一种对象异常的检测方法的移动终端的硬件结构框图；
16.图2是根据本发明实施例的对象异常的检测方法的流程图；
17.图3是根据本发明实施例的变换规则的流程图；
18.图4是根据本发明实施例的球机的场景变换流程图；
19.图5是根据本发明实施例的对象异常的检测装置的结构框图。
具体实施方式
20.下文中将参考附图并结合实施例来详细说明本发明的实施例。
21.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
22.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象异常的检测方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
23.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对象异常的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
24.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
25.在本实施例中提供了一种对象异常的检测方法，图2是根据本发明实施例的对象异常的检测方法的流程图，如图2所示，该流程包括如下步骤：
26.步骤s202，确定在第一时间获取的第一视频文件的第一场景信息，其中，第一视频文件中包括第一对象的图像信息；
27.第一场景信息包括但不限于是获取第一视频文件的摄像设备所在的场景信息，例如，球机当前的分辨率；
28.步骤s204，在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式，其中，第二场景信息为在第二时间获取的第二视频文件的场景信息；
29.第二场景信息包括但不限于是获取第二视频文件的摄像设备所在的场景信息，例如，球机当前的分辨率；
30.步骤s206，按照事件检测方式检测第一对象是否出现异常。
31.在本实施例中，第二视频文件中包括第二对象的图像信息，第二对象和第一对象可以是相同的对象，也可以是不同的对象。第一对象和第二对象包括但不限于是车辆、行人等。利用第二对象行驶的车道类型，和/或，车道方向，判断第一对象行驶的车道类型，和/或，车道方向是否发生变化。从而确定出场景是否发生变化。
32.在本实施例中，事件检测方式包括但不限于车辆在行驶的过程中是否出现违规现象，例如，逆行、闯红灯等。
33.其中，上述步骤的执行主体可以为终端等，但不限于此。
34.通过上述步骤，通过确定在第一时间获取的第一视频文件的第一场景信息，其中，第一视频文件中包括第一对象的图像信息；在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式，其中，第二场景信息为第二时间获取的第二视频文件的场景信息，第二时间早于第一时间；按照事件检测方式检测第一对象是否出现异常。实现了基于不同的场景确定不同的事件检测方式的目的。因此，可以解决相关技术中对交通事件检测的问题，达到降低场景切换造成的交通事件的误报和漏报，提升检测交通事件的准确性和有效性的效果。
35.在一个示例性实施例中，在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式之前，方法还包括：
36.s1，获取摄像设备拍摄第一视频文件的第一变焦倍数；
37.s2，获取摄像设备拍摄第二视频文件的第二变焦倍数；
38.s3，在第一变焦倍数与第二变焦倍数不匹配的情况下，确定第一场景信息相对于第二场景信息发生了变化。
39.在本实施例中，摄像设备的变焦倍数可以通过摄像设备返回的预置点确定。即摄像设备的视频场景变换时，能够通过摄像设备返回的场景信息确定。变焦倍数用于调整摄像设备的拍摄焦距。
40.在一个示例性实施例中，在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式之前，方法还包括：
41.s1，从第一视频文件中确定摄像设备的第一动作信息，其中，第一动作信息中包括摄像设备的第一旋转信息和/或第一缩放信息；
42.s2，在第一动作信息与第二动作信息不一致的情况下，确定第一场景信息相对于第二场景信息发生了变化，其中，第二视频信息中包括第二动作信息，第二动作信息中包括摄像设备的第二旋转信息和/或第二缩放信息。
43.在本实施例中，第一动作信息中的第一旋转信息与第二动作信息中的第二旋转信息进行比对，第一动作信息中的第一缩放信息与第二动作信息中的第二缩放信息进行比对。其中一个信息不一致，或者两个信息同时不一致的情况下，确定摄像设备所处的场景发生了变化。
44.通过检测摄像设备的转动度数确定摄像设备的旋转。例如，球机相对于第二场景中的位置旋转了180度，则可以确定检测场景会变成车辆行进的另一个方向，车道的方向与原来场景中的车道方向相反。
45.在一个示例性实施例中，在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式，包括：
46.s1，从第一场景信息中获取目标区域中的车道线；
47.s2，基于视频文件中包括的对象信息和设备信息确定车道线的车道类型和行驶方向；
48.s3，按照车道类型和行驶方向确定与第一场景信息对应的事件检测方式。
49.在本实施例中，可以根据交通标志，尤其是车道线，绘制车道方向，检测车辆是否违停、逆行、压线、行人等。
50.在一个示例性实施例中，在第一场景信息相对于第二场景信息发生变化的情况下，确定与第一场景信息对应的事件检测方式，包括：
51.s1，从事件检测数据库中查找与第一场景信息中的车道线匹配的事件检测方式。
52.在本实施例中，待场景变换结束(场景稳定后)，判断数据库中是否有已存储的事件检测方式适用变换后的场景。
53.在一个示例性实施例中，按照事件检测方式检测第一对象是否出现异常，包括：
54.s1，在第一对象行驶的车道类型与事件检测方式中的车道线的车道类型不匹配，和/或，第一对象的行驶方向和事件检测方式中的行驶方向不相同的情况下，确定第一对象出现异常。
55.在本实施例中，在第一对象行驶的车道类型与事件检测方式中的车道线的车道类型不匹配的情况下，确定第一对象出现异常；或者，在第一对象的行驶方向和事件检测方式中的行驶方向不相同的情况下，确定第一对象出现异常；或者，在第一对象行驶的车道类型与事件检测方式中的车道线的车道类型不匹配，且在第一对象的行驶方向和事件检测方式中的行驶方向不相同的情况下，确定第一对象出现异常。
56.在本实施例中，除了基于车道类型和车道线对对象异常进行判断之外，还可以基于场景下的标志物、行人、车辆来判断车道属性和方向，车道属性包括自行车道、机动车道、应急车道等属性。
57.在一个示例性实施例中，方法还包括：
58.s1，在检测第一场景信息是否发生变化的过程中，过滤获取的对象异常信息。
59.在本实施例中，在获取到对象异常信息后，整理对象异常信息并上报，其中包括图片、视频信息等。不当的信息需要进行过滤，即视为无效的错误信息过滤掉。
60.下面结合具体实施例对本发明进行说明：
61.本实施例以对车辆的异常检测为例进行说明。本实施例可以根据获取的预置点的不同，确定对车辆的事件检测方式(即视频场景变换时，能够通过前端相机返回的信息得知场景已经切换)。例如，当球机进行场景变换时(变倍或旋转)，可以根据返回预置点的不同，适配已经配置好的规则(对应于上述中的事件检测方式)。
62.还可以通过视频质量诊断判断摄像设备所在的场景是否出现变换，来进行规则的再次重新配置。
63.在本实施例中，通过视频质量诊断的场景变换，当判断当前视频场景处于变化状态时，所有的分析都停止，待场景变换结束(场景稳定后)，先判断是否有已存储的场景规则适用，若所有的场景规则都不适用，则自动识别新场景下的车道线、标志物。并基于多种判断例如行人、车辆来辅助判断车道属性和方向，例如，自行车道、机动车道、应急车道等。
64.例如，以逆行判断来说明规则自动识别配置处理的过程。逆行判断，需要绘制车道，判断车道的方向，然后通过检测车道中车辆的行进方向来判断是否逆行。规则为车道线和车道方向。这样当场景固定时，检测出车道线(白实线、白虚线、黄实线、黄虚线)。在可以在图片中对应的像素点绘制出车道方向和车道线属性(黄白线、虚实线)。检测到车辆在此车道上行进时，方向是否和车道一致，根据这样的规则判断是否存在车辆逆行。
65.当视频场景变换时(如，球机旋转了180度)，则检测场景会变成车辆行进的另一个方向，车道的方向恰恰相反。在场景变换时规则已经不适用了，转变后，正常行驶的将被误
判为逆行。此时，视频质量诊断检测到场景变换，停止分析，停止告警上报。待场景稳定后，重新检测路面上的标识，车道线等，并判别车道方向(根据箭头、多个车辆行进方向等)，正确识别路面规则，以适合更新了场景的路面规则进行检测和告警上报。
66.路面检测规则生成和检测告警事件是不同的处理步骤。规则包括但不限于：车道的坐标和方向，检测区域，视频像素和实际距离之间的比值等。规则在场景不发生变换时，只生成一次。检测到当前机动车道的方向，车道线坐标后，不再做二次检测，用像素区域来对应实际的车道。并能够根据车辆、行人所在的位置和变动轨迹，判断车辆、行人是否有违反交通规则的行为。而检测告警事件，通过目标检测和跟踪，判断目标类型为行人时，并且出现在机动车道中，则触发行人检测告警，相似的，当车辆占用应急车道行驶，压线行驶等操作出现时(此时仅仅需要检测动态目标，不再处理检测规则相关识别和分析)，对应的告警事件也将触发。
67.如图3所示，是本发明实施例中的变换规则的流程图，具体包括以下步骤：
68.s301，通过摄像设备(例如，球机)采集视频或图片；
69.s302，从采集的视频或图片中检测摄像设备所在的场景发生变换；
70.s303，判断场景是否在变换中；
71.s304，在场景处于变换中的过程中的情况下，旧规则(对应于上述中的事件检测方式)失效；
72.s305，在场景未处于变换的过程中的情况下，判断场景的变换是否结束，场景变换结束的情况下，转至s306，否则，转至s304；
73.s306，检测场景中的交通标志；
74.s307，判断规则是否存在数据库中；
75.s308，数据库中包括规则的情况下，匹配已有的规则；
76.s309，数据库中的规则不存在的情况下，生成新的规则；
77.s310，从视频或图片中检测车辆是否发生交通事件；
78.s311，分析结束。
79.如图4所示，以球机的场景变换进行说明，具体包括：从球机获取的视频中检测视频是否存在场景变换，即球机出现旋转、缩放等动作。并检测车道线，绘制适宜的规矩检测区域，诸如车道以及行进方向，斑马线等根据车道线和车辆引导线，以及车辆行进方向等，匹配已有规则中是否已保存适合当前场景的规则。若有，则采用已有规则，若没有交由生成检测规则模块生成新规则。
80.根据交通标志，尤其是车道线，绘制车道方向，检测违停、逆行、压线、行人等。根据适宜的检测规则进行交通事件检测。需要说明的时，当规则生成期间，不能进行正常的告警分析。整理告警信息上报，包括图片、视频信息。当检测到场景变换时，不当的告警检测需要进行过滤，即视为无效的错误报警过滤掉。
81.综上所述，本实施例通过视频中场景变换的情况，来判断当前的检测规则是否有效。当检测规则不适宜时，自动调整检测规则，增加了事件检测的准确性。
82.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有
技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
83.在本实施例中还提供了一种对象异常的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
84.图5是根据本发明实施例的对象异常的检测装置的结构框图，如图5所示，该装置包括：
85.第一确定模块52，用于确定在第一时间获取的第一视频文件的第一场景信息，其中，上述第一视频文件中包括第一对象的图像信息；
86.第二确定模块54，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式，其中，上述第二场景信息为在第二时间获取的第二视频文件的场景信息；
87.第一检测模块56，用于按照上述事件检测方式检测上述第一对象是否出现异常。
88.在一个示例性实施例中，上述装置还包括：
89.第一获取模块，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式之前，获取摄像设备拍摄上述第一视频文件的第一变焦倍数；
90.第二获取模块，用于获取上述摄像设备拍摄上述第二视频文件的第二变焦倍数；
91.第三确定模块，用于在上述第一变焦倍数与上述第二变焦倍数不匹配的情况下，确定上述第一场景信息相对于上述第二场景信息发生了变化。
92.在一个示例性实施例中，上述装置还包括：
93.第四确定模块，用于在上述第一场景信息相对于第二场景信息发生变化的情况下，确定与上述第一场景信息对应的事件检测方式之前，从上述第一视频文件中确定摄像设备的第一动作信息，其中，上述第一动作信息中包括上述摄像设备的第一旋转信息和/或第一缩放信息；
94.第五确定模块，用于在上述第一动作信息与第二动作信息不一致的情况下，确定上述第一场景信息相对于上述第二场景信息发生了变化，其中，上述第二视频信息中包括上述第二动作信息，上述第二动作信息中包括上述摄像设备的第二旋转信息和/或第二缩放信息。
95.在一个示例性实施例中，上述第二确定模块，包括：
96.第一获取单元，用于从上述第一场景信息中获取目标区域中的车道线；
97.第一确定单元，用于基于上述视频文件中包括的对象信息和设备信息确定上述车道线的车道类型和行驶方向；
98.第二确定单元，用于按照上述车道类型和上述行驶方向确定与上述第一场景信息对应的上述事件检测方式。
99.在一个示例性实施例中，上述第二确定模块，包括：
100.第一匹配单元，用于从事件检测数据库中查找与上述第一场景信息中的车道线匹
配的事件检测方式。
101.在一个示例性实施例中，上述第一检测模块，包括：
102.第三确定单元，用于在上述第一对象行驶的车道类型与上述事件检测方式中的车道线的车道类型不匹配，和/或，上述第一对象的行驶方向和上述事件检测方式中的行驶方向不相同的情况下，确定上述第一对象出现异常。
103.在一个示例性实施例中，上述装置还包括：
104.第一过滤模块，用于在检测上述第一场景信息是否发生变化的过程中，过滤获取的对象异常信息。
105.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
106.本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
107.在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以上各步骤的计算机程序。
108.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
109.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
110.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
111.在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以上各步骤。
112.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
113.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
114.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。