危险事件检测方法、装置、电子设备及存储介质与流程

1.本公开涉及行为监控技术领域，尤其涉及一种危险事件检测方法、装置、电子设备及存储介质。


背景技术：

2.随着人工智能技术的不断发展，图像、视频检测的种类越来越多，效果越来越好，尤其是将检测技术应用于智慧城市的安全防护领域能够避免发生危险事件。智慧城市的安全防护，目的在于及时发现城市内出现的危险事件，以便及时采取有效措施进行防护和制止。相关技术中，对城市内出现的危险事件的检测不准确、不及时，经常出现漏检、误检的问题。


技术实现要素：

3.本公开提供一种危险事件检测方法、装置、设备及存储介质，以解决相关技术中的缺陷。
4.根据本公开实施例的第一方面，提供一种危险事件检测方法，包括：
5.获取监控设备采集的监控信息；所述监控信息包括图像信息；
6.对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件；
7.在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。
8.在一个实施例中，所述危险事件包括第一危险事件、第二危险事件、第三危险事件或者第四危险事件。
9.在一个实施例中，对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，包括：
10.识别所述图像信息中是否存在人体；
11.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
12.跟踪所述人群中人体间的距离变化，确定人体间的距离是否在预设时长内保持在预设变化幅度内；
13.若人体间的距离在预设时长内保持在预设变化幅度内，所述人体中有人体的拳头或者脚掌迅速移动向其他人体至少一次，则确定所述监控信息中存在第一危险事件。
14.在一个实施例中，若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述人体的拳头处有物体，则确定所述监控信息中存在第一危险事件。
15.在一个实施例中，所述监控信息包括声音信息；
16.若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述监控信息中的声音信息存在预设的特定关键词，则确定所述监控信息中存在第一危险事件。
17.在一个实施例中，若人体间的距离在预设时长内保持在预设变化幅度内，且确定
含有特定关键词的语音方向与所述人体或者所述拳头所在的方向一致，则确定所述监控信息中存在第一危险事件。
18.在一个实施例中，对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，包括：
19.识别图像信息中是否存在人体；
20.在所述图像信息中存在人体的情况下，跟踪人体间的距离变化；
21.当存在第一人体迅速移动至第二人体，并迅速离开或者停留预设时长后离开第二人体，且第二人体位置保持不变或者迅速向第一人体的方向移动，则确定所述监控信息中存在第二危险事件。
22.在一个实施例中，若识别到第一人体的手臂和第二人体的手臂在一条直线上，或者第一人体的手臂和第二人体的手臂同在一条直线上并持续预设时长，或者第一人体的手臂伸直，且其手掌和第二人体重合，则确定所述监控信息中存在第二危险事件。
23.在一个实施例中，若在识别到第一人体的手掌和第二人体手掌之间有物体，或者第一人体在离开第二人体之后，第一人体的手掌处有物体，则确定所述监控信息中存在第二危险事件。
24.在一个实施例中，所述监控信息包括声音信息；
25.在检测到所述声音信息中存在尖叫声的情况下，确定所述监控信息中存在第二危险事件。
26.在一个实施例中，所述监控信息包括声音信息；
27.在识别到所述声音信息中存在预设关键词的情况下，则确定所述监控信息中存在第二危险事件。
28.在一个实施例中，在检测到所述声音信息中存在尖叫声的情况下，若所述尖叫声的声源方向和人体所在方向一致，则确定所述监控信息中存在第二危险事件；或者
29.在识别到所述声音信息中存在预设关键词的情况下，若所述预设关键词的声源方向和所述第二人体所在方向一致，则确定所述监控信息中存在第二危险事件。
30.在一个实施例中，对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，包括：
31.识别图像信息中是否存在人体；
32.在所述图像信息中存在人体的情况下，识别所述人体是否有人体持有危险物体；所述危险物体包括第一危险物体和/或第二危险物体；所述第一危险物体包括刀具、棍状物体、板块状物体；第二危险物体为射击类物体；
33.在所述人体中有人体持有危险物体且所述危险物体为第一危险物体的情况下，若所述第一危险物体的位置离其他人体的距离小于预设距离的情况下，确定所述监控信息中存在第三危险事件；或者
34.在所述人体中有人体持有危险物体且所述危险物体为第二危险物体的情况下，若所述第二危险物体与其他人体在同一直线上的情况下，确定所述监控信息中存在第三危险事件。
35.在一个实施例中，对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，包括：
36.识别所述图像信息中是否存在人体；
37.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
38.对所述人群中的人体的手掌进行跟踪识别，若第一人体的手掌离开其他人体时，手掌处有物品，则确定所述监控信息中存在第四危险事件。
39.在一个实施例中，所述监控设备为安装在车上的设备或者安装在路侧的设备；
40.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在车周围的设备，则根据车辆当时所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控；
41.或者
42.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在路侧的设备，则根据所述监控设备所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控。
43.在一个实施例中，还包括：
44.在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息对应的位置信息，并将所述报示信息对应的控制指令发送至所述位置信息对应的路侧设备，以使所述路侧设备根据所述控制指令输出所述报示信息对应的警示消息。
45.在一个实施例中，还包括：
46.在确定所述监控信息中存在危险事件的情况下，将所述人脸图像和所述报示信息发送至危险事件处理系统；和/或，
47.在确定所述监控信息中存在危险事件的情况下，将所述危险事件的监控信息发送至危险事件处理系统；和/或，
48.在确定所述监控信息中存在危险事件的情况下，保存所述危险事件的监控信息，并标注所述危险事件的种类。
49.根据本公开实施例的第二方面，提供一种危险事件检测装置，包括：
50.获取模块，用于获取监控设备采集的监控信息；所述监控信息包括图像信息；
51.识别模块，用于对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件；
52.报示模块，用于在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。
53.在一个实施例中，所述危险事件包括第一危险事件、第二危险事件、第三危险事件或者第四危险事件。
54.在一个实施例中，所述识别模块具体用于：
55.识别所述图像信息中是否存在人体；
56.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
57.跟踪所述人群中人体间的距离变化，确定人体间的距离是否在预设时长内保持在预设变化幅度内；
58.若人体间的距离在预设时长内保持在预设变化幅度内，所述人体中有人体的拳头
或者脚掌迅速移动向其他人体至少一次，则确定所述监控信息中存在第一危险事件。
59.在一个实施例中，所述识别模块还用于：
60.若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述人体的拳头处有物体，则确定所述监控信息中存在第一危险事件。
61.在一个实施例中，所述监控信息包括声音信息；所述识别模块还用于：
62.若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述监控信息中的声音信息存在预设的特定关键词，则确定所述监控信息中存在第一危险事件。
63.在一个实施例中，所述识别模块还用于：
64.若人体间的距离在预设时长内保持在预设变化幅度内，且确定含有特定关键词的语音方向与所述人体或者所述拳头所在的方向一致，则确定所述监控信息中存在第一危险事件。
65.在一个实施例中，所述识别模块具体用于：
66.识别图像信息中是否存在人体；
67.在所述图像信息中存在人体的情况下，跟踪人体间的距离变化；
68.当存在第一人体迅速移动至第二人体，并迅速离开或者停留预设时长后离开第二人体，且第二人体位置保持不变或者迅速向第一人体的方向移动，则确定所述监控信息中存在第二危险事件。
69.在一个实施例中，所述识别模块还用于：
70.若识别到第一人体的手臂和第二人体的手臂在一条直线上，或者第一人体的手臂和第二人体的手臂同在一条直线上并持续预设时长，或者第一人体的手臂伸直，且其手掌和第二人体重合，则确定所述监控信息中存在第二危险事件。
71.在一个实施例中，所述识别模块还用于：
72.若在识别到第一人体的手掌和第二人体手掌之间有物体，或者第一人体在离开第二人体之后，第一人体的手掌处有物体，则确定所述监控信息中存在第二危险事件。
73.在一个实施例中，所述监控信息包括声音信息；所述识别模块还用于：
74.在检测到所述声音信息中存在尖叫声的情况下，确定所述监控信息中存在第二危险事件。
75.在一个实施例中，所述监控信息包括声音信息；所述识别模块还用于：
76.在识别到所述声音信息中存在预设关键词的情况下，则确定所述监控信息中存在第二危险事件。
77.在一个实施例中，所述识别模块还用于：
78.在检测到所述声音信息中存在尖叫声的情况下，若所述尖叫声的声源方向和人体所在方向一致，则确定所述监控信息中存在第二危险事件；或者
79.在识别到所述声音信息中存在预设关键词的情况下，若所述预设关键词的声源方向和所述第二人体所在方向一致，则确定所述监控信息中存在第二危险事件。
80.在一个实施例中，所述识别模块具体用于：
81.识别图像信息中是否存在人体；
82.在所述图像信息中存在人体的情况下，识别所述人体是否有人体持有危险物体；所述危险物体包括第一危险物体和/或第二危险物体；所述第一危险物体包括刀具、棍状物
体、板块状物体；第二危险物体为射击类物体；
83.在所述人体中有人体持有危险物体且所述危险物体为第一危险物体的情况下，若所述第一危险物体的位置离其他人体的距离小于预设距离的情况下，确定所述监控信息中存在第三危险事件；或者
84.在所述人体中有人体持有危险物体且所述危险物体为第二危险物体的情况下，若所述第二危险物体与其他人体在同一直线上的情况下，确定所述监控信息中存在第三危险事件。
85.在一个实施例中，所述识别模块具体用于：
86.识别所述图像信息中是否存在人体；
87.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
88.对所述人群中的人体的手掌进行跟踪识别，若第一人体的手掌离开其他人体时，手掌处有物品，则确定所述监控信息中存在第四危险事件。
89.在一个实施例中，所述监控设备为安装在车上的设备或者安装在路侧的设备；所述装置包括辅助模块，用于：
90.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在车周围的设备，则根据车辆当时所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控；
91.或者
92.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在路侧的设备，则根据所述监控设备所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控。
93.在一个实施例中，还包括第一发送模块，用于：
94.在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息对应的位置信息，并将所述报示信息对应的控制指令发送至所述位置信息对应的路侧设备，以使所述路侧设备根据所述控制指令输出所述报示信息对应的警示消息。
95.在一个实施例中，所述装置还包括：
96.第二发送模块，用于在确定所述监控信息中存在危险事件的情况下，将所述人脸图像和所述报示信息发送至危险事件处理系统；和/或，
97.第三发送模块，用于在确定所述监控信息中存在危险事件的情况下，将所述危险事件的监控信息发送至危险事件处理系统；和/或，
98.保存模块，用于在确定所述监控信息中存在危险事件的情况下，保存所述危险事件的监控信息，并标注所述危险事件的种类。
99.根据本公开实施例的第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面所述的方法。
100.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
101.根据上述实施例可知，通过获取监控设备采集的包括图像信息的监控信息，可以
对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，最后在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。由于监控信息包括图像信息，因此可以准确、便捷的识别监控信息中是否存在危险事件，并且还可以在监控信息中存在危险事件时生成报示信息，还可以获取危险事件的监控信息中涉及的人脸图像，因此可以准确、及时的发现监控信息对应的区域内的危险事件并报示，还能够通过获取人脸图像而及时确定危险事件中的参与人员，从而便于对上述区域内的危险事件采取有效措施进行防护和制止，减少损失，降低负面影响。
102.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
103.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
104.图1是本公开一实施例示出的危险事件检测方法的流程图；
105.图2是本公开一实施例示出的识别第一危险事件的流程图；
106.图3是本公开一实施例示出的识别第二危险事件的流程图；
107.图4是本公开一实施例示出的监控设备安装在车上的场景下的危险事件检测方法的完整流程图；
108.图5是本公开实施例示出的危险事件检测装置的结构示意图；
109.图6是本公开实施例示出的电子设备的结构示意图。
具体实施方式
110.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
111.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
112.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
113.第一方面，本公开至少一个实施例提供了一种危险事件检测方法，请参照附图1，其示出了该方法的流程，包括步骤s101至步骤s103。
114.其中，该方法用于对监控区域内的行为进行检测，即检测监控区域内是否存在危险事件。危险事件的种类可以根据需要提前进行设置，可以为一个，也可以为多个，示例性
的，危险事件可以包括第一危险事件(即第一事件)、第二危险事件(即第二事件)、第三危险事件(即第三事件)和第四危险事件(即第四事件)。
115.另外，该方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，pda)手持设备、计算设备、车载设备、可穿戴设备等，该方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可以通过服务器执行该方法，服务器可以为本地服务器、云端服务器等，例如智慧城市管理服务器，或者车辆运营平台服务器等。
116.在步骤s101中，获取监控设备采集的监控信息，其中，所述监控信息包括图像信息。
117.其中，监控设备可以为安装在车上的设备(移动监控设备)或者安装在路侧的设备(固定监控设备)。监控设备可以预先与执行该危险事件检测方法的终端或服务器建立通信连接关系，从而便于终端或服务器获取其采集的监控信息。对于本技术所述的监控信息，设备不私自存储非危险事件中公众的个人信息，如人脸信息、声纹信息等。在一个可能的实施例中，监控设备为安装在车上的设备，则车辆运营平台相关的车辆预先接入了该平台，因此车辆与该平台预先建立了通信连接关系，从而平台和车辆间可以进行通信，例如平台向车辆下发任务、指令等，车辆向平台上传数据、状态等。在另一个可能的实施例中，监控设备为安装在路侧的设备，智慧城市管理平台预先与管理区域内的监控设备建立通信连接，从而能够获取管理区域内的监控设备采集的监控信息。
118.监控设备可以为采集图像、视频数据的摄像头(即监控信息为图像和/ 或视频)，也可以为采集点云数据的激光雷达(即监控信息为)，还可以为采集音频的麦克风。监控设备采集的监控信息可以实时发送至执行该检测方法的终端或服务器，也可以按一定频率发送至执行该检测方法的终端或服务器。示例性的，车辆可以通过车载终端对监控设备采集的监控信息进行上传，车载终端可以为车辆域控制器、车载tbox、车载obu等具备网络通信的设备；车载终端可以采用mqtt、ftp、smtp、http、tcp等协议对监控信息进行上传。
119.另外，监控信息还可以包括位置信息和时间戳。可选的，监控信息可以分为若干帧数据，每个帧数据具备对应的位置信息和时间戳，例如，视频的每一个图像帧均具有对应的位置信息和时间戳。例如，固定监控信息的位置信息为安装在路侧的设备的位置信息，移动监控信息的位置信息为安装在车来上的设备采集对应的帧数据时的位置信息。
120.在步骤s102中，对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件。
121.其中，事件识别具体可以是通过物体检测、物体跟踪、人体检测、人脸识别、人体行为识别、人声检测、语音识别、语义识别、声纹识别、声源定位等技术的结合来实现的。
122.而对于危险事件，同样可以是通过物体检测、物体跟踪、人体检测、人脸识别、人体行为识别、人声检测、语音识别、语义识别、声纹识别、声源定位等技术的结合来实现。具体地，可以准备各类危险事件的监控信息，并对监控信息的危险事件种类进行标签标注，从而形成训练数据组成的训练集，进而使用训练集中的训练数据训练神经网络，使神经网络具有危险事件识别的动能，例如能够识别监控信息中是否存在危险事件，以及存在的危险事件的类别。因此可以先将所述监控信息输入神经网络模型中进行识别处理，所述神经网络
模型输出识别结果，其中，所述神经网络用于危险事件识别，所述识别结果包括所述监控信息中存在危险行为或不存在危险行为，以及所存在的危险行为的类别；然后根据所述神经网络模型输出的所述识别结果，确定所述监控信息内是否存在危险事件。
123.神经网络模型在对被监控对象进行行为状态的识别时，可以识别被监控对象的数量、移动速度、表情、手部动作、音频等，进而根据识别结果确定被监控对象是否具有危险事件。
124.可以理解的是，该危险事件检测方法所针对的危险事件的类别可以为一个，也可以为多个。以第一危险事件、第二危险事件、第三危险事件和第四危险事件四种危险事件类别为例来说，各种类型的危险事件所具有特征不尽相同，因此同一个神经网络模型难以识别多种类型的危险事件，或者说每种神经网络仅能够识别一种类型的危险事件。
125.因此在训练神经网络模型时，可以分别准备各种类型的危险事件对应的训练集，并分别针对性的训练能够识别各种类型的危险事件的专用神经网络模型。从而可以先将所述监控信息输入至少一个神经网络模型中，每个所述神经网络模型输出识别结果，其中，每个所述神经网络用于识别一种类型的危险事件，所述识别结果包括所述监控信息中存在对应类型的危险事件或不存在对应类型的危险事件；然后再根据每个所述神经网络模型输出的所述识别结果，确定所述监控信息中是否存在危险事件。例如，若每个神经网络模型所输出的识别结果均为不存在对应类型的危险事件，则监控信息中不存在任何危险事件；若至少一个神经网络模型所输出的识别结果为存在对应类型的危险事件，则监控信息中存在危险事件，并且标注至少一个危险事件的类型。
126.在一个可能的实施例中，采用训练集中的训练数据对神经网络模型进行训练时，可以采用训练数据的每个帧数据对神经网络进行训练。因此将监控信息输入神经网络模型中进行识别时，可以依次抽取监控信息中的每个帧数据，并将每个帧数据输入至神经网络模型中，神经网络模型输出每个帧数据的识别结果。例如，可以依次抽取监控视频中的每个帧图像，并将每个帧图像输入至神经网络模型中，神经网络模型输出每个帧图像的识别结果，即每个帧图像内是否存在危险事件。
127.在步骤s103中，在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。
128.其中，可以人脸识别技术从监控信息中确定所述监控信息中的人脸图像，并且可以进一步采用人脸分割技术将人脸图像进行分割，得到人脸图像。
129.其中，报示信息为报警提示信息，报示信息用于提示监控信息中存在危险事件。报示信息可以为声音形式、文本形式等，例如可以在执行该危险事件检测方法的终端或服务器的扬声器中播放报警蜂鸣声，或者“出现危险事件”等音频；再例如可以在执行该危险事件检测方法的终端或服务器的显示器上显示“出现危险事件”等文本，若监控信息为图像信息，还可以在显示屏上显示该图像信息。
130.若监控信息包括位置信息，则可以获取危险事件的监控信息对应的位置信息，并在报示信息中增加该位置信息，例如在扬声器播放音频时，可以播放“某区域出现危险事件”等音频，再例如在显示“出现危险事件”等文本时，可以显示“某区域出现危险事件”等文本，上述提到的某区域就是与位置信息相匹配的区域。
131.另外，在生成报示信息后，还可以保存所述危险事件的监控信息，并标注所述危险
事件的种类，从而避免执行该方法的终端或服务器进行数据清理时将该危险事件的监控信息删除。例如，执行该方法的终端或服务器每周日将本周的监控信息全部删除，以避免存储空间占用，则此时可以将危险事件的监控信息保存至永久保存的区域内，从而不会在周日被删除。
132.在一个可能的实施例中，在确定所述监控信息中存在危险事件的情况下，还可以将所述人脸图像和所述报示信息发送至危险事件处理系统。从而便于危险事件处理系统及时对危险事件进行处理，以避免发生危险或产生较大负面影响。
133.在另一个可能的实施例中，在确定所述监控信息中存在危险事件的情况下，还可以将所述危险事件的监控信息发送至危险事件处理系统。从而可以是危险事件处理系统再次对该监控信息进行核实，进一步确定是否存在危险事件，从而提高危险事件处理的准确性，避免识别错误造成人力物力的浪费。
134.在又一个可能的实施例中，在确定所述监控信息中存在危险事件的情况下，还可以将所述报示信息、危险事件所涉及的人脸图像、所述危险事件的监控信息、以及所述危险事件的监控信息对应的位置信息发送至危险事件处理系统。
135.上述多个实施例中所提到的危险事件处理系统可以为城市管理系统、等，即负责对危险事件采取有效措施的城市管理部门的管理系统。城市管理部门在收到所述报示信息、所述危险事件的监控信息、以及所述危险事件的监控信息对应的位置信息中的至少一项后，可以采用有效措施，对危险事件进行防护和制止，从而提高了危险事件的处理效率。
136.根据上述实施例可知，通过获取监控设备采集的包括图像信息的监控信息，可以对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，最后在确定所述监控信息中危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。由于监控信息包括图像信息，因此可以准确、便捷的识别监控信息中是否存在危险事件，并且还可以在监控信息中存在危险事件时生成报示信息，还可以获取危险事件的监控信息中涉及的人脸图像，因此可以准确、及时的发现监控信息对应的区域内的危险事件并报示，还能够通过获取人脸图像而及时确定危险事件中的参与人员，从而便于对上述区域内的危险事件采取有效措施进行防护和制止，减少损失，降低负面影响。
137.本公开的一些实施例中，在危险事件包括第一危险事件的情况下，可以按照如图2所示的下述方式对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，即确定监控信息中是否存在第一危险事件，包括步骤s201至步骤s204。
138.在步骤s201中，识别所述图像信息中是否存在人体。
139.本步骤中，可以采用人体识别技术对图像信息中的各个物体进行识别，以确定每个物体是否为人体，最后确定哪个或哪几个物体是人体。
140.在步骤s202中，在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于二。
141.本步骤中，若步骤s201中识别得到多个人体，则可以分别计算每个人体与其他各个人体之间的距离，然后确定每个人体的预设距离范围内的其他人体，并将该人体与其预设距离范围内的其他人体确定为人群。若每个人体的预设距离范围内均无其他人体，则图像信息中不存在相互距离小于预设距离的人群；若图像信息中存在多个人群，则将存在相同人体的不同人群合并。其中，预设距离可以较小，例如接近0的某个距离值。
142.在步骤s203中，跟踪所述人群中人体间的距离变化，确定人体间的距离是否在预设时长内保持在预设变化幅度内。
143.其中，可以采用人体检测技术检测人体的移动，同时也可以采用跟踪技术，来跟踪已识别到的人体的位置变化，从而实现距离变化的实时跟踪。
144.其中，预设时长可以预先设置。每个监控设备的监控时长可能存在差异，因此不同的监控设备对应的预设时长可以不同，也可以相同。以安装在车周围的监控设备为例，车在运动过程中，监控设备对某一区域的总监控时长是有限的，因此预设时长可以指总监控时长内的一定比例的时长。
145.预设变化幅度可以预先设置，保持在预设变化幅度内可以用于表征不同人体处于可接触的距离内。示例性的，将预设变化幅度设置为固定值，或者设置为两个相关人体的身高之和。
146.在步骤s204中，若人体间的距离在预设时长内保持在预设变化幅度内，且所述人体中有人体的拳头或者脚掌迅速移动向其他人体至少一次(条件1)，则确定所述监控信息中存在第一危险事件。
147.其中，可采用人体行为识别技术来确定拳头或者脚掌是否向其他人体移动，例如可以识别到人体的拳头或者脚掌的关键点，并根据关键点的位置变化与其他人体的关系来确定拳头或者脚掌是否向其他人体移动。
148.可以在检测拳头关键点或者脚掌关键点移动情况的基础上，根据移动距离和时间进一步检测拳头关键点或者脚掌关键点的移动速度，当移动速度大于预设速度阈值时，确定人体中有人体的拳头或者脚掌迅速移动。预设速度阈值可以根据人通常的摆手、走路的速度来设定，即该阈值大于摆手、走路速度一定比例，例如可以设置该阈值为1.5-2m/s中的某个值。
149.可以理解的是，还可以进一步增加确定监控信息中存在第一危险事件的条件，例如若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述人体的拳头处有物体(条件2)，则确定所述监控信息中存在第一危险事件。即在人体行为识别的基础上，采用物体检测技术确定人体的拳头处是否有物体。
150.可以理解的是，在监控信息包括声音信息的情况下，还可以进一步增加确定监控信息中存在第一危险事件的条件，例如若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述监控信息中的声音信息存在预设的特定关键词(条件3)，则确定所述监控信息中存在第一危险事件。即在人体行为识别的基础上，采用语音识别中的语义识别技术等来确定声音细细中是否存在预设的特定关键词，特定关键词可以为恶意的、容易引起对方心理不舒适的词等。进一步的，还可以对该条件进行缩小，即若人体间的距离在预设时长内保持在预设变化幅度内，且确定含有特定关键词的语音方向与所述人体或者所述拳头所在的方向一致(条件3’)，则确定所述监控信息中存在第一危险事件，其中，确定特定关键词的语音方向可以采用声源定位技术进行实现。
151.本实施例中，通过确定图像信息中的人群并跟踪人群中人体间的距离变化，从而可以在人体间的距离在预设时长内保持在预设变化幅度内，且满足条件1、条件2、条件3(或条件3’)中的至少一个的情况下，确定监控信息中存在第一危险事件，条件严格且维度多样，识别结果准确。
152.本公开的一些实施例中，在危险事件包括第二危险事件的情况下，可以按照如图3所示的下述方式对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，即确定监控信息中是否存在第二危险事件，包括步骤s301至步骤s303。
153.在步骤s301中，识别图像信息中是否存在人体。
154.在步骤s302中，在所述图像信息中存在人体的情况下，跟踪人体间的距离变化。
155.在步骤s303中，当存在第一人体迅速移动至第二人体，并迅速离开或者停留预设时长后离开第二人体，且第二人体位置保持不变或者迅速向第一人体的方向移动，则确定所述监控信息中存在第二危险事件(条件4)。
156.其中，步骤s301至步骤s302可以按照上述实施例中步骤s201至步骤 s203中提到的检测、跟踪方法执行。
157.其中，步骤s303中第一人体迅速移动至第二人体可以根据移动速度与预设速度阈值的关系来确定，即移动速度大于预设速度阈值时确定为迅速移动；第一人体迅速离开第二人体可以根据第一人体的停留时间与预设时间阈值的关系来确定，即停留时间大于预设时间阈值时确定为迅速离开；第二人体迅速向第一人体的方向移动也可以根据第二人体的移动速度与预设速度阈值的关系来确定，即移动速度大于预设速度阈值时确定为迅速移动。
158.可以理解的是，还可以进一步增加确定监控信息中存在第二危险事件的条件，例如若识别到第一人体的手臂和第二人体的手臂在一条直线上，或者第一人体的手臂和第二人体的手臂同在一条直线上并持续预设时长，或者第一人体的手臂伸直，且其手掌和第二人体重合，则确定所述监控信息中存在第二危险事件(条件5)。其中，可以通过人体行为识别技术来确定第一人体和第二人体是否满足上述条件，例如分别检测第一人体和第二人体的手臂关键点(例如肩关键点、肘关键点、手腕关键点)，然后第一人体的手臂关键点拟合得到的直线与第二人体的手臂关键点拟合得到的直线间的角度在预设误差角度范围内，则可将第一人体的手臂和第二人体的手臂确定为在一条直线上。进而，第一人体的手臂关键点能够拟合得到直线，并且该直线与第二人体相交则可确定第一人体的手臂伸直且其手掌和第二人体重合。
159.可以理解的是，还可以进一步增加确定监控信息中存在第二危险事件的条件，例如若在识别到第一人体的手掌和第二人体手掌之间有物体，或者第一人体在离开第二人体之后，第一人体的手掌处有物体，则确定所述监控信息中存在第二危险事件(条件6)。可以通过人体行为识别技术和物体检测技术来确定第一人体和第二人体是否满足上述条件，例如分别检测第一人体的手掌关键点和第二人体的手掌关键点，同时检测第一人体的手掌关键点和第二人体的手掌关键点之间是否存在物品，若存在则可以确定为识别到第一人体的手掌和第二人体的手掌之间有物体；同样的，可以检测第一人体的手掌关键点附近是否存在物品且该物品是否随手掌关键点移动，若检测到手掌关键点附近存在随手掌关键点同步移动的物品，则可以确定第一人体的手掌处有物体。
160.可以理解的是，还可以进一步增加确定监控信息中存在第二危险事件的条件，例如在检测到所述声音信息中存在尖叫声的情况下，确定所述监控信息中存在第二危险事件(条件7)。其中，可以预先设置尖叫声的声音频率阈值和声音响度阈值，若检测到频率大于该声音频率阈值，和/或，检测到响度大于该声音响度阈值，则可以确定检测到了尖叫声。进
一步的，还可以对该条件进行缩小，即在检测到所述声音信息中存在尖叫声的情况下，若所述尖叫声的声源方向和人体所在方向一致，则确定所述监控信息中存在第二危险事件(条件7’)。其中，确定尖叫声的声源方向可以采用声源定位技术进行实现。
161.可以理解的是，还可以进一步增加确定监控信息中存在第二危险事件的条件，例如在识别到所述声音信息中存在预设关键词的情况下，则确定所述监控信息中存在第二危险事件(条件8)。其中，预设关键词可以为第二危险事件中容易出现的词，例如“别拿我东西”、“还给我”等，可以通过语义识别技术来确定声音信息中是否存在预设关键词。进一步的，还可以对该条件进行缩小，即在识别到所述声音信息中存在预设关键词的情况下，若所述预设关键词的声源方向和所述第二人体所在方向一致，则确定所述监控信息中存在第二危险事件(条件8’)。其中，确定预设关键词的声源方向可以采用声源定位技术进行实现。
162.本实施例中，通过确定图像信息中的人体并跟踪人体间的距离变化，从而可以在满足条件4、条件5、条件6、条件7(或条件7’)、条件8(或条件8’)中的至少一个的情况下，确定监控信息中存在第二危险事件，条件严格且维度多样，识别结果准确。
163.本公开的一些实施例中，在危险事件包括第三危险事件的情况下，可以按照下述方式对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，即确定监控信息中是否存在第三危险事件：
164.首先，识别图像信息中是否存在人体。该步骤可以按照步骤s201中提到的检测方法执行。
165.然后，在所述图像信息中存在人体的情况下，识别所述人体是否有人体持有危险物体，所述危险物体包括第一危险物体和/或第二危险物体，所述第一危险物体包括刀具、棍状物体、板块状物体；第二危险物体为射击类物体。该步骤可以采用人体行为识别技术、物体检测技术和物体识别技术来确定人体是否持有危险物体，例如可以检测人体的手掌关键点，并进一步检测手掌关键点附近是否存在危险物体，以及确定危险物体是否随手掌关键点同步移动，若手掌关键点附近存在随其同步移动的危险物体，则确定人体持有危险物体。
166.接下来，在所述人体中有人体持有危险物体且所述危险物体为第一危险物体的情况下，若所述第一危险物体的位置离其他人体的距离小于预设距离的情况下，确定所述监控信息中存在第三危险事件；或者在所述人体中有人体持有危险物体且所述危险物体为第二危险物体的情况下，若所述第二危险物体与其他人体在同一直线上的情况下，确定所述监控信息中存在第三危险事件。该步骤可以根据人体检测结果中各个人体的位置来确定第一危险物体的位置与其他人的距离；该步骤可以根据第二危险物体与其他人体的连线，以及第二危险物体的朝向来确定第二危险物体是否与其他人体在同一直线上。
167.本实施例中，通过检测人体是否持有危险物体，并进一步根据危险物体的种类选择不同的判别条件，进而利用判别条件来判断是否满足第三危险事件的条件，从而可以准确的确定是否存在第三危险事件。
168.本公开的一些实施例中，在危险事件包括第四危险事件的情况下，可以按照下述方式对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件，即确定监控信息中是否存在第四危险事件：
169.首先，识别所述图像信息中是否存在人体。
170.接下来，在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于二。
171.上述两个步骤可以按照上述实施例中步骤s201至步骤s203中提到的检测、跟踪方法执行。
172.最后，对所述人群中的人体的手掌进行跟踪识别，若第一人体的手掌离开其他人体时，手掌处有物品，则确定所述监控信息中存在第四危险事件。该步骤可以使用人体行为识别技术、物体检测技术、物体识别技术等来实现。
173.本实施例中，通过识别并跟踪图像信息中的人体，同时对重点人体的手掌中是否有物品进行识别，从而可以根据第四危险事件的特点来准确的识别监控信息中是否存在第四危险事件，可靠性强。
174.本公开的一些实施例中，在对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件时，若所述识别结果为存在危险事件，则可以按照下述方式对该危险事件进行辅助监控：
175.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在车周围的设备，则根据车辆当时所在的位置(例如危险事件的监控信息中的位置信息)，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控；或者，
176.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在路侧的设备，则根据所述监控设备所在的位置(例如危险事件的监控信息中的位置信息)，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控。
177.本实施例中通过辅助监控，能够进一步校验危险事件的识别结果，而且还可以进一步跟踪危险事件的进展，从而为处理该危险事件提供更加准确和详细的数据。
178.本公开的一些实施例中，路侧还安装有麦克风、扬声器、显示屏等。因此，可以在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息对应的位置信息，并将所述报示信息对应的控制指令发送至所述位置信息对应的路侧设备，以使所述路侧设备根据所述控制指令输出所述报示信息对应的警示信息。
179.其中，输出的警示信息可以预先制作的音频、视频、图像等。例如播放用于制止危险事件(危险行为)的警告音频。从而可以在第一时间及时的制止危险行为，提高危险行为的处理效率，最大可能的降低损失，减少负面影响。
180.请参照附图4，其示例性的示出了本公开一个实施例所提供的危险事件检测方法的完整流程。从图4中可以看出，该方法开始后，上传安装在车辆上的监控设备采集的监控信息，然后执行该检测方法的平台获取到监控信息后，可以通过识别判断监控信息中是否存在危险事件，在识别结果为不存在危险事件的情况下，可以直接对监控信息进行数据存储，在识别结果为存在危险事件的情况下，可以生成报示信息，从而通知平台管理人员，并且发送报示信息至危险事件管理系统(例如、城市管理部门等)，从而使危险事件管理系统的工作人员能够及时采取有效措施，对危险事件进行防护和制止，以及向路侧设备下发控制指令，即与报示信息对应的控制指令，从而使路侧设备输出警示信息，例如输出与报示信息对应的警示音频，从而可以第一时间警示和制止危险事件，最大限度的降低损失，最后将监控信息进行数据存储，然后整个流程结束。
181.根据本公开实施例的第二方面，提供一种危险事件检测装置，请参照附图5，所述
装置包括：
182.获取模块501，用于获取监控设备采集的监控信息；所述监控信息包括图像信息；
183.识别模块502，用于对所述监控信息进行事件识别，确定所述监控信息中是否存在危险事件；
184.报示模块503，用于在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息中涉及的人脸图像，和/或生成报示信息。
185.在本公开的一些实施例中，所述危险事件包括第一危险事件、第二危险事件、第三危险事件或者第四危险事件。
186.在本公开的一些实施例中，所述识别模块具体用于：
187.识别所述图像信息中是否存在人体；
188.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
189.跟踪所述人群中人体间的距离变化，确定人体间的距离是否在预设时长内保持在预设变化幅度内；
190.若人体间的距离在预设时长内保持在预设变化幅度内，所述人体中有人体的拳头或者脚掌迅速移动向其他人体至少一次，则确定所述监控信息中存在第一危险事件。
191.在本公开的一些实施例中，所述识别模块还用于：
192.若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述人体的拳头处有物体，则确定所述监控信息中存在第一危险事件。
193.在本公开的一些实施例中，所述监控信息包括声音信息；所述识别模块还用于：
194.若人体间的距离在预设时长内保持在预设变化幅度内，且识别到所述监控信息中的声音信息存在预设的特定关键词，则确定所述监控信息中存在第一危险事件。
195.在本公开的一些实施例中，所述识别模块还用于：
196.若人体间的距离在预设时长内保持在预设变化幅度内，且确定含有特定关键词的语音方向与所述人体或者所述拳头所在的方向一致，则确定所述监控信息中存在第一危险事件。
197.在本公开的一些实施例中，所述识别模块具体用于：
198.识别图像信息中是否存在人体；
199.在所述图像信息中存在人体的情况下，跟踪人体间的距离变化；
200.当存在第一人体迅速移动至第二人体，并迅速离开或者停留预设时长后离开第二人体，且第二人体位置保持不变或者迅速向第一人体的方向移动，则确定所述监控信息中存在第二危险事件。
201.在本公开的一些实施例中，所述识别模块还用于：
202.若识别到第一人体的手臂和第二人体的手臂在一条直线上，或者第一人体的手臂和第二人体的手臂同在一条直线上并持续预设时长，或者第一人体的手臂伸直，且其手掌和第二人体重合，则确定所述监控信息中存在第二危险事件。
203.在本公开的一些实施例中，所述识别模块还用于：
204.若在识别到第一人体的手掌和第二人体手掌之间有物体，或者第一人体在离开第二人体之后，第一人体的手掌处有物体，则确定所述监控信息中存在第二危险事件。
205.在本公开的一些实施例中，所述监控信息包括声音信息；所述识别模块还用于：
206.在检测到所述声音信息中存在尖叫声的情况下，确定所述监控信息中存在第二危险事件。
207.在本公开的一些实施例中，所述监控信息包括声音信息；所述识别模块还用于：
208.在识别到所述声音信息中存在预设关键词的情况下，则确定所述监控信息中存在第二危险事件。
209.在本公开的一些实施例中，所述识别模块还用于：
210.在检测到所述声音信息中存在尖叫声的情况下，若所述尖叫声的声源方向和人体所在方向一致，则确定所述监控信息中存在第二危险事件；或者
211.在识别到所述声音信息中存在预设关键词的情况下，若所述预设关键词的声源方向和所述第二人体所在方向一致，则确定所述监控信息中存在第二危险事件。
212.在本公开的一些实施例中，所述识别模块具体用于：
213.识别图像信息中是否存在人体；
214.在所述图像信息中存在人体的情况下，识别所述人体是否有人体持有危险物体；所述危险物体包括第一危险物体和/或第二危险物体；所述第一危险物体包括刀具、棍状物体、板块状物体；第二危险物体为射击类物体；
215.在所述人体中有人体持有危险物体且所述危险物体为第一危险物体的情况下，若所述第一危险物体的位置离其他人体的距离小于预设距离的情况下，确定所述监控信息中存在第三危险事件；或者
216.在所述人体中有人体持有危险物体且所述危险物体为第二危险物体的情况下，若所述第二危险物体与其他人体在同一直线上的情况下，确定所述监控信息中存在第三危险事件。
217.在本公开的一些实施例中，所述识别模块具体用于：
218.识别所述图像信息中是否存在人体；
219.在所述图像信息中存在人体的情况下，确定相互距离小于预设距离的人群；所述人群的数量大于等于2；
220.对所述人群中的人体的手掌进行跟踪识别，若第一人体的手掌离开其他人体时，手掌处有物品，则确定所述监控信息中存在第四危险事件。
221.在本公开的一些实施例中，所述监控设备为安装在车上的设备或者安装在路侧的设备；所述装置包括辅助模块，用于：
222.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在车周围的设备，则根据车辆当时所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控；
223.或者
224.在确定所述监控信息中存在危险事件的情况下，若所述监控设备为安装在路侧的设备，则根据所述监控设备所在的位置，调动所述位置附近的至少一个监控设备对所述危险事件进行辅助监控。
225.在本公开的一些实施例中，还包括第一发送模块，用于：
226.在确定所述监控信息中存在危险事件的情况下，获取所述危险事件的监控信息对
应的位置信息，并将所述报示信息对应的控制指令发送至所述位置信息对应的路侧设备，以使所述路侧设备根据所述控制指令输出所述报示信息对应的警示消息。
227.在本公开的一些实施例中，所述装置还包括：
228.第二发送模块，用于在确定所述监控信息中存在危险事件的情况下，将所述人脸图像和所述报示信息发送至危险事件处理系统；和/或，
229.第三发送模块，用于在确定所述监控信息中存在危险事件的情况下，将所述危险事件的监控信息发送至危险事件处理系统；和/或，
230.保存模块，用于在确定所述监控信息中存在危险事件的情况下，保存所述危险事件的监控信息，并标注所述危险事件的种类。
231.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第三方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
232.第三方面，本公开至少一个实施例提供了一种设备，请参照附图6，其示出了该设备的结构，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面任一项所述的方法对图像进行处理。
233.第四方面，本公开至少一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面任一项所述的方法。
234.本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
235.在本公开中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
236.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
237.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。