一种检测电梯内烟火的方法及装置与流程

1.本发明属于电梯监控技术领域，具体地说，涉及一种检测电梯内烟火的方法及装置。


背景技术：

2.日常生活中电梯给人们日常生活带来方便的同时，也带来了诸多风险，日常生活中常见的轿厢式电梯中一旦发生火灾，则会因为空间狭小、疏散困难、着火后烟雾浓度大等问题，对人们生命带来严重威胁，现有技术中有的直接使用传统计算机视觉算法、有的使用深度学习提取图像高维特征进行分类，虽然这些技术也能对烟火进行检测，但是由于电梯轿厢内反光、亮度变化大等客观因素，仍然会存在检测精度较低、误差大等问题。
3.有鉴于此特提出本发明。


技术实现要素：

4.本发明要解决的技术问题在于克服现有技术的不足，提供一种能够提高检测检测精度，降低误检率的一种检测电梯内烟火的方法及装置。
5.为解决上述技术问题，本发明采用技术方案的基本构思是：
6.第一方面，本发明提供了一种检测电梯内烟火的方法，包括：
7.s1、获取电梯内的实时图像集；
8.s2、对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；
9.s3、对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，则确定所述电梯内存在烟火。
10.可选的，步骤s2包括：
11.s21、针对所述实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像；
12.s22、根据全部所述烟火图像生成所述只包含烟火区域的烟火图像集。
13.可选的，步骤s21包括；
14.s211、针对所述实时图像集中的每帧图像，将该帧图像输入至所述图像分割模型中，得到该帧图像中烟火区域的坐标信息；
15.s212、针对所述实时图像集中的每帧图像，根据所述坐标信息生成所述只包含烟火区域的烟火图像。
16.可选的，步骤s3包括：
17.s31、将所述烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到一次验证结果；基于上一次的验证结果，将所述烟火图像中的下一帧烟火图像输入至所述图像分类模型中，得到本次验证结果；所述下一帧烟火图像为所述烟火图像集中已经验证过的烟火图像之外的烟火图像。
18.可选的，所述下一帧烟火图像是根据预设排列顺序从所述烟火图像集中确定的。
19.可选的，步骤s3之后还包括：
20.s4、在确定所述电梯存在烟火时，生成烟火警报，以使电梯服务器在接收到所述烟火警报后控制所述电梯停靠到安全楼层。
21.第二方面，本发明提供了一种检测电梯内烟火的装置，包括：
22.获取模块，用于获取电梯内的实时图像集；
23.生成模块，对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；
24.确定模块，对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，则确定所述电梯内存在烟火。
25.可选的，所述可选的，所述生成模块包括：
26.第一生成单元，用于针对所述实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像；
27.第二生成单元，用于根据全部所述烟火图像生成所述只包含烟火区域的烟火图像集。
28.可选的，所述第一生成单元还包括：
29.第三生成单元，用于针对所述实时图像集中的每帧图像，将该帧图像输入至所述图像分割模型中，得到该帧图像中烟火区域的坐标信息；
30.第四生成单元，用于针对所述实时图像集中的每帧图像，根据所述坐标信息生成所述只包含烟火区域的烟火图像。
31.可选的，所述确定模块包括：
32.确定单元，用于将所述烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到一次验证结果；基于上一次的验证结果，将所述烟火图像中的下一帧烟火图像输入至所述图像分类模型中，得到本次验证结果；所述下一帧烟火图像为所述烟火图像集中已经验证过的烟火图像之外的烟火图像。
33.可选的，所述下一帧烟火图像是根据预设排列顺序从所述烟火图像集中确定的。
34.可选的，所述装置还包括：
35.处理模块，用于在确定所述电梯存在烟火时，生成烟火警报，以使服务器在接收到所述烟火警报后控制电梯停靠到安全楼层。
36.本发明实施例提供的检测电梯内烟火的方法，通过上述三个步骤，获取电梯内的实时图像集；对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；最后对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，才确定所述电梯内存在烟火，保证检测到的烟火是持续性的，避免了由于光线变化、轿厢内反光灯干扰因素，在依靠检测网络对单帧图像检测时出现误检的情况，进而提高了烟火检测的精度，降低了烟火检测的误报率。
37.下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
38.附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性
实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
39.图1是本发明实施例所提供的一种检测电梯内烟火的方法的流程示意图；
40.图2是本发明实施例所提供的一帧图像的示意图；
41.图3是本发明实施例所提供的一种检测电梯内烟火的装置的流程示意图。
42.图中：a、b、c分别为烟火区域的坐标信息；d为实时图像集中的一帧图像。
43.需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
44.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
45.在本发明的描述中，需要说明的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
46.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
47.第一方面，本发明实施例提供了一种检测电梯内烟火的方法，如图1所示，包括以下步骤：
48.s1、获取电梯内的实时图像集；
49.s2、对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；
50.s3、对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，则确定所述电梯内存在烟火。
51.在上述步骤s1中，实时图像集中的图像为彩色图像，实时图像集中的每帧图像中包含烟火区域和存在其他干扰背景的非烟火区域。
52.具体的，首先服务器获取摄像头采集的视频流，将视频流导出实时的rgb彩色图像，生成实时图像集。
53.在上述步骤s2中，具体的，对烟火图像集中的每帧图像依次进行处理，从上述全部图像中得到只包含烟火区域的烟火图像集。
54.例如，若烟火图像集中的包含n帧图像，则对这n帧图像依次进行处理，得到x张只包含烟火区域的烟火图像集。
55.在上述步骤s3中，烟火类别表示对烟火图像集中的每帧烟火图像验证后得出的验证结果。每一次的验证结果中包括用于表示烟火类别的第一数值或者用于表示非烟火类别
的第二数值。
56.具体的，对烟火图像集中的每帧烟火图像按照顺序依次验证，直至连续预设帧的图像的验证结果中都为用于表示烟火类别的第一数值时，则确定电梯内存在烟火，连续预设帧可以为连续5帧或者连续6帧，本发明不予以限制。
57.本发明实施例提供的检测电梯内烟火的方法，通过上述三个步骤，获取电梯内的实时图像集；对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；最后对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，才确定所述电梯内存在烟火，保证检测到的烟火是持续性的，避免了由于光线变化、轿厢内反光灯干扰因素，在依靠检测网络对单帧图像检测时出现误检的情况，进而提高了烟火检测的精度，降低了烟火检测的误报率。
58.为了更详细的了解对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集，步骤s2，包括：
59.步骤s21，针对所述实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像；
60.步骤s22，根据全部所述烟火图像生成所述只包含烟火区域的烟火图像集。
61.在上述步骤s21,针对实时图像集中的每帧图像，将每帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像。
62.其中图像分割模型是通过如下步骤训练得到的：
63.步骤1，获取图像训练样本集合，所述图像训练样本集合中包括至少一帧图像训练样本，所述图像训练样本集合中包括训练图像和训练图像中烟火区域的坐标信息；
64.步骤2，针对每一帧所述图像训练样本，将所述训练图像作为正样本输入至待训练的图像分割模型中，将带有烟火区域标签的训练图像作为负样本输入至图像分割模型中，对待训练的图像分割模型进行训练。
65.在上述步骤1和步骤2中，本发明还设置有一个数据库，该数据库储存用于训练图像分割模型的图像训练样本，多个图像训练样本共同组成一个图像训练样本集合，上述图像训练样本集合中通常包括至少200帧以上的图像训练样本，也可以为300帧，或者500帧等，本发明不予以限制。对待训练的图像分割模型进行训练时，将训练图像输入至待训练的图像分割模型中，待训练的图像分割模块会输出一个只包含烟火区域的坐标信息的识别结果，将该识别结果与训练图像中烟火区域的坐标信息进行比较，如果比较差距较大，则需要对待训练的图像分割模型进行调整，如果比较结果差距较小，则说明待训练的图像分割模型的训练精度越来越高，当该比较结果达到预设测试要求时，也就是差距小于一定阈值时，待训练的图像分割模型训练结束。如本发明中将测试精确度控制在95％以上，也就是当差距小于5％时，则待训练的图像分割模型训练结束。
66.在上述步骤s22中，具体的，将全部所述烟火图像作为只包含烟火区域的烟火图像集。
67.例如，当烟火图像为b帧时，那么这b帧烟火图像共同组成只包含烟火区域的烟火图像集。
68.为了更详细的了解针对所述实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像，步骤s21，包括:
69.s211、针对所述实时图像集中的每帧图像，将该帧图像输入至所述图像分割模型中，得到该帧图像中烟火区域的坐标信息；
70.s212、针对所述实时图像集中的每帧图像，根据所述坐标信息生成所述只包含烟火区域的烟火图像。
71.在上述步骤s211中，如图2所示，针对实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到该帧图像中烟火区域的坐标信息。
72.在上述步骤s212中，针对实时图像集中的每帧图像，根据所述坐标信息，对该帧图像的有背景干扰的非烟火区域进行分割，得到只包含烟火区域的烟火图像。
73.为了更详细的了解对所述烟火图像集中的烟火图像依次进行验证，步骤s3，包括：
74.s31,将所述烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到一次验证结果；基于上一次的验证结果，将所述烟火图像中的下一帧烟火图像输入至所述图像分类模型中，得到本次验证结果；所述下一帧烟火图像为所述烟火图像集中已经验证过的烟火图像之外的烟火图像。
75.具体的，将烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到第一次的验证结果；基于上一次的验证结果，将烟火图像集中的下一帧烟火图像输入至图像分类模型中，得到本次的验证结果。
76.例如，假如烟火图像集中有3帧烟火图像，将烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到第一次的验证结果，即，对该帧烟火图像进行验证是否为烟火类别，如果是烟火类别，则第一次的验证结果中为用于表示烟火类别的第一数值，如1,如果非烟火类别，则第一次的验证结果中为用于表示非烟火类别的第二数值，如0。基于第一次的验证结果，将烟火图像集中的第二帧烟火图像输入至图像分类模型中，得到第二帧烟火图像的验证结果，并根据第一次的验证结果以及第二帧烟火图像的验证结果得到本次的验证结果；然后在第二次验证结果的基础上，将烟火图像集中的第三帧烟火图像输入至图像分类模型中，得到第三帧烟火图像的验证结果，根据第二次的验证结果以及第三帧烟火图像的验证结果得到第三次的验证结果。并且在将烟火图像集中的每帧烟火图像输入至图像分类模型之后，图像分类模型中的骨干网络，对每帧烟火图像的轮廓、颜色、梯度信息、纹理信息等目标高维特征进行提取，为了有效地提高网络收敛速度以及精确度，本发明的骨干网络通常选取resnet50网络，也可以选取其他的网络，本发明不予以限制。。
77.图像分类模型具体是通过如下步骤训练得到的：
78.步骤3，获取烟火图像训练样本集合，所述烟火图像训练样本集合中包括至少一帧烟火图像训练样本，所述烟火图像训练样本集合中包括训练图像和训练图像的类别标签；
79.步骤4，针对每一帧所述烟火图像训练样本，将所述训练图像作为正样本输入至待训练的图像分类模型中，将训练图像的类比标签作为负样本输入至图像分类模型中，对待训练的图像分类模型进行训练。
80.在上述步骤3和步骤4中，本发明的数据库中还储存用于训练图像分类模型的烟火图像训练样本，多个烟火图像训练样本共同组成一个烟火图像训练样本集合，上述烟火图像训练样本集合中通常包括至少200帧以上的烟火图像训练样本，也可以为300帧，或者500帧等，本发明不予以限制。对待训练的图像分类模型进行训练时，将训练图像输入至待训练的图像分类模型中，待训练的图像分类模块会输出一个训练图像的类别标签的识别结果，
将该识别结果与训练图像的类别标签进行比较，如果比较差距较大，则需要对待训练的图像分类模型的参数进行调整，如果比较结果差距较小，则说明待训练的图像分类模型的训练精度越来越高，当该比较结果达到预设测试要求时，也就是差距小于一定阈值时，待训练的图像分类模型训练结束，最终获得最优的网络分类模型。
81.为了便于区分烟火图像集中的烟火图像，可以对每帧烟火图像进行加以区分，并且下一帧烟火图像是根据预设排列顺序从烟火图像集中确定的，预设排列顺序可以是按照每帧烟火图像的标号从小到大进行排序的，也可以是其他的排列顺序，本发明不予以限制。
82.在确定电梯内存在烟火时，本发明在对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，则确定所述电梯内存在烟火，步骤s3，之后还包括：
83.s4、在确定所述电梯存在烟火时，生成烟火警报，以使电梯服务器在接收到所述烟火警报后控制所述电梯停靠到安全楼层。
84.在上述步骤s4中，烟火警报用于通知工作人员和乘客在电梯内发生烟火时进行避难。
85.本发明中还设置有电梯服务器，所述电梯服务器还包括电梯控制单元，在确定电梯内存在烟火时，服务器生成烟火警报，服务器将所述烟火警报发送至所述电梯服务器，以使所述电梯服务器在接收到所述烟火警报后，生成停梯信号并将停梯信号发送至所述电梯控制单元，所述电梯控制单元接收到停梯信号后，控制电梯停靠到安全楼层以使服务器在接收到所述烟火警报后控制电梯停靠到安全楼层，以便于乘客及时逃离电梯，并且当物业安保人员和消防管理人员在接收到烟火警报时，也便于在第一时间对电梯火情进行处理。
86.本发明中将烟火检测算法集成到智能ai摄像头开发板中，不需要烟雾传感器、红外感应或者温度传感器等第三方设备参与，降低了硬件成本，并且本发明中的算法以及控制逻辑可直接在终端进行处理，放弃了云端处理步骤，可做到短期摆脱网络的依赖，还可以保证输出信息的实时性。
87.第二方面，本发明实施例提供了一种检测电梯内烟火的装置，如图3所示，包括:获取模块301、生成模块302、确定模块303：
88.获取模块301，用于获取电梯内的实时图像集；
89.生成模块302，对所述实时图像集中的图像依次进行处理，得到只包含烟火区域的烟火图像集；
90.确定模块303，对所述烟火图像集中的烟火图像依次进行验证，直至连续预设次数的验证结果中都为用于表示烟火类别的第一数值时，则确定所述电梯内存在烟火。
91.可选的，所述可选的，所述生成模块包括：
92.第一生成单元，用于针对所述实时图像集中的每帧图像，将该帧图像输入至图像分割模型中，得到只包含烟火区域的烟火图像；
93.第二生成单元，用于根据全部所述烟火图像生成所述只包含烟火区域的烟火图像集。
94.可选的，所述第一生成单元还包括：
95.第三生成单元，用于针对所述实时图像集中的每帧图像，将该帧图像输入至所述图像分割模型中，得到该帧图像中烟火区域的坐标信息；
96.第四生成单元，用于针对所述实时图像集中的每帧图像，根据所述坐标信息生成所述只包含烟火区域的烟火图像。
97.可选的，所述确定模块包括：
98.确定单元，用于将所述烟火图像集中的第一帧烟火图像输入至图像分类模型中，得到一次验证结果；基于上一次的验证结果，将所述烟火图像中的下一帧烟火图像输入至所述图像分类模型中，得到本次验证结果；所述下一帧烟火图像为所述烟火图像集中已经验证过的烟火图像之外的烟火图像。
99.可选的，所述下一帧烟火图像是根据预设排列顺序从所述烟火图像集中确定的。
100.可选的，所述装置还包括：
101.处理模块，用于在确定所述电梯存在烟火时，生成烟火警报，以使电梯服务器在接收到所述烟火警报后控制所述电梯停靠到安全楼层。
102.以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，上述实施例中的实施方案也可以进一步组合或者替换，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。