一种火灾预警方法、装置、设备及可读存储介质与流程

1.本发明涉及火灾检测技术领域，具体而言，涉及一种火灾预警方法、装置、设备及可读存储介质。


背景技术：

2.随着我国经济建设的发展，各种现代化楼宇对火灾预警和自动灭火系统提出了更高的要求。大型宾馆、酒店、商场、图书馆、博物馆、档案馆和办公楼等均需要设置完善的消防系统，有效保障人民的生命财产安全。目前，火灾预警系统主要通过探测器和控制器实现信号传送，该系统可通过各种模块对各联动设备实行火灾监测，但是该种监测方式的误差大、及时性差、漏报率高，因此急需研究出一种准确率高、误报率低的火灾预警方法或装置。


技术实现要素：

3.本发明的目的在于提供一种火灾预警方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：第一方面，本技术提供了一种火灾预警方法，包括：采集多个连续时刻的火焰图像和与火焰图像相关的多组环境样本参数；获取每张火焰图像中的物体信息和火焰信息；由多组连续时刻的物体信息、所述火焰信息和所述环境样本参数构建训练集和测试集；搭建神经网络模型，利用所述训练集和测试集对所述神经网络模型进行训练和测试，得到火焰预测模型；获取待预测火焰图像和待预测火焰图像的环境样本参数，将所述待预测火焰图像的物体信息和火焰信息、环境样本参数输入所述火焰预测模型中得到预测的物体信息和火焰信息；利用预测的物体信息和火焰信息计算总燃烧指数，基于所述总燃烧指数判断得到火灾预警等级。
4.进一步地，所述采集多个连续时刻的火焰图像和与火焰图像相关的多组环境样本参数，具体包括：采集火焰发展的周期内若干个时刻的火焰图像，由所述若干个火焰图像构成一个火焰图像集；监测所述火焰图像采集的过程中场景的环境特征变化，以获得与火焰图像对应时刻的环境样本参数，所述环境样本参数包括烟雾含量、氧气含量、二氧化碳含量、湿度、温度、压强和光强。
5.进一步地，所述获取每张火焰图像的物体信息和火焰信息，具体包括：二值化处理火焰图像以获得二值图像；对所述二值图像中进行火焰边缘检测，确定火焰轮廓点，得到火焰信息；
对所述二值图像中进行物体边缘检测，确定物体轮廓点；将所述二值图像中的物体轮廓点迁移至火焰图像中，基于图像识别模型对火焰图像中的物体进行识别，以获得物体属性信息；由所述物体轮廓点和物体属性信息组成物体信息。
6.进一步地，所述由多组连续时刻的物体信息、所述火焰信息和所述环境样本参数构建训练集和测试集，具体包括：获取多组连续时刻的物体信息、火焰信息和环境样本参数；将上一时刻的物体信息、火焰信息和环境样本参数作为输入特征标签，下一时刻的物体信息、火焰信息作为输出特征标签构建数据样本；选取80%的数据样本作为训练集，20%的数据样本作为测试集。
7.进一步地，所述利用预测的物体信息和火焰信息计算总燃烧指数，具体包括：获取预测的物体信息中的物体轮廓点、物体属性信息和火焰信息中的火焰轮廓点；基于所述物体轮廓点和所述火焰轮廓点确定物体与火焰的位置关系；依次计算火焰轮廓点与物体轮廓点的距离和火焰的面积；基于所述距离、所述位置关系、所述火焰的面积和所述物体属性信息计算得到所述物体的燃烧指数；将所有物体的燃烧指数累加得到总燃烧指数。
8.第二方面，本技术还提供了一种火灾预警装置，包括：数据采集模块：用于采集多个连续时刻的火焰图像和与火焰图像相关的多组环境样本参数；数据获取模块：用于获取每张火焰图像中的物体信息和火焰信息；参数构建模块：用于由多组连续时刻的物体信息、所述火焰信息和所述环境样本参数构建训练集和测试集；训练模块：用于搭建神经网络模型，利用所述训练集和测试集对所述神经网络模型进行训练和测试，得到火焰预测模型；预测模块：用于获取待预测火焰图像和待预测火焰图像的环境样本参数，将所述待预测火焰图像的物体信息和火焰信息、环境样本参数输入所述火焰预测模型中得到预测的物体信息和火焰信息；判断模块：用于利用预测的物体信息和火焰信息计算总燃烧指数，基于所述总燃烧指数判断得到火灾预警等级。
9.进一步地，所述数据获取模块包括：图像处理单元：用于二值化处理火焰图像以获得二值图像；第一检测单元：用于对所述二值图像中进行火焰边缘检测，确定火焰轮廓点，得到火焰信息；第二检测单元：用于对所述二值图像中进行物体边缘检测，确定物体轮廓点；识别单元：用于将所述二值图像中的物体轮廓点迁移至火焰图像中，基于图像识别模型对火焰图像中的物体进行识别，以获得物体属性信息；数据构建单元：用于由所述物体轮廓点和物体属性信息组成物体信息。
10.进一步地，所述判断模块包括：获取单元：用于获取预测的物体信息中的物体轮廓点、物体属性信息和火焰信息中的火焰轮廓点；位置确定单元：用于基于所述物体轮廓点和所述火焰轮廓点确定物体与火焰的位置关系；第一计算单元：用于依次计算火焰轮廓点与物体轮廓点的距离和火焰的面积；第二计算单元：用于基于所述距离、所述位置关系、所述火焰的面积和所述物体属性信息计算得到所述物体的燃烧指数；第三计算单元：用于将所有物体的燃烧指数累加得到总燃烧指数。
11.第三方面，本技术还提供了一种火灾预警设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述火灾预警方法的步骤。
12.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于火灾预警方法的步骤。
13.本发明的有益效果为：本发明通过采集多种场景下的火焰图像集，提取将多种场景下火焰发展周期内的火焰信息和场景中的物体信息。同时，建立一个火灾预警模型，利用多种场景下的火焰信息和物体信息训练火灾预警模型，使该模型能根据当前状态下的火焰信息和物体信息预测出火焰将要发展出的状态，从而实现了准确的火灾预测和火灾预警，为消防系统提供了可靠的保障。
14.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1为本发明实施例中所述的火灾预警方法流程示意图；图2为本发明实施例中火焰轮廓点和物体轮廓点的示意图；图3为本发明实施例中所述的火灾预警装置结构示意图；图4为本发明实施例中所述的火灾预警设备结构示意图。
17.图中标记：01、数据采集模块；02、数据获取模块；021、图像处理单元；022、第一检测单元；023、第二检测单元；024、识别单元；025、数据构建单元；03、参数构建模块；04、训练模块；05、预测模块；06、判断模块；061、获取单元；062、位置确定单元；063、第一计算单元；064、第二计算单元；065、第三计算单元；800、火灾预警设备；801、处理器；802、存储器；803、多媒体组件；804、i/o接口；
805、通信组件。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和表示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
20.实施例1：本实施例提供了一种火灾预警方法。
21.参见图1，图中示出了本方法包括：s1.采集多个连续时刻的火焰图像和与火焰图像相关的多组环境样本参数；本实施例中，一个火焰图像集表示一个场景下的火焰发展状态图，优选地，采集的火焰图像集应该包括需要预测的所有的场景，需要说明的是，本实施例的使用场景主要为市内。火焰图像集选取的越多，火焰预测模型学习的场景越多，预测越准确。每个场景中空间大小不同、包含不同的物体不同、物体的摆放方式不同、空间占据面积不同。
22.在每个场景中安装图像采集装置，可以为监控摄像头，实时监测场景中的物体变化。同时场景中应该包含环境监测装置，实时测量场景中的烟雾含量、氧气含量、二氧化碳含量、湿度、温度、压强和光强等环境样本参数。
23.具体的，所述步骤s1包括：s11.采集火焰发展的周期内若干个时刻的火焰图像，由所述若干个火焰图像构成一个火焰图像集，具体的，在预设时间段内采集火焰图像，优选的，令预设时间段为0.5s，每间隔0.5s采集火焰图像，从火焰燃烧开始到燃烧结束，由火焰的整个发展周期的所有火焰图像构成一个火焰图像集；s12.监测所述火焰图像采集的过程中场景的环境特征变化，以获得与火焰图像对应时刻的环境样本参数，所述环境样本参数包括烟雾含量、氧气含量、二氧化碳含量、湿度、温度、压强和光强，将所述环境样本参数表示为数组[p2o5，o2，co2，h，t，p，r]。
[0024]
本实施例中，由于火焰在每个燃烧阶段环境样本均不相同，因此每采集一张火焰图像应该获取一组与所述火焰图像采集时间对应的环境样本参数；s2.获取每张火焰图像中的物体信息和火焰信息；具体的，所述步骤s2包括：s21.二值化处理火焰图像以获得二值图像，具体的，获取彩色的火焰图像i0，对图像i0进行灰度处理，得到图像i1，增强图像i1的对比
度得到图像i2，对所述图像i2进行二值化运算得到二值图i3；s22.对所述二值图i3进行火焰边缘检测，确定火焰轮廓点，得到火焰信息；具体的，通过canny算子进行对二值图i3进行边缘检测，得到两个大小相同的边缘点组成的二值图像roi0和roi1，roi0为分割出的像素点组成的图像边缘检测图，roi1为从原图边缘检测图中裁剪的目标区域；对roi0中的边缘点进行去冗，去掉内部点和多余的轮廓点，以减少运算量；遍历roi0中的边缘点，在roi1中找到非roi0边缘轮廓区域内的、且与该点距离最近的点，由这些点组成roi2区域图，roi2图为火焰轮廓图。
[0025]
s23.对所述二值图像中进行物体边缘检测，确定物体轮廓点；同理，采用步骤s22中的方法对物体进行边缘检测。
[0026]
s24.将所述二值图像中的物体轮廓点迁移至火焰图像中，基于图像识别模型对火焰图像中的物体进行识别，以获得物体属性信息；具体的，所述图像识别分析模型的构建方法为：s241.采集包含可燃物体的图像集；s242.在图像中手动标记出可燃物体的轮廓，并将可燃物体的名称、材料和燃点等信息存储在物体属性信息中；s243.利用所述图像集和物体属性信息构造训练集和测试集，其中，包含可燃物体的图像作为输入特征标签，物体属性信息作为输出特征标签；s244.将利用所述训练集和测试集对yolov3模型进行训练和测试，得到训练好的图像识别模型，所述图像识别模型可自动识别出图像中的物体以及物体属性信息。
[0027]
s25.由所述物体轮廓点和物体属性信息组成物体信息。
[0028]
s3.由多组连续时刻的物体信息、所述火焰信息和所述环境样本参数构建训练集和测试集；具体的，所述步骤s3包括:s31.获取多组连续时刻的物体信息、火焰信息和环境样本参数；s32.将上一时刻tn的物体信息、火焰信息和环境样本参数作为输入特征标签，下一时刻t
n 1
的物体信息、火焰信息作为输出特征标签构建数据样本；s33.选取80%的数据样本作为训练集，20%的数据样本作为测试集。
[0029]
s4.搭建神经网络模型，利用所述训练集和测试集对所述神经网络模型进行训练和测试，得到火焰预测模型；本实施例中，将td时刻火焰图像中的信息（即物体信息和火焰信息）和环境样本参数作为输入特征标签，t
d 1
时刻火焰图像中的信息作为输出特征标签对神经网络模型进行训练，所得到的火焰预测模型可实现对火焰发展状态的准确预测，有利于火势的判断和预警。
[0030]
s5.获取待预测火焰图像和待预测火焰图像的环境样本参数，将所述待预测火焰图像中的物体信息和火焰信息、环境样本参数输入所述火焰预测模型中得到预测的物体信息和火焰信息；本实施例中，由监控设备对各个真实的场景进行实时监控得到拍摄的待预测火焰图像和环境样本参数，由步骤s2对待预测火焰图像进行处理，提取待预测火焰图像中的火焰轮廓点、物体轮廓点和物体属性信息，再由火焰预测模型基于待预测火焰图像的信息对
火焰实现预测，需要说明的是，预测时间应该大于火焰实际燃烧的时间，才能实现对火焰的预测。
[0031]
s6.利用预测的物体信息和火焰信息计算总燃烧指数，基于所述总燃烧指数判断得到火灾预警等级。
[0032]
本实施例中，一张火焰图像中包括一个或多个物体，依次计算每个物体的燃烧指数，再将所有的燃烧指数累加后可得到在当前火焰图像中的总燃烧指数。
[0033]
具体的，所述步骤s6包括：s61.获取预测的物体信息中的物体轮廓点、物体属性信息和火焰信息中的火焰轮廓点；s62.基于所述物体轮廓点和所述火焰轮廓点确定物体与火焰的位置关系；本实施例中，物体与火焰的位置关系包括：物体在火焰的侧面和物体在火焰的上方。
[0034]
s63.依次计算火焰轮廓点与物体轮廓点的距离和火焰的面积；本实施例中，以图2为例，图2中包含有的火焰和物体1的轮廓点，计算火焰轮廓点与物体1轮廓点的距离：所述火焰轮廓点按照从左到右/从上往下的顺序记录为坐标数组[（x
o1
，y
o1
），（x
o2
，y
o2
），
…
，（x
om
，y
om
）]；物体1的轮廓点按照从左到右/从上往下的顺序记录为坐标数组[（x
11
，y
11
），（x
12
，y
12
），
…
，（x
1m
，y
1m
）]；确定火焰与物体1之间距离最近的两个轮廓点，计算两个轮廓点之间的距离：；（1）式中，（x
oa
，y
oa
）表示火焰轮廓点中距离物体1最近的点，（x
1b
，y
1b
）表示与（x
oa
，y
oa
）距离最近的点。
[0035]
基于所述火焰轮廓点计算火焰的面积，根据图像轮廓点计算图形的面积在制图软件中可快速实现，制图软件如cad等，此处不再赘述；s64.基于所述距离、所述位置关系、所述火焰的面积和所述物体属性信息计算得到所述物体的燃烧指数：；（2）式中，f1表示物体1的燃烧指数，λ表示方向参数；s表示火焰的面积，单位为m2，t
1c
表示物体1的燃点，单位为℃。
[0036]
其中，方向参数λ的取值为：；（3）s65.将所有物体的燃烧指数累加得到总燃烧指数。
[0037]
；（4）
式中，f
总
表示总燃烧指数，n表示物体的总数量。
[0038]
火焰图像中包含的可燃烧物体越多，说明场景中有越多潜在的危险，因此总燃烧指数越高。
[0039]
基于以上实施例，本方法还包括基于所述总燃烧指数判断得到火灾预警等级；对所述燃烧指数进行预警等级划分，得到预警等级参照表，如表1所示：表1表1中，f
总
越高表示预警等级越高，说明火势越严重。
[0040]
实施例2：如图3所示，本实施例提供了一种火灾预警装置，所述装置包括：数据采集模块01：用于采集多个连续时刻的火焰图像和与火焰图像相关的多组环境样本参数；数据获取模块02：用于获取每张火焰图像中的物体信息和火焰信息；参数构建模块03：用于由多组连续时刻的物体信息、所述火焰信息和所述环境样本参数构建训练集和测试集；训练模块04：用于搭建神经网络模型，利用所述训练集和测试集对所述神经网络模型进行训练和测试，得到火焰预测模型；预测模块05：用于获取待预测火焰图像和待预测火焰图像的环境样本参数，将所述待预测火焰图像的物体信息和火焰信息、环境样本参数输入所述火焰预测模型中得到预测的物体信息和火焰信息；判断模块06：用于利用预测的物体信息和火焰信息计算总燃烧指数，基于所述总燃烧指数判断得到火灾预警等级。
[0041]
基于以上实施例，所述数据获取模块02包括：图像处理单元021：用于二值化处理火焰图像以获得二值图像；第一检测单元022：用于对所述二值图像中进行火焰边缘检测，确定火焰轮廓点，得到火焰信息；第二检测单元023：用于对所述二值图像中进行物体边缘检测，确定物体轮廓点；识别单元024：用于将所述二值图像中的物体轮廓点迁移至火焰图像中，基于图像识别模型对火焰图像中的物体进行识别，以获得物体属性信息；数据构建单元025：用于由所述物体轮廓点和物体属性信息组成物体信息。
[0042]
基于以上实施例，所述判断单元包括：
获取单元061：用于获取预测的物体信息中的物体轮廓点、物体属性信息和火焰信息中的火焰轮廓点；位置确定单元062：用于基于所述物体轮廓点和所述火焰轮廓点确定物体与火焰的位置关系；第一计算单元063：用于依次计算火焰轮廓点与物体轮廓点的距离和火焰的面积；第二计算单元064：用于基于所述距离、所述位置关系、所述火焰的面积和所述物体属性信息计算得到所述物体的燃烧指数；第三计算单元065：用于将所有物体的燃烧指数累加得到总燃烧指数。
[0043]
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0044]
实施例3：相应于上面的方法实施例，本实施例中还提供了一种火灾预警设备，下文描述的一种火灾预警设备与上文描述的一种火灾预警方法可相互对应参照。
[0045]
图4是根据示例性实施例示出的一种火灾预警设备800的框图。如图4所示，该火灾预警设备800可以包括：处理器801，存储器802。该火灾预警设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
[0046]
其中，处理器801用于控制该火灾预警设备800的整体操作，以完成上述的火灾预警方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该火灾预警设备800的操作，这些数据例如可以包括用于在该火灾预警设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammableread-onlymemory，简称eprom)，可编程只读存储器(programmableread-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该火灾预警设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(nearfieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi-fi模块，蓝牙模块，nfc模块。
[0047]
在一示例性实施例中，火灾预警设备800可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器(digitalsignalprocessor，简称dsp)、数字信号处理设备(digitalsignalprocessingdevice，简称dspd)、可编程逻辑器件(programmablelogicdevice，简称pld)、现场可编程门阵列
(fieldprogrammablegatearray，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的火灾预警方法。
[0048]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的火灾预警方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由火灾预警设备800的处理器801执行以完成上述的火灾预警方法。
[0049]
实施例4：相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种火灾预警方法可相互对应参照。
[0050]
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的火灾预警方法的步骤。
[0051]
该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
[0052]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0053]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。