消防水炮的控制方法、装置及电子设备与流程

1.本发明涉及消防安全技术领域，更具体的，涉及一种消防水炮的控制方法、装置及电子设备。


背景技术：

2.随着社会经济的迅猛发展，建筑和企业生产的特殊性，导致化学危险品和放射性物质泄漏以及燃烧、爆炸、坍塌的事故隐患增加，事故发生的概率也相应提高。火灾是生活中常见的灾难之一，救火现场存在诸多危险因素，例如浓烟、高温、黑暗及有毒物质等，给消防员带来极大危险。人员巡检的方式也很难做到全天候的监视巡检，这样无法完全避免灾害发生。
3.消防机器人所用的消防水炮是为了解决大型商场、机场、火车站、体育场、会展中心、仓库等高大空间场所的灭火需求，减少火灾损失而研制出的灭火装置，但是常用的消防水炮不具备自动识别火灾及自动灭火的功能，在视线不好、人不能靠近的情况下不能实现快速、准确的灭火。
4.现有的火源识别与定位系统，其探测部分大多采用烟感、温感等传感器探测，它们一般仅适用于小空间内的火源定位，且定位精度不高。如何准确、实时地进行火灾探测与灭火，对防止火灾进一步扩大具有重要意义。


技术实现要素：

5.本发明的目的在于提供一种消防水炮的控制方法、装置及电子设备，以解决现有消防水炮因识别精度差而导致的灭火成功率低的问题。
6.本发明实施例的第一方面，提供了一种消防水炮的控制方法，包括：步骤s1、建立标准火焰rgb特征库，标准火焰rgb特征库存储有标准火焰的rgb值；步骤s2、获取目标区域内的待检测图像以及待检测图像的前一帧和/或前多帧图像；步骤s3、判断待检测图像是否为彩色图像，若是，则根据待检测图像的前一帧和/或前多帧图像、以及标准火焰rgb特征库，判断待检测图像是否存在疑似火焰，若存在，则对待检测图像进行滤波处理，得到滤波图像；步骤s4、对滤波图像进行灰度二值化处理，确定疑似火焰的覆盖区域，疑似火焰的覆盖区域的彩色图像记为模糊图像；步骤s5、将模糊图像转换为hsv颜色模式，根据模糊图像的颜色参数确定疑似火焰的最终图像，其中，颜色参数包括色调、饱和度和亮度；步骤s6、根据最终图像调整消防火炮的角度。
7.具体的，步骤s1包括：步骤s11、获取火焰图像的原始数据集；步骤s12、利用标注工具labelimg对原始数据集进行标注，得到训练所需要的xml
文件，xml文件包含火焰分类名称以及该火焰所在的位置坐标信息；步骤s13、将原始数据集划分为训练集、验证集和测试集，训练集、验证集和测试集中的数据互不相同；步骤s14、将训练集的图像放入jpegimages目录下，并且将训练集的xml文件放入annotations目录下，结合验证集进行至少两次训练，得到训练数据；步骤s15、将训练数据输入yolov3模型中进行训练，当avgloss曲线的平缓程度满足预设标准时利用测试集进行准确度测试，若准确度满足预设阈值则停止训练，得到标准火焰rgb特征库。
8.具体的，步骤s3包括：步骤s31、判断待检测图像是否为彩色图像，若是，将待检测图像分割为若干个区域；步骤s32、利用待检测图像的前一帧和/或前多帧图像，对待检测图像进行形态变化检测，判断待检测图像是否存在疑似火焰，若存在，则利用标准火焰rgb特征库确定包含疑似火焰的区域；步骤s33、对待检测图像进行滤波处理并去除不包含疑似火焰的其它区域，得到滤波图像。
9.具体的，步骤s4包括：步骤s41、获取滤波图像中每一像素点的rgb值；步骤s42、针对每一个像素点的rgb值，判断该像素点是否存在r值大于g值，同时g值大于b值，若存在，则将该像素点的rgb值设置为255，若不存在，则将该像素点的rgb值设置为0；获取所有rgb值为255的像素点所覆盖的区域，该区域的彩色图像记为模糊图像。
10.具体的，步骤s5包括：步骤s51、将模糊图像转换为hsv颜色模式；步骤s52、根据模糊图像的颜色参数计算模糊图像的亮度和颜色值，确定出最终图像。
11.具体的，步骤s6包括：步骤s61、根据最终图像，确定最终图像的面积信息和中心位置的坐标，其中，中心位置的坐标即为火焰的中心点步骤s62、将最终图像的面积信息和中心位置的坐标与目标区域进行比对，确定偏移数据，其中，偏移数据包括俯仰角度和水平角度；步骤s63、根据俯仰角度和水平角度调整消防火炮的位置。
12.本发明实施例的第二方面，提供了一种消防水炮的控制装置，包括：特征库建立模块，用于建立标准火焰rgb特征库，标准火焰rgb特征库存储有标准火焰的rgb值；数据获取模块，包括可见光传感器，可见光传感器用于获取目标区域内的待检测图像以及待检测图像的前一帧和/或前多帧图像；数据处理模块，用于判断待检测图像是否为彩色图像，若是，则根据待检测图像的前一帧和/或前多帧图像、以及标准火焰rgb特征库，判断待检测图像是否存在疑似火焰，若
存在，则对待检测图像进行滤波处理，得到滤波图像；对滤波图像进行灰度二值化处理，确定疑似火焰的覆盖区域，疑似火焰的覆盖区域的彩色图像记为模糊图像；将模糊图像转换为hsv颜色模式，根据模糊图像的颜色参数确定疑似火焰的最终图像，其中，颜色参数包括色调、饱和度和亮度；控制模块，用于根据最终图像的面积信息和中心位置的坐标与可见光传感器获取的目标区域的中心点的坐标比对，确定和调整消防水炮的对准角度。
13.具体的，该装置还包括：消防水炮、俯仰电机、水平电机、俯仰角度编码器以及水平角度编码器；可见光传感器设置在消防水炮正上方，可见光传感器随消防水炮同步转动；俯仰电机用于带动消防水炮上下移动，水平电机用于带动消防水炮左右移动；水平角度编码器用于检测消防水炮的水平角度信息，俯仰角度编码器用于检测消防水炮的俯仰角度信息；控制模块与俯仰电机、水平电机、俯仰角度编码器以及水平角度编码器电连接。
14.本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述消防水炮的控制方法的步骤。
15.本发明实施例的第四方面，提供了一种计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现上述消防水炮的控制方法的步骤。
16.本发明通过分析待检测图像中的颜色和形态变化，初步判断待检测图像中是否存在疑似火焰；在待检测图像中存在疑似火焰的基础上，对图像进行灰度二值化处理以进一步确定疑似火焰的轮廓也即疑似火焰的外焰；在确定出疑似火焰的外焰的基础上，对图像进行hsv颜色模式的转换，通过计算该图像的亮度和颜色值进一步确定出最终图像也即疑似火焰的内焰。将最终图像的面积信息和中心位置的坐标与目标区域进行比对，确定偏移数据，根据偏移数据调整消防水炮的位置，实现了对火焰高效稳定的探测识别，火焰定位准确，可及时发现并跟踪火情，实现智能灭火。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
18.图1为本发明一实施例提供的消防水炮的控制方法的流程示意图；图2为本发明一实施例提供的消防水炮的控制方法的程序流程示意图；图3为本发明另一实施例提供的消防水炮的控制装置的结构示意框图；图4为本发明另一实施例提供的消防水炮的控制装置的应用示意图；图5为本发明又一实施例提供的电子设备的结构示意框图。
具体实施方式
19.为了使本发明所要解决的技术问题、技术方案及有益效果更加明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以
解释本发明，并不用于限定本发明。
20.如图1为本发明一实施例提供的消防水炮的控制方法的流程示意图，结合图2所示的消防水炮的控制方法的程序流程示意图，该方法包括：步骤s1、建立标准火焰rgb特征库，标准火焰rgb特征库存储有标准火焰的rgb值；在本实施例中，想要获得高检测准确度，应该包括各种不同环境不同背景的火焰图像的原始数据集。采用标注工具labelimg对原始数据进行标注，产生训练需要的xml文件，xml文件中包含火焰分类名称以及火焰所在位置的坐标信息。将数据集进行划分为训练集、验证集和测试集，各个数据集中的数据均不重复。然后将火焰图片放入jpegimages目录下，将xml文件放入到annotations目录下，然后利用卷积神经网络进行模型训练，设定40次为一轮次，每个轮次进行120次迭代，共进行4800次迭代，完成后重复此训炼一次，两次训练后把标注好的数据送入yolov3模型中进行训练，直到avg loss曲线在进行两次训练后便变得平缓，训练趋于稳定。最后通过测试集的测试，得到火焰识别的准确率为90.8%，非火焰的准确率为89.8%，平均准确率为90.3%，其中，在标准火焰rgb特征库中存储有标准火焰的rgb值。需要说明的是，标准火焰rgb特征库仅可以在初次对待检测图像识别前建立，后续可以根据实际情况进行数据更新。
21.步骤s2、获取目标区域内的待检测图像以及待检测图像的前一帧和/或前多帧图像；在本实施例中，可以通过可见光传感器获取待检测图像和该待检测图像的前一帧或前多帧的多张图像，或者，可以通过可见光传感器获取目标区域内的视频流信息，通过截取关键帧获取上述图像，在此不作限制。
22.步骤s3、判断待检测图像是否为彩色图像，若是，则根据待检测图像的前一帧和/或前多帧图像、以及标准火焰rgb特征库，判断待检测图像是否存在疑似火焰，若存在，则对待检测图像进行滤波处理，得到滤波图像；在本实施例中，首先判断待检测图像是否为彩色图像，若待检测图像不是彩色图像，则需要重新获取图像直至待检测图像为彩色图像；若待检测图像为彩色图像，则首先将待检测图像分割为若干个区域；利用待检测图像的前一帧和/或前多帧图像，对待检测图像进行形态变化检测，判断待检测图像是否存在疑似火焰，若存在，则利用标准火焰rgb特征库确定包含疑似火焰的区域；对待检测图像进行滤波处理并去除不包含疑似火焰的其它区域，得到滤波图像。最后可以由系统对图像的滤波效果进行检测，若滤波效果不达标，则须再次对图像进行滤波处理。该滤波图像删去了不包含火焰的区域，消除了部分影响因素，识别精度得到提高。
23.步骤s4、对滤波图像进行灰度二值化处理，确定疑似火焰的覆盖区域，疑似火焰的覆盖区域的彩色图像记为模糊图像；在本实施例中，根据三基色原理：彩色图像中的每个像素的颜色有r、g、b三个分量决定，而每个分量有255中值可取，这样一个像素点可以有1600多万的颜色的变化范围。而灰度图像是r、g、b三个分量相同的一种特殊的彩色图像，其一个像素点的变化范围为0-255。所以在数字图像处理种一般先将各种格式的图像转变成灰度图像以使后续的图像的计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。
24.对滤波图像进行灰度处理和二值转换，在转换为二值图像过程中大于临界值的设置为255，小于临界值的设置为0。在本实施例中，首先获取滤波图像中每一像素点的rgb值；针对每一个像素点的rgb值，判断该像素点是否存在r值大于g值，同时g值大于b值，若存在，则将该像素点的rgb值设置为255，若不存在，则将该像素点的rgb值设置为0；获取所有rgb值为255的像素点所覆盖的区域，该区域的彩色图像记为模糊图像。
25.通过对灰度图像进行二值转换，对火焰本体和其它区域进行了区分，识别出了火焰图像的边缘轮廓也即疑似火焰的外焰，将疑似火焰的外焰覆盖区域的彩色图像记为模糊火焰图像，进一步去除了上述步骤s3得到的滤波图像中的影响因素，识别精度进一步得到提高。
26.步骤s5、将模糊图像转换为hsv颜色模式，根据模糊图像的颜色参数确定疑似火焰的最终图像，其中，颜色参数包括色调、饱和度和亮度；在本实施例中，在上述步骤s14的基础上，进一步地，把rgb图像模式转换为hsv颜色模式，其颜色参数包括色调h、饱和度和亮度v；通过计算每一帧图像的亮度和颜色值，确定出最终图像，该图像实际为火焰内焰图。
27.步骤s6、根据最终图像调整消防火炮的角度。
28.在本实施例中，可以通过坐标信息库获取目标区域的坐标和最终图像的坐标，将最终图像的面积信息和中心位置的坐标与目标区域进行比对，确定偏移数据，其中，偏移数据包括俯仰角度和水平角度，根据俯仰角度和水平角度调整消防火炮的位置。应该明白，工作人员还可以在考虑水柱受重力作用的影响而对消防水炮的水平角度和俯仰角度做出适当修正。
29.本发明通过分析待检测图像中的颜色和形态变化，初步判断待检测图像中是否存在疑似火焰；在待检测图像中存在疑似火焰的基础上，对图像进行灰度二值化处理以进一步确定疑似火焰的轮廓也即疑似火焰的外焰；在确定出疑似火焰的外焰的基础上，对图像进行hsv颜色模式的转换，通过计算该图像的亮度和颜色值进一步确定出最终图像也即疑似火焰的内焰。将最终图像的面积信息和中心位置的坐标与目标区域进行比对，确定偏移数据，根据偏移数据调整消防水炮的位置，实现了对火焰高效稳定的探测识别，火焰定位准确，可及时发现并跟踪火情，实现智能灭火。
30.如图3为本发明另一实施例提供的消防水炮控制装置结构示意框图，该装置100包括：数据获取模块110，用于获取训练图像集以及目标区域内的原始图像，其中，原始图像包括待检测图像和待检测图像的前一帧和/或前多帧图像；特征库建立模块110，用于建立标准火焰rgb特征库，标准火焰rgb特征库存储有标准火焰的rgb值；数据获取模块120，包括可见光传感器，可见光传感器用于获取目标区域内的待检测图像以及待检测图像的前一帧和/或前多帧图像；数据处理模块130，用于判断待检测图像是否为彩色图像，若是，则根据待检测图像的前一帧和/或前多帧图像、以及标准火焰rgb特征库，判断待检测图像是否存在疑似火焰，若存在，则对待检测图像进行滤波处理，得到滤波图像；对滤波图像进行灰度二值化处理，确定疑似火焰的覆盖区域，疑似火焰的覆盖区域的彩色图像记为模糊图像；将模糊图像
转换为hsv颜色模式，根据模糊图像的颜色参数确定疑似火焰的最终图像，其中，颜色参数包括色调、饱和度和亮度；控制模块140，用于根据最终图像的面积信息和中心位置的坐标与可见光传感器获取的目标区域的中心点的坐标比对，确定和调整消防水炮的对准角度。
31.具体的，特征库建立模块110用于：获取火焰图像的原始数据集；利用标注工具labelimg对原始数据集进行标注，得到训练所需要的xml文件，xml文件包含火焰分类名称以及该火焰所在的位置坐标信息；将原始数据集划分为训练集、验证集和测试集，训练集、验证集和测试集中的数据互不相同；将训练集的图像放入jpegimages目录下，并且将训练集的xml文件放入annotations目录下，结合验证集进行至少两次训练，得到训练数据；将训练数据输入yolov3模型中进行训练，当avgloss曲线的平缓程度满足预设标准时利用测试集进行准确度测试，若准确度满足预设阈值则停止训练，得到标准火焰rgb特征库。
32.具体的，数据处理模块130用于：判断待检测图像是否为彩色图像，若是，将待检测图像分割为若干个区域；利用待检测图像的前一帧和/或前多帧图像，对待检测图像进行形态变化检测，判断待检测图像是否存在疑似火焰，若存在，则利用标准火焰rgb特征库确定包含疑似火焰的区域；对待检测图像进行滤波处理并去除不包含疑似火焰的其它区域，得到滤波图像；获取滤波图像中每一像素点的rgb值；针对每一个像素点的rgb值，判断该像素点是否存在r值大于g值，同时g值大于b值，若存在，则将该像素点的rgb值设置为255，若不存在，则将该像素点的rgb值设置为0；获取所有rgb值为255的像素点所覆盖的区域，该区域的彩色图像记为模糊图像；将模糊图像转换为hsv颜色模式；根据模糊图像的颜色参数计算模糊图像的亮度和颜色值，确定出最终图像。
33.具体的，控制模块140用于：根据最终图像，确定最终图像的面积信息和中心位置的坐标，其中，中心位置的坐标即为火焰的中心点；将最终图像的面积信息和中心位置的坐标与目标区域进行比对，确定偏移数据，其中，偏移数据包括俯仰角度和水平角度； 根据俯仰角度和水平角度调整消防火炮的位置。
34.具体的，本发明提供的消防水炮的控制装置还包括消防水炮、俯仰电机、水平电机、俯仰角度编码器以及水平角度编码器；可见光传感器设置在消防水炮正上方，可见光传感器随消防水炮同步转动；俯仰电机用于带动消防水炮上下移动，水平电机用于带动消防水炮左右移动；水平角度编码器用于检测消防水炮的水平角度信息，俯仰角度编码器用于检测消防水炮的俯仰角度信息；控制模块与俯仰电机、水平电机、俯仰角度编码器以及水平角度编码器电连接。
35.本发明实施例提供的消防水炮的控制装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例在此不再赘述。
36.在上述图3所示实施例的基础上，请参见图4所示的消防水炮的控制装置应用示意图，在本实施例中，本发明提供的消防水炮的控制装置包括可见光传感器1、俯仰电机3、水平电机4、俯仰角度编码器5及水平角度编码器6，特征库建立模块、数据处理模块以及控制
模块均设置于位置2处。可见光传感器1与数据处理模块电连接或无线连接，数据处理模块与控制模块电连接或无线连接，控制模块分别与俯仰电机3、水平电机4、俯仰角度编码器5及水平角度编码器6电连接或无线连接。可见光传感器1安装在消防水炮7上面和消防水炮7一起转动；俯仰电机3用于带动消防水炮7上下移动，水平电机4用于带动消防水炮7左右移动；所述可见光传感器1用于采集和探测火焰图像，可见光传感器1向数据处理模块发送采集到数据和图像信息；水平角度编码器6和俯仰角度编码器5用于检测消防水炮7的水平角度信息和俯仰角度信息；灭火时，控制模块根据水平角度编码器6和俯仰角度编码器5的数据信息，分别驱动对应的水平电机4和俯仰电机3转动,从而带动可见光传感器1上下左右转动，当火焰中心位置位于可见光传感器1画面中心位置时，控制模块控制消防水炮7喷水灭火。
37.参见图5，图5为本发明一实施例提供的电子设备示意框图，本实施例中的电子设备50可以包括但不限于下述至少一项：一个或多个处理器51、一个或多个输入设备52、一个或多个输出设备53及一个或多个存储器54。上述处理器51、输入设备52、则输出设备53及存储器54通过通信总线55完成相互间的通信。存储器54用于存储计算机程序，计算机程序包括程序指令。处理器51用于执行存储器54存储的程序指令。
38.应当理解，在本发明实施例中，所称处理器51可以是中央处理单元（central processing unit，cpu），该处理器还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
39.输入设备52可以包括触控板、指纹采传感器（用于采集客户的指纹信息和指纹的方向信息）、麦克风等，输出设备53可以包括显示器（lcd等）、扬声器等。
40.该存储器54可以包括只读存储器和随机存取存储器，并向处理器51提供指令和数据。存储器54的一部分还可以包括非易失性随机存取存储器。例如，存储器54还可以存储设备类型的信息。
41.具体实现中，本发明实施例中所描述的处理器51、输入设备52、输出设备53可执行本发明实施例提供的方法实施例所描述的实现方式，在此不再赘述。
42.在本发明的另一实施例中提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
43.计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡（smart media card smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
44.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。