一种消防机器人火焰自动瞄准方法、装置及系统与流程

本发明属于火源识别与定位技术领域，具体用于在消防机器人领域，具体涉及一种消防机器人火焰自动瞄准方法，还涉及一种消防机器人火焰自动跟踪装置，还涉及一种消防机器人火焰自动瞄准系统。

背景技术：

随着城市空间更多地向立体空间拓宽，目前常见的有大型展览馆、体育馆、大型商场、客运大厅等公众聚集建筑物和大型厂房、仓库、油库等工业建筑物，它们往往具有各种类型的内部大空间。这类建筑物内部铺设大量电线电缆和大功率电器，火灾隐患众多。

采用与火焰探测器联动的可移动自动消防炮是解决这一问题的较好方案。采用具有自动定位系统火焰探测器来控制消防炮组，实现定点扑救的主动式灭火系统是解决这一问题的有效方案。

当前众多火灾探测系统基于多种火焰识别模式中，最常见的是烟感探测系统、温感探测系统、红外探测系统、可见光探测系统、气体探测系统和复合式探测系统等。

基于烟雾传感器、温度传感器适合于紧急火焰探测，无法检测远距离的火焰，不太适合于大空间场合。基于红外线的火焰探测，其检测距离能达到30米，但更远的火焰就无法识别。基于可见光的火焰检测，其检测距离能高达几百米。

由于火焰无法反射电波，所以无法采用激光雷达或者tof相机进行测距。同时，双目相机由于测距只有几米远，也无法定位远距离的火焰位置。

技术实现要素：

本发明的目的在于克服现有技术中的不足，提供了一种消防机器人火焰自动瞄准方法，解决了现有技术中无法定位火焰位置的技术问题。

为解决上述技术问题，本发明提供了如下技术方案。

第一方面，本发明提供了一种消防机器人火焰自动瞄准方法，包括以下过程：

采集水炮周围的图像；

检测所述图像中有无火焰，若有火焰，则获取火焰中心在此图像中位置；

基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量，以驱动水炮向此方向运动；

在水炮运动过程中继续采集周围图像，检测图像中火焰中心位置并找到火焰中心距离图像中心点最近的图像，将找到的该图像拍摄时对应的水炮角度作为最佳角度，以驱动水炮转动到此最佳角度进行灭火。

可选的，所述检测图像中有无火焰，包括：

采用yolo算法训练后生成的深度学习模型检测图像中有无火焰。

可选的，所述基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量，包括：

基于火焰中心位置和相机参数，计算出火焰相对水炮的水平方向倾斜角度ha和垂直方向倾斜角度va，具体计算公式为：

tanha=c*(u-u0)/f，tanva=c*(v-v0)/f；

其中，(u,v)是火焰中心成像点在成像平面的横纵坐标，(u0,v0)是图像中心在成像平面的坐标，f是相机焦距，c是焦距单位和像素单位的比例系数。

第二方面，本发明还提供了一种消防机器人火焰自动瞄准装置，包括以下过程：

图像采集模块，用于采集水炮周围的图像；

火焰检测模块，用于检测图像中有无火焰，若有火焰，则获取火焰中心在此图像中位置；

火焰方向计算模块，用于基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量，以驱动水炮向此方向运动；

火焰方向修正模块，用于在水炮运动过程中继续采集周围图像，检测图像中火焰中心位置并找到火焰中心距离图像中心点最近的图像，将找到的该图像拍摄时对应的水炮角度作为最佳角度，以驱动水炮转动到最佳角度进行灭火。

可选的，所述火焰检测模块中，所述检测图像中有无火焰，包括：

采用yolo算法训练后生成的深度学习模型检测图像中有无火焰。

可选的，所述火焰方向计算模块中，所述基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量，包括：

基于火焰中心位置和相机参数，计算出火焰相对水炮的水平方向倾斜角度ha和垂直方向倾斜角度va，具体计算公式为：

tanha=c*(u-u0)/f，tanva=c*(v-v0)/f；

其中，(u,v)是火焰中心成像点在成像平面的横纵坐标，(u0,v0)是图像中心在成像平面的坐标，f是相机焦距，c是焦距单位和像素单位的比例系数。

第三方面，本发明还提供了一种消防机器人火焰自动瞄准系统，包括：相机、水炮和驱动调整系统；

所述相机固定在水炮上，用于采集水炮周围的图像，并将采集的图像上传到驱动调整系统；

所述驱动调整系统，采用上述方法驱动水炮瞄准火焰进行灭火。

与现有技术相比，本发明所达到的有益效果是：本发明能够在采用一个单目相机情况下，准确检测出火焰位置并驱动消防炮对准火焰。

附图说明

图1是本发明的系统部署图；

图2是本发明的计算火焰方向方法示意图；

图3是本发明的寻找水炮最佳转角方法示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明基于可见光摄像头采集周围图像信息，通过深度学习算法识别出火焰的二维坐标，计算出其方向矢量，驱动水炮向此方向运动，并在水炮运动过程中不断识别火焰，最终找到最合适的角度，水炮再次转动到最优角度进行灭火，从而完成水炮自动瞄准火焰。本发明成本低，部署简单，定位精度高，已在实际项目中落地。

实施例1

本发明的一种消防机器人火焰自动瞄准方法，参见图1所示，包括以下步骤：

步骤1，在能够水平和垂直方向自由转动的水炮上固定安装一个高清摄像头（即相机）；通过高清摄像头实时采集水炮周围各角度的图像。利用火焰样本对深度学习的yolo算法进行训练，生成训练后的深度学习模型。采用训练后的深度学习模型检测采集到的图像中有无火焰，当检测出有火焰时，获取火焰中心区域在图像中的二维坐标。

步骤2，根据火焰中心在相机成像平面中的二维坐标（u,v），以及此图像相对水炮的角度方向，计算出火焰相对水炮水平方向倾斜角度ha和垂直方向倾斜角度va。

相机成像平面、相机及火焰之间的位置关系参见图2所示，相机成像平面为二维坐标系，定义图像中心为(u0,v0)，火焰中心坐标为(u,v)，根据相机与成像平面之间的三角关系，可知火焰相对水炮水平方向倾斜角度ha关系为tanha=c*(u-u0)/f，垂直方向倾斜角度va为tanva=c*(v-v0)/f。其中，(u,v)是火焰中心成像点在成像平面的横纵坐标，(u0,v0)是图像中心在成像平面的坐标，f是相机焦距，c是焦距单位和像素单位的比例系数。

步骤3，得出火焰点的水平和垂直偏移角度后，下一步需要驱动水炮水平转动角度ha和垂直转动角度va。但由于在实际工程安装过程中，相机光心和水炮存在位置偏移，且相机在水炮中的安装位置并不是固定精确的，导致水炮坐标系和相机坐标系直接转换关系不是固定的。如图3所示，如果按照图3计算出来的水平倾斜角度和垂直倾斜角度，水炮会转动到角度α1处，并没有对准火焰。实际上火焰在角度α2处。因此，需要二次纠正转动角度。

解决方法是，本发明不依赖于相机和水炮的坐标转换关系，而是通过计算出的初始角度驱动水炮转动，并在移动的过程中通过不断拍照，针对所拍摄照片检测火焰位置，火焰中心最接近图像中心点（即火焰中心距离图像中心点最近）的那张图片就是最佳图片，而拍摄这张图片当时的水炮角度就是最佳角度。

步骤4，驱动水炮再次转动到最佳角度进行灭火。

本发明专利在采用单个摄像头情况下，通过深度学习算法对火焰进行检测计算出火焰的大概角度，在驱动水炮转动过程中通过不断拍照、检测，从而得到火焰的准确角度，再次驱动水炮转动对准火焰。解决了相机和水炮轴心位置偏差带来的火焰定位不精确的问题。

实施例2

基于与实施例1同样的发明构思，本发明的一种消防机器人火焰自动瞄准装置，包括以下过程：

图像采集模块，用于采集水炮周围的图像；

火焰检测模块，用于检测图像中有无火焰，若有火焰，则获取火焰中心在此图像中位置；

火焰方向计算模块，用于基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量；

火焰方向修正模块，用于在驱动水炮向此方向运动过程中继续采集周围图像，检测图像中火焰中心位置并找到火焰中心距离图像中心点最近的图像，将找到的该图像拍摄时对应的水炮角度作为最佳角度，以驱动水炮转动到最佳角度进行灭火。

可选的，所述火焰检测模块中，所述检测图像中有无火焰，包括：

采用yolo算法训练后生成的深度学习模型检测图像中有无火焰。

可选的，所述火焰方向计算模块中，所述基于火焰中心位置和相机参数，计算出火焰相对水炮的方向矢量，包括：

基于火焰中心位置和相机参数，计算出火焰相对水炮的水平方向倾斜角度ha和垂直方向倾斜角度va，具体计算公式为：

tanha=c*(u-u0)/f，tanva=c*(v-v0)/f；

其中，(u,v)是火焰中心成像点在成像平面的横纵坐标，(u0,v0)是图像中心在成像平面的坐标，f是相机焦距，c是焦距单位和像素单位的比例系数。

本发明装置中各模块的具体实现方案参见实施例1方法中各步骤过程。

实施例3

基于与实施例1同样的发明构思，本发明的一种消防机器人火焰自动瞄准系统，包括：相机、水炮和驱动调整系统；

所述相机固定在水炮上，用于采集水炮周围的图像，并将采集的图像上传到驱动调整系统；

所述驱动调整系统，采用上述方法驱动水炮瞄准火焰进行灭火。

本发明系统中具体实现方案参见实施例1方法中各步骤过程。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。