一种消防机器人火源定位及灭火控制方法与流程

1.本技术属于消防机器人技术领域，具体涉及一种消防机器人火源定位及灭火控制方法。


背景技术：

2.在发生火灾时，火场环境是十分复杂的，火场信息也会缺失，这导致在现场实施消防灭火作业时将会变得困难重重，对消防员的生命安全也造成了最直接的威胁。因此消防机器人应运而生，消防机器人代替人或协助人完成灭火功能，在完成抢险救灾工作的同时，保障消防员的生命安全。
3.基于两轮自平衡方案的消防机器人可以节省设计空间，克服了多轮系统结构复杂的缺点，具有降低机械成本、转弯半径小、能实现原地转弯、灵活性高、行驶速度快的优点，使其能适用于面积狭小的复杂场合灭火。
4.而在机器人灭火过程中，识别火源、定位火源并消灭火源是消防机器人最重要的一点。目前识别火源大多是基于图像处理完成的或目标检测，但上述方法识别速度较慢，等到确定火源并定位且消防机器人做出反应并灭时可能火势已经变得严重了。而且基于图像处理的或目标检测的火源识别对相机和工控机都有一定的要求，设备限制比较多，相应的灭火成本也相应提高。


技术实现要素：

5.本技术的目的在于提供一种消防机器人火源定位及灭火控制方法，对火源的识别速度快、精度高。
6.为实现上述目的，本技术所采取的技术方案为：
7.一种消防机器人火源定位及灭火控制方法，所述消防机器人的顶部等高度安装有两个热成像模组相机，所述消防机器人的一侧安装有水枪，并且所述水枪上安装有一个热成像模组相机，所述消防机器人火源定位及灭火控制方法，包括：
8.步骤s1、读取消防机器人的顶部的两个热成像模组相机采集的热成像图像；
9.步骤s2、对读取的两张热成像图像进行拼接，并根据拼接后的热成像图像中每个像素点的温度确定温度大于温度阈值的像素点；
10.步骤s3、在温度大于温度阈值的像素点中获取温度最高的像素点作为第一像素点，根据第一像素点的坐标计算第一像素点到拼接后的热成像图像的中轴的水平距离的绝对值；
11.步骤s4、控制消防机器人左向或右向转动直至第一像素点对应的水平距离的绝对值小于水平方向距离第一阈值，然后控制消防机器人的水枪旋转下放至预设角度；
12.步骤s5、读取水枪上的热成像模组相机采集的热成像图像；
13.步骤s6、根据从水枪上的热成像模组相机读取的热成像图像中每个像素点的温度确定温度大于温度阈值的像素点，并在温度大于温度阈值的像素点中获取温度最高的像素
点作为第二像素点；
14.步骤s7、控制消防机器人左向或右向转动直至第二像素点到从水枪上的热成像模组相机读取的热成像图像的中线的水平距离的绝对值小于水平方向距离第二阈值；
15.步骤s8、根据消防机器人的顶部的两个热成像模组相机采集的热成像图像计算火源与消防机器人的实际距离，控制机器人前进直至火源与消防机器人的实际距离在灭火范围内；
16.步骤s9、控制消防机器人上的水枪上下转动直至第二像素点在从水枪上的热成像模组相机读取的热成像图像的竖直方向中心偏下预设距离内，然后开启水枪进行灭火。
17.以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
18.作为优选，所述根据消防机器人的顶部的两个热成像模组相机采集的热成像图像计算火源与消防机器人的实际距离，包括：
19.步骤s31、令消防机器人的顶部的两个热成像模组相机分别为左、右热成像模组相机，左、右热成像模组相机采集的热成像图像分别为左、右热成像图像，且左、右热成像模组相机的光心分别为a、b点，左、右热成像图像的中心分别为o1、o2点，则线段ao1、bo2分别为左、右热成像图像的光轴，且令火源为i点；
20.步骤s32、已知热成像模组相机的倾斜角为θ，热成像模组相机的焦距f、两个热成像模组相机的光心之间的距离ab以及第一像素点在左、右热成像图像中的坐标分别为g(xl,yl)，h(xr,yr)，则分别过g、h、i点作线段ab的垂线，垂足分布为d、e、f；
21.步骤s33、令线段ab的中点为c点，过d、e点分别作线段ao1、bo2的平行线且分别交左、右热成像图像于j、k点；过点o2点作线段be平行线交ek于l点，则∠ko2l＝θ，点o1、o2为图像中心，坐标已知为l和w分别为热成像图像的长和宽，已知be＝lo2，le＝bo2，ao1＝bo2＝f，则过h点做线段ko2的延长线的垂线，垂足为h1，连接h1点和e点交线段lo2的延长线的交点为m，则h1点的横坐标为纵坐标为yr，因此可求得：
[0022][0023]
其中，线段ho2的长度根据h点和o2点的坐标计算得到，线段h1o2的长度根据h1点和o2点的坐标计算得到；
[0024]
根据方程组(1)求解得到线段be和he的长度，同理计算得到线段ad和gd的长度，根据相似三角形求出f点到火源的距离if，可列方程组如下：
[0025][0026]
根据方程组(2)可以求出线段if、af、bf的长度，在直角三角形ifc中通过勾股定理求出火源i到两个热成像图像基线中心c的距离ic：
[0027][0028]
其中距离ic即为火源与消防机器人的实际距离。
[0029]
作为优选，所述消防机器人的顶部的两个热成像模组相机为xmodule t3
‑
317
‑
68非制冷测温热像模组相机，所述水枪上的热成像模组相机为xmodule s0
‑
212
‑
68非制冷测温热像模组相机。
[0030]
作为优选，所述消防机器人的前后位置各安装有两个电支撑柱，在开启水枪进行灭火之前先控制前后位置的两个电支撑柱向下伸展直至接触地面。
[0031]
本技术提供的消防机器人火源定位及灭火控制方法，基于像素点进行火源识别，相对于图像识别或目标检测而言，对火源的识别速度更快；并且在识别到火源以后根据消防机器人顶部的热成像模组相机进行火源粗定位，再根据水枪上的热成像模组相机进行火源精确定位，保证了对火源定位的准确性；最后在精确定位到火源后，考虑到水枪实际喷水路径调整火源在水枪对应的热成像图像中处于中间偏下位置，以保证实际灭火效果。
附图说明
[0032]
图1为本技术的消防机器人的一种实施例结构示意图；
[0033]
图2为本技术消防机器人火源定位及灭火控制方法的流程图；
[0034]
图3为本技术消防机器人火源定位及灭火控制方法的一种实施例流程图；
[0035]
图4为本技术计算火源与消防机器人实际距离的示意图；
[0036]
图5为本技术计算线段be的长度的示意图。
具体实施方式
[0037]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0038]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0039]
其中一个实施例中，提供一种消防机器人火源定位及灭火控制方法，其中消防机器人为用于消防的两轮自平衡机器人，其具有两轮自平衡机器人的通用结构以及消防所需的检测传感器以及水枪、水箱等。
[0040]
如图1所示，为了配合本技术的灭火方法的实施，消防机器人上的检测传感器为热成像模组相机，且水枪能够自上而下或自下而上旋转调节喷水角度，同时水枪上安装有一个热成像模组相机，为了便于水枪根据热成像模组相机的检测值对准火源，本实施例中设置水枪的出水口与热成像模组相机的摄像头处于同一竖线。关于消防机器人的其他结构，可采用现有技术中消防机器人的结构，例如申请号为cn201920535581.7的专利文献中公开的一种智能消防机器人，本实施例中不再进行赘述。
[0041]
如图2所示，本实施例的消防机器人火源定位及灭火控制方法，包括以下步骤：
[0042]
步骤s1、读取消防机器人的顶部的两个热成像模组相机采集的热成像图像。
[0043]
考虑到消防机器人顶部的成像视野较为宽广，而水枪上不适宜安装体积较大的热成像模组相机，因此本实施例中消防机器人的顶部的两个热成像模组相机为xmodule t3
‑
317
‑
68非制冷测温热像模组相机，分辨率为384*288，水枪上的热成像模组相机为xmodule s0
‑
212
‑
68非制冷测温热像模组相机，分辨率为256*192。
[0044]
本实施例中以机器人前进方向为前方，两个热成像模组相机的前端往两侧篇为向外倾斜，两个热成像模组相机的前端往中间偏为向内倾斜，设置本实施例的两个热成像同时向外倾斜θ＝18度。以克服热成像模组相机的热成像视野比一般摄像头小的问题，热成像模组相机向外倾斜增加视野，设置倾斜18度既可以增加视野，也保证了左右热成像模组相机的仍能够看到消防机器人的中间正前方，中间无视野盲区。
[0045]
步骤s2、对读取的两张热成像图像进行拼接，并根据拼接后的热成像图像中每个像素点的温度确定温度大于温度阈值的像素点。
[0046]
如图3所示，对热成像模组相机采集的视频流进行左右拼接得到拼接后的热成像图像，其中图像拼接为图像处理领域的常规技术，本实施例中不再进行赘述。
[0047]
若拼接后的热成像图像中存在大于温度阈值的像素点，则表示消防机器人前方的环境中存在火源；否则消防机器人前方的环境中不存在火源，需要控制机器人继续运动并寻找火源。为了及时发现火源，本实施例中设置温度阈值可为100℃，在其他实施例中也可以根据实际情况确定。
[0048]
步骤s3、在温度大于温度阈值的像素点中获取温度最高的像素点作为第一像素点，根据第一像素点的坐标计算第一像素点到拼接后的热成像图像的中轴的水平距离的绝对值。
[0049]
本实施例以温度最高的像素点作为火源在图像中的位置，以实现消防机器人对火源的定位，在其他实施例中也可以根据实际需要选择温度第二高、第三高等其他像素点作为对火源的定位。
[0050]
为了加快火源识别速度，本实施例以图像中像素点的个数之差作为判断火源位置的依据，即本实施例中第一像素点到拼接后的热成像图像的中轴的水平距离的绝对值，为第一像素点在拼接后的热成像图像中的x轴坐标值与拼接后的热成像图像的中轴的x轴坐标值之差的绝对值。
[0051]
步骤s4、控制消防机器人左向或右向转动直至第一像素点对应的水平距离的绝对值小于水平方向距离第一阈值，然后控制消防机器人的水枪旋转下放至预设角度。
[0052]
在识别到火源后控制消防机器人向左或向右移动，并且在移动过程中不断判断第一像素点对应的水平距离的绝对值是否小于水平方向距离第一阈值。当判断到第一像素点
对应的水平距离的绝对值小于水平方向距离第一阈值后停止消防机器人的转动，此时火源大致在消防机器人的正前方位置。
[0053]
第一像素点与第一阈值的计算为消防机器人对火源的粗定位过程，用于快速定位火源，在粗定位过程中本实施例设置水平方向距离第一阈值为40，单位是像素点个数之差。在其他实施例中水平方向距离第一阈值可根据实际情况进行调整。
[0054]
在消防机器人向左或向右移动过程中，可以控制消防机器人以匀速移动，也可以控制消防机器人越接近水平方向距离第一阈值移动速度越小，以保证前期快速移动定位。
[0055]
并且水枪的放下可以是与消防机器人的移动同步进行，也可以是在消防机器人移动完成后进行，而水枪的旋转下放速度是恒定的，下放角度预先设定，例如下放至水枪水平。
[0056]
步骤s5、读取水枪上的热成像模组相机采集的热成像图像。
[0057]
本实施例中的水枪由电机控制其上下转动，电磁阀控制水枪开关，且水枪在未使用的状态下为处于最上方的收纳状态。并且考虑到水枪的结构可能会遮挡热成像模组的因素，因此在必要时垫高热成像模组。
[0058]
步骤s6、根据从水枪上的热成像模组相机读取的热成像图像中每个像素点的温度确定温度大于温度阈值的像素点，若热成像图像中存在温度大于温度阈值的像素点，则表示水枪上的热成像模组相机找到火源；否则未找到火源，控制水枪由预设角度开始上下转动直至水枪上的热成像模组相机找到火源，实现水枪在竖直方向上实现对火源的初步定位。
[0059]
当找到火源后，在温度大于温度阈值的像素点中获取温度最高的像素点作为第二像素点。第二像素点作为火源在水枪上的热成像模组相机采集的热成像图像中的位置。
[0060]
步骤s7、控制消防机器人左向或右向转动直至第二像素点到从水枪上的热成像模组相机读取的热成像图像的中线的水平距离的绝对值小于水平方向距离第二阈值。
[0061]
为了加快火源识别速度，在对火源进行精确定位过程中本实施例同样以图像中像素点的个数之差作为判断火源位置的依据，即本实施例中第二像素点到热成像图像的中线的水平距离的绝对值，为第二像素点在热成像图像中的x轴坐标值与热成像图像的中线的x轴坐标值之差的绝对值。
[0062]
基于步骤s4中对火源进行的粗定位，本实施例继续基于水枪上的热成像图像完成对火源的精确定位，以克服水枪与消防机器人顶部的位置差，提高对火源定位的精确度。在精确定位过程中本实施例设置水平方向距离第二阈值为2，单位是像素点个数之差。在其他实施例中水平方向距离第二阈值可根据实际情况进行调整。
[0063]
在消防机器人向左或向右移动过程中，可以控制消防机器人以匀速移动，也可以控制消防机器人越接近水平方向距离第一阈值移动速度越小，以保证前期快速移动定位。
[0064]
步骤s8、根据消防机器人的顶部的两个热成像模组相机采集的热成像图像计算火源与消防机器人的实际距离，控制机器人前进直至火源与消防机器人的实际距离在灭火范围内。
[0065]
在消防移动机器人对火源在水平方向实现精确定位、在竖直方向实现初步定位后，需要判断此时火源是否在消防机器人的灭火范围内，本实施例直接计算火源与消防机器人的实际距离以确定消防机器人是否需要继续移动。
[0066]
如图4、图5所示，本实施例中计算火源与消防机器人的实际距离，包括以下步骤：
[0067]
步骤s31、令消防机器人的顶部的两个热成像模组相机分别为左、右热成像模组相机，左、右热成像模组相机采集的热成像图像分别为左、右热成像图像，且左、右热成像模组相机的光心分别为a、b点，左、右热成像图像的中心分别为o1、o2点，则线段ao1、bo2分别为左、右热成像图像的光轴，且令火源为i点
[0068]
步骤s32、已知热成像模组相机的倾斜角为θ，热成像模组相机的焦距f、两个热成像模组相机的光心之间的距离ab以及第一像素点在左、右热成像图像中的坐标分别为g(xl,yl)，h(xr,yr)，则分别过g、h、i点作线段ab的垂线，垂足分布为d、e、f；
[0069]
步骤s33、令线段ab的中点为c点(c点也为两个热成像图像的基线中心)，过d、e点分别作线段ao1、bo2的平行线且分别交左、右热成像图像于j、k点；过点o2点作线段be平行线交ek于l点，则∠ko2l＝θ，点o1、o2为图像中心，坐标已知为l和w分别为热成像图像的长和宽，已知be＝lo2，le＝bo2，ao1＝bo2＝f，则过h点做线段ko2的延长线的垂线，垂足为h1，连接h1点和e点交线段lo2的延长线的交点为m，则h1点的横坐标为纵
[0070]
hb2＝be2 he2＝bo22 ho22[0071]
其中，线段ho2的长度根据h点和o2点的坐标计算得到，线段h1o2的长度根据h1点和o2点的坐标计算得到；
[0072]
根据方程组(1)求解得到线段be和he的长度，同理计算得到线段ad和gd的长度，根据相似三角形求出f点到火源的距离if，可列方程组如下：
[0073][0074]
根据方程组(2)可以求出线段if、af、bf的长度，在直角三角形ifc中通过勾股定理求出火源i到两个热成像图像基线中心c的距离ic：
[0075][0076]
其中距离ic即为火源与消防机器人的实际距离。本实施例中灭火范围为以消防机器人为中心，半径为2～6米的圆(当然也可以是其他形状，例如为以消防机器人为起点，水枪实际喷水距离为长度的直线等)，灭火范围根据消防机器人中水枪的实际喷水距离确定。若消防机器人不在灭火范围内，则控制消防机器人以当前角度向前直行至灭火范围内。
[0077]
步骤s9、控制消防机器人上的水枪上下转动直至第二像素点在从水枪上的热成像
模组相机读取的热成像图像的竖直方向中心偏下预设距离内，然后开启水枪进行灭火。
[0078]
考虑到热成像模组相机安装在水枪上方比水枪高，并且水枪喷出的水具有一定的弧度，因此为了确保在灭火范围内水枪均能对火源进行有效的灭火，本实施例中调整水枪上下转动直至第二像素点在热成像图像的竖直方向中心偏下预设距离内，实现在竖直方向上对火源的精确定位。同理这里的预设距离仍为基于图像像素点设置的阈值，本实施例中设置预设距离为5个像素点之差。
[0079]
为了确保消防机器人在开启水枪时不受水枪的反作用力影响，本实施例中设置消防机器人采用两轮自平衡的底盘控制，底部前后各有两个电支撑柱，机器人移动过程中电支撑柱是收起状态，并且在开启水枪进行灭火之前先控制前后位置的两个电支撑柱向下伸展直至接触地面。这里的向下伸展至接触地面应理解为向下伸展预设距离或者完全伸展电支撑柱。并且本实施例中电支撑装在机器人前后各两个共四个。
[0080]
在灭火过程中水枪上的热成像模组相机一直检测是否有火源的存在，直到没有火源关闭水枪，最后收起水枪和电支撑柱。
[0081]
本实施例基于像素点进行火源识别，相对于图像识别或目标检测而言，对火源的识别速度更快；并且在识别到火源后通过水平方向和竖直方向各自的粗定位和精确定位实现对火源的准确定位，从而提高灭火效果，并且基于热成像模组相机即可完成对火源的识别、定位，极大程度的降低消防机器人的制造成本。
[0082]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0083]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。