一种基于视觉的巡检灭火车及其控制方法

1.本技术涉及机器人领域，具体涉及一种基于视觉的巡检灭火车及其控制方法。


背景技术：

2.火情火险与广大人民的生命财产安全息息相关，一旦发生火灾，很容易伴随着严重的财产损失还有人身损失，特别是对于存放有贵重设备的实验室或者人流量较大的封闭场所这类场所，后果更为严重。
3.随着微处理器及人工智能技术的高速发展，将人工智能和自动控制技术应用于室内火灾自动巡检及灭火，会大大降低发生重大火灾的可能性，同时减轻现场巡逻人员的工作量，节约更多的人力成本。
4.而在现有的相关技术的研究过程中，发明人发现，在通过视觉识别来进行室内火灾的自动巡检时，时有出现火灾误判的情况，这意味着现有的基于视觉识别的室内火灾自动巡检技术，存在精度有限的问题。


技术实现要素：

5.本技术提供了一种基于视觉的巡检灭火车及其控制方法，在获取图像信息并通过视觉识别来判断存在火点时，还继续通过红外检测进行二次确定，如此大大提高了火灾判断精度。
6.第一方面，本技术提供了一种基于视觉的巡检灭火车，巡检灭火车包括超声波模块、微处理器模块、移动平台模块、可见光摄像模块、红外模块、水泵模块以及智能算法模块；
7.超声波模块采集周围环境的超声波信息，超声波信息用于指示巡检灭火车的周围环境；
8.微处理器模块结合超声波信息以及预设的巡检线路，控制移动平台模块驱动巡检灭火车按照巡检线路移动；
9.可见光摄像模块采集视野中的图像信息；
10.微处理器模块通过智能算法模块配置的火点识别算法，判断图像信息中是否出现火点的目标图像信息，若是，则触发红外模块采集视野中的红外信息；
11.微处理器模块通过智能算法模块配置的火点识别算法，确定红外信息的火点位置；
12.微处理器模块基于超声波信息，控制移动平台模块驱动巡检灭火车向火点位置移动，并保持预设的间距；
13.微处理器模块控制水泵模块，向火点位置喷水，以进行灭火。
14.结合本技术第一方面，在本技术第一方面第一种可能的实现方式中，可见光摄像模块采集的图像信息为点阵式数据类型的信息，图像信息中每一个点由rgb三原色组成，在判断图像信息中出是否出现火点的目标图像信息时遵循以下的rgb分量判断关系：
15.r》g》b，
16.r》r
avg
，
17.g》g
avg
，
18.其中，r为rgb图像空间中r分量的值，g为rgb图像空间中g分量的值，b为rgb图像空间中b分量的值，r
avg
表示整幅图像中红色分量的平均值，g
avg
表示整幅图像中绿色分量的平均值。
19.结合本技术第一方面第一种可能的实现方式，在本技术第一方面第二种可能的实现方式中，在通过rgb分量判断关系确定图像信息中出现火点的目标图像信息时，微处理器模块还将图像信息转化为his图像空间的图像信息，并继续判断图像信息中出是否出现火点的目标图像信息，在判断过程中遵循以下的his分量判断关系：
20.s》0.2，
21.s》(255-r)/20，
22.s≥(255-r)*st/rt，
23.其中，s为his图像空间中s分量的值，st为饱和度阈值，st参考范围55～65，rt为红色分量阈值，rt参考范围115～135。
24.结合本技术第一方面，在本技术第一方面第三种可能的实现方式中，在通过智能算法模块配置的火点识别算法确定红外信息的火点位置时，遵循以下判断关系：
25.当所处场景为空间大于预设值的第一场景时，将红外信息对应的温度值大于50
°
的位置确定为火点位置；
26.当当前所处场景为空间小于预设值的第二场景时，将红外信息对应的温度值大于70
°
的位置确定为火点位置。
27.结合本技术第一方面，在本技术第一方面第四种可能的实现方式中，智能算法模块还配置有避障算法，微处理器模块控制移动平台模块驱动巡检灭火车移动时，通过避障算法绕开预定运动线路上的障碍物，并继续根据预定运动线路进行移动。
28.第二方面，本技术提供了一种基于视觉的巡检灭火车的控制方法，方法应用于巡检灭火车，巡检灭火车包括超声波模块、微处理器模块、移动平台模块、可见光摄像模块、红外模块、水泵模块以及智能算法模块，方法包括：
29.超声波模块采集周围环境的超声波信息，超声波信息用于指示巡检灭火车的周围环境；
30.微处理器模块结合超声波信息以及预设的巡检线路，控制移动平台模块驱动巡检灭火车按照巡检线路移动；
31.可见光摄像模块采集视野中的图像信息；
32.微处理器模块通过智能算法模块配置的火点识别算法，判断图像信息中是否出现火点的目标图像信息，若是，则触发红外模块采集视野中的红外信息；
33.微处理器模块通过智能算法模块配置的火点识别算法，确定红外信息的火点位置；
34.微处理器模块基于超声波信息，控制移动平台模块驱动巡检灭火车向火点位置移动，并保持预设的间距；
35.微处理器模块控制水泵模块，向火点位置喷水，以进行灭火。
36.结合本技术第二方面，在本技术第二方面第一种可能的实现方式中，可见光摄像模块采集的图像信息为点阵式数据类型的信息，图像信息中每一个点由rgb三原色组成，在判断图像信息中出是否出现火点的目标图像信息时遵循以下的rgb分量判断关系：
37.r》g》b，
38.r》r
avg
，
39.g》g
avg
，
40.其中，r为rgb图像空间中r分量的值，g为rgb图像空间中g分量的值，b为rgb图像空间中b分量的值，r
avg
表示整幅图像中红色分量的平均值，g
avg
表示整幅图像中绿色分量的平均值。
41.结合本技术第二方面第一种可能的实现方式，在本技术第二方面第二种可能的实现方式中，在通过rgb分量判断关系确定图像信息中出现火点的目标图像信息时，方法还包括：
42.微处理器模块将图像信息转化为his图像空间的图像信息，并继续判断图像信息中出是否出现火点的目标图像信息，在判断过程中遵循以下的his分量判断关系：
43.s》0.2，
44.s》(255-r)/20，
45.s≥(255-r)*st/rt，
46.其中，s为his图像空间中s分量的值，st为饱和度阈值，st参考范围55～65，rt为红色分量阈值，rt参考范围115～135。
47.结合本技术第二方面，在本技术第二方面第三种可能的实现方式中，在通过智能算法模块配置的火点识别算法确定红外信息的火点位置时，遵循以下判断关系：
48.当所处场景为空间大于预设值的第一场景时，将红外信息对应的温度值大于50
°
的位置确定为火点位置；
49.当当前所处场景为空间小于预设值的第二场景时，将红外信息对应的温度值大于70
°
的位置确定为火点位置。
50.结合本技术第二方面，在本技术第二方面第四种可能的实现方式中，智能算法模块还配置有避障算法，方法还包括：
51.微处理器模块控制移动平台模块驱动巡检灭火车移动时，通过避障算法绕开预定运动线路上的障碍物，并继续根据预定运动线路进行移动。
52.第三方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本技术第二方面或者本技术第二方面任一种可能的实现方式提供的方法。
53.从以上内容可得出，本技术具有以下的有益效果：
54.本技术提供的巡检灭火车，通过超声波信息来完成火灾的自动巡检，而在具体的巡检过程中，在获取图像信息并通过视觉识别来判断存在火点时，还继续通过红外检测进行二次确定，如此大大提高了火灾判断精度，并可得到更为精确的火点位置，如此实现更加精准的灭火效果，提高室内火灾自动巡检质量。
附图说明
55.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1为本技术基于视觉的巡检灭火车的一种结构示意图；
57.图2为本技术基于视觉的巡检灭火车的控制方法的一种流程示意图。
具体实施方式
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本技术中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
60.本技术中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本技术中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本技术方案的目的。
61.首先，参阅图1，图1示出了本技术基于视觉的巡检灭火车的一种结构示意图，本技术提供的基于视觉的巡检灭火车，具体可以包括超声波模块、微处理器模块、移动平台模块、可见光摄像模块、红外模块、水泵模块以及智能算法模块。
62.超声波模块，在定时器作用下周期性发射超声波，并根据超声波返回时间，计算物体与巡检灭火车之间的距离，其中，计算公式可以为：s＝(t2-t1)*v/2，其中，t2-t1为超声波的发送与返回之间的时间差，v为音速，约340米/秒，s为物体与巡检灭火车之间的距离；
63.微处理器模块，采用基于arm架构的微处理器系统，例如imx6；
64.移动平台模块，补充下模块结构还有基础工作原理；
65.可见光摄像模块，包括摄像头，用于采集巡检灭火车前方视野或者周围视野中的物体，形成相应的图像；
66.红外模块，可以对疑似有火点的场景进行拍摄，并形成温度矩阵，根据矩阵中的温度数据，可以判断场景中的最高温度是否大于设定阈值，从而准确判断是否有起火事件发生；
67.水泵模块，接收来自处理器的电平信号，当处理器向其发送高电平时，水泵电机启动，实现对外喷水；
68.智能算法模块，其搭载有预设的算法，以外置模块的形式为微处理器模块提供可以调用的算法，并可以便携地通过读写操作进行算法的更新，甚至还可以直接通过模块的更换方式，为微处理器模块提供可以新的算法。
69.从数据流向来看，在巡检灭火车的工作过程中，超声波模块持续采集周围环境的超声波信息，来提供定位所需的信息，具体的，该超声波信息用于指示巡检灭火车的周围环境，用于反映出周遭的三维结构特征；
70.微处理器模块再结合超声波信息以及为巡检现场预设的巡检线路，控制移动平台模块驱动巡检灭火车按照巡检线路移动，可以理解的是，超声波信息是用来为巡检灭火车的移动提供辅助的数据支持的，如此结合实时的周围环境的三维结构特征来更好地按照巡检线路移动；
71.而在工作过程中，巡检灭火车上的可见光摄像模块也在采集视野中的图像信息；
72.在该情况下，微处理器模块则可以通过智能算法模块配置的火点识别算法，判断图像信息中是否出现火点的目标图像信息，若是，则不是立即针对该火点的目标图像信息发起灭火处理，而是继续触发红外模块采集视野中的红外信息；
73.此时，微处理器模块再通过智能算法模块配置的火点识别算法，确定红外信息的火点位置，在该处理中，可以理解为火点的二次确认，若没有检测到火点位置，则可认为之前图像信息判断出现的火点的目标图像信息，是误判火点情况，而若检测到火点位置，则可认为之前图像信息判断出现的火点的目标图像信息，是正确火点情况，则可发起相应的灭火处理；
74.具体的，在灭火处理中，微处理器模块继续基于超声波信息，控制移动平台模块驱动巡检灭火车向火点位置移动，并保持预设的间距，如此可以在相邻火点的安全位置进行灭火；
75.而后，巡检灭火车在安全位置处，微处理器模块则可控制水泵模块，向火点位置喷水，以进行灭火。
76.从图1所示实施例可看出，本技术提供的巡检灭火车，通过超声波信息来完成火灾的自动巡检，而在具体的巡检过程中，在获取图像信息并通过视觉识别来判断存在火点时，还继续通过红外检测进行二次确定，如此大大提高了火灾判断精度，并可得到更为精确的火点位置，如此实现更加精准的灭火效果，提高室内火灾自动巡检质量。
77.其中，对于上述涉及的视觉识别，即通过火点识别算法识别图像信息中是否出现火点的目标图像信息，是以预先训练好用于识别输入图像中的火点的人工智能(artificial intelligence，ai)算法，来对当前的图像信息号进行其是否包含了火点的识别，由此凭借机器自主学习的强大优势，完成高效、精确的火点的识别效果。
78.作为一种具体的实现方式，本技术此处所进行的视觉识别处理，还可通过以下设置，来获得更为简洁、精确的火点识别效果。
79.具体的，在实际应用中，可见光摄像模块所采集的图像信息，具体为点阵式数据类型的信息，而图像信息中每一个点则由rgb(red、gree、blue，对应了rgb图像空间)三原色组成，在此基础上，处理设备在通过调用的火点识别算法判断图像信息中出是否出现火点的目标图像信息时则可遵循以下的rgb分量判断关系：
80.r》g》b，
81.r》r
avg
，
82.g》g
avg
，
83.其中，r为rgb图像空间中r分量的值，g为rgb图像空间中g分量的值，b为rgb图像空间中b分量的值，r
avg
表示整幅图像中红色分量的平均值，g
avg
表示整幅图像中绿色分量的平均值。
84.在该设置中，容易看出，其为火点的目标图像信息的识别，基于rgb图像空间提供了一套具体的落地应用策略，不仅可用于实际应用，且数据处理机制较为简洁、高效，对巡检灭火车的软硬件性能要求较低，因此具有较佳的应用价值。
85.此外，在上述图像识别处理内容的基础上，本技术为进一步提高对火点的图像识别精度，还继续研发了以下图像识别策略。
86.在通过rgb分量判断关系确定图像信息中出现火点的目标图像信息时，微处理器模块还将图像信息转化为his(hue、intensity、saturation)图像空间的图像信息，并继续判断图像信息中出是否出现火点的目标图像信息，在判断过程中遵循以下的his分量判断关系：
87.s》0.2，
88.s》(255-r)/20，
89.s≥(255-r)*st/rt，
90.其中，s为his图像空间中s分量的值，st为饱和度阈值，st参考范围55～65，rt为红色分量阈值，rt参考范围115～135。
91.可以发现，此处设置是在以rgb图像空间出发进行了一次火点的图像识别处理的情况下，继续在图像识别处理过程中，以his图像空间出发继续进行了二次火点的图像识别，如此，通过二次确认的方式，进一步提高了对图像信息中火点的图像识别精度。
92.而且，与上述基于rgb图像空间进行的图像识别处理类似的，在此处基于his图像空间进行的图像识别处理中，也可看出，其为火点的目标图像信息的识别，基于his图像空间提供了一套具体的落地应用策略，也是不仅可用于实际应用，且数据处理机制较为简洁、高效，对巡检灭火车的软硬件性能要求较低，因此具有更进一步的应用价值。
93.此外，可以理解的是，对于可见光摄像模块，其采集的图像信息的具体数据格式，例如上面涉及的rgb图像空间或者his图像空间的数据格式，是随其摄像模块预先配置的软硬件条件而形成的，而在采集到了图像信息后，微处理器模块则可对其数据格式进行转化，以提供后续数据处理所需的数据格式。
94.与此同时，对于基于图像信息展开的火点的图像识别处理之后的、基于红外信息的火点的二次识别，本技术也针对实际应用提出了进一步的具体实现方案。
95.具体的，在微处理器模块通过智能算法模块配置的火点识别算法确定红外信息(例如32
×
32矩阵)的火点位置时，可遵循以下判断关系：
96.当所处场景为空间大于预设值的第一场景时，将红外信息对应的温度值大于50
°
的位置确定为火点位置；
97.当当前所处场景为空间小于预设值的第二场景时，将红外信息对应的温度值大于70
°
的位置确定为火点位置。
98.其中，通俗来讲，第一场景就是大空间场景，第二场景就是小空间场景，对应的，本技术认为，在大空间场景以及小空间场景之间，同样的火点在红外信息中，则可呈现出不一样的特征，具体的，本技术则可从其对应的温度值入手，在大空间场景中对应了稍低的温度值，在小空间场景中对应了稍高的温度值。
99.具体的，本技术则配置了50
°
以及70
°
的具体温度阈值，为火点位置的具体判别提供临界点的识别依据。
100.而具体所处场景，则可通过超声波信息甚至直接预设具体场景来确定。
101.在该设置下，显然，也是为火点的识别提供了一套具体的落地应用策略，与上述类似的，不仅可用于实际应用，且数据处理机制较为简洁、高效，对巡检灭火车的软硬件性能要求较低，因此对于本技术巡检灭火车的应用价值的提升又做了进一步的贡献。
102.此外，对于巡检灭火车的移动，可以理解，在上面已提及，超声波模块所采集的超声波信息，可以指示巡检灭火车的周围环境，用于反映出周遭的三维结构特征，如此超声波信息可用来为巡检灭火车的移动提供辅助的数据支持的，结合实时的周围环境的三维结构特征来更好地按照巡检线路移动。
103.在该过程中，不仅是用于辅助确认在巡检线路中的具体位置，还可用于识别前方甚至周遭出现的障碍物。
104.当然，可见光摄像模块所采集的图像信息，也可用来分析出图像中是否存在障碍物。
105.与此同时，对于移动过程中检测出来的障碍物，巡检灭火车还可进行安全避险操作，具体的，作为又一种适于实用的实现方案，智能算法模块除了可以配置火点识别算法(包括基于图像信息以及红外信息的火点识别算法)等相应的算法，还可配置有避障算法。
106.如此，假若出现了障碍物，微处理器模块控制移动平台模块驱动巡检灭火车移动时，则可通过避障算法绕开预定运动线路上的障碍物，并继续根据预定运动线路进行移动，保障正常的移动。
107.此外，应当理解的是，该避障算法，不仅是用于结合当前巡检线路、移动轨迹、当前位置来涉及出避开障碍物的移动轨迹，还可能涉及对障碍物的识别处理。
108.而在判定了火点、确定了火灾情况后，除了自动执行相应的灭火处理，巡检灭火车还可发出相应的警报，以警示其他的设备或者人员，如此可以实验室、仓库、厨房等场景，实现对火灾的自动报警及扑灭，精准且高效地降低人工巡逻成本。
109.以上是本技术提供的基于视觉的巡检灭火车的介绍，对应的，在巡检灭火车的基础上，本技术还从控制流程角度提供了一种基于视觉的巡检灭火车的控制方法。
110.下面，开始介绍本技术提供的基于视觉的巡检灭火车的控制方法。
111.参阅图2，图2示出了本技术基于视觉的巡检灭火车的控制方法的一种流程示意图，本技术提供的基于视觉的巡检灭火车的控制方法，具体应用于巡检灭火车，巡检灭火车包括超声波模块、微处理器模块、移动平台模块、可见光摄像模块、红外模块、水泵模块以及
智能算法模块，对应的，基于视觉的巡检灭火车的控制方法具体可包括如下步骤：
112.步骤s201，超声波模块采集周围环境的超声波信息，超声波信息用于指示巡检灭火车的周围环境；
113.步骤s202，微处理器模块结合超声波信息以及预设的巡检线路，控制移动平台模块驱动巡检灭火车按照巡检线路移动；
114.步骤s203，可见光摄像模块采集视野中的图像信息；
115.步骤s204，微处理器模块通过智能算法模块配置的火点识别算法，判断图像信息中是否出现火点的目标图像信息，若是，则触发红外模块采集视野中的红外信息；
116.步骤s205，微处理器模块通过智能算法模块配置的火点识别算法，确定红外信息的火点位置；
117.步骤s206，微处理器模块基于超声波信息，控制移动平台模块驱动巡检灭火车向火点位置移动，并保持预设的间距；
118.步骤s207，微处理器模块控制水泵模块，向火点位置喷水，以进行灭火。
119.在一种示例性的实现方式中，可见光摄像模块采集的图像信息为点阵式数据类型的信息，图像信息中每一个点由rgb三原色组成，在判断图像信息中出是否出现火点的目标图像信息时遵循以下的rgb分量判断关系：
120.r》g》b，
121.r》r
avg
，
122.g》g
avg
，
123.其中，r为rgb图像空间中r分量的值，g为rgb图像空间中g分量的值，b为rgb图像空间中b分量的值，r
avg
表示整幅图像中红色分量的平均值，g
avg
表示整幅图像中绿色分量的平均值。
124.在又一种示例性的实现方式中，在通过rgb分量判断关系确定图像信息中出现火点的目标图像信息时，方法还包括：
125.微处理器模块将图像信息转化为his图像空间的图像信息，并继续判断图像信息中出是否出现火点的目标图像信息，在判断过程中遵循以下的his分量判断关系：
126.s》0.2，
127.s》(255-r)/20，
128.s≥(255-r)*st/rt，
129.其中，s为his图像空间中s分量的值，st为饱和度阈值，st参考范围55～65，rt为红色分量阈值，rt参考范围115～135。
130.在又一种示例性的实现方式中，在通过智能算法模块配置的火点识别算法确定红外信息的火点位置时，遵循以下判断关系：
131.当所处场景为空间大于预设值的第一场景时，将红外信息对应的温度值大于50
°
的位置确定为火点位置；
132.当当前所处场景为空间小于预设值的第二场景时，将红外信息对应的温度值大于70
°
的位置确定为火点位置。
133.在又一种示例性的实现方式中，智能算法模块还配置有避障算法，方法还可包括：
134.微处理器模块控制移动平台模块驱动巡检灭火车移动时，通过避障算法绕开预定
运动线路上的障碍物，并继续根据预定运动线路进行移动。
135.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于视觉的巡检灭火车的控制方法的具体工作过程，可以参考如图1对应实施例中基于视觉的巡检灭火车的说明，具体在此不再赘述。
136.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
137.为此，本技术提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图2对应实施例中基于视觉的巡检灭火车的控制方法的步骤，具体操作可参考如图2对应实施例中基于视觉的巡检灭火车的控制方法的说明，在此不再赘述。
138.其中，该计算机可读存储介质可以包括：只读存储器(read only memory，rom)、随机存取记忆体(random access memory，ram)、磁盘或光盘等。
139.由于该计算机可读存储介质中所存储的指令，可以执行本技术如图2对应实施例中基于视觉的巡检灭火车的控制方法的步骤，因此，可以实现本技术如图2对应实施例中基于视觉的巡检灭火车的控制方法所能实现的有益效果，详见前面的说明，在此不再赘述。
140.以上对本技术提供的基于视觉的巡检灭火车、基于视觉的巡检灭火车的控制方法以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。