巡检机器人及其漏检处理和控制方法、控制器和介质与流程

本技术涉及移动机器人，具体涉及一种巡检机器人及其漏检处理和控制方法、控制器和介质。

背景技术：

1、红外相机作为巡检机器人（涵盖电力、石化、仓储等场景）的核心感知设备，其视场角（fov）普遍存在局限性。主流工业级红外镜头视场角仅为30°左右，远小于可见光相机。红外相机的窄视场短板直接导致巡检机器人在作业过程中难以实现巡检路线两侧区域的全面覆盖，核心缺陷具体体现在以下三个方面：

2、1. 巡检盲区广泛且隐蔽：巡检机器人多沿预设路线行进，红外相机固定朝向或仅能小角度调节，对于路线两侧超出视场范围的设备、管线、区域，无法实现有效检测。例如石化厂区的大型设备侧面、电力巡检中路塔支架外侧、仓储货架背面等，均易形成检测盲区。即便采用高处“鸟瞰”模式扩大覆盖范围，也会因设备体型高大、造型复杂产生新的盲区，而环视模式又易受遮挡，进一步加剧盲区问题。

3、2. 隐患漏检风险突出：工业巡检中，设备过热、vocs泄漏、线路老化等隐患多数并非发生在巡检路线正上方/正前方，而是分布在路线两侧。红外相机视场不足导致这些隐蔽隐患无法被及时捕捉。

4、3. 巡检效率与完整性矛盾凸显：为弥补视场不足的缺陷，部分场景需减慢机器人行进速度、增加巡检次数或扩大路线间距，导致巡检效率大幅下降。若维持正常巡检效率，则必然牺牲检测完整性，形成“要么慢、要么漏”的两难局面，无法兼顾工业巡检对“高效、全面”的核心需求。

5、针对红外相机视场较小导致的上述缺陷，行业内主要采用硬件上增加感知单元、多镜头拼接扩大检测范围，以及软件上采用分区巡检、定点补检的方式来进行解决。具体地，包括以下现有技术手段：

6、1. 增加感知单元、多镜头拼接扩大检测范围方式：在巡检机器人上搭载2-6个红外相机，通过水平排列、“5+1”顶部安装等布局，将单个红外相机镜头的视场拼接为90°甚至120°，实现较大范围的检测覆盖。或者，采用视场角较大的120°-180°的广角或鱼眼红外镜头，直接替换传统窄视场镜头，但鱼眼镜头畸变较大且画面扭曲。并且，增加感知单元及鱼眼镜头的方法成本昂贵，无法广泛应用于各种场景下的巡检。

7、2. “机器人+无人机”协同巡检：无人机负责高空大范围覆盖，机器人负责地面细节检测，通过算法融合两类设备数据，形成全场景无盲区巡检闭环。但该方法在低空飞行限制区域（比如石化、变电站或室内危化品存储仓库等）难以实施，且成本昂贵。

8、3. 将整个巡检区域划分为若干小区域，根据区域大小、设备分布，设定机器人巡检路线和红外相机拍摄角度，确保每个小区域均在红外视场范围内，避免跨区域盲区。但该方法需提前规划分区，前期投入成本较高，且巡检区域布局变化时无法适应，复杂场景适配性不足。

9、因此，本技术实施例旨在提出新的巡检机器人防漏检方案。

技术实现思路

1、本技术实施例的目的是提供一种巡检机器人及其漏检处理和控制方法、控制器和介质，用以至少部分地解决上述技术问题。

2、为了实现上述目的，本技术第一方面提供一种巡检机器人的漏检处理方法，针对以云台驱动红外相机进行扫描的巡检机器人，且所述漏检处理方法包括：对所述巡检机器人在巡检过程的红外图像数据、机器人运动数据和路径数据分别进行特征提取，得到对应的图像维度特征、运动维度特征和路径维度特征，再对所提出的特征进行特征融合以得到相应的融合特征向量；以及执行漏检识别，包括：基于所述融合特征向量与适应于不同类型的漏检场景被确定的不同类型的漏检识别阈值，执行漏检场景分类以输出漏检场景分类结果，并根据所述漏检场景分类结果，定位不同类型的漏检场景导致的漏检区域。

3、在本技术实施例中，所述漏检场景分类结果包括不同类型的漏检场景，且所述不同类型的漏检场景包括路径预判偏差漏检场景、设备运动图像漏检场景和复杂路况漏检场景。

4、在本技术实施例中，所述不同类型的漏检识别阈值包括：对应于所述路径预判偏差漏检场景的位置偏差阈值和第一速度偏差阈值；对应于所述设备运动图像漏检场景的图像灰度方差阈值和第二速度偏差阈值；以及对应于所述复杂路况漏检场景的第三速度偏差阈值。

5、在本技术实施例中，所述执行漏检场景分类包括：将所述融合特征向量输入分类器；在所述路径维度特征示出的机器人位置偏差小于或等于所述位置偏差阈值以及所述运动维度特征示出的机器人行进速度偏差小于或等于所述第一速度偏差阈值时，所述分类器输出所述路径预判偏差漏检场景；在所述运动维度特征示出的机器人行进速度偏差小于或等于所述第二速度偏差阈值以及所述图像维度特征示出的图像灰度方差大于或等于所述图像灰度方差阈值时，所述分类器输出所述设备运动图像漏检场景；和/或，在所述运动维度特征示出的机器人行进速度偏差大于或等于所述第三速度偏差阈值以及所述路径维度特征示出所述巡检机器人处于弯道或坡道时，所述分类器输出所述复杂路况漏检场景。

6、在本技术实施例中，所述漏检处理方法还包括：获取各个漏检区域的漏检区域图像和漏检区域属性信息，其中所述漏检区域属性信息包括漏检区域像素坐标、漏检区域面积和漏检场景类型；以及基于所有漏检区域的所述漏检区域图像和所述漏检区域属性信息，生成第一漏检区域识别结果。

7、在本技术实施例中，所述漏检处理方法还包括：将所述第一漏检区域识别结果中的各个漏检区域对应的漏检区域像素坐标转换为所述巡检机器人的作业坐标，以输出基于所述作业坐标的第二漏检区域识别结果；和/或，将所述第一漏检区域识别结果中的各个漏检区域图像与所述巡检机器人的历史巡检图像进行对比，以验证是否存在关于漏检区域的误识别，并输出经过所述验证之后的第三漏检区域识别结果。

8、在本技术实施例中，所述漏检处理方法还包括执行以下的补扫步骤：根据所述漏检区域属性信息，确定所述巡检机器人的补扫参数；基于所述漏检区域识别结果以及所述巡检机器人的实时位置，规划所述巡检机器人执行补扫的补扫路径；以及控制所述巡检机器人按照所述补扫路径行进至相应的漏检区域，并基于所确定的补扫参数，对不同类型的漏检场景执行差异化补扫模式。

9、在本技术实施例中，所述补扫参数包括补扫优先级、补扫冗余度和/或补扫速度，且确定所述巡检机器人的补扫参数包括，且确定所述巡检机器人的补扫参数包括：根据所述漏检场景类型对应的巡检重要性，确定相应漏检区域的补扫优先级权重，并根据所述补扫优先级权重确定相应的补扫优先级；结合所述漏检场景类型和所述补扫优先级权重，确定补扫冗余度，其中所述补扫冗余度是指补扫覆盖范围与漏检区域面积的比值；以及结合所述补扫冗余度和所述漏检区域面积，确定补扫速度。

10、在本技术实施例中，所述对不同类型的漏检场景执行差异化补扫模式包括：

11、1. 针对路径预判偏差漏检场景，执行第一补扫模式，该第一补扫模式被配置为：所述巡检机器人暂停行进，所述云台以相应漏检区域为中心执行补扫。

12、2. 针对设备运动图像漏检场景，执行第二补扫模式，该第二补扫模式被配置为：所述巡检机器人移动，所述云台以适应于所述巡检机器人的移动而动态调整的补扫冗余度执行补扫。

13、3. 针对复杂路况漏检场景，执行第三补扫模式，该第三补扫模式被配置为：将相应漏检区域划分为若干区段，所述巡检机器人按照所划分的区段移动，所述云台执行补扫。

14、在本技术实施例中，所述补扫步骤还包括：在所述对不同类型的漏检场景执行差异化补扫模式之后，针对补扫区域，重新进行所述特征提取、所述特征融合及所述漏检识别，以确定是否存在漏检区域，若是，则调整所述补扫参数重新进行补扫，否则补扫结束；和/或在所述对不同类型的漏检场景执行差异化补扫模式的过程中，响应于所述巡检机器人的故障事件，中断补扫并记录补扫进度，以及响应于所述故障事件的排除，调取所述补扫进度以继续执行补扫。

15、在本技术实施例中，所述漏检识别阈值适应于环境干扰系数与漏检识别精度被调整。

16、本技术第二方面提供一种巡检机器人控制方法，针对以云台驱动红外相机进行扫描的巡检机器人，且所述巡检机器人控制方法包括：控制所述巡检机器人在目标区域内进行巡检，以得到相应的红外图像数据、机器人运动数据和路径数据；以及采用上述任意的漏检处理方法来处理所述红外图像数据、所述机器人运动数据和所述路径数据，以实现针对所述目标区域的漏检处理。其中，所述控制所述巡检机器人在目标区域内进行巡检包括：控制所述红外相机执行分层螺旋式扫描；和/或基于路径预判调整云台扫描参数。

17、在本技术实施例中，所述控制所述红外相机执行分层螺旋式扫描包括：控制所述云台进行水平旋转和垂直俯仰的联动，以带动所述红外相机执行所述分层螺旋式扫描；其中，所述分层螺旋式扫描是指所述云台在完成一次单向螺旋扫描之后，再反向进行一次螺旋扫描。其中每次螺旋扫描是指所述云台在以设定的水平旋转速度进行水平旋转的同时以设定的垂直俯仰速度进行垂直俯仰，或者所述云台在以设定的垂直俯仰速度进行垂直俯仰的同时以设定的水平旋转速度进行水平旋转，且每次螺旋扫描在设定的云台水平扫描角度范围和云台垂直扫描角度范围内进行；其中，所述水平旋转速度关联于所述巡检机器人的行走速度被确定，所述垂直俯仰速度关联于所述水平旋转速度被确定。

18、在本技术实施例中，所述云台扫描参数包括所述云台的水平扫描角度范围、垂直扫描角度范围、水平旋转速度和/或垂直俯仰速度，且所述基于路径预判调整云台扫描参数包括：在巡检过程中，实时进行路径预判，获得对应的路径预判结果；在所述路径预判结果示出前方存在弯道时，根据对应的弯道属性参数调整所述云台的所述水平扫描角度范围和所述水平旋转速度；和/或，在所述路径预判结果示出前方存在坡道时，根据对应的坡道属性参数调整所述云台的所述垂直扫描角度范围的所述垂直俯仰速度。

19、本技术第三方面提供一种控制器，包括：存储器，被配置成存储指令；以及处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述任意一项所述的漏检处理方法或者巡检机器人控制方法。

20、本技术第四方面提供一种巡检机器人，包括：通过云台驱动的红外相机；以及上述任意的控制器。

21、本技术第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述任意的漏检处理方法或者巡检机器人控制方法。

22、通过上述技术方案，本技术实施例创新提出了基于多特征融合分类及漏检识别阈值自适应确定的漏检区域识别方案，针对红外相机窄视场导致的巡检漏检问题，能够以低成本且场景适配度高的优势来精确识别出漏检区域。

23、本技术实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。