巡检机器人仪表识别系统及方法、存储介质与流程

技术特征：
1.一种巡检机器人仪表识别方法，其特征在于，包括步骤：仪表图像局部增强步骤，控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色；仪表图像矫正步骤，对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置；仪表模板匹配与分区识别步骤，将实时获取的仪表图像与存储的标准仪表模板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符；获取数字识别结果步骤，将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果；以及自动判别步骤，所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，求所述数值实时检测区的数字识别结果与所述数值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。2.根据权利要求1所述的巡检机器人仪表识别方法，其特征在于，在所述仪表图像局部增强步骤中，所述巡检机器人正对仪表拍摄获取仪表图像；所述仪表图像包括仪表的全部影像，且仪表的全部影像占所述仪表图像的至少70％。3.根据权利要求2所述的巡检机器人仪表识别方法，其特征在于，所述巡检机器人还包括距离传感器，所述巡检机器人正对仪表时，还控制距离传感器获取与该仪表的距离，调节所述巡检机器人与该仪表的距离以使得仪表的全部影像位于拍摄获取的仪表图像内。4.根据权利要求1所述的巡检机器人仪表识别方法，其特征在于，在所述仪表图像局部增强步骤中，将所述数值所在区域内的所有像素rgb值等比例放大15％，将所述背景部分所在区域内的所有像素rgb值等比例缩减80％。5.根据权利要求1所述的巡检机器人仪表识别方法，其特征在于，在所述仪表模板匹配与分区识别步骤之前还包括仪表模板制作步骤，包括步骤：框选中模板区域，剔除数字显示区域，设置识别偏差容忍度，记录数字显示区域对位坐标信息，以及保存标准仪表模板文件。6.根据权利要求1所述的巡检机器人仪表识别方法，其特征在于，在所述仪表模板匹配与分区识别步骤中，基于标准化差值平方的模板匹配算法进行标准仪表模板匹配，算法的匹配准则如下：其中：t(x,y)表示制作的模板，i(x,y)表示待匹配的图像，r(x,y)表示区域的相似程度。7.根据权利要求1所述的巡检机器人仪表识别方法，其特征在于，在所述获取数字识别
结果步骤中，采用多种旋转角度、不同缩放比例以及局部膨胀或腐蚀的数字样本图像及其对应标签作为输入送入多层感知神经网络，通过前向学习与后向反馈，根据梯度变化信息，与每张样本的真值进行比较，逐渐缩小模型损失值，找到网络逐层权重的最优解，训练得到记录每层权重最优解的模型文件。8.根据权利要求7所述的巡检机器人仪表识别方法，其特征在于，所述旋转角度范围为
‑
20
°‑
20
°
；所述缩放比例的范围为0.8
‑
1.2倍；所述字符包括数字0
‑
9、“
”“‑”
符号以及度量单位。9.一种巡检机器人仪表识别系统，其特征在于，包括：仪表图像局部增强模块，用于控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色；仪表图像矫正模块，用于对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置；仪表模板匹配与分区识别模块，用于将实时获取的仪表图像与存储的标准仪表模板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符；获取数字识别结果模块，用于将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果；以及自动判别模块，所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，自动判别模块用于求所述数值实时检测区的数字识别结果与所述数值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的巡检机器人仪表识别方法中的步骤。

技术总结
本申请公开了一种巡检机器人仪表识别系统及巡检机器人仪表识别方法、存储介质。巡检机器人仪表识别方法包括：仪表图像局部增强步骤、仪表图像矫正步骤、仪表模板匹配与分区识别步骤、获取数字识别结果步骤以及自动判别步骤。本发明的有益效果包括：(1)能够针对环境试验中心室内灯光变化干扰及拍摄存在轻微抖动导致拍摄图形模糊时，识别算法表现出较好的鲁棒性；(2)能够在巡检机器人定位出现较小偏差时，自适应的读取到待识别的面板，并准确定位到数字区域；(3)识别算法能够高效处理每一张输入图片，达到实时性的要求。达到实时性的要求。达到实时性的要求。


技术研发人员：易建军 陈元昊 张雅君 苏林 范体军 许更书
受保护的技术使用者：华东理工大学
技术研发日：2021.07.30
技术公布日：2021/11/2