巡检机器人仪表识别系统及方法、存储介质与流程

1.本发明涉及仪表识别技术领域，尤其涉及一种巡检机器人仪表识别系统及巡检机器人仪表识别方法、存储介质。


背景技术：

2.针对环境试验中心数字仪表设备，开发完整的可快速搭载于巡检机器人的智能图像识别算法，替代原本人工进行定时仪表数据记录，实现智能化的监管模式。其中的难点包括：(1)巡检机器人无法保证绝对准确定位，必然会出现一定的位置偏差导致每次成像的画面角度位置都有所变化，增加了待识别区域自适应定位及数字识别的难度；(2)环境试验中心光线情况复杂，同时机器人拍摄时可能产生抖动，增加了数字识别的难度；(3)待识别字符包括数字、符号位、单位信息，增加了训练及识别的难度；(4)算法识别结果需要实时反馈上传供工作人员参考，对算法处理性能及实时性有较高要求。
3.但是目前的巡检机器人仪表识别系统及方法无法有效克服上述难点，导致仪表识别不准的问题。


技术实现要素：

4.发明的目的在于，提供一种巡检机器人仪表识别系统及巡检机器人仪表识别方法、存储介质，用以解决目前的巡检机器人仪表识别系统及方法无法有效克服准确定位、光线影响、待识别字符形变的影响，无法准确识别仪表数值并无法实时自动判断仪表是否正常的技术问题。
5.为了实现上述目的，本发明其中一实施例中提供一种巡检机器人仪表识别方法，包括以下步骤：
6.仪表图像局部增强步骤，控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色；
7.仪表图像矫正步骤，对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置；
8.仪表模板匹配与分区识别步骤，将实时获取的仪表图像与存储的标准仪表模板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符；
9.获取数字识别结果步骤，将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果；以及
10.自动判别步骤，所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，求所述数值实时检测区的数字识别结果与所述数
值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。
11.进一步地，在所述仪表图像局部增强步骤中，所述巡检机器人正对仪表拍摄获取仪表图像；所述仪表图像包括仪表的全部影像，且仪表的全部影像占所述仪表图像的至少70％。
12.进一步地，所述巡检机器人还包括距离传感器，所述巡检机器人正对仪表时，还控制距离传感器获取与该仪表的距离，调节所述巡检机器人与该仪表的距离以使得仪表的全部影像位于拍摄获取的仪表图像内。
13.进一步地，在所述仪表图像局部增强步骤中，将所述数值所在区域内的所有像素rgb值等比例放大15％，将所述背景部分所在区域内的所有像素rgb值等比例缩减80％。
14.进一步地，在所述仪表模板匹配与分区识别步骤之前还包括仪表模板制作步骤，包括步骤：框选中模板区域，剔除数字显示区域，设置识别偏差容忍度，记录数字显示区域对位坐标信息，以及保存标准仪表模板文件。
15.进一步地，在所述仪表模板匹配与分区识别步骤中，基于标准化差值平方的模板匹配算法进行标准仪表模板匹配，算法的匹配准则如下：
[0016][0017]
其中：t(x,y)表示制作的模板，i(x,y)表示待匹配的图像，r(x,y)表示区域的相似程度。
[0018]
进一步地，在所述获取数字识别结果步骤中，采用多种旋转角度、不同缩放比例以及局部膨胀或腐蚀的数字样本图像及其对应标签作为输入送入多层感知神经网络，通过前向学习与后向反馈，根据梯度变化信息，与每张样本的真值进行比较，逐渐缩小模型损失值，找到网络逐层权重的最优解，训练得到记录每层权重最优解的模型文件。
[0019]
进一步地，所述旋转角度范围为
‑
20
°‑
20
°
；所述缩放比例的范围为0.8
‑
1.2倍；所述字符包括数字0
‑
9、“
”“‑”
符号以及度量单位。
[0020]
本技术还提供一种巡检机器人仪表识别系统，包括：
[0021]
仪表图像局部增强模块，用于控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色；
[0022]
仪表图像矫正模块，用于对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置；
[0023]
仪表模板匹配与分区识别模块，用于将实时获取的仪表图像与存储的标准仪表模板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符；
[0024]
获取数字识别结果模块，用于将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果；以及
[0025]
自动判别模块，所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，自动判别模块用于求所述数值实时检测区的数字识别结果与所述数值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。
[0026]
本技术还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行前文任一项所述的巡检机器人仪表识别方法中的步骤。
[0027]
本发明的有益效果包括：(1)能够针对环境试验中心室内灯光变化干扰及拍摄存在轻微抖动导致拍摄图形模糊时，识别算法表现出较好的鲁棒性；(2)能够在巡检机器人定位出现较小偏差时，自适应的读取到待识别的面板，并准确定位到数字区域；(3)识别算法能够高效处理每一张输入图片，达到实时性的要求。
附图说明
[0028]
下面结合附图，通过对本技术的具体实施方式详细描述，呈现本技术的技术方案及其它有益效果。
[0029]
图1为本技术实施例提供的一种巡检机器人仪表识别方法的流程图。
[0030]
图2是本技术实施例提供的一种巡检机器人仪表识别方法的整体方案关系图。
[0031]
图3为本技术实施例提供的图像中表盘位置归正后的图像。
[0032]
图4为本技术实施例提供的仪表模板制作步骤的流程图。
[0033]
图5为本技术实施例提供的数字分割提取步骤的流程图。
[0034]
图6为本技术实施例提供的训练样本示意图。
[0035]
图7为本技术实施例提供的多层感知神经网络的结构示意图。
[0036]
图8为本技术实施例提供的多层感知神经网络的训练流程图。
[0037]
图9为本技术实施例提供的一种巡检机器人仪表识别系统的结构示意图。
具体实施方式
[0038]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0039]
在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0040]
下文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。
[0041]
具体的，请参阅图1、图2，本发明其中一实施例中提供一种巡检机器人仪表识别方法，包括以下步骤s1
‑
s5。
[0042]
s1、仪表图像局部增强步骤，控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色。优选地，将所述数值所在区域内的所有像素rgb值等比例放大15％，将所述背景部分所在区域内的所有像素rgb值等比例缩减80％。
[0043]
其中，所述巡检机器人正对仪表拍摄获取仪表图像；所述仪表图像包括仪表的全部影像，且仪表的全部影像占所述仪表图像的至少70％。
[0044]
所述巡检机器人还包括距离传感器，所述巡检机器人正对仪表时，还控制距离传感器获取与该仪表的距离，调节所述巡检机器人与该仪表的距离以使得仪表的全部影像位于拍摄获取的仪表图像内。
[0045]
在使用时，配备工业ccd相机的巡检机器人，在上海航天研究所某环境试验中心按照规定的路径进行巡检工作。环境试验中心内部有多台仪表设备，机器人在巡检过程中，通过相机实时获得视频画面，当机器人抵达指定工位后，机器人上搭载的定位系统会发出信号串给我们的图像处理系统。图像处理系统捕捉到信号串，获取当前相机中的关键帧，即包含待识别仪表的jpg格式图像，同时解析信号串，获得仪表的设备号，如“1”“2”。
[0046]
对获得的关键帧画面进行图像预处理，预处理总共分为两个关键步骤，首先是本专利提出了一种基于工业仪表数字rgb信息的图像局部增强方法。通过将原始rgb图像拆分为r、g、b三通道三张图像，可以发现该测试中心的仪表数字，大多成白色或红色，因此巧妙的利用这个特点提出了原始图像进行局部增强，使得待识别区域数字更加清晰。具体做法如下，在计算中白色对应的rgb信息是(255,255,255)，红色对应的是(255,0,0)，因此设定一定的容忍度(正负15个单位)先通过rgb信息，查找并命中原始图像中白色与红色分布的大致区域。此时原始图像已经被分成了两部分，即背景无关区域与待识别区域，将背景区域的每个像素点的rgb信息等比例缩减80％(下限0)，而将选中的区域内的所有像素rgb值等比例放大15％(上限255)，从而达到了局部增强的功效。本算法巧妙的利用了仪表数字rgb信息的特征规律，设计了画面局部增强的方法，使得待识别数字区域边缘更加清晰同时明显区别于背景区域，便于后续的识别任务。
[0047]
s2、仪表图像矫正步骤，对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置。
[0048]
由于机器人移动时滚轮可能存在的不平稳性、地面可能存在的凹凸、相机安装的角度偏差，导致拍摄得到的图片往往存在一定的偏斜角度，从而影响后续的数字识别工序。因此本专利提出了基于改进霍夫直线检测的图像自适应姿态矫正方法。霍夫直线检测利用图像空间中的点与参数空间中的直线一一对应的特点，可以检测出输入图像中可能存在的直线段，但是针对工业相机拍摄得到的仪表画面，并不是图中每一条直线段都是我们所需要的，甚至某些由几个像素点连接成的微小线段也会被作为检测结果返回，因此提出了改进的霍夫检测算法，针对检测得到的所有直线段，按照它们的长度进行排序，取前三长的直线段作为后续处理的对象。计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度。旋转后，图像中表盘位置归正，如图3所示。
[0049]
s3、仪表模板匹配与分区识别步骤，将实时获取的仪表图像与存储的标准仪表模
板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符。
[0050]
针对待识别仪表，利用halcon软件制作其通用的模板，抹去表盘中的待识别数字区域，提取剩余表盘背景特征信息，同时设定一定的容忍度，使其在匹配过程中能够容忍一定程度的角度变化，即生成一系列离散角度范围内模板图片，得到模板模型文件shm格式文件。
[0051]
如图4所示，在所述仪表模板匹配与分区识别步骤之前还包括仪表模板制作步骤，具体包括步骤：s11、框选中模板区域，s12、剔除数字显示区域，s13、设置识别偏差容忍度，s14、记录数字显示区域对位坐标信息，以及s15、保存标准仪表模板文件。标准仪表模板文件即作为模板模型文件。
[0052]
s4、获取数字识别结果步骤，将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果。
[0053]
对于机器人相机拍摄得到的包含仪表表盘的图片，我们需要利用已经制作好的模板去寻找在新输入的图中是否存在与模板相似的区域，并进行定位，这个步骤是模板匹配环节。本专利提出了一种基于标准化差值平方的模板匹配算法，传统的模板匹配算法不能有效应对表盘光照环境的变化，即光照条件发生变化，模板无法进行有效匹配。算法的匹配准则如下所示：
[0054][0055]
其中：t(x,y)表示制作的模板，i(x,y)表示待匹配的图像，r(x,y)表示区域的相似程度。通过遍历输入图像的指定大小的区域，代入以上公式，计算图片中每一块区域与模板的相似程度，将r(x,y)值最高的区域作为模板匹配的结果。在计算公式中使用类似标准化的处理手段可以有效应对光照条件不同的影响。通过本步骤，可以确定相机拍摄得到的画面中的仪表表盘的具体位置。当定位了图片中的仪表表盘位置后，便可以进一步确定包含待识别数字的具体区域。因为针对同一台设备，其仪表数字所在区域相对于表盘的位置比例是恒定的，并且这个比例是已知的。由此我们可以准确地定位至待识别数字的具体小框区域，为图3所示的最大数字“ 50.3℃”“93.6％rh”所在区域。
[0056]
此时已经定位到了待识别数字的具体候选框区域，对其进行阈值分割操作，按照像素值进行划分，即遍历候选框中所有像素点，其灰度值分割阈值设为125，即灰度值大于125的将被选中，小于等于125的则为背景无关区域，由此可以选中候选框中所有的待识别数字。之后进行划分连通域的操作，将每个数字进行单独的分割提取，如图5所示，数字分割提取步骤包括：s21、锁定待识别区域，s22、基于灰度值阈值分割，s23、划分连通域切分整体，以及s24、获得每一个字符。通过本步骤，已经选中提取出了输入图片中待识别数字的具体所占像素区域。
[0057]
s5、自动判别步骤，所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，求所述数值实时检测区的数字识别结果与所述数值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。
[0058]
其中，采用多种旋转角度、不同缩放比例以及局部膨胀或腐蚀的数字样本图像及其对应标签作为输入送入多层感知神经网络(mlp神经网络)，通过前向学习与后向反馈，根据梯度变化信息，与每张样本的真值进行比较，逐渐缩小模型损失值，找到网络逐层权重的最优解，训练得到记录每层权重最优解的模型文件。
[0059]
采集环境试验中心不同数显示仪表的数字显示区域，将其剪裁分割，作为训练模型的样本，同时对其进行数据增强操作，本专利提出一种基于数字图像处理技术与gan网络融合的数据增强方法。将采集到的样本图片约100张进行以下操作，包括：旋转(
‑
20度～20度)、缩放(0.8～1.2)、变形(局部膨胀腐蚀)，每张原始样本经过处理后获得5张对应的新样本，因此训练样本总计增多至600张。训练样本如图6所示，这里以数字1为例。将经过数字图像技术处理后的600张样本作为输入，送入gan对抗生成网络进行学习，经过5万轮的迭代运算，gan网络能够较好的拟合重绘输入的图像特征，并自主生成新的样本，通过gan网络的学习后又得到400张仪表数字样本，至此训练样本总计1000张。通过传统数字图像技术与gan网络进行结合，能够有效提高网络的鲁棒性，获得更加优质的样本。
[0060]
利用多层感知(mlp)机模型，即mlp神经网络模型，如图7所示，将数据增强后的1000张样本图像及其对应标签作为输入送入网络，通过前向学习与后向反馈，根据梯度变化信息，与每张样本的真值进行比较，逐渐缩小模型损失值，找到网络逐层权重的最优解，训练得到记录每层权重最优解的模型文件。如图8所示，mlp神经网络的训练流程为：s31、输入原始样本步骤，s32、初始化权重步骤，s33、逐层计算步骤，s34、与真值比较步骤，s35、计算损失值步骤，s36、调整权重值步骤，以及s37、优化权重解步骤。其中步骤s34之后可直接执行步骤s37，设置s34、s35、s36、s33逐一连接执行的回环方式为迭代更新权重值的步骤，可执行多次来优化调整权重值。
[0061]
网络的输入是1000张分辨率为240x240，jpg格式的灰度图，对应的字符包括数字0
‑
9，及“
”“‑”“
℃”“％”“rh”。多层感知机模型的层数为10层，输入层1层，隐藏层8层，输出层1层。模型选用的损失函数是交叉熵损失函数，迭代次数设置为1000轮。学习完毕后，该模型已经具备了区分仪表数字的能力。
[0062]
利用训练得到的模型文件，对数字分割提取步骤s21
‑
s24中单独提取出的每一个字符进行ocr光学字符识别，提取字符的图像特征同时结合模型文件中的权重值，计算其与各标签真值之间的相似度，从而识别出具体数字或符号单位。
[0063]
通过识别出具体数字或符号单位，已经能够准确识别出输入图片中仪表中的数字及符号，并将对应的设备号、检测时间、检测读数结果写入一个txt格式的文件中，进行历史数据的存储工作。同时根据识别得到的实时检测数据(数值实时检测区的数值)与设备设置值(数值设置区的数值)进行判断，如果实际识别所得实时检测数据与设备设置值的差的绝对值大于某一规定的预警阈值，则触发机器人的报警机制。
[0064]
本技术基于数字图像处理技术与gan网络融合的数据增强方法：通过先使用传统的图像处理方法包括：旋转、剪切、添加随机噪点等方式，可以为gan网络的输入提供更加丰富多样的样本，使得gan网络也能自主描绘，获得更为丰富的样本增强集，有效提高了后续多层感知机模型的泛化能力。
[0065]
如图9所示，本技术还提供一种巡检机器人仪表识别系统10，包括仪表图像局部增强模块1、仪表图像矫正模块2、仪表模板匹配与分区识别模块3、获取数字识别结果模块4以
及自动判别模块5。所述仪表图像局部增强模块1用于控制巡检机器人实时获取仪表图像，将所述仪表图像中的数值与背景部分划分为不同区域，增强所述数值所在区域的颜色，并减弱所述背景部分所在区域的颜色；所述仪表图像矫正模块2用于对实时获取的仪表图像进行霍夫直线检测获得沿水平方向延伸的多个直线段，对所有检测到的直线段进行长度排序，提取长度最长的三条直线段，计算三条直线段与水平位置的角度偏差，并取平均值作为原图需要调整的角度，将所述仪表图像中的至少一直线段按照该角度旋转至水平位置；所述仪表模板匹配与分区识别模块3用于将实时获取的仪表图像与存储的标准仪表模板匹配，按照所匹配的标准仪表模板对实时获取的仪表图像进行分区划分，定位仪表数据分布区域；在所述仪表数据分布区域内采用阈值分割字符方式提取字符；所述获取数字识别结果模块4用于将提取的字符输入至经训练后的多层感知神经网络，按照仪表数据分布区域获取对应字符的数字识别结果；所述仪表数据分布区域包括数值设置区和数值实时检测区，每一数值设置区内的数字均包含一预警阈值，自动判别模块5用于求所述数值实时检测区的数字识别结果与所述数值设置区的数字识别结果之差的绝对值，若该绝对值小于等于所述预警阈值，则存储所述数值实时检测区的数字识别结果，否则进行报警。
[0066]
本技术还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行前文任一项所述的巡检机器人仪表识别方法中的步骤s1
‑
s5。
[0067]
本发明的有益效果包括：(1)能够针对环境试验中心室内灯光变化干扰及拍摄存在轻微抖动导致拍摄图形模糊时，识别算法表现出较好的鲁棒性；(2)能够在巡检机器人定位出现较小偏差时，自适应的读取到待识别的面板，并准确定位到数字区域；(3)识别算法能够高效处理每一张输入图片，达到实时性的要求。
[0068]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0069]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。