一种自动巡检的仪表识别方法及识别系统与流程

1.本发明属于生产设备监控领域，具体涉及一种自动巡检的仪表识别方法及识别系统。


背景技术：

2.在工厂生产管理中，数字式仪表有着广泛的应用。巡检人员需要通过读取仪表数据来监控生产仪器的工作情况，以防止一些参数超标产生安全隐患。然而目前的巡检方法，特别是数字式仪表领域，主要是人工巡检，人工巡检读数效率低下，误差大，容易产生疲劳，在某些特殊场景容易对人体造成伤害，甚至造成人员财产损失。因此，寻找一种代替人工进行高精度数字仪表识别的方法和系统，具有非常重要的意义。


技术实现要素：

3.本发明的目的是提供一种自动巡检的仪表识别方法，用于数字式仪表的识别。
4.为达到上述目的，本发明采用的技术方案是：
5.一种自动巡检的仪表识别方法，包括：
6.步骤1：获取待巡检仪表的现场图像，并记录现场图像获取的时间以及位置信息；
7.步骤2：对获取的待巡检仪表的现场图像检测并提取出表盘图像，将表盘图像检测并提取表盘的示数区域，从示数区域中识别仪表读数；
8.步骤3：将仪表读数、现场图像获取时间以及位置信息相互匹配，得到该位置上的仪表在该时刻的读数，并进行存储；
9.步骤4：生成仪表报表，通过各位置的仪表在不同时刻的读数，对同一仪表按照时间顺序生成该仪表在不同时刻的读数报表，实现对应设备生产情况的跟踪。
10.优选地，在步骤2中，先将获取到的待巡检仪表的现场图像统一校正至设定像素，再开始对其进行检测和提取表盘图像。
11.进一步优选地，在步骤2中，对校正至设定像素的现场图像检测后，通过映射关系还原至原图大小中进行提取。
12.优选地，在步骤2中，对提取的表盘的示数区域进行图像预处理，预处理包括对提取的示数区域的局部图像进行提高图像质量处理、对倾斜变形进行水平还原处理，预处理后从示数区域中识别仪表读数。
13.进一步优选地，在步骤2中，提高图像质量包括：灰度化、滤波、图像增强、图像边缘锐化、图像纹理分析、形态学处理；倾斜还原包括：确定示数区域的四个角点，通过仿射变换的方法，选择示数区域上边界线的左右两端点和右边界线的下端点作为仿射变换的控制点得到仿射变换矩阵，对图像进行仿射变换使其变换为正面朝向的水平仪表示数。
14.优选地，在步骤2中，利用预训练的表盘识别神经网络检测模型识别获取的待巡检仪表的现场图像，提取出现场图像中仪表的表盘图像，该模型的获取方法包括：
15.(1)：获取待巡检仪表的现场图像样本；
16.(2)：对图像中的仪表表盘区域进行人工标注，将标注好的样本随机打乱，按设定比例分为训练集、验证集和测试集；
17.(3)：将标注信息和图像样本输入到卷积神经网络模型中进行训练，通过标注信息，卷积神经网络模型从图像中获取到的仪表的表盘区域作为仪表特征图输入，将标注信息中的表盘位置信息作为模型的期望输出，训练得到表盘识别神经网络检测模型。
18.进一步优选地，在步骤2中，将现场图像像素统一校正为设定值，将校正后的现场图像送入预训练的表盘识别神经网络检测模型，进行仪表表盘目标检测，得到所要识别的仪表表盘的矩形框中心点位置坐标和大小，通过映射关系确定该仪表表盘在实际图像中的检测目标框坐标。
19.更进一步优选地，在步骤2中，在利用预训练的表盘识别神经网络检测模型对获取的现场图像进行检测时，
20.当检测到唯一的检测目标框时，根据输出的检测目标框坐标，将表盘图像从原图中分割出来；
21.当检测到多个检测目标框时，对所有检测目标框两两之间进行iou计算，将iou大于设定值的框视为检测到同一目标，计算其最大外接矩形，得到并集框并从原图中分割，剔除其他错误检测目标框；
22.当未检测到检测目标框时，重新获取待巡检仪表的现场图像，用预训练的表盘识别神经网络检测模型对获取的现场图像重新检测。
23.进一步优选地，在步骤2中，预训练的表盘识别神经网络检测模型的算法框架包括yolo v3、yolo v4、ssd、faster
‑
rcnn。
24.优选地，在步骤2中，利用预训练的示数区域识别神经网络检测模型识别提取的表盘图像，提取表盘图像中仪表的示数区域图像，该模型的获取方法包括：
25.(1)：获取表盘图像样本；
26.(2)：对图像中的仪表的示数区域进行四边形框人工标注，将标注好的样本随机打乱，按设定比例分为训练集、验证集和测试集；
27.(3)：将标注信息和图像输入到卷积神经网络模型中进行训练，通过标注信息，卷积神经网络模型从图像中获取到的仪表的示数区域作为特征图输入，将标注信息中的示数区域位置信息作为模型的期望输出，训练得到示数区域神经网络检测模型。
28.进一步优选地，在步骤2中，预训练的示数区域识别神经网络检测模型的算法框架包括ctpn、east、seglink、textboxes、textboxes 。
29.优选地，在步骤2中，利用预训练的仪表读数识别神经网络检测模型识别提取的示数区域图像，提取示数区域图像中仪表的仪表读数，该模型的获取方法包括：
30.(1)：获取示数区域图像样本；
31.(2)：对示数区域进行人工标注，标注信息为示数区域显示的文本字符序列；将标注好的样本随机打乱，按设定比例分为训练集、验证集和测试集；
32.(3)：将标注信息和图像输入到卷积神经网络模型和循环神经网络模型中进行训练，采用卷积神经网络模型的卷积层和池化层进行预处理，提取图像特征，用循环神经网络模型对图像特征进行序列预测，对上一步序列的预测结果通过卷积神经网络模型的转换层得到最终的仪表示数文本字符序列，将标注信息作为模型的期望输出，训练得到仪表读数
识别神经网络检测模型。
33.进一步优选地，在步骤2中，预训练的仪表读数识别神经网络检测模型的算法框架包括crnn、seq2seq、moran。
34.进一步优选地，训练预设结束条件包括实际训练时间超过预设训练时间、实际训练次数超过预设训练次数、损失函数计算所得差异小于预设差异阈值中的至少一个。
35.优选地，仪表为数字示数仪表。
36.本发明的目的是提供一种自动巡检的仪表识别系统，用于数字式仪表的识别。
37.为达到上述目的，本发明采用的技术方案是：
38.一种自动巡检的仪表识别系统，用于实现所述的自动巡检的仪表识别方法，所述的识别系统包括移动装置、图像采集装置以及中央处理器，所述的图像采集装置设置在所述的移动装置上，所述的中央处理器与所述的移动装置信号连接并控制其移动，所述的中央处理器与所述的图像采集装置信号连接并控制其拍摄现场图像，所述的中央处理器包括：
39.表盘识别检测模块：用于检测所述的图像采集装置拍摄的现场图像中仪表表盘的位置并提取该仪表的表盘图像；
40.示数区域识别检测模块：用于检测所述的表盘图像中的示数区域的位置并提取该仪表的示数区域图像；
41.仪表读数识别检测模块：用于检测所述的示数区域图像中的仪表读数并提取该仪表的仪表读数文本字符；
42.仪表识别综合信息生成模块：包括用于记录移动装置进行仪表识别拍摄的位置坐标的定位数据库、用于将拍摄时的位置坐标、时间、仪表读数和仪表详细信息进行匹配的信息匹配库，用于生成仪表读数报表的报表生成库。
43.优选地，所述的移动装置为设置有定位模块的无人车；所述的图像采集装置包括摄像头，所述的摄像头包括彩色rgb监控摄像头、红外监控摄像头。
44.由于上述技术方案运用，本发明与现有技术相比具有下列优点：
45.本发明检测仪表区域时，可直接输入原始图像，无需考虑拍摄的姿态，图像的尺度等；无需对图像进行边缘检测或直线检测等手动校正；无需对仪表示数字符进行分割，精度更高，更加简单有效，具有更强的鲁棒性；可以对设定区域内的仪表全部检测并自动生成相应的报表，减少人工误差，提升对生产设备的监控的效率。
附图说明
46.附图1为本实施例的识别系统的结构示意图；
47.附图2为本实施例的识别方法的流程图。
48.以上附图中：
49.1、待巡检仪表；2、移动装置；3、图像采集装置；4、中央处理器。
具体实施方式
50.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
52.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
53.如图1所示，一种自动巡检的仪表识别系统，用于在工厂中对各类数字仪表的示数识别以及整理，识别系统包括移动装置2、图像采集装置3、信息传输元件以及中央处理器4，图像采集装置3设置在移动装置2上，中央处理器4与移动装置2信号连接并控制其移动，中央处理器4与图像采集装置3信号连接并控制其拍摄现场图像，中央处理器4最终汇总数据并整理报表，实现工厂全自动数字仪表识别。
54.移动装置2为无人车，移动装置2可以根据指令移动至工厂的各个位置进行巡检，移动装置2上设置有云台，用于安装图像采集装置3。
55.图像采集装置3包括摄像头，图像采集装置3安装在云台上，可以仅安装一个，通过云台调整镜头拍摄的角度，摄像头包括并不限于清晰度1080p及以上的彩色rgb监控摄像头、红外监控摄像头。
56.信息传输元件包括定位模块、无线传输模块。定位模块设置在移动装置2上，用于接收中央处理器4的移动指令并向中央处理器4报送移动装置2的位置信息。无线传输模块设置在图像采集装置3上，用于将图像采集装置3拍摄的现场图像以及拍摄时间通过网络传送至中央处理器4进行处理。
57.中央处理器4具有一定的深度学习运算能力，同时具有可读写存储器，用于存储历史图片、程序、数据库、临时文件和结果等。中央处理器4具有一个或多个cpu及gpu，gpu型号包括但不限于nvidia rtx 2080ti、rtx 3070、rtx 3080。中央处理器4包括表盘识别检测模块、示数区域识别检测模块、仪表读数识别检测模块、仪表识别综合信息生成模块。
58.表盘识别检测模块用于接收图像采集装置3拍摄的现场图像，检测其中仪表表盘的位置并提取该仪表的表盘图像。示数区域识别检测模块用于接收表盘识别模块提取的表盘图像，检测其中的示数区域位置并提取该仪表的示数区域图像。仪表读数识别检测模块用于接收示数区域识别检测模块提取的示数区域图像，检测其中的仪表读数并提取该仪表的仪表读数文本字符。仪表识别综合信息生成模块包括定位数据库、信息匹配库以及报表生成库，定位数据库用于记录移动装置2进行仪表识别拍摄的位置坐标，预设好各仪表的位置坐标并实时控制移动装置2的位置，信息匹配库用于将拍摄时的位置坐标、时间、仪表读数和仪表详细信息进行整合匹配，报表生成库用于生成仪表读数报表。
59.如图2所示，一种自动巡检的仪表识别方法，采用上述的自动巡检的仪表识别系统进行工厂全自动数字仪表识别，识别方法的步骤具体如下所述。
60.步骤1：获取待巡检仪表1的现场图像，并记录现场图像获取的时间以及位置信息。
61.中央处理器4根据其定位数据库中预设好的仪表拍摄位置，控制移动装置2移动至设定好的进行仪表识别的位置，移动装置2上的云台搭载的图像采集装置3拍摄该仪表的现场图像并传输给中央处理器4。移动装置2按照设定好的巡检行程，带动图像采集装置3对各仪表的现场依次拍摄。同时中央处理器4记录获取该现场图像的位置信息以及获取时间。
62.步骤2：对获取的待巡检仪表1的现场图像检测并提取出表盘图像，将表盘图像检测并提取表盘的示数区域，从示数区域中识别仪表读数。
63.先将获取到的待巡检仪表1的现场图像统一校正至416x416像素，将校正后的图片送入表盘识别检测模块，得到所要识别的仪表表盘的矩形框中心点位置坐标和大小，通过映射关系确定该仪表表盘在实际图像中的检测目标框坐标，然后表盘识别检测模块再从实际的现场图像中将该仪表的表盘图像分割并提取出来，以规避工厂复杂背景对数字仪表识别的影响。
64.表盘识别检测模块的主体是一个开源的深度学习算法库中的表盘识别神经网络检测模型，该模型的算法框架包括yolo v3、yolo v4、ssd、faster
‑
rcnn等，并对其预训练进行迁移学习以检测所要识别的仪表矩形框中心位置坐标和大小，对输入的现场图像进行数字仪表检测，检测对象为数字仪表的表盘区域，网络输出一个类别，即数字仪表的表盘区域，从而实现了数字仪表表盘位置的定位。
65.该表盘识别神经网络检测模型的获取方法包括：(1)获取待巡检仪表1的现场图像样本；(2)对图像中的仪表表盘区域进行人工标注，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集；(3)将标注信息和图像样本输入到卷积神经网络模型中进行训练，通过标注信息，卷积神经网络模型从图像中获取到的仪表的表盘区域作为仪表特征图输入，将标注信息中的表盘位置信息作为模型的期望输出，训练得到表盘识别神经网络检测模型。在具体实施例中，需要根据图像样本的数量质量等调整神经网络模型的参数。训练预设结束条件包括但不限于以下中的至少一项：实际训练时间超过预设训练时间；实际训练次数超过预设训练次数；损失函数计算所得差异小于预设差异阈值。
66.在利用预训练的表盘识别神经网络检测模型对获取的现场图像进行检测时，当检测到唯一的检测目标框时，根据输出的检测目标框坐标，将表盘图像从原图中分割出来；当检测到多个检测目标框时，对所有检测目标框两两之间进行iou计算，将iou大于0.8的框视为检测到同一目标，计算其最大外接矩形，得到并集框并从原图中分割，剔除其他错误检测目标框；当未检测到检测目标框时，重新获取待巡检仪表1的现场图像，用预训练的表盘识别神经网络检测模型对其重新检测。若持续返回步骤1重新拍摄待巡检仪表1的现场图像，则向工作人员发出提示，工作人员进行核查。
67.将表盘识别检测模块提取到的表盘图像传送至示数区域识别检测模块中，进一步检测仪表表盘的示数区域，定位示数区域的四边形坐标，然后示数区域识别检测模块从表盘图像中将示数区域图像分割并提取出来。
68.示数区域识别检测模块的主体是一个开源的深度学习算法库中的示数区域识别神经网络检测模型，该模型的算法框架包括ctpn、east、seglink、textboxes、textboxes 等，并对其预训练进行迁移学习以检测所要识别的示数区域的四个角点，对输入的表盘图像检测，检测对象为仪表显示读数的示数区域，网络输出一个类别，即表盘的示数区域，从
而定位并提取出仪表的示数区域图像。
69.该示数区域识别神经网络检测模型的获取方法包括：(1)获取表盘图像样本；(2)对图像中的仪表的示数区域进行四边形框人工标注，将标注好的样本随机打乱，按4：1：5比例分为训练集、验证集和测试集；(3)将标注信息和图像输入到卷积神经网络模型中进行训练，通过标注信息，卷积神经网络模型从图像中获取到的仪表的示数区域作为特征图输入，将标注信息中的示数区域位置信息作为模型的期望输出，训练得到示数区域神经网络检测模型。在具体实施例中，需要根据图像样本的数量质量等调整神经网络模型的参数。训练预设结束条件包括但不限于以下中的至少一项：实际训练时间超过预设训练时间；实际训练次数超过预设训练次数；损失函数计算所得差异小于预设差异阈值。
70.在实际场景中，由于拍摄角度导致的号码牌倾斜、图像模糊、光照过曝或表盘反光等问题，会影响数字仪表识别精度。需要对提取的表盘的示数区域进行图像预处理，预处理包括对提取的示数区域的局部图像进行提高图像质量处理、对倾斜变形进行水平还原处理，通过预处理得到水平示数图后再从水平示数图中识别仪表读数。
71.提高图像质量包括：灰度化(例如图像平滑、图像降噪)、滤波、图像增强、图像边缘锐化(sobel边缘检测)、图像纹理分析(例如去骨架、连通性)、形态学处理(例如膨胀、腐蚀、开闭操作等)；倾斜还原包括：通过示数区域识别检测模块确定示数区域的四个角点，通过仿射变换的方法，选择示数区域上边界线的左右两端点和右边界线的下端点作为仿射变换的控制点得到仿射变换矩阵，对图像进行仿射变换使其变换为正面朝向的水平仪表示数。
72.在灰度化过程中，像素值计算公式如下：
[0073][0074]
仿射变换公式如下：
[0075][0076]
仪表读数识别检测模块主体是一个开源的深度学习算法库中的仪表读数识别神经网络检测模型，该模型的算法框架包括crnn、seq2seq、moran等，并对其预训练进行迁移学习以更好的适应对数字仪表读数识别的任务，该模型无需进行字符分割，能识别不定长度的数字文本，并且同时能识别小数点位置，对输入的示数区域图像检测，检测对象为示数区域的仪表读数，网络输出一个类别，即仪表读数的文本字符序列，从而提取出仪表的读数。
[0077]
由于图片的畸变会导致号码字符粘连，这对字符分割造成了极大的挑战，而字符分割的效果又直接影响到识别效果，该仪表读数识别神经网络检测模型采用了一种编码器加解码器的方法，无须进行字符分割。该模型的获取方法包括：(1)获取示数区域图像样本；(2)对示数区域进行人工标注，标注信息为示数区域显示的文本字符序列，将标注好的样本随机打乱，按6：1：3比例分为训练集、验证集和测试集；(3)将标注信息和图像输入到卷积神经网络模型和循环神经网络模型中进行训练，首先直接采用卷积神经网络模型的卷积层和池化层进行预处理，提取图像特征，然后用循环神经网络模型对图像特征进行序列预测，最
后对上一步序列的预测结果通过卷积神经网络模型的转换层得到最终的仪表示数文本字符序列，将标注信息作为模型的期望输出，训练得到仪表读数识别神经网络检测模型。在具体实施例中，需要根据图像样本的数量质量等调整神经网络模型的参数。训练预设结束条件包括但不限于以下中的至少一项：实际训练时间超过预设训练时间；实际训练次数超过预设训练次数；损失函数计算所得差异小于预设差异阈值。
[0078]
步骤3：将仪表读数、现场图像获取时间以及位置信息相互匹配，得到该位置上的仪表在该时刻的读数，并进行存储。
[0079]
仪表识别综合信息生成模块接收仪表的读数、现场图像的获取时间以及拍摄图像时移动装置2的位置信息，在信息匹配库中相互匹配并记录，根据位置信息匹配对应位置的仪表详细信息，得到某一确定型号的仪表在拍摄时刻的读数信息，将该条信息存储下来。
[0080]
步骤4：生成仪表报表，通过各位置的仪表在不同时刻的读数，对同一仪表按照时间顺序生成该仪表在不同时刻的读数报表，实现对应设备生产情况的跟踪。
[0081]
仪表识别综合信息生成模块的报表生成库收集全部的信息，根据位置信息判别是何种设备的何种仪表，按照时间顺序对同一仪表的读数进行整理，并生成出该仪表的读数报表。最终得到各个仪表的读数报表，实现对应设备生产情况的跟踪，供工作人员分析。
[0082]
在本实施例中，经实验测试得到，数字仪表检测率达到了100％，漏检率为0％；数字仪表文本字符序列的识别正确率均达到97.5％，误识别率小于3％。同时，经实验测试得到，检测并识别单个数字仪表，系统用时均小于0.2s，本实施例可以实现数字仪表的全自动识别巡检。
[0083]
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。