仪表自动识别系统、识别方法及计算机可读取的存储介质与流程

1.本发明涉及指针式仪表自动识别系统、仪表自动识别方法及计算机可读取的存储介质，尤其涉及仪表检测、种类判断、仪表刻度和指针识别。


背景技术：

2.在工业环境中，机械指针仪表是最常见的仪表，大部分仪表都是人工读数手动记录。人工读数容易出错而且花费时间长，同时有些场地不允许人直接进入，所以没有人工参与的仪表自动识别是有效而方便的。现有的诸多仪表是没有自动读数和传输功能的，如果用计算机图像处理技术的话可以实现自动识别系统。一般来说户外仪表数据采集环境恶劣比如说反光、下雨、灰尘、阴影、遮挡、种类多，所以有效的仪表识别与仪表检测和种类识别是必须的。


技术实现要素：

3.本发明提供一种用图像处理技术准确地识别指针式仪表读数的仪表自动识别系统、仪表自动识别方法及计算机可读取的存储介质。
4.仪表自动识别系统包含仪表检测及种类识别、模板匹配、仪表刻度与指针识别模块，
5.在所述仪表检测及种类识别模块中，
6.用一阶段(one-stage)目标检测网络进行仪表检测及种类识别，采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络，采用余弦退火策略(cosine annealing scheduler)来降低学习率。
7.在所述模板匹配模块中，用imagenet预先训练的残差网络resnet-50和随机抽样一致算法(random sample consensus，ransac)得到单应性矩阵(homography)变换的参数。把resnet-50的conv4特征作为变换的特征。对于每个种类仪表的模板图像提取resnet-50的conv4特征后保存。在多个尺度上提取比对特征。对在模板图像提取的特征和检测区域提取的比对特征用ransac算法得出两个图像之间的仿射变换。
8.在所述仪表刻度与指针识别模块中，
9.在模板里有刻度位置、刻度值及指针圆心和外观信息。采用非局部均值(nl-means)算法降噪，限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，clahe)算法减弱反光和阴影的影响，然后基于二阶微分提取边缘图像。按模板种类检测刻度。如有遮挡、杂物等外部影响可能部分刻度不能检测则预测整个刻度，进行微调和评估可信度。指针识别也是从上述的边缘图像中用模板里的指针外观信息检测指针圆心和角度，然后进行微调和评估可信度。用模板的刻度值和识别出来的指针角度输出仪表读数。
10.发明的效果
11.根据本发明的仪表自动识别系统，可准确检测仪表区域，判断仪表种类，正确找到
指针位置并与模板匹配得到正确读数。
附图说明
12.图1是仪表识别系统的概略示意图。
13.图2是仪表检测及种类识别的概略示意图。
14.图3是模板匹配概略示意图。
15.图4是仪表刻度与指针识别概略示意图。
具体实施方式
16.下面，结合附图1～4，对本发明的仪表自动识别系统进行详细说明。
17.仪表自动识别系统包括仪表检测及种类识别模块，模板匹配模块，仪表刻度和指针识别模块。
18.《仪表检测与种类识别》首先仪表检测与种类识别阶段是用one-stage目标检测网络进行。这个网络基于yolo，以cspdarknet53为骨干网络(backbone)，以panet spp为连接结构(neck)，以yolov3的head为head构成。采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络。数据库由每种仪表1200张图像组成。采用余弦退火策略(cosine annealing scheduler)来降低学习率，将动量(momentum)和权值衰减(weight decay)分别设置为0.9和0.0005。训练出来的网络的准确率0.9997，召回率为1。
19.《模板匹配》在预处理阶段用imagenet预先训练的resnet-50和ransac算法得到homography变换的参数。把resnet-50的conv4特征作为变换的特征。一般来说仪表区域的几何变换模型是仿射变换。对于每个种类仪表的模板图像(可选择一张或多张图像)提取resnet-50的conv4特征后保存。为了提高比对准确率，在0.64、0.8、1、1.25、1.56的五个尺度上提取比对特征。对在模板图像提取的特征和检测区域提取的比对特征用随机一致性采样(ransac)算法得出两个图像之间的仿射变换。若有多张模板图像，选择依次进行计算比对图像与模板图像间的仿射变换，选择最相似的模板图像。
20.《仪表刻度和指针识别》在识别阶段对于边缘图像按种类模板识别刻度和指针然后读数。模板里有刻度位置、刻度值及指针圆心和外观信息。一般来说现场采集条件恶劣，易受反光，雨水，湿气，灰尘，阴影，遮挡等外部变动的影响。为了减少图像噪声等外部影响对图像复原，采用nl-means算法降噪，clahe算法减弱反光和阴影的影响，然后基于二阶微分提取边缘图像。按种类模板检测刻度。如有遮挡、杂物等外部影响可能部分刻度不能检测则预测整个刻度，进行微调和评估可信度。指针识别也是从上述的边缘图像中用模板里的指针外观信息检测指针圆心和角度，然后进行微调和评估可信度。用模板的刻度值和识别出来的指针角度输出仪表读数。
21.本发明人通过实验验证了本发明的效果。
22.在由2300张图像组成的仪表数据库中测试所获得系统的有效性的结果如下；训练出来的网络的准确率0.9997，召回率为1，仪表指针与读数识别正确率99.9％。
23.本发明的实施方式可以归纳为如下技术方案。
24.技术方案1、一种仪表自动识别系统，包括：
25.图像获取模块，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
26.所述仪表检测及种类识别模块，针对所述仪表图像，通过一阶段(one-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
27.所述模板匹配模块，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络resnet-50，提取所述模板图像的resnet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的resnet-50，提取resnet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
28.仪表刻度和指针识别模块，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
29.技术方案2、根据技术方案1所述的仪表自动识别系统，
30.在所述仪表检测及种类识别模块中，采用翻转(flip)、旋转(rotation)、缩放(scale)、裁剪(crop)、移位(translation)等方式增加数据集，训练网络，采用余弦退火策略(cosine annealing scheduler)来降低学习率。
31.技术方案3、根据技术方案1所述的仪表自动识别系统，
32.在所述模板匹配模块中，对于所述仪表图像中的检测区域，在规定数量以上的尺度上提取所述比对特征。
33.技术方案4、根据技术方案1所述的仪表自动识别系统，
34.在所述仪表刻度和指针识别模块中，对所述仪表图像进行基于非局部均值(nl-means)算法的处理、基于限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，clahe)算法的处理中的一个以上的预处理。
35.技术方案5、一种仪表自动识别方法，包括：
36.图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
37.所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(one-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
38.所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络resnet-50，提取所述模板图像的resnet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的resnet-50，提取resnet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
39.仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
40.技术方案6、一种计算机可读取的存储介质，非易失性地存储有用于使计算机执行
如下仪表自动识别方法的各步骤的程序：
41.图像获取步骤，获取仪表图像，该仪表图像中拍摄有仪表的刻度和指针的全部；
42.所述仪表检测及种类识别步骤，针对所述仪表图像，通过一阶段(one-stage)目标检测网络，识别出所述仪表图像中的仪表及仪表种类；
43.所述模板匹配步骤，对于预先存储或获取的每个种类仪表的模板图像，该模板图像包含完整的仪表，且刻度、指针均清晰，通过预先训练好的残差网络resnet-50，提取所述模板图像的resnet-50的conv4特征作为模板特征，对于所述仪表图像中的经一阶段目标检测网络检测出的区域，通过预先训练好的resnet-50，提取resnet-50的conv4特征作为比对特征，基于所述模板特征和所述比对特征用随机抽样一致算法计算出所述模板图像与所述仪表图像之间的仿射变换，对齐仪表图像与模板图像的刻度；以及
44.仪表刻度和指针识别步骤，对于所述仪表图像的检测区域，基于二阶微分提取出边缘图像，基于所述模板图像所包含的刻度位置、刻度值及指针圆心和外观信息及所述仿射变换，针对所述边缘图像，识别出所述仪表图像的仪表刻度和指针，以获得所述仪表图像中的仪表读数。
45.如上所述，对本发明的优选的实施方式进行了说明，但上述实施方式仅作为例子来提示的，并不对本发明的保护范围进行限定，例如，上述涉及的提取特征的尺度数量、模板图像个数等也仅仅是例示，根据实际要求的速度、定位精度等，也可以是其他的数量。