一种基于深度卷积神经网络的指针式仪表示数识别方法

1.本发明涉及工业生产中的指针式仪表读数的自动识别领域，尤其涉及一种基于深度卷积神经网络的指针式仪表示数识别方法。


背景技术：

[0002][0003]
在钻井作业过程中，指重表(指针式仪表)是探测钻井状态，保证钻井安全的重要仪器。指重表一般在钻井工程中使用，指重表主要作用是能够显示钻头压力变化与钻具相对重量关系的仪器，压力传感器及相应的仪表是其主要的组成部分，主要用于石油，地质勘探、测量，钻井过程中，指示、记录钻具悬重和钻压变化的一种仪器，帮助司钻实时地掌握在钻、修井作业中的工作参数变化和判断钻具的工作状态。通过指重表，能够了解钻具在井下的工作情况并进行正确的操作。尽管数字显示仪表应用于数据监测和数据信息传输上的技术已相对完善，但是在传统工业生产如石油化工、核工业、电力领域和一些复杂环境如高温、高压、高寒、强磁场领域，指针式仪表具有结构简单，成本低廉，抗干扰能力强，经久耐用等优点，依然是数据测量的主要工具并且有着一定的不可代替性。因此，实现指针式仪表示数自动识别在传统工业生产等领域中具有重要意义和巨大的价值。
[0004]
现阶段对于指针式仪表所监测数据的采集和录入仍然需要利用人的肉眼进行监测和观察并手工进行记录。首先这种数据的釆集、录入方式不但消耗了大量的人力、物力、财力，同时工作人员也容易因工作量大导致工作效率降低，易产生误记、误读，降低数据采集的准确率，且数据采集质量受主观影响较大，耽误工程进度，造成无法挽回的后果；其次大多数仪表工作在高温、高压、高辐射、甚至有毒等恶劣的环境条件中，若采用人工的方式对数据进行采集和录入，对数据采集员的生命安全是一种严重威胁。最后，人工采集和录入数据耗费时间过长，严重影响工业生产的效率，而且对于指针式仪表更新换代会产生过高的成本、操作流程相对繁琐、资源不能得到有效利用等的问题。
[0005]
随着人工智能技术的发展，图像识别技术应用到指针式仪表的示数识别中。指针式仪表的图像识别和数据采集过摄像头对仪表盘区域进行采集，借助图像识别技术识别出指针位置以及示数显示，利用图像识别技术使得指针式仪表盘识别变得更加高效准确。
[0006]
过去的几年中，指针式仪表的识别已经做了很多工作。一般而言，现有的指针式仪表识别算法可以分为基于数字图像处理技术的传统算法和基于机器学习和深度学习的现代算法。传统算法提出了使用模板匹配和仪表查找方法来执行指针识别和读取指针仪表的图像的方法。传统算法还提出使用图像减法的方式提取指针，并使用霍夫变换算法检测圆形区域以完成指针抄表识别。尽管这些算法在某些情况下效果很好，并且可以实现较高的读取精度，但是由于图像处理所需的极高照明条件，它们在自然环境中的适应性很差。近年来，一些学者还提出了用于电表识别的新颖现代算法，如有使用svm(支持向量机)机器学习算法来定位和分离电表或者使用faster-rcnn对象检测算法来定位和提取仪表。它在很大程度上解决了传统算法遗留的问题，如比例尺不同，背景复杂，仪表定位困难等。但是，没有
一种算法可以解决照明不均匀，照明变化范围大以及仪表倾斜的问题。
[0007]
随着高性能计算机和移动通信信息技术的飞速发展，指针式仪表自动读取识别技术已经成为机器视觉和模式识别领域中的新热点和尖端技术。特别是近年来，人工智能(ai)的爆炸性发展和深度学习算法取得了重大突破，吸引了学者们使用深度学习方法来解决指针计量器识别过程中遇到的问题。一些研究人员提出了一种使用计算机视觉处理技术来解决该问题的自动化方法，即使用相机来获取图像，然后使用数字图像处理技术来处理用于读取的表盘。但是，大多数算法只能在特定的环境或固定的位置运行，而没有高度的可靠性，稳定性和长期可用性。对工程队中工作人员拍摄指针式指重表视频进行示数识别，每个工作人员的专业技术水平读数能力有所差异，以及工作人员的疲劳，工作环境的恶劣程度如高寒、高辐射、有毒区域，导致仪表盘示数的读取误差极大，导致司钻的工作效率变低，以及停工的风险，此外外由于施工环境产生的灰尘，图像周围产生噪声，图像倾斜等外界环境的影响，传统的图像处理方法对于复杂背景环境下的指针式仪表识别的数值准确率并不高，当施工现场环境差以及图像质量较低时，传统的指针式仪表读数方式和图像处理的精度和效率都大幅降低。本项发明需要解决的主要问题为在复杂的环境条件下和图像背景下，传统的指针式仪表不能进行精确的图像区域定位与剪裁的问题；以及在图像严重倾斜畸变的条件下，指针位置的精确定位与仪表读数的无法准确识别的问题。


技术实现要素：

[0008]
本发明提供一种基于深度卷积神经网络的指针式仪表示数识别方法，随着人工智能技术的发展，将图像识别技术应用到指针式仪表的示数识别中，以克服传统的图像处理方法对于复杂背景环境下的指针式仪表识别的数值准确率并不高，且当施工现场环境差以及图像质量较低时，传统的指针式仪表读数方式和图像处理的精度和效率都大幅降低的问题。
[0009]
为了实现上述目的，本发明的技术方案是：
[0010]
一种基于深度卷积神经网络的指针式仪表示数识别方法，包括：
[0011]
步骤1：获取指针式仪表示数的图片训练集及图片测试集，将所述图片训练集输入至第一深度卷积神经网络进行定位训练获得仪表定位神经网络，所述指针式仪表示数的图片训练集包括指针式仪表示数的训练图片，所述指针式仪表示数的训练图片为有人工标记区域的原始图片，所述指针式仪表示数的图片测试集包括指针式仪表示数的测试图片，所述指针式仪表示数的测试图片为未被标记的原始图片；
[0012]
步骤2：对所述指针式仪表示数的训练图片分析处理获得优化目标图片，所述优化目标图片包括图像尺寸相同及图像的旋转中心相同；
[0013]
步骤3：将所述优化目标图片进行标记获得最终标记图片，将所述最终标记图片输入第二深度卷积神经网络进行识别训练获得仪表识别神经网络；
[0014]
步骤4：将所述指针式仪表示数的测试图片导入仪表识别神经网络进行校验，并获得指针式仪表示数识别结果。
[0015]
进一步的，步骤1中所述获取的指针式仪表示数的图片训练集及图片测试集具体为
[0016]
步骤1.1：所述原始图片为实际应用场景下拍摄的图片，基于图片标记工具对所述
原始图片中所需特征信息区域进行标记获得所述训练初始图片，所述所需特征信息区域包括指针式仪表的表盘所在区域；
[0017]
步骤1.2：将所述训练初始图片集中的训练图片输入到第一深度卷积神经网络中，所述第一深度卷积神经网络采用cnn模型接收整张所述初始训练图片获得特征图，所述特征图的特征数据信息包括指针式仪表的表盘指针的颜色、大小以及形状；然后在所述特征图上采用若干个预设尺寸的滑动窗口获得候选区域，对于每个所述候选区域都进行映射获得所述特征图的低纬度特征，所述低纬度特征至少包括表盘所在区域、表盘所在的背景区域以及非特征区域，所述非特征区域为除表盘所在区域、表盘所在的背景区域的其他区域；
[0018]
步骤1.3：将所述低维度特征分别送到第一全连接层以及第二全连接层，所述第一全连接层以及第二全连接层隶属于第一深度卷积神经网络，所述第一全连接层用于分类预测所述表盘所在区域以及表盘所在的背景区域，并输出相对应的概率值，所述输出的概率值即为输出定位结果，所述第二全连接层用于回归所述输出定位结果获取表盘所在矩形区域的顶点坐标值；
[0019]
步骤1.4：根据所述矩形区域的顶点坐标值进行标记获得所述训练图片，将所述图片训练集输入至第一深度卷积神经网络进行定位训练获得仪表定位神经网络。
[0020]
进一步的，所述步骤2中对所述训练图片分析处理获得优化目标图片具体为：
[0021]
步骤2.1：所述训练图片的顶点坐标值基于opencv获得矩阵函数，所述矩阵函数为getaffine transform()，根据所述矩阵函数获得仿射变换矩阵；
[0022]
步骤2.2：基于仿射变换矩阵对所述训练图片进行仿射变换可以设置所述训练图像的旋转中心、旋转角度以及输出图像的尺寸，所述仿射变换采用 wrapaffine函数；
[0023]
步骤2.3：基于所述仿射变换矩阵对所述训练图像的旋转中心、旋转角度以及输出图像的尺寸进行仿射变换，获得优化目标图片。
[0024]
进一步的，所述步骤3中获得仪表识别神经网络的方法具体为：
[0025]
步骤3.1：将所述优化目标图片采用标记工具对指针式仪表的指针位置以及指针形状进行标记；
[0026]
步骤3.2：将标记好的所述优化目标图片输入到第二深度卷积神经网络中进行若干次指针位置识别训练，进而获得仪表识别神经网络。
[0027]
进一步的，所述步骤4中的仪表识别神经网络进行校验，即将所述测试集内的测试图片导入仪表识别神经网络进行测试，所述仪表识别神经网络识别出每张所述测试图片中仪表指针的长针以及短针的位置，利用所述测试图片采用所述仪表定位神经网络以及仪表识别神经网络对仪表指针位置图片进行校验，进而检验获取的所述仪表定位神经网络以及仪表识别神经网络的准确性。
[0028]
本发明的有益效果：
[0029]
本发明公开了一种基于深度卷积神经网络的指针式仪表示数识别方法，本发明基于人工智能技术的发展，基于人工智能在计算机的视觉识别技术将图像识别技术应用到指针式仪表的示数识别中，采用深度卷积神经网络对指针式仪表表盘区域进行定位和图像识别，不需要人工对表盘指针进行观察、读数、记录；传统的指针式仪表识别方法是用霍夫变换法和改进的后更换变换法提取指针位置，然后根据角度计算示数，本发明采用的第一个深度卷积神经网络直接对指针式仪表表盘区域进行粗提取定位，运用opencv仿射变换对图
片进行旋转、矫正，采用第二个卷积神经网路对仪表表盘表针特征的进行精细定位，所述精细定位为直接对指针式仪表的指针位置、角度以及仪表示数读数进行识别，省略了传统方法对字符、数字的识别；对定位出来表盘区域指针的位置进行识别，依据指针的相对位置对仪表盘示数进行读取，然后利用拍摄的仪表指针位置图片再进行校验，从而检验指针式仪表识别的准确率，解决了传统的指针式仪表读数方式和图像处理的精度和效率都大幅降低的问题。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法的示意图；
[0032]
图2为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法的流程框图；
[0033]
图3为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法的卷积神经网络框图；
[0034]
图4为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用via标注的卷积神经网络的标注图；
[0035]
图5为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用训练图片识别出的仪表指针定位区域图；
[0036]
图6为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中采用仿射变换矫正的区域图；
[0037]
图7为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中仿射变换矫正后的区域图进行的标注图；
[0038]
图8为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用训练图片识别出的第一仪表指针识别区域图；
[0039]
图9为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用训练图片识别出的第二仪表指针识别区域图；
[0040]
图10为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用训练图片识别出的第三仪表指针识别区域图；
[0041]
图11为本发明一种基于深度卷积神经网络的指针式仪表示数识别方法中使用训练图片识别出的第四仪表指针识别区域图。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本实施例提供了一种基于深度卷积神经网络的指针式仪表示数识别方法，如图1至图2所示，包括：
[0044]
步骤1：获取指针式仪表示数的图片训练集及图片测试集，将所述图片训练集输入至第一深度卷积神经网络进行定位训练获得仪表定位神经网络，所述指针式仪表示数的图片训练集包括指针式仪表示数的训练图片，所述指针式仪表示数的训练图片为有人工标记区域的原始图片，所述指针式仪表示数的图片测试集包括指针式仪表示数的测试图片，所述指针式仪表示数的测试图片为未被标记的原始图片；
[0045]
步骤2：对所述指针式仪表示数的训练图片分析处理获得优化目标图片，所述优化目标图片包括图像尺寸相同及图像的旋转中心相同；
[0046]
步骤3：将所述优化目标图片进行标记获得最终标记图片，将所述最终标记图片输入第二深度卷积神经网络进行识别训练获得仪表识别神经网络；
[0047]
步骤4：将所述指针式仪表示数的测试图片导入仪表识别神经网络进行校验，并获得指针式仪表示数识别结果。
[0048]
本发明针对指针式仪表盘和指针式仪表指针位置进行识别要用到两个深度卷积神经网络，所述指针式仪表的仪表盘位置和指针式仪表的指针位置识别主要是基于cnn(卷积神经网络)以及rng网络对原始图片进行识别定位获得候选框图片并输入至rpn(区域候选网络)，所述rpn(区域候选网络)对输入的候选框图片内的图像进行背景与前景的判断并对所述图像位置进行检测并修正，提高候选框图片内图像识别的准确率和速度。在进行第二个深度卷积神经网络进行识别之前要运用仿射变换对图像进行旋转、矫正。深度卷积神经网络是模拟生物的视觉和知觉系统所构建，卷积层中的神经元是模拟hubel-wiesel模型中的简单细胞，降采样层的神经元模拟复杂细胞，而特征图上的神经元共享同一个卷积核，对应某种特定取向的简单细胞，故深度卷积神经网络可以对像素和音频进行学习、有稳定的效果，且对数据没有额外的特征工程要求。本专利使用的深度卷积神经网络是mask r-cnn，此神经网络采用的是两个卷积神经网络作为主要结构，利用的是其图像的分割算法，mask r-cnn是一个强大、灵活的通用对象实例分割框架，maskr-cnn可以准确表示出表盘的准确形状和位置，如果表盘是特殊形状，例如圆形或菱形，mask r-cnn也可以准确勾画出表盘所在的区域；如果在图像有严重畸变的情况下，mask r-cnn识别出的区域可以利用畸变校正算法实现表盘的图像还原，它不但可以对图像中的目标进行检测，还可以对每个目标给予高质量的分割结果，能够实现对“目标检测”、“目标轮廓识别”、“目标分类”等多种任务。
[0049]
本发明是基于tensorflow神经网络的搭建工具获得深度卷积神经网络结构，如图3所示，第一/第二深度卷积神经网路有以下部分组成，
[0050]
第一部分是cnn(卷积神经网络)，所述cnn(卷积神经网络)主要作用是对原始图片进行预处理操作、图片物体检测、图像轮廓识别以及特征数据信息的提取。所述预处理操作包括对原始图片进行图像缩放获得预设尺寸图片，其中maskrcnn的配置文件config.py可设定图像缩放的相关系数，分别为：min_dim(较短边缩放长度)；ma_dim(较长边缩放长度)；min_scale(最小缩放比例)；mode(图片调整模式)。然后将所述预设尺寸图片输入到预训练好的卷积神经网络中获取对应的feature map(特征图)，所述特征数据信息包括指针式仪表的表盘指针的颜色、大小以及形状等。
[0051]
第二个部分是rpn网络，对所述特征图中的所有点设定预选roi(感兴趣区域)，可以获取若干待选roi，将待选的roi输入rpn网络进行二值分类(前景或背景)以及bb回归，过滤掉部分待选的roi获取特征图中特征的位置信息数据。
[0052]
第三个部分是roialign(感兴趣区域匹配)网络，对所述特征图进行取消量化操作，基于双线性内插的方法对所述特征图处理获得坐标为浮点数的像素点上的图像数值,把整个特征聚集过程转化成一个连续的操作，可提升检测模型的准确性；将候选框内图片的区域边界上的坐标点池化，并归一化为可以输入深度卷积神经网络获得fixed size feature map(固定尺寸特征图)。
[0053]
在具体实施例中，步骤1中所述获取的指针式仪表示数的图片训练集及图片测试集具体为
[0054]
步骤1.1：所述原始图片为实际应用场景下拍摄的图片，基于图片标记工具vgg image annotator(via)对所述原始图片中所需特征信息区域进行标记获得所述训练初始图片，所述所需特征信息区域包括指针式仪表的表盘所在区域；
[0055]
步骤1.2：将所述训练初始图片集中的训练图片输入到第一深度卷积神经网络中，所述第一深度卷积神经网络采用cnn模型接收整张所述初始训练图片获得特征图，所述特征图的特征数据信息包括指针式仪表的表盘指针的颜色、大小以及形状；然后在所述特征图上采用若干个3*3的滑动窗口获得候选区域，对于每个所述候选区域都进行映射获得所述特征图的低纬度特征，所述低纬度特征至少包括表盘所在区域、表盘所在的背景区域以及非特征区域，所述非特征区域为除表盘所在区域、表盘所在的背景区域的其他区域；
[0056]
步骤1.3：将所述低维度特征分别送到第一全连接层以及第二全连接层，所述第一全连接层以及第二全连接层隶属于第一深度卷积神经网络，所述第一全连接层用于分类预测所述表盘所在区域以及表盘所在的背景区域，并输出相对应的概率值，所述输出的概率值即为输出定位结果，所述第二全连接层用于回归所述输出定位结果获取表盘所在矩形区域的顶点坐标值；
[0057]
步骤1.4：根据所述矩形区域的顶点坐标值进行标记获得所述训练图片，将所述图片训练集输入至第一深度卷积神经网络进行定位训练获得仪表定位神经网络。其中，步骤1.1的实质为将原始图片输入到搭建的深度卷积神经网路后，首先是cnn对原始图片的预处理操作，并对原始图片中含有特征数据信息的部分进行提取获得特征图；步骤1.2的实质为利用rpn网络对所述特征图中的所有点设定预选roi并进行过滤处理，实现原始图片特征的位置信息数据获取。然后通过roialign取消量化，保持浮点数并最大化的进行池化，同时生成相对应的fixed size feature map(固定尺寸特征图)；步骤1.3 的实质为将所述roialign生成的固定尺寸特征图由fully connected全连接层进行处理，获取特征图的分类信息(例如表盘所在区域的位置、指针的相对位置区域)；另外所述roialign生成的fixed size feature map(固定尺寸特征图)由maskbranch(掩码层)组件进行处理获取重要特征的轮廓信息，所述重要特征的轮廓信息包括仪表指针位置的所在区域。
[0058]
在图片标记的过程中，人工对200张指针式仪表图片进行标记，使用的图片标记工具是vgg image annotator，由visual geometry group公司开发，它是一种开源的图像标记软件，在离线在线的情况下均可使用，可以手工标记矩形、多边形、椭圆、圆、点以及线等。完成标记后的图片导出格式为csv 和json文件。如图4所示，使用via标注的神经网络标注
的示例结果：完成图片标记后，在已搭建好的第一深度卷积神经网络中输入标注完成的json文件和200张已标记的图片输入并进行训练。tensorflow在训练过程中，利用梯度下降法逐步调整神经网络中每一个神经元以及神经元之间连线上的权重参数，最终实现神经网络的预测出来的区域和手工标注的区域趋于一致。完成训练后，需要将第一深度卷积神经网络结构与神经网络的参数进行存储，存储方式为以hdf5格式保存的文件，生成的hdf5文件即为指针式仪表盘的仪表定位神经网络。通过200张未做过标记的测试图片输入到已经训练好的指针式仪表盘定位神经网络进行识别确认其准确率。
[0059]
在具体实施例中，如图5至图6所示，所述步骤2中对所述训练图片分析处理获得优化目标图片具体为：
[0060]
步骤2.1：所述步骤2中对所述训练图片分析处理获得优化目标图片具体为：
[0061]
步骤2.1：所述训练图片的顶点坐标值基于opencv获得矩阵函数，所述矩阵函数为getaffine transform()，根据所述矩阵函数获得仿射变换矩阵；
[0062]
步骤2.2：基于仿射变换矩阵对所述训练图片进行仿射变换可以设置所述训练图像的旋转中心、旋转角度以及输出图像的尺寸，所述仿射变换采用 wrapaffine函数；
[0063]
步骤2.3：基于所述仿射变换矩阵对所述训练图像的旋转中心、旋转角度以及输出图像的尺寸进行仿射变换，获得优化目标图片。
[0064]
进一步的，所述步骤3中获得仪表识别神经网络的方法具体为：
[0065]
步骤3.1：将所述优化目标图片采用标记工具对指针式仪表的指针位置以及指针形状进行标记；
[0066]
步骤3.2：将标记好的所述优化目标图片输入到第二深度卷积神经网络中进行若干次指针位置识别训练，最后一次指针位置识别训练获得的hdf5文件即为指针式仪表识别神经网络。
[0067]
这一步骤是为了获取指针式仪表的指针式仪表识别神经网络。对所述经仿射变换校正后的200张图片对其图像指针的位置方向、形状进行第二次手工标注，标注的工具使用vgg image annotator，如图7所示，并第二次手工标注的200张图片保存为json文件格式，将所述200张图片和json格式的文件输入到搭建好的第二深度卷积神经网络中进行训练，利用梯度下降法逐步调整神经网络中每个神经元的参数，最终实现神经网络的预测出来的区域以及类别，和手工标注的区域以及类别误差最小。完成训练后并将第二次深度卷积神经网络结构与神经网络的参数存储，存储方式为以hdf5格式保存的文件，生成的hdf5文件即为指针式仪表识别神经网络。
[0068]
在具体实施例中，如图8至图11所示，所述步骤4中的仪表识别神经网络进行校验，即将所述测试集内的测试图片导入仪表识别神经网络进行测试，所述仪表识别神经网络识别出每张所述测试图片中仪表指针的长针、短针的相对位置及相对角度，进而利用指针位置计算出表盘读数，利用所述测试图片采用所述仪表定位神经网络以及仪表识别神经网络对仪表指针位置图片进行校验，进而检验获取的所述仪表定位神经网络以及仪表识别神经网络的准确性。首先随机选取了一张指针式仪表图像输入到搭建的深度卷积神经网络中，最终实现了仪表指针位置的准确识别及仪表示数的读取，最后采用了1000 张图片对该系统进行测试，只有30张左右的图片识别错误，因此最终的准确率为97％，该系统已经通过监管部门的试运行测试，最终确定该识别系统准确率确实是97％。
[0069]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。