一种基于表盘分类和部件颜色、形状特征的仪表读数方法与流程

1.本发明涉及工业仪表读数技术领域，是一种基于表盘分类和部件颜色、形状特征的仪表读数方法。


背景技术：

2.仪表盘作为各工业系统中常见的机械设备，对其实现自动化、高精度的读数具有重要的意义。仪表盘的自动读数方法大致分为两类，一种是基于传统特征提取的方法，如利用hough变化检测得到直线形式的刻度线、指针以及圆形的表盘，基于hog检测框描述子得到数字的候选框，以及基于canny算子提取边缘等。但这些方法很容易受到背景、光照等外界环境因素的影响而降低识别的准确度；另一种是基于深度学习的方法，该方法需要对表盘中的刻度线进行分割，并对表盘上的数字进行识别，但深度学习的训练需要大量的数据，其中刻度线的分割还需要有事先标注的数据掩码，因此需要耗费大量的人力和物力。并且，基于深度学习的分割和识别模型一般比较耗时，在一些移动设备上很难实时运行。
3.因此，亟需一种基于表盘分类和部件颜色、形状特征的仪表读数方法用以解决现有技术存在的不足。


技术实现要素：

4.发明目的：针对上述现有技术中的存在的问题和不足，本发明的目的是提供一种基于表盘分类和部件颜色、形状特征的仪表读数方法，利用表盘分类和表盘中部件的形状、颜色等特征进行表盘指针的读数。有效的节省了训练时间，并减少了环境因素对读数准确性的影响。
5.技术方案：为达到上述目的，本发明所述的一种基于表盘分类和部件颜色、形状特征的仪表读数方法，具体包括以下步骤：s1：根据给定的一幅包含背景的图像，获取图像中仪表盘区域；s2：通过仪表盘分类网络得到该仪表盘所属的类别；s3：根据仪表盘所属的类别，通过常规的特征匹配方法对仪表盘进行矫正；s4：根据仪表盘圆形的形状特征提取表盘最外层刻度区域，并得到表盘的中心、长短轴和半径；s5：根据仪表盘中示数指针为长条形的特征，在提取到的圆形刻度盘区域内来提取长条形指针部件及其长轴；s6：根据长条形指针部件长轴的角度及其所属的类别计算示数。
6.进一步地，步骤s1中通过目标检测或关键点检测方法获得仪表盘目标。
7.进一步的，所述步骤s2中还包括仪表盘分类网络的训练。
8.进一步的，所述仪表盘分类网络的训练，其具体方法如下：步骤s21：分别获取不同仪表盘类型的训练数据；步骤s22：为每一种仪表盘类型的训练数据标注真实的类别；
步骤s23：用标注好类别的数据训练仪表盘分类网络，得到仪表盘分类模型；进一步的，所述步骤s3中，还包括利用sift特征匹配或关键点特征匹配对仪表盘进行矫正；可选的，利用sift特征匹配的方法进行矫正的步骤具体包括：s31：对每一类仪表盘中的标准仪表盘进行一次特征点提取；s32：每次为待读数的仪表盘提取特征点；s33：将待读数的仪表盘的特征与其所属类别中的标准表盘的相应特征进行匹配，得到变换矩阵；s34：根据变换矩阵对待读数的仪表盘进行旋转、平移、缩放等操作，得到矫正后的仪表盘。
9.可选的，步骤s4中表盘最外层刻度区域的形状特征提取方法为：先获取接近刻度盘圆形部件的所有候选集，然后获取候选集中最接近刻度盘的圆形部件。
10.可选的，步骤s4中利用主成分分析法获取获得表盘的中心、长短轴和半径，具体步骤如下：s41：计算圆形表盘部件外轮廓点x、y轴之间的协方差；s42：计算x、y轴之间协方差矩阵的特征值和特征向量；s43：最大特征值对应的特征向量为该部件的长轴向量，最小特征值对应的特征向量为该部件的短轴向量；s44：计算长轴方向上外轮廓点最大最小值之和的一半，计算短轴方向上外轮廓点最大最小值之和的一半，两者之和为圆形刻度盘的中心向量；s45：计算长轴方向上外轮廓点最大最小值之差的一半，计算短轴方向上外轮廓点最大最小值之差的一半，两者之和为圆形刻度盘的半径向量；s46：计算中心向量减去长轴方向上的半径向量，计算中心向量加上长轴方向上的半径向量，两者组成长轴的两端点向量；计算中心向量减去短轴方向上的半径向量，计算中心向量加上短轴方向上的半径向量，两者组成短轴的两端点向量；s47：计算长轴的两端点向量的模和短轴的两端点向量的模得到长短轴的长度，长轴长度的一半为半径的长度。
11.进一步的，所述步骤s5，包括：提取所有满足长条形的候选部件，在长条形的候选部件中根据颜色特征，在颜色空间里去除其它非长条形的部件。
12.可选的，步骤s5中提取长条形指针部件及其长轴的具体方法为：提取所有满足长条形的候选部件，然后在长条形的候选部件中根据颜色特征，在颜色空间里去除其它非长条形的部件。
13.上述技术方案可以看出，本发明的有益效果为：本发明所述的一种基于表盘分类和部件颜色、形状特征的仪表读数方法， 针对目前仪表盘自动读数中传统方法和深度学习方法存在的弊端，利用表盘分类和表盘中部件的形状、颜色等特征进行表盘指针的读数，有效的节省了训练时间，并减少了环境因素对读数准确性的影响。
附图说明
14.图1为本发明待读数的仪表盘图像；图2为本发明为提取到的刻度盘圆形区域图；（a） 为圆形区域的长短轴和中心展示图；（b）为提取到的圆形区域；图3为本发明最终提取到的示数指针展示图；图4为本发明的仪表读数方法的流程图。
具体实施方式
15.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
16.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
17.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，除非另有明确的限定。
18.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
19.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
20.如图1-4所示的一种基于表盘分类和部件颜色、形状特征的仪表读数方法，具体方法如下：首先，需要获得给定图像对应的仪表盘图像（如图1所示）、仪表盘图像所属类别以及对矫正后的仪表盘图像。
21.具体的，利用常规的目标检测网络对给定的图像进行仪表盘目标的获取；根据预定义的仪表盘类别和类别数对收集的仪表盘数据进行标注，任意选定一个分类网络，本实施例中选取主干网络为resnet18的分类网络训练仪表盘类别数据，得到具有分类能力的模型；给定的仪表盘图像经过分类网络后得到所属类别；根据得到的类别选
取对应类别中的标准仪表盘，其中该仪表盘中各刻度线对应的角度、以及包含的特征点均为已知值。
22.对给定的仪表盘图像进行特征点提取，并将其特征点与选取的标准仪表盘的特征点进行匹配，根据匹配后得到的变换矩阵对该仪表盘图像进行矫正，得到矫正后的仪表盘图像。本实施例中利用sift特征匹配的方法进行矫正，具体步骤如下：对每一类仪表盘中的标准仪表盘进行一次特征点提取；每次为待读数的仪表盘提取特征点；将待读数的仪表盘的特征与其所属类别中的标准表盘的相应特征进行匹配，得到变换矩阵；根据变换矩阵对待读数的仪表盘进行旋转、平移、缩放等操作，得到矫正后的仪表盘。
23.然后，对仪表盘进行刻度盘对应的圆形区域提取。
24.具体的，在lab空间的每个通道设置不同的阈值对仪表盘图像进行二值化，利用opencv的findcontours函数提取所有二值化后掩码中所有的部件，根据部件面积阈值去掉面积小的部件，利用opencv的fitellipse和ellipse2poly函数分别为剩下的部件求取最接近的椭圆，根据圆形区域面积占仪表盘区域面积的范围，以及部件面积与其拟合的椭圆面积比的范围去掉不在范围内的部件，得到当前通道当前阈值下圆形部件候选集。
25.对所有通道所有阈值下得到的圆形部件候选集进行覆盖和累计处理：依次遍历不同通道不同阈值下的圆形部件候选集，计算圆形部件候选集里的每一个部件与历史保留的圆形部件候选集里每一个部件的iou比值（部件之间面积交集/部件之间面积并集），iou小于阈值时，将当前遍历的圆形部件候选集里的当前部件累加到历史部件中，否则，根据两者圆形区域面积占仪表盘区域面积的值，保留其中值较大的一个部件到历史部件集合中，依此循环遍历完所有通道所有阈值下得到的圆形部件候选集。
26.在最终遍历得到的圆形部件候选集里，选取包含在其拟合的椭圆中的面积占部件面积比（部件面积与其拟合的椭圆面积的交集/其拟合的椭圆面积）最大的一个部件为最终的最外层刻度盘圆形区域。
27.通过对表盘的外轮廓点进行主成分分析，并通过一系列的计算最终得到圆形刻度盘的长短轴、半径以及中心。此处的长短轴指的是长短轴的长度和长短轴的方向。
28.如图2提取到的圆形刻度盘所示，其中粗直线为长轴，细直线为短轴，黑色点为中心，长轴的一半为圆形刻度盘半径的长度。
29.具体的计算过程包括：计算圆形表盘部件外轮廓点x、y轴之间的协方差；然后计算x、y轴之间协方差矩阵的特征值和特征向量；最大特征值对应的特征向量为该部件的长轴向量，最小特征值对应的特征向量为该部件的短轴向量；接着计算长轴方向上外轮廓点最大最小值之和的一半，计算短轴方向上外轮廓点最大最小值之和的一半，两者之和为圆形刻度盘的中心向量；以及计算长轴方向上外轮廓点最大最小值之差的一半，计算短轴方向上外轮廓点最大最小值之差的一半，两者之和为圆形刻度盘的半径向量；并计算中心向量减去长轴方向上的半径向量，计算中心向量加上长轴方向上的半径向量，两者组成长轴的两端点向量；计算中心向量减去短轴方向上的半径向量，计算中心向量加上短轴方向上的半径向量，两者组成短轴
的两端点向量；最后计算长轴的两端点向量的模和短轴的两端点向量的模得到长短轴的长度，长轴长度的一半为半径的长度。
30.接着，对仪表盘进行指针区域的提取，根据仪表盘中示数指针为长条形的特征提取长条形指针部件及其长轴；在lab空间的l通道设置不同的阈值对仪表盘图像进行二值化，利用opencv的findcontours函数提取所有二值化后掩码中所有的部件，根据部件面积阈值去掉面积小的部件，根据指针面积应占仪表盘区域面积的范围去掉不在合理范围内的部件。
31.利用主成分分析及相应的计算获得各部件的长短轴、长短轴长度和中心，其计算方法与计算圆形刻度盘的参数一致，根据部件中心离圆形刻度盘中心的距离去掉离圆形刻度盘中心较远的部件，根据部件长短轴的比去掉长短轴比值较小的部件，并根据长轴长度占圆形刻度盘短轴的比去掉长轴过长的部件，得到该阈值下长条形指针的候选集。
32.对所有不同阈值下长条形指针的候选集进行覆盖和累计处理：依次遍历不同阈值下的长条形部件候选集，计算长条形部件候选集里的每一个部件与历史保留的长条形部件候选集里每一个部件的iou比值（部件之间面积交集/部件之间面积并集），iou小于阈值时，将当前遍历的长条形部件候选集里的当前部件累加到历史部件中，否则，根据两者长短轴比值，保留其中值较大的一个部件到历史部件集合中，依此循环遍历完所有阈值下得到的长条形部件候选集。
33.针对长条形指针的候选集，根据颜色特征分别在lab的a和b通道中去掉颜色和长条形指针差别较大的部件，如某些类型的表盘中存在指示安全读数范围的红绿色指针；根据形状特征，利用opencv的minenclosingtriangle函数得到部件的拟合三角形，去掉包含在其拟合的三角形中的面积占部件面积（部件面积与其拟合的三角形面积的交集/其拟合的三角形面积）比较小的部件。
34.将剩下的仍包含部件的二值化掩码进行合并得到合并后的掩码，再次用opencv的findcontours函数提取合并后掩码中所有的部件。针对每一个部件，分别获得该部件长轴两端点与圆形刻度盘中心之间角度的余弦值、长短轴的比值、长短轴中心离圆形刻度盘中心距离较小的一个与圆形刻度盘半径的比值。对三个值进行线性组合得到每个部件的得分值，得分值最高的一个为最终的长条形指针，最后根据长条形指针长轴对应向量的角度和该表盘预测的类别即可得到最终的表盘读数。
35.最终提取到的长条形指针效果如图3所示，其中长直线为长轴，短直线为短轴，在获得该仪表盘的类型和该类型对应的标准仪表盘后，根据指针长轴的方向向量则能得到最终的读数。
36.实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价均落于本技术所附权利要求所限定的范围。