一种指针仪表示数读取方法及其系统与流程

1.本发明涉及指针仪表技术领域，尤其涉及一种指针仪表示数读取方法及其系统。


背景技术：

2.指针仪表在日常生活与工业领域中有着十分广泛的应用，如何对此类仪表的示数进行高效、精确地自动读取十分重要。仪表示数读取主要分为仪表检测、表盘校正、指针定位、示数计算四个步骤，由于仪表所处环境、指针阴影以及仪表图像上无关信息干扰的影响，致使实现一种高效稳定且适用性广的仪表示数读取方法仍存在较大困难。
3.目前，对仪表示数的读取主要是通过深度学习的相关技术进行。基于深度学习的方法能适用于不同场景下的各类仪表，且具有较高的稳定性与实时性。但基于深度学习的方法需要大量的数据集来进行训练，而现有的公开数据集还没有专属于仪表类的数据集。因此该类方法需要大量的时间来制作数据标签。另外，现有的方法还存在难以只从当前待读取的仪表上来获取仪表示数的问题。比如在表盘校正过程中，往往需要一个同类型的正视仪表作模板，通过特征点匹配的方式进行校正。在示数计算过程中，需要人为输入仪表的量程，不能自动计算当前仪表的示数，且现有的示数读取方法往往适用于均匀刻度的仪表，对于非均匀刻度的仪表却不适用。


技术实现要素：

4.本发明提供了一种指针仪表示数读取方法及其系统，能够从当前仪表图像来获取计算仪表示数所需的关键信息，实现均匀刻度与非均匀刻度仪表示数的自动读取；且在制作数据集时无需大量精确的标注。
5.第一方面，本发明提供了一种指针仪表示数读取方法，该指针仪表示数读取方法包括：获取待测指针仪表图像；根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点；检测指针转轴中心点，分别与两个刻度数字关键点之间连线所形成的夹角；检测夹角被指针指向线分割形成的两个子夹角；根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数。
6.在上述的方案中，通过对待测指针仪表图像进行处理，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；之后检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点，根据指针转轴中心点分别与两个刻度数字关键点之间连线所形成的夹角、该夹角被指针指向线分割形成的两个子夹角、以及该两个刻度数字关键点对应的刻度数字，通过局部角度法计算得到指针仪表的当前仪表示数。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，人为输入仪表的量程进行示数计算。即本技术所示出的上述方法，无需先验信息，从当前仪表图像上就能获取计算仪表示数的关键信息，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。且本技术由于通过识别指针指向线
左右两侧的刻度数字关键点及刻度数字，然后利用局部角度法计算仪表示数，从而能够适用于均匀刻度和非均匀刻度的仪表。
7.在一个具体的实施方式中，根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点包括：检测待测指针仪表图像中的表盘、指针转轴中心点、刻度数字及对应的刻度数字关键点；对刻度数字关键点进行椭圆拟合，得到拟合椭圆；根据指针转轴中心点、拟合椭圆和刻度数字关键点，得到正视表盘。利用当前仪表图像上的刻度数字关键点、指针转轴中心点即可实现对待测指针仪表图像的校正。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。
8.在一个具体的实施方式中，根据指针转轴中心点、拟合椭圆和刻度数字关键点，得到正视表盘包括：采用透视变换校正算法，根据指针转轴中心点和拟合椭圆，将待测指针仪表图像中表盘上的所有点投射到假设表盘平面上；利用刻度数字关键点的对称性，采用旋转校正算法处理投射到假设表盘平面上的表盘，得到正视表盘。便于利用当前仪表图像上的关键信息，快速对待测指针仪表图像进行校正得到正视表盘。
9.在一个具体的实施方式中，根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点还包括：检测正视表盘上，指针主干上的两个端点；根据两个端点，得到指针主干的中点；根据指针转轴中心点和指针主干的中点，确定指针的指向和指针指向线。便于利用当前仪表图像上的指针关键点信息，快速得到指针的指向和指针指向线。
10.在一个具体的实施方式中，根据指针转轴中心点和指针主干的中点，确定指针的指向和指针指向线包括：在正视表盘上建立直角坐标系；检测指针转轴中心点和指针主干的中点在直角坐标系上的坐标；根据指针转轴中心点和指针主干的中点的坐标，确定指针的指向；将指针转轴中心点和指针主干的前端点的连线作为指针指向线。利用指针转轴中心点和指针主干的中点在直角坐标系下的横纵坐标差异，便于快速准确地确定指针的指向。
11.在一个具体的实施方式中，在正视表盘上建立直角坐标系包括：以指针转轴中心点为原点，以正视表盘上最小刻度数字和最大刻度数字分别对应的刻度数字关键点连线的平行方向为x轴，在正视表盘上建立x-y直角坐标系。便于在正视表盘上建立直角坐标线，同时还便于快速的根据指针转轴中心点和指针主干的中点的横纵坐标差异，确定指针的指向。
12.在一个具体的实施方式中，两个刻度数字关键点对应的刻度数字分别为：第一刻度数字、和大于第一刻度数字的第二刻度数字。根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数包括：根据夹角、两个子夹角和两个刻度数字，采用如下公式，计算指针仪表的当前仪表示数value：
13.value＝v1 (v
2-v1)
×
α1÷
α
14.其中，v1表示第一刻度数字；v2表示第二刻度数字；α表示夹角；α1表示两个子夹角中，和第一刻度数字对应的刻度数字关键点位于指针指向线相同侧的子夹角。以快速准确的通过局部角度法，计算得到指针仪表的当前仪表示数。
15.第二方面，本发明还提供了一种指针仪表示数读取系统，该指针仪表示数读取系
统包括：图像获取模块、检测和表盘校正模块、刻度数字关键点识别模块、夹角识别模块和示数计算模块。其中，图像获取模块用于获取待测指针仪表图像。检测和表盘校正模块用于根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点。刻度数字关键点识别模块用于检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点。夹角识别模块用于检测指针转轴中心点，分别与两个刻度数字关键点之间连线所形成的夹角；还用于检测夹角被指针指向线分割形成的两个子夹角。示数计算模块用于根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数。
16.在上述的方案中，通过对待测指针仪表图像进行处理，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；之后检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点，根据指针转轴中心点分别与两个刻度数字关键点之间连线所形成的夹角、该夹角被指针指向线分割形成的两个子夹角、以及该两个刻度数字关键点对应的刻度数字，通过局部角度法计算得到指针仪表的当前仪表示数。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，人为输入仪表的量程进行示数计算。即本技术所示出的上述方法，无需先验信息，从当前仪表图像上就能获取计算仪表示数的关键信息，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。且本技术由于通过识别指针指向线左右两侧的刻度数字关键点及刻度数字，然后利用局部角度法计算仪表示数，从而能够适用于均匀刻度和非均匀刻度的仪表。
17.在一个具体的实施方式中，检测和表盘校正模块包括：检测模块和表盘校正模块。其中，检测模块用于基于改进后的yolov4模型对待测指针仪表图像进行定位，并检测指针转轴中心点、指针主干上的端点、刻度数字及对应的刻度数字关键点；其中，改进后的yolov4模型由cspdarknet主干网络、spp空间金字塔池化、panet多尺度特征提取模块和yolo head输出层组成；cspdarknet主干网络中的标准卷积由深度可分离卷积替代。表盘校正模块用于根据待测指针仪表图像，得到正视表盘。能够较大程度减少参数计算量，提高目标检测速度；同时还能够得到更丰富的特征信息，提高网络对小目标检测的能力。
18.在一个具体的实施方式中，两个刻度数字关键点对应的刻度数字分别为：第一刻度数字、和大于第一刻度数字的第二刻度数字。示数计算模块根据夹角、两个子夹角和两个刻度数字，采用如下公式，计算指针仪表的当前仪表示数value：
19.value＝v1 (v
2-v1)
×
α1÷
α
20.其中，v1表示第一刻度数字；v2表示第二刻度数字；α表示夹角；α1表示两个子夹角中，和第一刻度数字对应的刻度数字关键点位于指针指向线相同侧的子夹角。以快速准确的通过局部角度法，计算得到指针仪表的当前仪表示数。
附图说明
21.图1为本发明实施例提供的一种指针仪表示数读取方法的流程图；
22.图2为本发明实施例提供的一种正视表盘上建立的直角坐标系示意图；
23.图3为本发明实施例提供的一种正视表盘上局部角度法的示意图；
24.图4为本发明实施例提供的一种指针仪表示数读取系统的训练和测试阶段的流程
图；
25.图5为本发明实施例提供的一种指针仪表示数读取系统的示意框图；
26.图6为本发明实施例提供的另一种指针仪表示数读取系统的示意框图；
27.图7为本发明实施例提供的一种深度可分离卷积结构图；
28.图8为本发明时示例提供的一种改进后的yolov4网络结构图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.为了方便理解本发明实施例提供的指针仪表示数读取方法，下面首先说明一下本发明实施例提供的指针仪表示数读取方法的应用场景，该指针仪表示数读取方法应用于指针仪表的示数读取过程中。其中，指针仪表具体可以为电流表、电压表、电阻表、流量表等各种类型的指针式仪表。另外，该指针仪表具体可以为均匀刻度的仪表，还可以为非均匀刻度的仪表。下面结合附图对该指针仪表示数读取方法进行详细的叙述。
31.参考图1，本发明实施例提供的指针仪表示数读取方法包括：
32.step10：获取待测指针仪表图像；
33.step20：根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；
34.step30：检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点；
35.step40：检测指针转轴中心点，分别与两个刻度数字关键点之间连线所形成的夹角；
36.step50：检测夹角被指针指向线分割形成的两个子夹角；
37.step60：根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数。
38.在上述的方案中，通过对待测指针仪表图像进行处理，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；之后检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点，根据指针转轴中心点分别与两个刻度数字关键点之间连线所形成的夹角、该夹角被指针指向线分割形成的两个子夹角、以及该两个刻度数字关键点对应的刻度数字，通过局部角度法计算得到指针仪表的当前仪表示数。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，人为输入仪表的量程进行示数计算。即本技术所示出的上述方法，无需先验信息，从当前仪表图像上就能获取计算仪表示数的关键信息，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。且本技术由于通过识别指针指向线左右两侧的刻度数字关键点及刻度数字，然后利用局部角度法计算仪表示数，从而能够适用于均匀刻度和非均匀刻度的仪表。下面结合附图对上述各个步骤进行详细的介绍。
39.参考图1及图4，首先获取待测指针仪表图像，该待测指针仪表图像中至少包含仪表的表盘图像，在表盘图像中包含有指针、刻度数字、刻度线等图像。待测指针仪表中的指
针指向，表示获取的待测指针仪表图像时的仪表示数。
40.接下来，继续参考图1，根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点，为后续环节的基础。即在此步骤中，主要完整对输入的待测指针仪表图像中的表盘的定位，并将产生畸变的表盘校正为正视表盘。还检测出指针转轴中心点以及指针指向线。需要说明的是，指针指向线为指针的指向和指针中轴线的集合体，且指针转轴中心点一定位于指针指向线上或位于指向指向线的延长线上。即指针指向线不仅包含有方向信息，而且还包含有位置信息。同时在此步骤中还需要检测出刻度数字、以及每个刻度数字对应的刻度数字关键点。需要解释的是，刻度数字是指仪表表盘上自带的表示某刻度线处的大小程度的数字，而刻度数字关键点是对应的刻度数字所标注的刻度线上的特征点，即在指针指向刻度数字关键点处时，仪表示数就是该指针指向的刻度数字关键点所对应的刻度数字。
41.在根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点时，参考图4，可以先检测待测指针仪表图像中的表盘、指针转轴中心点、刻度数字及对应的刻度数字关键点。即先对输入的待测指针仪表图像中的表盘进行定位，并提取表盘中以刻度数字为中心的刻度数字关键点，相应的，刻度数字关键点可以是刻度数字所标注的刻度线上的关键点。在此步骤中，还需要从输入的待测指针仪表图像中提取指针的转轴中心点、和指针主干上的关键点，例如可以提取指针主干上的位于两端的两个端点、以及指针主干长度方向上的中点等关键点。之后，对刻度数字关键点进行椭圆拟合，得到拟合椭圆。具体可以通过最小二乘法对刻度数字关键点进行椭圆拟合，对待测指针仪表图像中的表盘进行畸变校正。然后，根据指针转轴中心点、拟合椭圆和刻度数字关键点，得到正视表盘。利用当前仪表图像上的刻度数字关键点、指针转轴中心点即可实现对待测指针仪表图像的校正。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。
42.在根据指针转轴中心点、拟合椭圆和刻度数字关键点，得到正视表盘时，参考图4，可以先对待测指针仪表图像中表盘的畸变校正，再进行旋转校正。其中，在进行畸变校正时，可以采用透视变换校正算法，根据指针转轴中心点和拟合椭圆，将待测指针仪表图像中表盘上的所有点投射到假设表盘平面上。即先假设一个表盘所在的平面作为假设表面平面，以指针转轴中心点为原点，在该假设表盘平面建立直角坐标系，并以指针转轴中心点为圆心、预先设置的半径r画圆，该圆与直角坐标系中的横纵坐标轴相交于四个交点。利用上述步骤中得到的拟合椭圆的长轴和短轴的四个顶点，与上述横纵坐标上的四个交点的对应关系，求取透视变换矩阵h，然后利用该透视变换矩阵h，将待测仪表图像中表盘上的所有点投射到该假设表盘平面上，实现对待测指针仪表图像中表盘的畸变校正。
43.在进行旋转校正时，继续参考图4，可以利用刻度数字关键点的对称性，采用旋转校正算法处理投射到假设表盘平面上的表盘，得到正视表盘。由于上述将待测仪表图像中表盘上的所有点投射到该假设表盘平面上的方式，将使投影后的表盘平面与假设表盘平面平行。但是可能存在投射后的仪表表盘存在旋转的情况，从而造成投影后的表盘平面与假设表盘平面将存在旋转角差。此时，可以利用刻度数字关键点的对称性，连接刻度数字关键点上的最小刻度(通常为零刻度)和最大刻度(通常为满刻度)处的刻度数字关键点，形成最
小刻度关键点和最大刻度关键点的连线，计算该连线相对于水平方向的旋转角，之后根据该旋转角，实现对仪表旋转校正，得到仪表的正视表盘。便于利用当前仪表图像上的关键信息，快速对待测指针仪表图像进行校正得到正视表盘。
44.另外，在根据待测指针仪表图像，得到指针指向线的过程中，参考图4，可以先判断指针的指向，之后提取指针主干的关键点，并根据指针的指向，确定指针指向线。例如，参考图2，可以先检测正视表盘上，指针主干上的两个端点(如图2中的端点m和端点n)。之后，根据两个端点，得到指针主干的中点(如图2中的点c)。然后，根据指针转轴中心点(如图2中的点o)和指针主干的中点，确定指针的指向和指针指向线。便于利用当前仪表图像上的指针关键点信息，快速得到指针的指向和指针指向线。
45.上述根据指针转轴中心点和指针主干的中点，确定指针的指向和指针指向线时，参考图2，可以通过建立直角坐标系，比对指针转轴中心点和指针主干的中心的坐标差异的方式，确定指针的指向，再根据指针指向和指针主干上的端点确定指针指向线。具体的，首先可以在正视表盘上建立直角坐标系。之后，检测指针转轴中心点和指针主干的中点在直角坐标系上的坐标。然后，根据指针转轴中心点和指针主干的中点的坐标，确定指针的指向。再将指针转轴中心点和指针主干的前端点的连线作为指针指向线(由o点指向n点的指向线表示指针指向线)。利用指针转轴中心点和指针主干的中点在直角坐标系下的横纵坐标差异，便于快速准确地确定指针的指向。
46.在正视表盘上建立直角坐标系时，可以采用多种方式。例如图2所示出的一种方式，可以以指针转轴中心点(o点)为原点，以正视表盘上最小刻度数字和最大刻度数字分别对应的刻度数字关键点(a点和b点)连线的平行方向为x轴，在正视表盘上建立x-y直角坐标系，如图2中的点d位于y轴上，且同时与刻度数字关键点a、b共圆。便于在正视表盘上建立直角坐标线，同时还便于快速的根据指针转轴中心点(点o)和指针主干的中点(点c)的横纵坐标差异，确定指针的指向，具体可以采用如下示出的方向判断机制表，判断出指针指向上述直角坐标系中的第几象限。需要解释的是，其中的点c的坐标为(c
x
，cy)，点o的坐标为(o
x
，oy)，表1中的角度θ是以图2中的od为初始轴，以od顺时针旋转产生形成的角度大小。
47.表1-方向判断机制表
[0048][0049]
当然，在图2中还示出了另一种在正视表盘上建立直角坐标系的方法，可以在正视表盘上任意选择一点作为原点，同样以正视表盘上最小刻度数字和最大刻度数字分别对应的刻度数字关键点(a点和b点)连线的平行方向为直角坐标系上的u轴，建立如图2所示出的u-v直角坐标系。具体判断的方式和上述方式思路相同，在此不再赘述。
[0050]
接下来，参考图1，检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点。两个刻度数字关键点对应的刻度数字分别为：第一刻度数字、和大于第一刻度数字的第二刻度数字。具体可以通过求取离指针指向线左右两侧最近的两个刻度数字的矩形框，将其分割放入lenet-5数字识别模型进行识别，从而得到分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点。如图3所示，识别的分列于指针指向线on两侧且最近的刻度数字关键点分别为点b和点c，指针指向线on所指向的点a位于表盘的刻度圆上，即点a、b和c共圆，且圆心为指针转轴中心点o。
[0051]
接下来，参考图1，主要是采用局部角度法计算待测指针仪表图像的当前仪表示数。具体的，如图1及图3所示，检测指针转轴中心点，分别与两个刻度数字关键点之间连线所形成的夹角。即从指针转轴中心点出发，分别连接指针指向线左右两侧最近的刻度数字关键点，在指针转轴中心点处形成一夹角，图3中的∠boc表示该夹角，该夹角表示指针指向线左右两侧最近的刻度数字关键点之间的圆弧角度跨度大小。
[0052]
之后，继续参考图1及图3，检测夹角被指针指向线分割形成的两个子夹角。从指针转轴中心点出发，分别连接指针指向线左右两侧最近的刻度数字关键点，在指针转轴中心点处形成的夹角，会被指针指向线分割为两个子夹角。如图3所示，指针指向线on将∠boc分割成∠boa和∠aoc，∠boa和∠aoc作为∠boc的两个子夹角，两个子夹角分列在指针指向线的两侧，表示指针指向线分别距离上述两个刻度数字关键点的圆弧角度跨度大小。
[0053]
然后，如图1及图3所示，根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数。根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数包括：根据夹角、两个子夹角和两个刻度数字，采用如下公式，计算指针仪表的当前仪表示数value：
[0054]
value＝v1 (v
2-v1)
×
α1÷
α
[0055]
其中，v1表示第一刻度数字，如图3中的刻度数字关键点b所对应的刻度数字即为v1；v2表示第二刻度数字，如图3中的刻度数字关键点c所对应的刻度数字即为v2；α表示夹角，如图3中的α＝∠boc；α1表示两个子夹角中，和第一刻度数字对应的刻度数字关键点位于指针指向线相同侧的子夹角，如图3中的α1＝∠boa。以快速准确的通过局部角度法，计算得到指针仪表的当前仪表示数。
[0056]
应当理解的是，上述仅仅示出了计算仪表示数的一种方式，除此之外，还可以采用其他的方式，例如，还可以采用如下公式计算指针仪表的当前仪表示数value：
[0057]
value＝v
2-(v
2-v1)
×
α2÷
α
[0058]
其中的α2表示两个子夹角中，和第二刻度数字对应的刻度数字关键点位于指针指向线相同侧的子夹角，如图3中的α2＝∠coa。
[0059]
上述示出的各种实施方式，通过对待测指针仪表图像进行处理，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；之后检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点，根据指针转轴中心点分别与两个刻度数字关键点之间连线所形成的夹角、该夹角被指针指向线分割形成的两个子夹角、以及该两个刻度数字关键点对应的刻度数字，通过局部角度法计算得到指针仪表的当前仪表示数。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，人为输入仪表的量程进行示数计算。即本技术所示出的上述方法，无需先验信息，从当前仪表图像上就能获取计算仪表示数的关键信息，从而在制作数据集时无需大量精确的标注，可以节省大量的人力和时间。且本技术由于通过识别指针指向线左右两侧的刻度数字关键点及刻度数字，然后利用局部角度法计算仪表示数，从而能够适用于均匀刻度和非均匀刻度的仪表。
[0060]
另外，本发明实施例还提供了一种指针仪表示数读取系统，参考图5，该指针仪表示数读取系统包括：图像获取模块、检测和表盘校正模块、刻度数字关键点识别模块、夹角识别模块和示数计算模块。其中，图像获取模块用于获取待测指针仪表图像。检测和表盘校正模块用于根据待测指针仪表图像，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点。刻度数字关键点识别模块用于检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点。夹角识别模块用于检测指针转轴中心点，分别与两个刻度数字关键点之间连线所形成的夹角；还用于检测夹角被指针指向线分割形成的两个子夹角。示数计算模块用于根据夹角、两个子夹角和两个刻度数字，计算指针仪表的当前仪表示数。
[0061]
在上述的方案中，通过对待测指针仪表图像进行处理，得到正视表盘、指针转轴中心点、指针指向线、刻度数字及对应的刻度数字关键点；之后检测正视表盘上，分列于指针指向线两侧且距离指针指向线前端最近的两个刻度数字关键点，根据指针转轴中心点分别与两个刻度数字关键点之间连线所形成的夹角、该夹角被指针指向线分割形成的两个子夹角、以及该两个刻度数字关键点对应的刻度数字，通过局部角度法计算得到指针仪表的当前仪表示数。无需像现有技术一样，对一个同类型的正视仪表作模板，然后通过特征点匹配的方式进行校正的方式，人为输入仪表的量程进行示数计算。即本技术所示出的上述方法，无需先验信息，从当前仪表图像上就能获取计算仪表示数的关键信息，从而在制作数据集
时无需大量精确的标注，可以节省大量的人力和时间。且本技术由于通过识别指针指向线左右两侧的刻度数字关键点及刻度数字，然后利用局部角度法计算仪表示数，从而能够适用于均匀刻度和非均匀刻度的仪表。
[0062]
参考图5及图6，其中的检测和表盘校正模块可以包括：检测模块和表盘校正模块。其中，检测模块用于基于改进后的yolov4模型对待测指针仪表图像进行定位，并检测指针转轴中心点、指针主干上的端点、刻度数字及对应的刻度数字关键点。如图8所示出的一种改进后的yolov4模型的网络结构图。其中，改进后的yolov4模型由cspdarknet主干网络(cross stage partial darknet，跨阶段局部网络)、spp(spatial pyramid pooling)空间金字塔池化、panet(path aggregation network，路径聚合网络)多尺度特征提取模块和yolo head输出层组成。图8中的contact表示连接，图8中的upsampling表示上采样，图8中的downsampling表示下采样，图8中的max pooling表示最大池化，图8中的resblock_body表示残差单元，图8中的conv表示卷积。参考图7，cspdarknet主干网络中的标准卷积可以由深度可分离卷积替代。表盘校正模块用于根据待测指针仪表图像，得到正视表盘。能够较大程度减少参数计算量，提高目标检测速度；同时还能够通过在原来的yolov4预测网络结构中增加104
×
104的特征层，得到更丰富的特征信息，提高网络对小目标检测的能力。
[0063]
在形成上述的检测模块时，可以制作数据集。具体的，首先采用一定数量包含指针仪表的图片，对每张图像的表盘、刻度数字及对应的刻度数字关键点分别进行矩形框标注与关键点标注，还对指针上的关键点(诸如指针的端点、指针转轴中心点)进行标注。还可以制作印刷体数字集，该数字集主要包含小数数字与整数数字，以便于检测出刻度数字中的小数数字和整数数字。之后，可以进行模型训练。将前述步骤中标注好的数字集输入到改进后的yolov4模型进行训练，并切在训练过程中还可以进行数据增强处理，训练完成后得到检测模型，作为检测模块。另外，还可以将前述步骤制作的数字集输入到lenet-5模型中训练，得到数字识别模型，以便于后续步骤中，识别分列在指针指向线左右两侧最近的刻度数字及对应的刻度数字关键点。
[0064]
如图6所示，还可以在仪表示数读取系统中设置方向判断模块，来按照前述仪表示数读取方法部分所描述的判断方法，判断指针的指向。当然，还可以在仪表示数读取系统中设置数字识别模块，来识别分列在指针指向线左右两侧最近的刻度数字及对应的刻度数字关键点。
[0065]
此外，如上述方法部分描述，两个刻度数字关键点对应的刻度数字分别为：第一刻度数字、和大于第一刻度数字的第二刻度数字。此时，示数计算模块根据夹角、两个子夹角和两个刻度数字，可以采用如下公式，计算指针仪表的当前仪表示数value：
[0066]
value＝v1 (v
2-v1)
×
α1÷
α
[0067]
其中，v1表示第一刻度数字；v2表示第二刻度数字；α表示夹角；α1表示两个子夹角中，和第一刻度数字对应的刻度数字关键点位于指针指向线相同侧的子夹角。以快速准确的通过局部角度法，计算得到指针仪表的当前仪表示数。
[0068]
需要说明的是，上述图像获取模块、检测和表盘校正模块、刻度数字关键点识别模块、夹角识别模块和示数计算模块，均为能够实现相应功能方法的软硬件集合体。即上述各个功能模块不仅包含有电路板、芯片等相应的硬件，而且还包含有存储和运行在上述硬件上的软件代码。且上述功能模块在实现相应功能时，可以如上述指针仪表示数读取方法部
分的描述，实现上述指针仪表示数读取方法中对应步骤所描述的所有功能。
[0069]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。