一种多形态指针表读数智能识别方法及装置与流程

1.本发明涉及仪表识别技术领域，尤其涉及一种多形态指针表读数智能识别方法及装置。


背景技术：

2.现有基于深度学习的指针表读数的方法，主要采用目标检测仪表定位加传统图像处理指针识别相结合的方法，首先通过yolo、mask rcnn、faster rcnn等目标检测方法定位表盘和指针的关键位置，然后通过传统图像处理，比如霍夫变换、最小二乘等方法，识别指针的确定位置，最后通过识别的指针位置和表盘的关键位置，换算得到指针刻度。上述方法存在鲁棒性较差的问题。现场指针表样式较多，而且难以满足复杂环境下的指针式仪表的读数识别。一旦指针表样式发生变化，模型算法必须经过调整。另外，传统图像识别对于图像质量的要求比较高，而拍摄指针表的图像受到环境中气候、光线和角度等因素的影响，导致图像质量会出现比较大范围的波动，而传统图像识别的方法大多依赖阈值的设定来识别目标，不断变化的环境因素让现有方法很难很好地适应各种条件下的图像质量识别任务。
3.经过改进的深度学习的指针表读数方法，通过字符识别的方法替换传统的图像处理方法，该方法首先通过目标检测定位表盘和指针的关键位置，然后通过字符识别的方法识别刻度盘的刻度，最后换算指针所指的刻度。改进的指针表读数方法，摒弃了传统图像识别部分算法，代之以深度学习的字符串识别的方法，在一定程度上解决了传统图像识别算法鲁棒性较差的问题，可以适用于更多种类型的指针表，同时由于环境因素引起的图像质量变化的问题也得到了很好的解决。然而，该方法采用二阶段模型算法，任务过程仍然比较繁琐，而且在内存占用和硬件要求上也更高。并且，该方法采用字符串识别的方法，是在要求指针表刻度盘必须存在刻度字符的基础上才能实现的。而现实中，有很多指针表并不一定都存在刻度字符，仅有最大值和最小值的标记位。用这种方法则难以识别出刻度字符并换算为最终刻度。另外，由于拍摄条件限制，部分表盘可能出现比较严重的变形，通过这种方法得到的指针表刻度将存在比较大的误差。


技术实现要素：

4.本发明的目的在于提供一种多形态指针表读数智能识别方法及装置，以解决现有的指针表读数方法任务过程比较繁琐，而且在内存占用和硬件要求上较高，在指针表刻度盘无刻度字符的情况下难以识别，且部分表盘可能出现比较严重的变形，识别出的指针表刻度存在比较大的误差的问题。
5.第一方面，本发明提供一种多形态指针表读数智能识别方法，包括：获取多形态指针表的图像；调用已训练好的目标检测模型，检测出所述图像中的指针表表盘和指针；对识别出的指针表表盘中的不规则指针表表盘进行矫正；录入各指针表表盘中指针读数的顺、逆时针信息以及表盘刻度信息；针对无刻度
表盘，设定最小标记位为0，最大标记位为1，最小标记位和最小标记位之间按照比例换算为百分比数值；根据指针读数的顺、逆时针信息以及表盘刻度信息，确定指针的角度与表盘刻度信息之间的线性关系式；识别指针的实时角度；将所述指针的实时角度代入所述线性关系式，换算出指针在指针表表盘上所指示的实时表盘刻度信息，将所述实时表盘刻度信息输出为指针表读数结果；在图像中标注出所述指针表读数结果。
6.进一步地，所述目标检测模型的训练方式如下：采集多形态指针表的图像作为训练用的样本集；人工对样本集中的指针表表盘和指针进行标注，其中指针位于指针的标注框的对角线位置；将样本集按照9:1的比例划分为训练集和验证集，其中训练集送入yolov4网络模型进行训练，验证集用于训练过程的精度计算；测试模型训练效果，并对模型进行调优。
7.进一步地，对识别出的指针表表盘中的不规则指针表表盘进行矫正，包括：建立不规则指针表表盘的不规则形状与标准圆形的数学关系；将不规则指针表表盘按照所述数学关系映射为标准圆形指针表表盘，使指针表表盘上的刻度呈现均匀分布。
8.进一步地，根据指针读数的顺、逆时针信息以及表盘刻度信息，确定指针的角度与表盘刻度信息之间的线性关系式，包括：确定指针表表盘的最大刻度与指针的最大角度、指针表表盘的最小刻度与指针的最小角度的对应关系；根据所述对应关系确定指针和指针表表盘的刻度的数学线性关系。
9.第二方面，本发明提供一种多形态指针表读数智能识别装置，包括：获取单元，用于获取多形态指针表的图像；检测单元，用于调用已训练好的目标检测模型，检测出所述图像中的指针表表盘和指针；矫正单元，用于对识别出的指针表表盘中的不规则指针表表盘进行矫正；录入单元，用于录入各指针表表盘中指针读数的顺、逆时针信息以及表盘刻度信息；针对无刻度表盘，设定最小标记位为0，最大标记位为1，最小标记位和最小标记位之间按照比例换算为百分比数值；确定单元，用于确定指针的角度与表盘刻度信息之间的线性关系式；识别单元，用于识别指针的实时角度；换算单元，用于将所述指针的实时角度代入所述线性关系式，换算出指针在指针表表盘上所指示的实时表盘刻度信息，将所述实时表盘刻度信息输出为指针表读数结果；标注单元，用于在图像中标注出所述指针表读数结果。
10.进一步地，所述目标检测模型的训练方式如下：采集多形态指针表的图像作为训练用的样本集；
人工对样本集中的指针表表盘和指针进行标注，其中指针位于指针的标注框的对角线位置；将样本集按照9:1的比例划分为训练集和验证集，其中训练集送入yolov4网络模型进行训练，验证集用于训练过程的精度计算；测试模型训练效果，并对模型进行调优。
11.进一步地，所述矫正单元，包括：建立单元，用于建立不规则指针表表盘的不规则形状与标准圆形的数学关系；映射单元，用于将不规则指针表表盘按照所述数学关系映射为标准圆形指针表表盘，使指针表表盘上的刻度呈现均匀分布。
12.进一步地，所述确定单元，用于确定指针表表盘的最大刻度与指针的最大角度、指针表表盘的最小刻度与指针的最小角度的对应关系；根据所述对应关系确定指针和指针表表盘的刻度的数学线性关系。
13.本发明的有益效果如下：本发明提供的一种多形态指针表读数智能识别方法及装置，采用单阶段基于深度学习的目标检测方法，精确定位表盘和指针的位置，再通过不规则表盘校正和线性变换等数学方法，将识别的指针表角度映射到刻度盘刻度；单阶段基于深度学习的目标检测方法，任务过程得到简化，可降低内存占用和硬件要求，在指针表刻度盘无刻度字符的情况下也能够识别指针表读数，在部分表盘出现比较严重的变形的情况下，能够提升识别出的指针表读数的准确性。
附图说明
14.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明实施例提供的多形态指针表读数智能识别方法流程图；图2为本发明实施例提供的多形态指针表读数智能识别装置示意图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
17.请参阅图1，本发明实施例提供一种多形态指针表读数智能识别方法，包括：s101，获取多形态指针表的图像。
18.以风力发电厂和煤电厂的指针表的为例，可采集风力发电厂和煤电厂内的多形态指针表的图像，多形态指针表可以包括圆形、方形等各种不同形状的指针表，指针表上可以有不同数量的指针，最常见的有单指针、双指针和三指针。
19.s102，调用已训练好的目标检测模型，检测出所述图像中的指针表表盘和指针。
20.在本实施例中，目标检测模型可采用yolov4网络模型，所述目标检测模型的训练
方式如下：采集多形态指针表的图像作为训练用的样本集；人工对样本集中的指针表表盘和指针进行标注，其中指针位于指针的标注框的对角线位置；将样本集按照9:1的比例划分为训练集和验证集，其中训练集送入yolov4网络模型进行训练，验证集用于训练过程的精度计算；测试模型训练效果，并对模型进行调优。
21.s103，对识别出的指针表表盘中的不规则指针表表盘进行矫正。
22.由于拍摄条件限制，很多圆形刻度盘在拍摄时会被拍摄成不规则形状，而不规则形状的刻度盘上的刻度呈现非均匀分布，此时无法直接采用线性变换的方法输出指针表的刻度。表盘矫正是针对不规则形状表盘进行的校正处理，使其最终映射到标准圆形的刻度盘上，使其刻度呈现均匀分布，消除因非圆形刻度盘引起的误差。
23.在本实施例中，对识别出的指针表表盘中的不规则指针表表盘进行矫正，具体可以包括：建立不规则指针表表盘的不规则形状与标准圆形的数学关系；将不规则指针表表盘按照所述数学关系映射为标准圆形指针表表盘，使指针表表盘上的刻度呈现均匀分布。
24.s104，录入各指针表表盘中指针读数的顺、逆时针信息以及表盘刻度信息；针对无刻度表盘，设定最小标记位为0，最大标记位为1，最小标记位和最小标记位之间按照比例换算为百分比数值。
25.针对无刻度表盘，表盘上只有最大值和最小值标记位，现有方法均无法很好解决这类指针表读数问题。本发明提出一种以百分比替代刻度值的方法，设定最小值为0，最大值为1，中间按照比例换算为百分比数值，比如0.5、0.8等。
26.s105，根据指针读数的顺、逆时针信息以及表盘刻度信息，确定指针的角度与表盘刻度信息之间的线性关系式。
27.在本实施例中，根据指针读数的顺、逆时针信息以及表盘刻度信息，确定指针的角度与表盘刻度信息之间的线性关系式，具体可以包括：确定指针表表盘的最大刻度与指针的最大角度、指针表表盘的最小刻度与指针的最小角度的对应关系；根据所述对应关系确定指针和指针表表盘的刻度的数学线性关系。
28.s106，识别指针的实时角度。
29.s107，将所述指针的实时角度代入所述线性关系式，换算出指针在指针表表盘上所指示的实时表盘刻度信息，将所述实时表盘刻度信息输出为指针表读数结果。
30.线性变换是用于解决指针识别角度与真实刻度关系映射的方法。本发明通过确定表盘刻度与指针角度之间的线性对应关系，结合目标检测的精准目标识别，可以获取指针的识别角度，从而换算并输出指针刻度。
31.s108，在图像中标注出所述指针表读数结果。
32.本发明提供了基于深度学习的指针表识别方法，在识别结果的基础上，兼容了各种形态的指针表，增强了指针表读数的应用范围，并提高了读数计算的准确率。
33.本发明采用单阶段基于深度学习的目标识别算法，精确定位表盘和指针的位置，再通过不规则表盘校正和线性变换等数学方法，将识别的指针表角度映射到刻度盘刻度，现已应用到多个风力发电厂和煤电厂，不仅可以适用于各种类型的表计、各种数量的指针表计，而且对于环境变化和拍摄条件等引起的图像变形、图像质量低下等问题，识别率和准确度均得到显著提升。
34.请参阅图2，本发明提供一种多形态指针表读数智能识别装置，包括：
获取单元21，用于获取多形态指针表的图像；检测单元22，用于调用已训练好的目标检测模型，检测出所述图像中的指针表表盘和指针；矫正单元23，用于对识别出的指针表表盘中的不规则指针表表盘进行矫正；录入单元24，用于录入各指针表表盘中指针读数的顺、逆时针信息以及表盘刻度信息；针对无刻度表盘，设定最小标记位为0，最大标记位为1，最小标记位和最小标记位之间按照比例换算为百分比数值；确定单元25，用于确定指针的角度与表盘刻度信息之间的线性关系式；识别单元26，用于识别指针的实时角度；换算单元27，用于将所述指针的实时角度代入所述线性关系式，换算出指针在指针表表盘上所指示的实时表盘刻度信息，将所述实时表盘刻度信息输出为指针表读数结果；标注单元28，用于在图像中标注出所述指针表读数结果。
35.进一步地，所述目标检测模型的训练方式如下：采集多形态指针表的图像作为训练用的样本集；人工对样本集中的指针表表盘和指针进行标注，其中指针位于指针的标注框的对角线位置；将样本集按照9:1的比例划分为训练集和验证集，其中训练集送入yolov4网络模型进行训练，验证集用于训练过程的精度计算；测试模型训练效果，并对模型进行调优。
36.进一步地，所述矫正单元，包括：建立单元，用于建立不规则指针表表盘的不规则形状与标准圆形的数学关系；映射单元，用于将不规则指针表表盘按照所述数学关系映射为标准圆形指针表表盘，使指针表表盘上的刻度呈现均匀分布。
37.进一步地，所述确定单元，用于确定指针表表盘的最大刻度与指针的最大角度、指针表表盘的最小刻度与指针的最小角度的对应关系；根据所述对应关系确定指针和指针表表盘的刻度的数学线性关系。
38.本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的多形态指针表读数智能识别方法各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-onlymemory，简称：rom）或随机存储记忆体（英文：randomaccessmemory，简称：ram）等。
39.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
40.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于多形态指针表读数智能识别装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例中的说明即可。
41.以上所述的本发明实施方式并不构成对本发明保护范围的限定。