一种数字式仪表自动读数方法、系统、设备及介质与流程

1.本发明涉及数字式仪表自动读数算法技术领域，更具体地，涉及一种数字式仪表自动读数方法、系统、设备及介质。


背景技术：

2.随着无人值守变电所的发展，数字式仪表的自动识别读数系统的研究是必要的。数字式仪表是变电站中主要的参数输出设备。然而，目前传统的图像处理算法的鲁棒性较差，在面对小数点粘黏、数字模糊和亮度不均匀等问题时，其算法识别率较低。


技术实现要素：

3.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种数字式仪表自动读数方法、系统、设备及介质，用以解决无人值守变电所智能巡检过程中的传统数字式仪表自动读数方法识别率较低的技术问题。
4.为实现上述目的，第一方面，本发明提供了一种数字式仪表自动读数方法，包括：
5.获取数字式仪表的目标读数区域图像，对其进行图像灰度化处理后再进行图像二值化处理；
6.利用图像投影法对经过图像二值化处理后的数字和小数点进行字符分割；
7.采用若干种的字体制作数字数据集并进行数据集扩充处理以获取数字数据训练集，基于所述数字数据训练集训练分类网络模型；
8.基于训练好的分类网络模型对已进行了字符分割的数字和小数点进行预测，以获取读数预测结果；
9.将所述读数预测结果进行位置排列以获取所述数字式仪表的最终读数。
10.进一步地，所述利用图像投影法对经过图像二值化处理后的数字和小数点进行字符分割具体包括：
11.对图像进行投影，对每一列像素中的值为255的点进行统计，做出垂直直方图；
12.根据数字所在区域的黑色或者白色的像素点相对较多而小数点所在区域的黑色或者白色的像素点相对较少这一特征来区分小数点与数字的位置。
13.进一步地，所述采用若干种的字体制作数字数据集并进行数据集扩充处理以获取数字数据训练集具体包括：
14.采用若干种的字体制作数字数据集，每一种字体均分别包括若干张的数字图像；
15.通过亮度和模糊操作对所述数字数据集进行扩充，以获取所述数字数据训练集。
16.进一步地，所述分类网络模型为efficientnet分类网络模型。
17.进一步地，所述将所述读数预测结果进行位置排列以获取所述数字式仪表的最终读数具体包括：
18.将已进行了字符分割的数字和小数点的位置进行统计，以位置的横轴坐标作为排列标准，将数字和小数点依序进行位置排列；
19.将所述读数预测结果结合上述的位置排列以获取所述数字式仪表的最终读数。
20.进一步地，采用最大类间方差法进行图像二值化处理，所述最大类间方差法的计算公式如下：
21.icv＝pa
α
*(ma-m)2 pb*(mb-m)222.其中，图像灰度值的均值是m，任取一个阈值t，将图像分为前景和背景，前景的像素点个数为pa，灰度平均值为ma，背景的像素点个数为pb，灰度平均值为mb；不断调整t值的大小使得icv值最大时的阈值t即为最佳阈值。
23.进一步地，所述亮度的计算公式如下：
[0024][0025][0026]
其中，vi是第i个像素点v通道的数值，q是像素点的数量；
[0027]
所述模糊的计算公式如下：
[0028][0029]
其中，(u,v)是像素点，σ是高斯半径。
[0030]
第二方面，本发明提供了一种数字式仪表自动读数系统，包括：
[0031]
二值化处理模块，用于获取数字式仪表的目标读数区域图像，对其进行图像灰度化处理后再进行图像二值化处理；
[0032]
字符分割模块，用于利用图像投影法对经过图像二值化处理后的数字和小数点进行字符分割；
[0033]
分类网络模型训练模块，用于采用若干种的字体制作数字数据集并进行数据集扩充处理以获取数字数据训练集，基于所述数字数据训练集训练分类网络模型；
[0034]
读数预测模块，用于基于训练好的分类网络模型对已进行了字符分割的数字和小数点进行预测，以获取读数预测结果；
[0035]
最终读数呈现模块，用于将所述读数预测结果进行位置排列以获取所述数字式仪表的最终读数。
[0036]
第三方面，本发明提供了一种电子设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元能够执行上述任一项所述方法的步骤。
[0037]
第四方面，本发明提供了一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备能够执行上述任一项所述方法的步骤。
[0038]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0039]
(1)本发明通过传统图像处理手段和深度学习相结合的方式，基于大量字体训练
得到的分类网络模型来预测权重，可更加稳定和准确地识别数字，在面对环境干扰时鲁棒性更高。
[0040]
(2)本发明提出的基于efficientnet分类网络的数字式仪表自动读数方法，能够在不同变电站、不同环境下准确稳定地自动读数，解决了无人值守变电所智能巡检过程中的传统数字式仪表自动读数方法识别率较低的技术问题，符合当前智能运维的大趋势，具有较好的推广前景和经济、社会效益。
附图说明
[0041]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本发明实施例提供的一种数字式仪表自动读数方法的流程示意图；
[0043]
图2为本发明实施例提供的图像投影法的效果示意图；
[0044]
图3为本发明实施例提供的efficientnet分类网络模型的结构示意图；
[0045]
图4为本发明实施例提供的采用若干种字体制作的数字数据集的示意图；
[0046]
图5为本发明实施例提供的数字式仪表读数识别全过程的流程及效果图；
[0047]
图6为本发明实施例提供的适于实现上文描述的方法的电子设备的方框示意图。
具体实施方式
[0048]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细地说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0049]
本技术的说明书、权利要求书或上述附图中的术语“包括”或“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并没有限定于已列出的步骤或单元，而是可选地还可以包括没有列出的步骤或单元，或可选地还可以包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0050]
如图1所示，在一个实施例中，一种数字式仪表自动读数方法主要包括以下s1-s5的步骤。
[0051]
s1、获取数字式仪表的目标读数区域图像，对其进行图像灰度化处理后再进行图像二值化处理。
[0052]
更具体的，获取数字式仪表的目标读数区域的图像，对其经过图像灰度化处理之后，图像每一个像素点只有一个通道，且取值范围为[0,255]；图像二值化的目的就是将图像的目标和背景分开，算法思想一般是取一个阈值，将像素值小于此阈值的像素点置零；将像素值大于此阈值的像素点置255。此时，图像像素点的取值就只有0和255两个取值，就可以将目标和背景分明地区分开了。二值化效果的好坏取决于阈值的选取是否合适，选取阈值的方法有自定阈值法、自适应阈值法和otsu法等等。巡检时的光照强度是随机的，自定阈值的方法不适合，优选的，采用otsu算法进行二值化。
[0053]
otsu算法(大津法)是一种确定图像二值化分割阈值的算法，由日本学者大津于
1979年提出。从大津法的原理上来讲，该方法又称作最大类间方差法，因为按照大津法求得的阈值进行图像二值化分割后，前景与背景图像的类间方差最大。它被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。它是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。
[0054]
otsu方法选取阈值是通过最大类间方差法，其计算公式具体如下：
[0055]
icv＝pa
α
*(ma-m)2 pb*(mb-m)2[0056]
其中，图像灰度值的均值是m，现任取一个阈值t，将图像分为前景和背景，前景的像素点个数为pa，灰度平均值为ma，背景的像素点个数为pb，灰度平均值为mb。不断地调整t值的大小使得icv值最大时的阈值t就是最佳阈值。
[0057]
s2、利用图像投影法对经过图像二值化处理后的数字和小数点进行字符分割。
[0058]
更具体的，在图像二值化的基础上，对图像进行投影，即对每一列像素中的值为255的点进行统计，做出垂直直方图，根据投影图像中的波峰波谷排列顺序对数字和小数点进行分割，数字所在区域的黑色或者白色的像素点相对较多(二值化图像像素只有0和255两个值)，小数点所在区域的黑色或者白色的像素点相对较少，根据这一特征可以区分小数点与数字的位置。图像投影法的效果示意图如图2所示。
[0059]
s3、采用若干种的字体制作数字数据集并进行数据集扩充处理以获取数字数据训练集，基于所述数字数据训练集训练分类网络模型。
[0060]
更具体的，在一个实施例中，如图4所示，数字数据集的制作采用了常用的21种字体，每一种字体均分别包括10张数字图像，一共210张图像。再通过亮度和模糊操作对数字数据集进行扩充，最后，一共获取6300张图像作为数字数据训练集。亮度和模糊操作的公式分别如下。
[0061]
亮度的计算公式如下：
[0062][0063][0064]
其中，vi是第i个像素点v通道的数值，q是像素点的数量。
[0065]
模糊的计算公式如下：
[0066][0067]
其中，(u,v)是像素点，σ是高斯半径。
[0068]
分类网络模型可以有多种，本实施例优选地采用efficientnet分类网络模型。在达到相同效率的情况下，efficientnet具有巨大参数量和计算量优势，比同级网络少了好几倍。总结一句话：efficientnet分类网络模型的模型小、计算量小且性能高。在迁移学习
方面，efficientnet也凭借高性能和低参数量占得巨大优势。这说明了该网络在数据集扩展方面具有很强的鲁棒性，易于扩展别的计算机视觉任务。
[0069]
efficientnet分类网络模型的结构示意图如图3所示，该网络的结构图包括了9个阶段。在efficientnet网络中使用的是mb卷积，首先是一个1
×
1的卷积，是用于升维的，其卷积核的个数是输入特征矩阵层数的n倍，mb卷积模块中对应的数字就是倍率因子n的取值。然后经过一个dw(depwise)卷积，卷积核大小是等于k
×
k的，k的取值为3或者5。紧接着通过一个se模块，将得到的特征层通过一个平均池化层和两个全连接层后与原输入进se模块的特征图进行融合，达到增加模型宽度的效果，其中第一个连接层通过swith激活函数激活，第二个全连接层通过sigmoid激活函数激活。再经过一个1
×
1的卷积，这里的卷积起到降维的作用。
[0070]
s4、基于训练好的分类网络模型对已进行了字符分割的数字和小数点进行预测，以获取读数预测结果。
[0071]
通过上述6300张的大量数字数据训练集训练得到的efficientnet字符分割模型来预测权重，对已进行了字符分割的数字和小数点进行预测以获取读数预测结果，其可以更加稳定地识别数字，准确率更高，在面对环境干扰时鲁棒性更高。
[0072]
s5、将所述读数预测结果进行位置排列以获取所述数字式仪表的最终读数。
[0073]
更具体的，首先将步骤s2中的数字与小数点分割的数字位置和小数点位置进行统计，以位置的横轴坐标作为排列标准，将数字和小数点从左到右进行排列，再通过步骤s4中的读数预测结果结合位置排列得到数字式仪表的最终读数。数字式仪表读数识别全过程的流程及效果图如图5所示。
[0074]
本实施例提出的efficientnet分类网络的数字式仪表读数方法，能够在不同变电站、不同环境下准确稳定地自动读数，解决了无人值守变电所智能巡检过程中的传统数字式仪表自动读数方法识别率较低的技术问题，符合当前智能运维的大趋势，具有较好的推广前景和经济、社会效益。
[0075]
在另一个实施例中，一种数字式仪表自动读数系统主要包括以下5个功能模块。
[0076]
二值化处理模块：用于获取数字式仪表的目标读数区域图像，对其进行图像灰度化处理后再进行图像二值化处理。
[0077]
字符分割模块：用于利用图像投影法对经过图像二值化处理后的数字和小数点进行字符分割。
[0078]
分类网络模型训练模块：用于采用若干种的字体制作数字数据集并进行数据集扩充处理以获取数字数据训练集，基于所述数字数据训练集训练分类网络模型。
[0079]
读数预测模块：用于基于训练好的分类网络模型对已进行了字符分割的数字和小数点进行预测，以获取读数预测结果。
[0080]
最终读数呈现模块：用于将所述读数预测结果进行位置排列以获取所述数字式仪表的最终读数。
[0081]
图6示意性示出了根据本发明的实施例的适于实现上文描述的方法的电子设备的方框图。图6示出的电子设备仅仅是一个示例，不应对本发明的实施例的功能和使用范围带来任何限制。
[0082]
如图6所示，本实施例中所描述的电子设备1000，包括：处理器1001，其可以根据存
储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0083]
在ram 1003中，存储有系统1000操作所需的各种程序和数据。处理器1001、rom 1002以及ram 1003通过总线1004彼此相连。处理器1001通过执行rom 1002和/或ram 1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1002和ram 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0084]
根据本公开的实施例，电子设备1000还可以包括输入/输出(i/o)接口1005，输入/输出(i/o)接口1005也连接至总线1004。系统1000还可以包括连接至i/o接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
[0085]
根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块或单元等可以通过计算机程序模块来实现。
[0086]
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0087]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 1002和/或ram 1003以外的一个或多个存储器。
[0088]
需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个
计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
[0089]
附图中的流程图或框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。还要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0090]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别的，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本公开的范围。
[0091]
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。