数字式仪表的识别方法、系统、电子设备及存储介质与流程

1.本发明涉及数字智能应用领域，特别涉及一种数字式仪表的识别方法、系统、电子设备及存储介质。


背景技术：

2.随着科学技术的发展和人民生活质量的改善，各种仪表大量的被工业和生活中使用。水电是居民生活中必不可少的元素，在目前的居住环境中，数字式仪表以其易读性广泛用于统计居民生活中的水电使用量，然而大量的家庭基数导致水电表的数量较多。此外，在工业生产中还有大量环境需要使用数字式仪表，因此数字式仪表识读成统计工作带来了巨大的挑战。因此数字式仪表的自动识读逐渐成为了工业界和学术界所关注的方向。
3.然而，随着仪表数量变多，仪表的识读工作量也呈指数级增强，目前仪表识读大多采用人工记录的方式进行，这种方式存在错误率高，效率低且成本较大的问题，这些问题无疑对识读工作带来了巨大挑战。在生产过程中需要大量使用数字仪表，但缺少高效可靠的方式来对数字仪表进行识别。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中难以高效可靠地对数字仪表进行识别的缺陷，提供一种能够高效有效识别数字仪表的数字式仪表的识别方法、系统、电子设备及存储介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.本发明提供了一种数字式仪表的识别方法，所述识别方法包括：
7.将待检测图像输入至目标检测算法以获取仪表检测区域及数字检测区域；
8.提取所述仪表检测区域中的所述数字检测区域以作为目标检测区域；
9.对所述目标检测区域进行解码以获取仪表盘读数。
10.较佳地，所述仪表检测区域包括仪表盘检测区域及读数检测区域，所述提取所述仪表检测区域中的所述数字检测区域以作为目标检测区域的步骤包括：
11.提取所述表盘检测区域的所述读数检测区域以作为目标读数区域；
12.提取所述目标读数区域中的所述数字检测区域以作为目标检测区域。
13.较佳地，所述仪表检测区域还包括背景区域，所述提取所述仪表检测区域中的所述数字检测区域以作为目标检测区域的步骤还包括：
14.提取所述仪表检测区域中的所述数字检测区域以作为待处理区域；
15.去除所述待处理区域中的所述背景区域以获取目标检测区域。
16.较佳地，所述数字检测区域包括若干数字区域，对于每一数字区域包括位置信息及数字信息，所述对所述目标检测区域进行解码以获取仪表盘读数的步骤包括：
17.根据所述位置信息对所述数字信息进行排序以获取有序数字序列；
18.对所述有序数字序列进行解码以获取仪表盘读数。
19.较佳地，所述对所述有序数字序列进行解码以获取仪表盘读数的步骤包括：
20.获取预设表盘格式；
21.对所述有序数字序列进行解码以获取待处理读数；
22.根据所述预设表盘格式及所述待处理读数获取仪表盘读数。
23.较佳地，所述目标检测算法为基于faster r-cnn(一种深度机器学习模型)模型的算法，所述将待检测图像输入至目标检测算法以获取仪表检测区域及数字检测区域的步骤前还包括：
24.获取样本图像，所述样本图像包括不同光照强度的仪表图像、不同仪表类型的仪表图像、不同规格的仪表图像和/或不同位置的仪表图像；
25.将样本图像输入至所述faster r-cnn模型进行训练以获取目标检测算法。
26.较佳地，所述基于faster r-cnn模型包括特征提取模块及分类模块，所述特征提取模块的输出作为所述分类模块的输入，所述特征提取模块包括依次连接的卷积神经网络、分类金字塔网络及区域生成网络。
27.本发明还提供了一种数字式仪表的识别系统，所述识别系统包括：检测区域获取模块、目标区域获取模块及表盘读数获取模块；
28.所述检测区域获取模块用于将待检测图像输入至目标检测算法以获取仪表检测区域及数字检测区域；
29.所述目标区域获取模块用于提取所述仪表检测区域中的所述数字检测区域以作为目标检测区域；
30.所述表盘读数获取模块用于对所述目标检测区域进行解码以获取仪表盘读数。
31.本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数字式仪表的识别方法。
32.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数字式仪表的识别方法。
33.本发明的积极进步效果在于：本发明中将待检测图像输入至目标检测算法可以提取到仪表检测区域及数字检测区域，将位于仪表检测区域中的所述数字检测区域作为目标检测区域，可以排除仪表检测区域外其他有数字的区域的干扰，从而可以大批量且准确地基于目标检测区域解码出待检测仪表盘的仪表读数。
附图说明
34.图1为本发明实施例1中数字式仪表的识别方法的流程图。
35.图2为本发明实施例1中模型训练的流程图。
36.图3为本发明实施例1中步骤102的第一实现方式的流程图。
37.图4为本发明实施例1中步骤102的第二实现方式的流程图。
38.图5为本发明实施例1中步骤103的具体实现方式的流程图。
39.图6为本发明实施例1中步骤1032的具体实现方式的流程图。
40.图7为本发明实施例1中具体场景下的整体流程图。
41.图8为本发明实施例1中步骤中的检测结果示意图。
42.图9为本发明实施例2中数字式仪表的识别系统的模块示意图。
43.图10为本发明实施例3中电子设备的模块示意图。
具体实施方式
44.为了便于理解，下面先对实施例中常出现的术语进行解释：
45.【包括的定义】如这里所使用的术语“具有”、“可以具有”、“包括”或“可以包括”指示本公开的相应功能、操作、元件等的存在，并且不限制其它的一个或多个功能、操作、元件等的存在。此外应当理解到，如这里所使用的术语“包括”或“具有”是指示在说明书中所描述的特点、数字、步骤、操作、元件、部件或其组合的存在，而不排除一个或多个其它特点、数字、步骤、操作、元件、部件或其组合的存在或增加。
46.【和/或的定义】如这里所使用的术语“a或b”、“a和/或b的至少之一”或“a和/或b的一个或多个”包括与其一起列举的单词的任意和所有组合。例如，“a或b”、“a和b的至少之一”或“a或b的至少之一”意味着(1)包括至少一个a，(2)包括至少一个b，或(3)包括至少一个a和至少一个b两者。
47.【第一、第二的定义】本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。例如，可以将第一元件称为第二元件，而没脱离本公开的范围，类似地，可以将第二元件称为第一元件。
48.【连接的定义】将理解到，当将元件(例如，第一元件)“连接到”或“(操作性地或通信性地)耦接到”另一元件(例如，第二元件)时，可以将所述元件直接连接或耦接到另一元件，并且在所述元件与另一元件之间可以有中间元件(例如，第三元件)。相反，将理解到，当将元件(例如，第一元件)“直接连接到”或“直接耦接到”另一元件(例如，第二元件)时，在所述元件与另一元件之间没有中间元件(例如，第三元件)。
49.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
50.实施例1
51.本实施例提供了一种数字式仪表的识别方法，如图1所示，该识别方法包括：
52.步骤101、将待检测图像输入至目标检测算法以获取仪表检测区域及数字检测区域。
53.其中，目标检测算法为将样本图像输入至目标检测模型，训练后所得到的算法。具体而言，样本图像包括不同光照强度的仪表图像、不同仪表类型的仪表图像(如电流表、电压表等等)、不同规格的仪表图像(如不同字体的仪表盘图像、不同尺寸的仪表盘图像等等)和/或不同位置的仪表图像(如不同角度的仪表盘图像、不同相机成像距离下的仪表盘图像)。训练过程包括将样本图像作为目标检测模型的输入，样本图像对应的金标准图像作为输出进行模型训练，该金标准图像包括第一标记的仪表检测区域及第二标记的数字检测区域。
54.本实施例中，通过训练包含不同光照强度、不同仪表类型、不同规格和/或不同位置的仪表盘图像，使训练得到的目标检测算法对光照、阴影、成像距离和角度等环境因素干扰具有较强的鲁棒性，从而提高了目标检测算法的检测效果。
55.在一种具体的实施方式中该目标检测算法为基于faster r-cnn模型的算法，如图2所示，步骤101的步骤前还包括：
56.步骤1011、获取样本图像。
57.步骤1012、将样本图像输入至faster r-cnn模型进行训练以获取目标检测算法。
58.其中，faster r-cnn模型具体包括该目标检测算法包含特征提取模块及分类模块。特征提取模块包括卷积神经网络(cnn)和区域生成网络(rpn)两个网络组成，其中cnn用于提取通用特征，本实施例使用的通用特征提取网络为resnet-50(一种特征提取网络)。提取通用特征后，rpn网络根据通用特征提取出候选的目标边界框。rpn网络由简单的卷积网络、分类网络以及回归网络组成。分类模块对来自rpn的候选区域提取特征并进行类别分类、边界框回归。
59.在一种优选的实施方式中，前述基于faster r-cnn模型中特征提取模块还包括金字塔网络(feature pyramid networks，fpn)，其中卷积神经网络、分类金字塔网络及区域生成网络依次连接。
60.随着相机与被拍仪表的距离的变化，数字仪表的表盘尺寸发生较大变化，得到的样本图像中数字式仪表的成像也会不同，通过在基本的faster r-cnn模型的特征提取模块添加特征金字塔网络，可以提升训练出的目标检测算法在对不同尺寸、不同角度下的仪表盘的判别能力。
61.步骤102、提取仪表检测区域中的数字检测区域以作为目标检测区域。
62.在一种具体的实施方式中，仪表检测区域包括仪表盘检测区域及读数检测区域，其中仪表盘检测区域为仪表盘的位置区域，读数检测区域为仪表盘读数的位置区域。对目标检测模型进行训练的过程中，金标准图像具体包括第一子标记的仪表盘检测区域、第二子标记的读数检测区域及第二标记的数字检测区域。
63.如图3所示，步骤102具体包括以下步骤：
64.步骤1021、提取表盘检测区域的读数检测区域以作为目标读数区域；
65.步骤1022、提取目标读数区域中的数字检测区域以作为目标检测区域。
66.本实施例中，将表盘检测区域内的读数检测区域作为目标读数区域，将目标读数区域内的数字检测区域作为目标检测区域，既避免了表盘检测区域外其他读数区域的干扰，又避免在表盘检测区域内，数字检测区域外检测出来的其他出现数字的区域的安扰，从而可以精确地定位到待检测仪表中显示的数字读数。
67.在一种具体的实施方式中，仪表检测区域还包括背景区域，如图4所示，步骤102包括：
68.步骤1121、提取仪表检测区域中的数字检测区域以作为待处理区域；
69.步骤1122、去除待处理区域中的背景区域以获取目标检测区域。
70.其中，背景区域为仪表盘除了数字区域外的其他干扰区域，对目标检测模型进行训练的过程中，金标准图像具体还可以包括第三子标记的背景区域。
71.本实施例中，在提取出数字检测区域后，进一步去除该数字检测区域中的背景区域，从而可以得到更准确的目标检测区域，以进一步提高数字识别效果。
72.在一种具体的实施方式中，仪表检测区域可以同时包括仪表盘检测区域、读数检测区域及背景区域，步骤102可以先执行步骤1021来得到目标读数区域，再从目标图书区域
中提取数字检测区域，最后再从数字检测区域中取出背景区域，从而得到更精确的待处理区域。
73.步骤103、对目标检测区域进行解码以获取仪表盘读数。
74.一般来说，仪表盘中包括多位数字读数，经过步骤102后得到的目标检测区域中的各个数字可能是无序的，因此，本实施例中可以进一步根据位置对步骤102后各个数字进行排序。具体的，数字检测区域包括若干数字区域，每个数字区域对应仪表盘中的一位读数。对于每一数字区域包括位置信息及数字信息，如图5所示，步骤103包括：
75.步骤1031、根据位置信息对数字信息进行排序以获取有序数字序列。
76.具体的，位置信息可以为坐标信息，如可以根据横坐标信息，从小到大对各个数字信息进行排序，排序后得到有序数字序列，该有序数字序列则反应了仪表的真实数字排序。
77.步骤1032、对有序数字序列进行解码以获取仪表盘读数。
78.本实施例中，根据位置信息可以对各数字信息进行排序从而得到有序数字序列，使得检测到的仪表读数的顺序符合真实的仪表读数的顺序。
79.在一种具体的实施方式中，如图6所示，步骤1032包括：
80.步骤10321、获取预设表盘格式；
81.步骤10322、对有序数字序列进行解码以获取待处理读数；
82.步骤10323、根据预设表盘格式及待处理读数获取仪表盘读数。
83.由于不同的仪表具有不同格式特征，因此，本实施例根据预设表盘格式可以对解码后的待处理读数进行进一步的处理，从而得到准确的仪表盘读数，如后两位数为小数点后的数，其他的数为小数点前的数，则在数字序列的倒数两个字符之间加入小数点，例如，步骤10322得到的数为14567，则根据10323处理后的数为125.67。
84.本实施例中，将待检测图像输入至目标检测算法可以提取到仪表检测区域及数字检测区域，将位于仪表检测区域中的数字检测区域作为目标检测区域，可以排除仪表检测区域外其他有数字的区域的干扰。从而可以大批量且准确地基于目标检测区域解码出待检测仪表盘的仪表读数。
85.本实施例中，将数字仪表的待检测图像目标检测算法可以同时得到仪表盘检测区域、读数检测区域、背景区域及数字检测区域，不需要单独对仪表盘进行识别，简化了数字仪表识别的步骤，避免了额外的表盘识别步骤带来的误差。
86.本实施例中，将数字仪表的待检测图像输入至目标检测算法可以同时得到不同类别的区域，通过提取仪表盘检测区域的读数检测区域，提取前述读数检测区域中的数字检测区域，删除前述数字检测区域中的背景区域，可以得到包含更多有效信息的目标检测区域，从而可以得到更好的数字识别效果。
87.本实施例中使用了不同的光照强度、表盘倾斜角度、相机成像距离下的数字仪表图像以及具有不同形态、不同字体的数字的仪表图像作为图像样本数据集来训练模型，使得模型对光照、阴影、成像距离和角度等环境因素干扰具有较强的鲁棒性。
88.为了更好理解本实施例，下面通过一具体实例来对本实施例进行说明：
89.图7示意性示出了一种具体场景下本实施例的流程图，图8示意性示出一种具体场景下本实施例中各步骤中的检测结果示意图。
90.首先，获取数字仪表的待检测图像，即图8中最左侧的图像，然后执行步骤101，将
待检测图像输入至目标检测算法来分类提取待检测图像中的区域，具体的，参考图8中附图标记a，提取到了仪表盘检测区域a1、读数检测区域a
2-1(图8中a
2-2为读数检测区域a
2-1的放大效果示意图)、数字检测区域(a3)及背景。具体的，本实施例可以检测出13类区域，仪表盘检测区域、读数检测区域、分别为数字0、数字1、数字2、数字3、数字4、数字5、数字6、数字7、数字8、数字9的数字检测区域及背景检测区域。
91.参考图8中的附图标记b，步骤102中从仪表盘检测区域a1中得到读数检测区域a
2-1，再从读数检测区域a
2-1中得到四个数字0及一个数字2的数字检测区域以作为目标检测区域。
92.然后执行步骤103，对数字检测区域进行排序来得到有序数字序列，参考图8中的附图标记c，然后对有序数字序列进行数字种类编码，参考图8中的附图标记d，基于数字种类编码进行解码，并结合预设格式规则，来得到最终的读数，即0000.2(参考附图标记e)。
93.实施例2
94.本实施例提供了一种数字式仪表的识别系统，如图9所示，该识别系统包括：检测区域获取模块201、目标区域获取模块202及表盘读数获取模块203。
95.检测区域获取模块201用于将待检测图像输入至目标检测算法以获取仪表检测区域及数字检测区域；
96.目标区域获取模块202用于提取仪表检测区域中的数字检测区域以作为目标检测区域；
97.表盘读数获取模块203用于对目标检测区域进行解码以获取仪表盘读数。
98.本实施例的技术效果及各个模块的实现方式均可以参考实施例1中的对应方式，此处便不再赘述。
99.实施例3
100.本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1中数字式仪表的识别方法。
101.图10示出了本实施例的硬件结构示意图，如图10所示，电子设备9具体包括：
102.至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
103.总线93包括数据总线、地址总线和控制总线。
104.存储器92包括易失性存储器，例如随机存取存储器(ram)921和/或高速缓存存储器922，还可以进一步包括只读存储器(rom)923。
105.存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
106.处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中数字式仪表的识别方法。
107.电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网
络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
108.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
109.实施例4
110.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例1中数字式仪表的识别方法。
111.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
112.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现本发明实施例1中数字式仪表的识别方法。
113.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
114.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。