一种巡检场景下数字仪表读数的识别方法与系统与流程

1.本发明属于智能机器人领域，尤其涉及一种巡检场景下数字仪表读数的识别方法与系统。


背景技术：

2.ocr(optical character recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，在金融、电力、教育、医疗等多种领域发挥着巨大的作用。
3.机房，作为企业的信息中心，其设备状态及内部环境都需要严格监控。为了防止因为供电、温度、湿度等各种环境因素的异常而导致设备的停机或者损坏，进而给企业带来巨额的损失。供电、温度、湿度这些信息是可以通过仪表表盘上进行读取的，但是我们目前获取这些信息的方式还是处于人工读取并记录的状态。这就造成了很大的人力、物力的浪费。但如果将ocr设备安装在智能巡检机器人上，则可以节省大量的人力、物力的投入。
4.智能巡检机器人，具有自主性走，自主充电，自主避障等功能，可用来对企业机房实现全自动巡检，达到无人值守，解决安全，效率等隐患及难题。随着科学技术的进一步成熟和社会认可度的提高，将ocr 产品应用于机房的安全管理中，使用部署在机器人上的高清摄像头，通过相机采集目标对象的图像，利用ocr技术识别设备表盘中的数字信息，决策当前设备及环境是否存在异常，在发生异常时，及时预警。基于此可有效解放生产力，节约人力成本。
5.目前针对机房数字仪表自动化读数的方案，目前主要有两种，一种是基于传统图像算法的ocr算法，一种是基于深度学习的ocr算法。
6.传统图像ocr基于传统图像处理的方式进行目标的定位与读数。目标定位主要使用特征匹配的方法，如sift特征匹配、surf特征匹配算法等。之后通过图像处理的方式进行读数，主要流程为图片二值化、连通区域提取，定位数字位置，像素投影，数字分割，通过svm支持向量机分类器对每个数字进行识别和整合识别结果。整体方案在稳定且特定的环境具有比较好的效果。但是机器运行环境不可避免受到环境光线、光源方向和光照强弱、视角、背景等不利影响，识别算法效率低下，识别精度很难有进一步的提高。因此，需要设计一种机房特定场景下的一种ocr识别技术，能够对机房自然环境中光线，角度和拍照距离远近变化具有更好的鲁棒性，快速完成对进入机房中电子表盘中的数字信息的确认，实现实时ocr检测，确定设备及环境的状态，及时报警，防止损失出现。
7.第二种是使用深度学习所做的ocr。目前基于深度学习的ocr算法在文字识别方面有较好的效果。在不同拍摄距离、不同光照条件、不同视角和不同背景等条件下，都能达到不错的效果。但这种方法无法实现针对特定目标的检测。它是对一张图片上所有可能是文字的区域进行无差别的识别，进而无法对某一特定物体上的特定文字进行针对性的识别。而且当一张图片中的信息较多时，也会对识别结果产生影响，尤其是小区域中的文字。故我
们需要设计一种方案来针对性提取到我们想要的数字图片，然后进行ocr识别。


技术实现要素：

8.针对目前机房数字仪表读数存在的问题，本发明提供一种巡检场景下数字仪表读数的识别方法，可以提高数字仪表读数的识别速率和准确率。
9.第一方面，本发明提供一种巡检场景下数字仪表读数的识别方法，包括以下步骤：
10.步骤s101、基于巡检路线，采集所述巡检场景下的设备图片；
11.步骤s103、基于深度学习的识别算法识别设备图片得到对应的数字仪表板和数字示数，筛选出所述设备图片中包含数字仪表的第一图片；其中，数字仪表包括数字仪表板和数字示数；
12.步骤s105、基于web规则模板对所述第一图片进行数字仪表板和数字示数的筛选，其中所述web规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
13.步骤s107、对上述筛选结果中的数字示数的结果进行方向矫正处理；
14.步骤s109、对矫正后的图片进行数字示数识别；
15.步骤s111、对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
16.其中，所述步骤s103之后还包括：
17.判断所述第一图片中数字仪表数量；
18.基于所述第一图片中数字仪表的数量，采用相应的处理。
19.其中，基于所述第一图片中数字仪表的数量，采用相应的处理具体包括：
20.当所述数字仪表数量等于1时，执行步骤s105；
21.当所述第一图片中数字仪表的数量大于1，则基于先验数据将数字仪表与相应的数字示数进行关联对应。
22.其中，基于计算交并比iou来筛选所述数字仪表。
23.其中，步骤s105之前还包括：
24.预先远程对当前图片中某一位置的某一数字仪表设定web规则模板，所述web规则模板包括第一web规则模板和第二web规则模板；所述第一web规则模板基于所述数字仪表外轮廓的空间信息筛选图片中的数字仪表；所述第二web规则模板基于数字示数的外轮廓空间信息筛选待识别数字示数。
25.其中，对于某一个数字仪表，所述第一web规则模板与所述第二web规则模板一一对应。
26.其中，所述步骤s107包括：
27.使用方向分类器对上述筛选结果进行方向矫正。
28.其中，所述基于web规则模板对所述第一图片数字示数的筛选，包括：
29.获取所述第一图片中的数字仪表板的外轮廓的位置和尺寸信息；
30.根据获取的数字仪表板的外轮廓的位置和尺寸信息，以及所述第一web规则模板建立仿射变换关系，得到仿射变换矩阵，其中，所述第一web规则模板存储有数字仪表板的外轮廓位置和尺寸信息；
31.基于仿射变换矩阵和第二web规则模板，得到转换后的模板数字框；
32.根据转换后的模板数字框筛选所述第一图片中的数字框信息。
33.其中，得到仿射变换矩阵具体包括：
34.在同一坐标系下，得到矩形r1和矩形r2；矩形r1为第一图片中的数字仪表板的外轮廓位置和尺寸信息，矩形r2为第一web规则模板中的数字仪表板的外轮廓位置和尺寸信息；
35.根据矩形r1矩形r2，获得矩形r1变换为矩形r2的仿射变换关系，具体为：
36.r2＝tr137.式中，t为矩形r1和矩形r2进行仿射变换的矩阵；
38.定义矩形r1的左上角坐标和右下角坐标为(a1,b1)和(a2,b2)，矩形r2的左上角坐标和右下角坐标为(m1,n1)和(m2,n2)；
39.根据矩形r1的左上角坐标和右下角坐标、矩形r2的左上角坐标和右下角坐标、和仿射变换关系获得矩阵t，具体为：
[0040][0041]
其中，进行巡检拍摄设备图片的大小为已知且不变的，假设第一图片宽为width，高为height，以第一图片的左上角为坐标原点(0,0)，右下角点(width,height)，则第一图片中的信息都会在(0,0)到 (width,height)之间。设定的web规则模板也是以(0,0)为左上角点， (width,height)为右下角点设定的位置信息，故认为第一图片和web规则模板在同一坐标系下。
[0042]
第二方面，本发明还提供一种实现上述方法的巡检场景下数字仪表读数的识别系统，其包括：
[0043]
图片采集模块，其用于基于巡检路线，采集巡检场景下的设备图片；
[0044]
图片筛选模块，其用于筛选出设备图片中包含数字仪表的第一图片；
[0045]
仪表筛选模块，其用于基于web规则模板对第一图片进行数字仪表板和数字示数的筛选，其中web规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
[0046]
示数矫正模块，其用于对筛选结果中的数字示数的结果进行方向矫正处理；
[0047]
示数识别模块，其用于对矫正后的图片进行数字示数识别；
[0048]
结果判断模块，其用于对数字示数识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
[0049]
本发明在检测特定目标时，使用基于深度学习的目标检测的方法进行特定的目标检测。之后对检测到的目标进行处理后，将结果再送入ocr算法中进行特定数字的读数。此方案借鉴了目前已有的传统图像算法方案的流程，并使用了目前基于深度学习的文字识别算法的部分功能。即解决了第一种方案的泛用性差，速度慢，和准确率不高的特点，又解决了第二种方案中无法针对特定场景使用的缺点。通过对提取到的目标数字增加了方向分类
器来对数字进行矫正，进一步提高识别的准确率。
[0050]
并且通过本方案可以实现在特定场景下的数字仪表的读数与记录。借助智能巡检机器人的平台，进行图片的采集。然后根据提供的图片返回识别到的特定的读数，保证了在无人参与的情况下对机房中的信息进行自动记录，并且根据记录实时监控，实时报警。
附图说明
[0051]
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
[0052]
图1是示出根据本发明实施例的一种巡检场景下数字仪表读数的识别方法流程图；
[0053]
图2是示出根据本发明实施例进行数字示数筛选的流程图；
[0054]
图3是示出根据本发明实施例的一种巡检场景下数字仪表读数的识别系统的示意图。
具体实施方式
[0055]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0056]
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
[0057]
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述
……
，但这些
……
不应限于这些术语。这些术语仅用来将
……
区分开。例如，在不脱离本发明实施例范围的情况下，第一
……
也可以被称为第二
……
，类似地，第二
……
也可以被称为第一
……
。
[0058]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
[0059]
下面结合附图详细说明本发明的可选实施例。
[0060]
实施例一、
[0061]
参见图1所示，本发明公开了一种巡检场景下数字仪表读数的识别方法，包括以下步骤：
[0062]
步骤s101、基于巡检路线，采集巡检场景下的设备图片；
[0063]
步骤s103、基于深度学习的识别算法识别设备图片得到对应的数字仪表板和数字示数，筛选出设备图片中包含数字仪表的第一图片；其中，数字仪表包括数字仪表板和数字
示数；
[0064]
步骤s105、基于web规则模板对第一图片进行数字仪表板和数字示数的筛选，其中web规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
[0065]
步骤s107、对上述筛选结果中的数字示数的结果进行方向矫正处理；
[0066]
步骤s109、对矫正后的图片进行数字示数识别；
[0067]
步骤s111、对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
[0068]
实施例二、
[0069]
在实施例一的基础上，本实施例还可以包括以下内容：
[0070]
本发明公开了一种巡检场景下数字仪表读数的识别方法，包括以下步骤：
[0071]
步骤s101、基于巡检路线，采集巡检场景下的设备图片；
[0072]
步骤s103、基于深度学习的识别算法识别设备图片得到对应的数字仪表板和数字示数，筛选出设备图片中包含数字仪表的第一图片；
[0073]
判断第一图片中数字仪表数量；
[0074]
基于第一图片中数字仪表的数量，采用相应的处理,具体包括：
[0075]
当数字仪表数量等于1时，执行步骤s105；
[0076]
当第一图片中数字仪表的数量大于1，则基于先验数据将数字仪表与相应的数字示数进行关联对应。
[0077]
步骤s105、基于web规则模板对第一图片进行数字仪表板和数字示数的筛选，其中web规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
[0078]
步骤s107、对步骤s105筛选结果中的数字示数的结果使用方向分类器进行方向矫正处理；
[0079]
步骤s109、对矫正后的图片进行数字示数识别；
[0080]
步骤s111、对上述识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
[0081]
本实施例置信度为识别结果的可信度。置信度是识别仪表所显示数字的识别模型的输出信息之一。本实施例输出数字对应的识别字符还输出其置信度，取值0-1，用于表征该识别数字正确的一种度量值。
[0082]
其中，步骤s105中基于计算交并比iou来筛选数字仪表。
[0083]
实施例三、
[0084]
在上述实施例的基础上，本实施例还可以包括以下内容：
[0085]
本发明实施例在步骤s105之前还包括：
[0086]
预先远程对当前图片中某一位置的某一数字仪表设定web规则模板，web规则模板包括第一web规则模板和第二web规则模板；第一web规则模板基于数字仪表外轮廓的空间信息筛选图片中的数字仪表；第二web规则模板基于数字示数的外轮廓空间信息筛选待识别数字示数。本实施例可以对所有的数字仪表进行预设web规则模板，以保证后续对数字仪表读数的快速识别。在一个应用场景中，本实施例对于某一个数字仪表而言，第一web规则模板与第二web规则模板一一对应。
[0087]
参见图2所示，本实施例基于web规则模板对第一图片数字示数的筛选，可以包括：
[0088]
获取第一图片中的数字仪表板的外轮廓的位置和尺寸信息；
[0089]
根据获取的数字仪表板的外轮廓的位置和尺寸信息，以及第一 web规则模板建立仿射变换关系，得到仿射变换矩阵，其中，第一 web规则模板存储有数字仪表板的外轮廓位置和尺寸信息；
[0090]
基于仿射变换矩阵和第二web规则模板，得到转换后的模板数字框；
[0091]
根据转换后的模板数字框筛选第一图片中的数字框信息。
[0092]
本实施例进行数字示数筛选的主要原因在于，本实施例在进行筛选钱已经找到需要的那个仪表，故这个仪表中的数字即为本实施例需要的数字。但是检测到数字也同时存在多个，其中还包含识别错误的结果。所以本实施例也需要对数字进行筛选。本实施例可以结合web 规则模板中的信息和检测到的仪表的信息进行筛选。在第一web规则模板中存储着仪表的外轮廓位置和尺寸信息。而本实施例对第一图片检测到的结果中也包含仪表的外轮廓的位置和尺寸信息。利用这两组参数可以建立起仿射变换(affine transformation)关系。并使用仿射变换矩阵来表示这个变换过程。通过此仿射变换矩阵，可以实现web规则模板中任意空间坐标转换到当前检测结果所在的空间坐标。
[0093]
进一步地，本实施例在获得仿射变换矩阵之后，可以实现将第二 web规则模板中的数字框通过这个仿射变换矩阵变换到实际拍摄图片中的位置。之后使用转换后的模板数字框对检测结果中的数字框进行筛选。其中，由于本实施例检测的结果中可能包含了许多误识别或者识别多余的信息。需要使用转换后的模板数字框信息与实际检测到的数字框信息进行iou运算。设定iou阈值，筛选出我们需要的数字框。
[0094]
本实施例在得到同一坐标系下的两个不同矩形后，可以建立一种仿射变换关系，使得一个矩形通过仿射变换为另一个矩形。即本实施例通过得到仿射变换矩阵来进行变化，具体可以包括：
[0095]
在同一坐标系下，得到矩形r1和矩形r2；矩形r1为第一图片中的数字仪表板的外轮廓位置和尺寸信息，矩形r2为第一web规则模板中的数字仪表板的外轮廓位置和尺寸信息；
[0096]
根据矩形r1矩形r2，获得矩形r1变换为矩形r2的仿射变换关系，具体为：
[0097]
r2＝tr1[0098]
式中，t为矩形r1和矩形r2进行仿射变换的矩阵；
[0099]
定义矩形r1的左上角坐标和右下角坐标为(a1,b1)和(a2,b2)，矩形r2的左上角坐标和右下角坐标为(m1,n1)和(m2,n2)；
[0100]
根据矩形r1的左上角坐标和右下角坐标、矩形r2的左上角坐标和右下角坐标、和仿射变换关系获得矩阵t，具体为：
[0101][0102]
获得仿射变换关系的矩阵t后，可以将r1中的任意一点变换为r2中的点。
[0103]
对模板数字框信息与实际检测到的数字框信息进行iou运算时，可以包括：
[0104]
在获得的两个矩形a、b中，定义a的左上角和右下角坐标分别为(a1,b1)(a2,b2),b的左上角与右下角为(m1,n1)(m2,n2)，则iou公式如下：
[0105][0106]
实施例四、
[0107]
在上述实施例的基础上，本实施例还可以包括以下内容：
[0108]
在实际应用场景中，本实施例进行数字仪表读数的识别时，其主要采用包括以下步骤：
[0109]
在当前巡检场景下根据巡检路线进行巡检；
[0110]
对巡检过程中的设备进行拍摄采集；
[0111]
根据已有的深度学习识别算法识别拍摄的设备图片，以得到对应的数字仪表板和数字示数，并筛选出设备图片中包含数字仪表板和数字示数的图片；
[0112]
对设备图片进行设定包含数字仪表板外轮廓空间信息的第一web 规则模板和包含数字示数外轮廓空间信息的第二web规则模板；
[0113]
基于第一web规则模板和第二web规则模板，通过计算交并比 iou对设备图片中的数字仪表板和数字示数进行筛选；
[0114]
对筛选出的数字示数使用方向分类器进行方向矫正处理；
[0115]
对矫正后的图片通过ocr算法进行数字示数识别，
[0116]
对识别后的数字示数进行置信度判断，当置信度大于预设值时输出该识别结果。
[0117]
实施例五、
[0118]
参见图3所示，本发明实施例还提供一种实现上述方法的巡检场景下数字仪表读数的识别系统，其包括：
[0119]
图片采集模块，其用于基于巡检路线，采集巡检场景下的设备图片；
[0120]
图片筛选模块，其用于筛选出设备图片中包含数字仪表的第一图片；
[0121]
仪表筛选模块，其用于基于web规则模板对第一图片进行数字仪表板和数字示数的筛选，其中web规则模板包括数字仪表外轮廓的空间信息和待识别数字示数的外轮廓空间信息；
[0122]
示数矫正模块，其用于对筛选结果中的数字示数的结果进行方向矫正处理；
[0123]
示数识别模块，其用于对矫正后的图片进行数字示数识别；
[0124]
结果判断模块，其用于对数字示数识别的结果进行置信度判断，输出置信度大于预设置信度阈值的结果。
[0125]
实施例六、
[0126]
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例所述的方法步骤。
[0127]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储
器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0128]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0129]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(an)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0130]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/ 或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0131]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
[0132]
以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。