设备面板的巡检方法及系统与流程

1.本发明涉及设备巡检技术领域，具体地说是设备面板的巡检方法及系统。


背景技术：

2.对设备面板的巡检分析是机房、数据中心等巡检任务中最常见的一种任务类型，例如服务器的前面板、配电箱前面板等各种设备，其共同特点是包含指示灯、小型显示器、按钮、表计等信息可视化或交互内容。对这类设备的面板信息内容的提取是机房巡检机器人的关键能力。一般情况下，巡检机器人在机房内不同位置移动，使用摄像机拍摄面板内容，并将图像或视频数据传输到后台进行分析。分析算法利用图像和先验知识识别出具有价值的巡检信息，生成巡检报告供运维人员使用。面对复杂且多样的设备面板，自动检测指示灯、表计、按钮、屏幕等各种信息模块是十分困难的，检测到这些模块之后，对每种模块的智能信息提取和设备运行状态的分析也是一个艰难的挑战。
3.如何对设备面板上的信息模块进行检测分析，以推断出设备运行状态，是需要解决的技术问题。


技术实现要素：

4.本发明的技术任务是针对以上不足，提供设备面板的巡检方法及系统，来解决如何对设备面板上的信息模块进行检测分析的技术问题。
5.第一方面，本发明的一种设备面板的巡检方法，包括如下步骤：
6.获取设备面板图像作为原始图像，以原始图像为目标图像，从目标图像中选取感兴趣区域并对感兴趣区域进行矩形校正，得到感兴趣区域对应的标准图像；
7.以所述标准图像为目标图像，对所述目标图像进行图像预处理，得到增强后标准图像；
8.以设备面板中信息模块为最小可标注单元，从所述增强后标准图像中提取多个最小可标注单元，并基于先验知识对最小可标准单元进行标注，基于最小可标注单元以及对应的标注信息构建数据模型；
9.获取待检测设备面板图像作为实时图像，以所述实时图像为目标图像，基于数据模型从目标图像中选取感兴趣区域，并对感兴趣区域进行矩形校正，得到感兴趣区域对应的实时标准图像，所述实时标准图像与所述标准图像尺寸一致；
10.以所述实时标准图像为目标图像，对所述目标图像进行图像预处理，得到增强后实时标准图像；
11.基于所述数据模型、对所述增强后实时标准图像各个信息模块进行关联对比，得到每个信息模块的运行状态信息，并基于每个信息模块的运行状态信息形成报表。
12.作为优选，从目标图像中选取感兴趣区域并对感兴趣区域进行矩形校正，包括如下步骤：
13.在目标图像中标注四个交点，所述四个交点构成一个四边形，所述四边形能够覆
盖设备面板所有相关的信息模块；
14.将所述四边形覆盖的图像内容校正为矩形，对于四边形的四个对角，将每个对角对应至矩形的相关对角上，得到由四边形变换至矩形的单应性矩阵；
15.基于单应性矩阵将四边形图像区域变换为矩形图像区域。
16.作为优选，通过对目标图像进行直方图均衡化处理的方式对目标图像进行预处理，预处理后目标图像的亮度和色彩满足预定条件。
17.作为优选，所述标注信息包括感知信息和设备运行知识，所述感知信息包括编号、类型和位置，所述设备运行知识为设备外在特征和设备运行状态之间的关联信息；
18.所述编号为对应最小标注单元的唯一标识码；
19.所述位置为最小可标注化单元在对应图像中的位置；
20.所述类型包括指示灯、按钮、屏幕、指针和表盘；
21.对于类型为指示灯的最小可标注单元，所述设备运行知识包括形状、颜色、亮灭、闪烁以及状态含义；
22.对于类型为按钮的最小可标注单元，性所述设备运行知识包括形状和状态；
23.对于类型为屏幕的最小可标注单元，所述设备运行知识包括数值范围和异常定义；
24.对于类型为表盘的最小可标注单元，所述设备运行知识包括数值范围。
25.作为优选，基于所述数据模型、对所述实时标准图像各个信息模块进行关联对比，包括如下步骤：
26.遍历数据模型中标注信息；
27.对于每个标注信息，根据位置信息从增强后实时标准图像中提取所述标注信息对应的区域作为目标区域，并根据标注信息中类型的不同，提取目标区域中对应的感知信息，并将所述感知信息与数据模型中设备运行知识进行关联对比，得到对应的运行状态信息。
28.第二方面，本发明的一种设备面板的巡检系统，用于执行如第一方面任一项所述的一种设备面板的巡检方法，所述系统包括：
29.图像采集模块，所述图像采集模块用于对作为模板的设备面板进行拍摄得到原始图像，并用于对待检测的设备面板进行拍摄得到实时图像；
30.原始图像校正模块，所述原始图像校正模块用于从原始图像中选取感兴趣区域并对感兴趣区域进行矩形校正，得到感兴趣区域对应的标准图像；
31.原始图像预处理模块，所述原始图像预处理模块用于对所述标准图像进行图像预处理，得到增强后标准图像；
32.数据模型构建模块，所述数据模型构建模块用于以设备面板中信息模块为最小可标注单元，从所述增强后标准图像中提取多个最小可标注单元，并基于先验知识对最小可标准单元进行标注，基于最小可标注单元以及对应的标注信息构建数据模型；
33.实时图像校正模块，所述实时图像校正模块用于基于数据模型从实时图像中选取感兴趣区域，并对感兴趣区域进行矩形校正，得到感兴趣区域对应的实时标准图像，所述实时标准图像与所述标准图像尺寸一致；
34.实时图像预处理模块，所述实时图像预处理模块用于对所述实时标准图像进行图像预处理，得到增强后实时标准图像；
35.对比分析模块，所述对比分析模块用于基于所述数据模型、对所述增强后实时标准图像各个信息模块进行关联对比，得到每个信息模块的运行状态信息，并基于每个信息模块的运行状态信息形成报表。
36.作为优选，所述原始图像校正模块以及实时图像校正模块均用于通过如下操作对感兴趣区域进行矩形校正：
37.在目标图像中标注四个交点，所述四个交点构成一个四边形，所述四边形能够覆盖设备面板所有相关的信息模块；
38.将所述四边形覆盖的图像内容校正为矩形，对于四边形的四个对角，将每个对角对应至矩形的相关对角上，得到由四边形变换至矩形的单应性矩阵；
39.基于单应性矩阵将四边形图像区域变换为矩形图像区域。
40.作为优选，所述原始图像预处理模块和所述实时图像预处理模块均用于通过直方图均衡化处理的方式对图像进行预处理，预处理后图像的亮度和色彩满足预定条件。
41.作为优选，所述标注信息包括感知信息和设备运行知识，所述感知信息包括编号、类型和位置，所述设备运行知识为设备外在特征和设备运行状态之间的关联信息；
42.所述编号为对应最小标注单元的唯一标识码；
43.所述位置为最小可标注化单元在对应图像中的位置；
44.所述类型包括指示灯、按钮、屏幕、指针和表盘；
45.对于类型为指示灯的最小可标注单元，所述设备运行知识包括形状、颜色、亮灭、闪烁以及状态含义；
46.对于类型为按钮的最小可标注单元，性所述设备运行知识包括形状和状态；
47.对于类型为屏幕的最小可标注单元，所述设备运行知识包括数值范围和异常定义；
48.对于类型为表盘的最小可标注单元，所述设备运行知识包括数值范围。
49.作为优选，所述对比分析模块用于通过如下步骤基于所述数据模型、对所述实时标准图像各个信息模块进行关联对比：
50.遍历数据模型中标注信息；
51.对于每个标注信息，根据位置信息从增强后实时标准图像中提取所述标注信息对应的区域作为目标区域，并根据标注信息中类型的不同，提取目标区域中对应的感知信息，并将所述感知信息与数据模型中设备运行知识进行关联对比，得到对应的运行状态信息。
52.本发明的设备面板的巡检方法及系统具有以下优点：
53.1、拍摄设备面板得到原始图像，从原始图像提取感兴趣区域并将感兴趣区域矩形校正，得到标准图像，从标准图像中提取最小可标注单元并基于先验知识进行标注，基于各个最小可标注单元以及标注信息构建数据模型，该数据模型作为模板，对待检测设备面板对应的实时图像进行关联分析，实现了通过一个数据模型对相关的设备面板进行批量巡检，提高了巡检速度和质量；
54.2、对于原始图像和实时图像，均进行图像预处理，提高了精度和准确度。
附图说明
55.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述
中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.下面结合附图对本发明进一步说明。
57.图1为实施例1一种设备面板的巡检方法的流程框图；
58.图2为实施例1一种设备面板的巡检方法中构建数据模型的流程示意图；
59.图3为实施例1一种设备面板的巡检方法中基于数据模型对实时图像进行关联分析的流程示意图。
具体实施方式
60.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
61.本发明实施例提供设备面板的巡检方法及系统，用于解决如何对设备面板上的信息模块进行检测分析，以推断出设备运行状态的技术问题。
62.实施例1：
63.本发明一种设备面板的巡检方法，包括如下步骤：
64.s100、获取设备面板图像作为原始图像，以原始图像为目标图像，从目标图像中选取感兴趣区域并对感兴趣区域进行矩形校正，得到感兴趣区域对应的标准图像；
65.s200、以标准图像为目标图像，对所述目标图像进行图像预处理，得到增强后标准图像；
66.s300、以设备面板中信息模块为最小可标注单元，从增强后标准图像中提取多个最小可标注单元，并基于先验知识对最小可标准单元进行标注，基于最小可标注单元以及对应的标注信息构建数据模型；
67.s400、获取待检测设备面板图像作为实时图像，以实时图像为目标图像，基于数据模型从目标图像中选取感兴趣区域，并对感兴趣区域进行矩形校正，得到感兴趣区域对应的实时标准图像，实时标准图像与标准图像尺寸一致；
68.s500、以实时标准图像为目标图像，对目标图像进行图像预处理，得到增强后实时标准图像；
69.s600、基于数据模型、对实时标准图像各个信息模块进行关联对比，得到每个信息模块的运行状态信息，并基于每个信息模块的运行状态信息形成报表。
70.步骤s100对于某类需要巡检的设备，拍摄其面板得到面板图像，将该面板图像作为原始图像。对原始图像进行矩形校正，作为具体实施，其包括如下步骤：
71.(1)在目标图像中标注四个交点，所述四个交点构成一个四边形，所述四边形能够覆盖设备面板所有相关的信息模块；
72.(2)将所述四边形覆盖的图像内容校正为矩形，对于四边形的四个对角，将每个对角对应至矩形的相关对角上，得到由四边形变换至矩形的单应性矩阵；
73.(3)基于单应性矩阵将四边形图像区域变换为矩形图像区域。
74.即在该步骤中，对于某类需要巡检的设备，拍摄其面板图像，在图像中人为标注四
个角点，这四个像素点的选取方法为尽可能使这四个点构成的四边形覆盖所有巡检设备，并尽可能将无关内容隔离在四边形之外。接下来将这个四边形覆盖的图像内容进行校正到矩形，将四边形左上角对应到矩形左上角，其他三个角以此类推，从而得到四边形变换到矩形的单应性矩阵，然后利用单应性矩阵将四边形图像区域变换到矩形。至此，得到感兴趣区域(roi)的标准图像。
75.步骤s200为对得到的标准图像进行预处理，以确保图像的亮度和色彩满足条件，便于后续标注。作为具体实施，通过直方图均衡化处理方法对该标准图像进行预处理。
76.步骤s300中标注信息包括感知信息和设备运行知识，感知信息包括编号、类型和位置，设备运行知识为设备外在特征和设备运行状态之间的关联信息；编号为对应最小标注单元的唯一标识码；位置为最小可标注化单元在对应图像中的位置；类型包括指示灯、按钮、屏幕、指针和表盘；对于类型为指示灯的最小可标注单元，所述设备运行知识包括形状、颜色、亮灭、闪烁以及状态含义。对于类型为按钮的最小可标注单元，性所述设备运行知识包括形状和状态；对于类型为屏幕的最小可标注单元，所述设备运行知识包括数值范围和异常定义；对于类型为表盘的最小可标注单元，所述设备运行知识包括数值范围。
77.该步骤中，对增强后标准图像进行标注，在增强后标准图像中人为选取最小可标注单元，目的是经过简单移动、复制、排列、组合这些最小可标注单元即可快速构建整个标准图像的标注信息。一个或多个相同或不同的最小可标注单元组成了整幅标准图像的标注信息。每个最小可标注单元标注的信息可以包括标注类型(例如指示灯、按钮、屏幕、指针、表盘等)、位置、编号等，甚至可以为不同类型的标注单元标注个性化的标注内容，例如为指示灯标注形状、颜色、亮灭等不同状态的实际含义。通过标注最小单元和复制扩充，得到了整个标准图像的roi模板，包含了大量先验信息，这些先验信息包括两类，一是位置、类型等信息，二是这些模块的外在特性和设备整体运行状态之间的关联信息，前者为客观可感知的感知信息，后者为设备运行知识，统称为设备的数字模型。
78.本实施例步骤s100-步骤s300配合，基于选取的设备面板构建一个该类设备面板的数据模型。如图2所示，该部分拍摄模板图像，选取角点并确定roi。对roi进行图像校正，选取合适的一个或多个最小可标注单元进行标注。最后对这些标注进行排列、组合，得到roi的标注模板。多个任务点之间如果拍摄的设备类型和画面相似，则可以只标注一次模板即可。否则，为每一个不同的任务点标注各自对应的模板。持久化存储这些模板。
79.基于上述步骤实现了数据模型的构建，基于上述数据模型可对待检测的设备面板进行检测。
80.步骤s400中，对于该类型的设备面板，每次巡检拍摄图像得到设备运行的实时图像。
81.步骤s500对得到的实时图像，定位实时图像四个角点进行图像校正和roi区域提取，得到与roi模板尺寸一致的图像。其循序步骤如下：
82.(1)在目标图像中标注四个交点，所述四个交点构成一个四边形，所述四边形能够覆盖设备面板所有相关的信息模块；
83.(2)将所述四边形覆盖的图像内容校正为矩形，对于四边形的四个对角，将每个对角对应至矩形的相关对角上，得到由四边形变换至矩形的单应性矩阵；
84.(3)基于单应性矩阵将四边形图像区域变换为矩形图像区域。
85.得到实时图像对应的实时标准图像后，执行步骤s500对该实时标准图像进行图像预处理，作为具体实施，通过直方图均衡化处理方法预处理，得到增强后实时标准图像。
86.步骤s600中，基于数据模型、对增强后实时标准图像各个信息模块进行关联对比，包括如下步骤：遍历数据模型中标注信息；对于每个标注信息，根据位置信息从增强后实时标准图像中提取所述标注信息对应的区域作为目标区域，并根据标注信息中类型的不同，提取目标区域中对应的感知信息，并将所述感知信息与数据模型中设备运行知识进行关联对比，得到对应的运行状态信息。
87.步骤s400-步骤s600为巡检机器人每个任务点关联模板。巡检机器人在每个任务点需要拍摄图像，然后与关联模板进行对比，从而获取设备运行状态，如附图2所示。
88.实施例2：
89.本发明一种设备面板的巡检系统，包括图像采集模块、原始图像校正模块、原始图像预处理模块、数据模型构建模块、实时图像校正模块、实时图像预处理模块以及对比分析模块，该系统可执行实施例1公开的方法对设备面板进行巡检。
90.图像采集模块用于对作为模板的设备面板进行拍摄得到原始图像，并用于对待检测的设备面板进行拍摄得到实时图像。
91.对于需要巡检的设备面板，图像采集模块调用摄像机对设备面板进行拍摄，得到设备面板图像作为原始图像，后续，对于需要检测的各个设备面板，图像采集模块调用摄像机对待检测设备面板进行拍摄，得到设备面板图像作为实时图像。
92.原始图像校正模块用于从原始图像中选取感兴趣区域并对感兴趣区域进行矩形校正，得到感兴趣区域对应的标准图像。该模块具体操作为：
93.(1)在目标图像中标注四个交点，所述四个交点构成一个四边形，所述四边形能够覆盖设备面板所有相关的信息模块；
94.(2)将所述四边形覆盖的图像内容校正为矩形，对于四边形的四个对角，将每个对角对应至矩形的相关对角上，得到由四边形变换至矩形的单应性矩阵；
95.(3)基于单应性矩阵将四边形图像区域变换为矩形图像区域。
96.对于某类需要巡检的设备，图像采集模块和原始图像校正模块配合，拍摄其面板图像，在图像中人为标注四个角点，这四个像素点的选取方法为尽可能使这四个点构成的四边形覆盖所有巡检设备，并尽可能将无关内容隔离在四边形之外。接下来将这个四边形覆盖的图像内容进行校正到矩形，将四边形左上角对应到矩形左上角，其他三个角以此类推，从而得到四边形变换到矩形的单应性矩阵，然后利用单应性矩阵将四边形图像区域变换到矩形。至此，得到感兴趣区域(roi)的标准图像。
97.原始图像预处理模块用于对标准图像进行图像预处理，得到增强后标准图像。以确保图像的亮度和色彩满足条件，便于后续标注。作为具体实施，原始图像预处理模块配置有直方图均衡化处理方法，该模块通过直方图均衡化处理方法对该标准图像进行预处理。
98.数据模型构建模块用于以设备面板中信息模块为最小可标注单元，从所述增强后标准图像中提取多个最小可标注单元，并基于先验知识对最小可标准单元进行标注，基于最小可标注单元以及对应的标注信息构建数据模型。
99.本实施例中标注信息包括感知信息和设备运行知识，感知信息包括编号、类型和位置，设备运行知识为设备外在特征和设备运行状态之间的关联信息；编号为对应最小标
注单元的唯一标识码；位置为最小可标注化单元在对应图像中的位置；类型包括指示灯、按钮、屏幕、指针和表盘；对于类型为指示灯的最小可标注单元，所述设备运行知识包括形状、颜色、亮灭、闪烁以及状态含义。对于类型为按钮的最小可标注单元，性所述设备运行知识包括形状和状态；对于类型为屏幕的最小可标注单元，所述设备运行知识包括数值范围和异常定义；对于类型为表盘的最小可标注单元，所述设备运行知识包括数值范围。
100.实时图像校正模块用于基于数据模型从实时图像中选取感兴趣区域，并对感兴趣区域进行矩形校正，得到感兴趣区域对应的实时标准图像，实时标准图像与所述标准图像尺寸一致。实时图像校正模块对于感兴趣区域的矩形矫正方式与原始图像校正模块的工作方式一致。
101.实时图像预处理模块用于对实时标准图像进行图像预处理，得到增强后实时标准图像。实时图像预处理模块的图像预处理方式与原始图像预处理模块的图像预处理方式一致。在实际应用中，可以将实时图像预处理模块和原始图像预处理模块作为一个图像预处理模块，分别对标准图像和实时标准图像进行预处理。
102.对比分析模块用于基于数据模型、对增强后实时标准图像各个信息模块进行关联对比，得到每个信息模块的运行状态信息，并基于每个信息模块的运行状态信息形成报表。该模块的具体操作为：遍历数据模型中标注信息；对于每个标注信息，根据位置信息从增强后实时标准图像中提取所述标注信息对应的区域作为目标区域，并根据标注信息中类型的不同，提取目标区域中对应的感知信息，并将所述感知信息与数据模型中设备运行知识进行关联对比，得到对应的运行状态信息。
103.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。