一种基于AR眼镜实现热力站故障远程处理方法与流程

一种基于ar眼镜实现热力站故障远程处理方法
技术领域
1.本技术涉及热力站监测技术，具体涉及一种基于ar眼镜实现热力站故障远程处理方法。


背景技术：

2.在工业现场使用过程中，ar技术作为混合现实的认知工具、效率工具，已经成为促进智能化变革、工业产业升级的关键技术之一，并已经在智能制造生产系统中进行应用。
3.目前，在很多的工业技术领域都使用虚拟现实技术这样可以辅助巡检人员快速实现对工业现场的监测以及虚拟现实沉浸式的监控。
4.但是，进一步研究发现，在智慧热力电站管理技术领域内，仍然还是大量的依靠人工手持各种监测工具进行复杂的工控环境下设备监测以及巡检处理，因此这种人工方式不仅仅处理效率较低，且很难满足日益增长的故障检测使用需求。


技术实现要素：

5.有鉴于此，本技术公开一种基于ar眼镜实现热力站故障远程处理方法，用以解决背景技术中指出的上述技术问题。
6.一方面，本发明提供了一种基于ar眼镜实现热力站故障远程处理方法，包括：
7.开启当前ar眼镜装置并对当前场景下的多个待检测设备进行图像采集，实时获取采集的第一图像；所述第一图像包括场景图像、待检测设备图像；
8.对当前ar眼镜装置采集的第一图像进行图像分割，分割得到当前实时的场景图像和待检测设备图像；
9.获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，识别得到当前的监测场景模型，调用监测场景模型中预存的多个待检测设备图像的标准图像集；将待检测设备图像与标准图像集进行灰度分析，根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在故障异常则进一步对其故障异常类型进行类型确定；
10.将故障异常类型以及采集的第一图像发送反馈给远程服务器；
11.根据故障异常类型调用维修数据库，在所述维修数据库中检索维修数据培训数据，将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出。
12.所述获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，识别得到当前的监测场景模型，调用监测场景模型中预存的多个待检测设备图像的标准图像集，包括：
13.获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，计算当前场景图像与场景数据库中监测场景模型对应的典型场景图像的图像相似度，确定图像相似度最高的监测场景模型为与当前场景图像匹配的监测场景模型；
14.调用匹配后的监测场景模型中预存的多个待检测设备图像的标准图像集。
15.优选的，作为一种可实施方案，所述将待检测设备图像与标准图像集进行灰度分析，根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在故障异常则进一步对其故障异常类型进行类型确定，包括：
16.将待检测设备图像以及标准图像集的灰度直方图向量提取，得到待识别检测设备图像和各个标准图像集的直方图特征向量；
17.获取待识别的待检测设备图像、各个标准图像集中的任意两两图像之间的像素比，当检测发现待检测设备图像的直方图特征向量与各个标准图像集中的图像的直方图特征向量的相似度大于标准阈值时，则认定当前标准图像集中的图像为目标图像；同时认定当前目标图像为标准图像集中与待检测设备图像匹配的检测设备故障图像；
18.获取当前目标图像的故障类型，确定目标图像的故障类型与待检测设备图像的故障类型一致。
19.优选的，作为一种可实施方案，在根据故障异常类型调用维修数据库，在所述维修数据库中检索维修数据培训数据的执行过程中，还包括实时接收设备技术信息调用指令进行待检测设备的信息共享操作，包括：
20.实时接收用户发送的设备技术信息调用指令，在收到设备技术信息调用指令后对当前场景下的待检测设备图像进行识别；
21.在识别确定当前待检测设备后，调用其待检测设备的设备属性信息在当前ar眼镜装置的显示屏上进行展示输出；所述设备属性信息包括设备接电信息，设备功率运行信息，设备维修负责人信息以及设备出厂信息。
22.优选的，作为一种可实施方案，在将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出之后，还包括对当前待检测设备进行维修后通过ar眼镜装置进行设备属性信息的上传处理，具体包括：
23.在当前待检测设备进行维修后，用户向当前ar眼镜装置发送上传指令，当前ar眼镜装置继续扫描当前的待检测设备，将维修后的当前待检测设备的图像以及当前ar眼镜装置关联的设备维修负责人信息均上传至远程服务器；
24.远程服务器将对维修后的当前待检测设备的图像进行存储备份以方便后续进行调用处理；
25.远程服务器对当前ar眼镜装置关联的设备维修负责人信息进行接收，并最终将其设备维修负责人信息发送给当前的待检测设备上的存储模块；所述待检测设备上的存储模块用于缓存当前的设备维修负责人信息以及设备接电信息，设备功率运行信息以及设备出厂信息。
26.优选的，作为一种可实施方案，在将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出之后，还包括对当前待检测设备的维修记录进行上传，具体包括：
27.在当前待检测设备进行维修后，用户向当前ar眼镜装置发送上传指令，当前ar眼镜装置将当前待检测设备维修更换的零部件信息上传至远程服务器；
28.当前ar眼镜装置同步将对当前的检测时间，维修时长以及维修后的当前待检测设备的图像上传至远程服务器；
29.远程服务器将对当前的检测时间，维修时长以及维修后的当前待检测设备的图
像、零部件信息汇编成维修记录，并最终将其维修记录发送给存储模块；所述存储模块为内置在ar眼镜装置的本地存储单元或是部署在远程服务器处的云存储单元。
30.优选的，作为一种可实施方案，在当前ar眼镜装置同步将对当前的检测时间，维修时长以及维修后的当前待检测设备的图像上传至远程服务器之后，还包括：
31.远程服务器对当前待检测设备的维修记录进行远程存储；同时提取维修记录中的待检测设备的图像，随机抽取部分待检测设备的图像作为典型图像补充到场景数据库中的待检测设备图像的标准图像集中。
32.优选的，作为一种可实施方案，所述远程服务器为多个，多个远程服务器通过gprs通信接口与ar眼镜装置建立通信连接。
33.与现有技术相比，本发明至少存在如下方面的技术效果：
34.本发明提供的基于ar眼镜实现热力站故障远程处理方法，该基于ar眼镜实现热力站故障远程处理方法采用软件程序嵌入在ar眼镜装置中利用虚拟增强现实技术实现对热力站的设备实施全面的巡视以及故障检测处理；
35.在具体技术方案中，上述基于ar眼镜实现热力站故障远程处理方法可以实时进行现场的图像采集，并对当前场景下的多个待检测设备进行图像采集，实时获取采集的第一图像；对当前ar眼镜装置采集的第一图像进行图像分割，分割得到当前实时的场景图像和待检测设备图像；通过数据库技术对当前的监测场景模型进行识别(即获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，识别得到当前的监测场景模型)，然后调用相应的调用监测场景模型以及模型中预存的多个待检测设备图像的标准图像集；将待检测设备图像与标准图像集进行灰度分析(即灰度图像分析)，根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在故障异常则进一步对其故障异常类型进行类型确定；
36.在确定故障类型以及图像后，一方面可以自动进行维修培训资料展示，即根据故障异常类型调用维修数据库，在维修数据库中检索维修数据培训数据，将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出；另外一个方面也可以将故障异常类型以及采集的第一图像发送反馈给远程服务器(由部署在远程服务器处的专家维修人员进行远程指导，方便现场维修人员进行维修作业处理)；
37.综上所述，本技术实施例提供的一种基于ar眼镜实现热力站故障远程处理方法其使用虚拟现实技术进行供热系统的监控巡检以及设备图像识别、故障检测，显然其增强现实技术沉浸性更好，有利于把维修现场的情况进行数字场景还原，并可以同步进行现实与虚拟场景的远程干预及控制，更有利于快速准确的进行热力站故障巡检处理。
附图说明
38.下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。
39.图1为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的一主要处理流程示意图；
40.图2为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的中的步骤s30一具体流程示意图；
41.图3为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的中的
步骤s30另一具体流程示意图；
42.图4为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的中的步骤s50另一具体流程示意图；
43.图5为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的中的步骤s50之后一具体流程示意图；
44.图6为本技术实施例示出的一种基于ar眼镜实现热力站故障远程处理方法的中的步骤s50之后另一具体流程示意图。
具体实施方式
45.下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的设备和方法的例子。
46.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
47.实施例一
48.参见图1，本发明实施例一提供了一种基于ar眼镜实现热力站故障远程处理方法，包括；
49.步骤s10,开启当前ar眼镜装置并对当前场景下的多个待检测设备进行图像采集，实时获取采集的第一图像；所述第一图像包括场景图像、待检测设备图像；
50.步骤s20,对当前ar眼镜装置采集的第一图像进行图像分割，分割得到当前实时的场景图像和待检测设备图像；
51.步骤s30,获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，识别得到当前的监测场景模型，调用监测场景模型中预存的多个待检测设备图像的标准图像集；将待检测设备图像与标准图像集进行灰度分析，根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在故障异常则进一步对其故障异常类型进行类型确定；
52.步骤s40,将故障异常类型以及采集的第一图像发送反馈给远程服务器(以方便远程服务器进行进一步分析处理)；
53.步骤s50,根据故障异常类型调用维修数据库，在所述维修数据库中检索维修数据培训数据，将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出。
54.在本技术的技术方案中，分析上述基于ar眼镜实现热力站故障远程处理方法的主要处理方法可知，其首先前ar眼镜装置并对当前场景下的多个待检测设备进行图像采集，实时获取采集的第一图像，利用第一图像中的场景图像输入到场景数据库中进行匹配识别(即图像匹配)，可以识别到当前工况或是当前的待检修场景，得到适用于当前的监测场景模型；由于在热力站的待检测设备以及工况场景较多，因此需要利用图像处理技术在预存
场景数据库进行匹配，确定适用于当前的监测场景模型；
55.然后调用监测场景模型中预存的多个待检测设备图像的标准图像集(因为每个场景模型中都预存了多个待检测设备)，随后利用将待检测设备图像与标准图像集(或称图像集合)进行灰度分析(利用灰度直方图技术进行识别)，当待检测设备图像与标准图像集中的预设某个故障图像灰度直方图相似度超过标准相似度数值时则可以认定待检测设备图像存在与预设某个故障图像相同的故障类型，即故障类型为灰度分析结果，然后根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在异常，则自然可以对其故障异常类型进行类型确定；随后本技术处理方法采用两种方式进行故障巡检后处理，第一是将故障异常类型以及采集的第一图像发送反馈给远程服务器(以方便远程服务器进行进一步分析处理，此时远程服务器被部署在远端的工作人员办公室内，此时远端的工作人员还可以辅助指导维修操作)；第二是根据故障异常类型确定维修方案，即调用维修数据库，然后在维修数据库中检索维修数据培训数据，将维修数据培训数据进行虚拟现实方式在当前ar眼镜装置的显示屏上进行培训展示输出，这样就可以直接方便对待检测设备进行维修操作了。
56.下面对本发明提供的基于ar眼镜实现热力站故障远程处理方法的具体信息处理过程进行详细的说明：
57.参见图2，在步骤s30执行过程中，获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，识别得到当前的监测场景模型，调用监测场景模型中预存的多个待检测设备图像的标准图像集，包括：
58.步骤s31,获取预存场景数据库，将场景图像输入到场景数据库中进行匹配识别，计算当前场景图像与场景数据库中监测场景模型对应的典型场景图像的图像相似度，确定图像相似度最高的监测场景模型为与当前场景图像匹配的监测场景模型；
59.步骤s32,调用匹配后的监测场景模型中预存的多个待检测设备图像的标准图像集；
60.需要说明的是，上述场景图像是一种场景背景图像，然而待检测设备图像是一种前景图像。在数据库技术使用过程中，本发明实施例中的监测场景模型预存了典型场景背景图像以及大量的设备故障样本图像，因此说，将当前的场景图像输入到场景数据库中进行匹配识别就可以识别得到对应的监测场景模型，然后再利用监测场景模型调用其大量的设备故障样本图像(即上述技术方案中指出的“调用匹配后的监测场景模型中预存的多个待检测设备图像的标准图像集”)，随后在后续的技术方案中再进行标准图像集与待检测设备图像的图像识别以及分析处理。
61.参见图3，在步骤s30执行过程中，所述将待检测设备图像与标准图像集进行灰度分析，根据灰度分析结果判断当前检测设备是否存在故障异常，如果存在故障异常则进一步对其故障异常类型进行类型确定，包括：
62.步骤s34,将待检测设备图像以及标准图像集的灰度直方图向量提取，得到待识别检测设备图像和各个标准图像集的直方图特征向量；
63.步骤s35，获取待识别的待检测设备图像、各个标准图像集中的任意两两图像之间的像素比，当检测发现待检测设备图像的直方图特征向量与各个标准图像集中的图像的直方图特征向量的相似度大于标准阈值时，则认定当前标准图像集中的图像为目标图像；同
时认定当前目标图像为标准图像集中与待检测设备图像匹配的检测设备故障图像；
64.步骤s36，获取当前目标图像的故障类型，确定目标图像的故障类型与待检测设备图像的故障类型一致。
65.需要说明的是，采用图像预处理(包括色彩校正、倾斜校正、噪声过滤以及将影像转换为灰度直方图)、图像灰度直方图分析以及直方图特征提取以及特征向量相似度计算分析是本技术中处理“待检测设备图像与标准图像集进行灰度分析”的重要参考步骤，当检测发现待检测设备图像的直方图特征向量与各个标准图像集中的图像的直方图特征向量的相似度大于标准阈值时，则认定当前标准图像集中的图像为目标图像，此时认定目标图像与待检测设备图像具有较高的相似性，由于目标图像是预存的检测设备故障图像，所以通过上述处理可以精确高效的识别出当前检测设备的故障异常类型，如果当前检测设备图像没有在标准图像集中匹配到目标图像，则说明当前待检测设备不存在故障异常。
66.参见图4，在s50执行过程中，还包括实时接收设备技术信息调用指令进行待检测设备的信息共享操作，包括：
67.步骤s51,实时接收用户发送的设备技术信息调用指令，在收到设备技术信息调用指令后对当前场景下的待检测设备图像进行识别；
68.步骤s52,在识别确定当前待检测设备后，调用其待检测设备的设备属性信息在当前ar眼镜装置的显示屏上进行展示输出；所述设备属性信息包括设备接电信息，设备功率运行信息，设备维修负责人信息以及设备出厂信息。
69.在本技术的技术方案中，通过上述操作可以实现方便用户(或者操作者)加大对当前待检测设备的设备属性信息的了解，方便其加深印象，实现一边巡检一边进行设备属性的应用效果。上述ar眼镜装置对于待维修设备的图像画面可以进行展示，也可以通过画面选择任意一种零部件，查看零部件的信息以及其他信息，方便维修人员了解待检修的设备。
70.参见图5，在s50之后，还包括对当前待检测设备进行维修后通过ar眼镜装置进行设备属性信息的上传处理，具体包括：
71.步骤s61,在当前待检测设备进行维修后，用户向当前ar眼镜装置发送上传指令，当前ar眼镜装置继续扫描当前的待检测设备，将维修后的当前待检测设备的图像以及当前ar眼镜装置关联的设备维修负责人信息均上传至远程服务器；
72.步骤s62,远程服务器将对维修后的当前待检测设备的图像进行存储备份以方便后续进行调用处理；
73.步骤s63,远程服务器对当前ar眼镜装置关联的设备维修负责人信息进行接收，并最终将其设备维修负责人信息发送给当前的待检测设备上的存储模块；所述待检测设备上的存储模块用于缓存当前的设备维修负责人信息以及设备接电信息，设备功率运行信息以及设备出厂信息。
74.本发明实施例提供的基于ar眼镜实现热力站故障远程处理方法，每个ar眼镜装置均有且唯一关联的设备维修负责人，这样就可以通过当前ar眼镜装置上传数据，对关联的设备维修负责人信息进行确认了，最终将其设备维修负责人信息覆盖到待检测设备上的存储模块中。
75.参见图6，在s50之后，还包括对当前待检测设备的维修记录进行上传，具体包括：
76.步骤s71,在当前待检测设备进行维修后，用户向当前ar眼镜装置发送上传指令，
当前ar眼镜装置将当前待检测设备维修更换的零部件信息上传至远程服务器；
77.步骤s72,当前ar眼镜装置同步将对当前的检测时间，维修时长以及维修后的当前待检测设备的图像上传至远程服务器；
78.步骤s73,远程服务器将对当前的检测时间，维修时长以及维修后的当前待检测设备的图像、零部件信息汇编成维修记录，并最终将其维修记录发送给存储模块；所述存储模块为内置在ar眼镜装置的本地存储单元或是部署在远程服务器处的云存储单元。
79.其中，在当前ar眼镜装置同步将对当前的检测时间，维修时长以及维修后的当前待检测设备的图像上传至远程服务器之后，还包括：
80.远程服务器对当前待检测设备的维修记录进行远程存储；同时提取维修记录中的待检测设备的图像，随机抽取部分待检测设备的图像作为典型图像补充到场景数据库中的待检测设备图像的标准图像集中。
81.优选的，作为一种可实施方案，所述远程服务器为多个，多个远程服务器通过gprs通信接口与ar眼镜装置建立通信连接。
82.上述远程服务器是一种云服务器被广泛应用到远端使用，这样其他工作人员通过ar眼镜装置采集的现场维修画面以及维修进度都可以通过远程服务器在远端进行呈现，这样远端的工作人员还可以通过实时画面进行指导维修作业操作。
83.与此同时，ar眼镜装置兼具培训功能，通过本身的三维虚拟场景的显示以及使用，可以方便维护人员在办公室或是其他场地感应工业维修现场的三维画面，使维修人员有种亲临其境的体验，极大程度上方便了使用者的操作，也就是说ar眼镜装置的佩戴者是第一工作现场，作为远端的工作人员(例如专家维修人员)属于第二工作现场，两个工作现场可以通过ar眼镜装置与远程服务器进行数据交互以及画面共享和交流，最终两者共同完成待检测设备的维修工作。
84.本发明实施例提供的基于ar眼镜实现热力站故障远程处理方法，基于ar眼镜实现热力站故障远程处理方法其使用虚拟现实技术进行供热系统的监控巡检以及设备图像识别、故障检测，显然其增强现实技术沉浸性更好，有利于把维修现场的情况进行数字场景还原，并可以同步进行现实与虚拟场景的远程干预及控制，更有利于快速准确的进行热力站故障巡检处理。
85.本发明实施例提供的本发明实施例提供的基于ar眼镜实现热力站故障远程处理方法，基于混合现实处理的智能巡检系统，在热力站的设备发生异常情况或生产实施事故时，工程师或专家及现场工作人可在混合现实状态下实现远程交互，实时解决设备安检巡检工作，大大提高问题解决工作效率，最大程度降低供热系统事故引发的安全及社会影响。
86.本领域技术人员应明白，本技术一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本技术一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
87.本技术中的“和/或”表示至少具有两者中的其中一个。本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似
于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
88.虽然本技术包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本技术内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
89.类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
90.以上仅为本技术一个或多个实施例的较佳实施例而已，并不用以限制本技术一个或多个实施例，凡在本技术一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术一个或多个实施例保护的范围之内。