基于AR眼镜的故障检测方法、装置、AR眼镜和介质与流程

基于ar眼镜的故障检测方法、装置、ar眼镜和介质
技术领域
1.本技术涉及增强现实技术领域，尤其涉及一种基于ar眼镜的故障检测方法、装置、ar眼镜和介质。


背景技术：

2.增强现实(“ar”，augmented reality)是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户"沉浸"到该环境中，实现用户和环境直接进行自然交互。增强现实是一种全新的人机交互技术，利用这样一种技术可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。
3.然而，当前主流的使用ar眼镜进行设备故障检测的方法，一般是运维人员通过ar眼镜的摄像头对工业设备进行图像采集，将采集的设备图片传输到远端服务器，然后由专家团队登录该远端服务器后查看该设备图片进行分析，最后返回分析结果给运维人员进行故障检查指导，该设备故障检测方式存在耗费人力成本以及故障检测效率较慢的问题，严重降低了用户的使用体验。


技术实现要素：

4.本技术的主要目的在于提供一种基于ar眼镜的故障检测方法、装置、ar眼镜和介质，旨在解决增强现实眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。
5.为实现上述目的，本技术提供一种基于ar眼镜的故障检测方法，所述故障检测方法的步骤包括：
6.所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，所述待检测音频为待检测设备在运行过程中产生的音频；
7.将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障检测信息；
8.输出所述故障检测信息对应的故障分析报告。
9.可选地，所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频的步骤之前包括：
10.采集运行正常的设备在运行过程中产生的正常音频，以及存在运行故障的设备在运行过程中产生的故障音频；
11.获取对所述故障音频对应的故障类型进行分类的故障分类信息，得到各故障音频对应的故障类型标签；
12.将所述故障音频与其对应的故障类型标签进行标签关联，得到各故障类型的运行故障训练样本，并将所述正常音频与运行正常标签进行标签关联，得到运行正常训练样本；
13.通过所述运行故障训练样本和所述运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型。
14.可选地，所述通过所述运行故障训练样本和所述运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型的步骤包括：
15.若神经网络模型对各故障类型的故障检测准确率均达到预设比率阈值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
16.若已进行训练的各故障类型的运行故障训练样本的样本量均达到预设量值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
17.若各故障类型的运行故障训练样本对神经网络模型进行训练的训练时长均达到预设时长，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。
18.可选地，所述输出所述故障检测信息对应的故障分析报告的步骤包括：
19.若所述故障检测信息为设备运行故障对应的故障类型信息，则从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息；
20.输出包括所述故障类型信息和所述故障维修指导信息的故障分析报告。
21.可选地，所述从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息的步骤之前包括：
22.若所述故障类型信息为多种疑似的待确定故障类型，则采集待检测设备在运行过程中的运行图像；
23.将所述运行图像和所述待确定故障类型，输入至收敛的图像识别神经网络模型，并获取所述图像识别神经网络模型从所述待确定故障类型中选择的目标故障类型，将所述目标故障类型作为最终的故障类型信息，并执行：所述从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息的步骤。
24.可选地，所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频的步骤之前还包括：
25.采集运行正常的设备在运行过程中产生的正常图像，以及存在运行故障的设备在运行过程中产生的故障图像；
26.获取对所述正常图像对应的故障类型进行划分的故障划分信息，得到各故障图像对应的故障种类标签；
27.将所述故障图像与其对应的故障种类标签进行标签关联，得到各故障类型的运转故障训练样本，并将所述正常图像与运转正常标签进行标签关联，得到运转正常训练样本；
28.通过所述运转故障训练样本和所述运转正常训练样本，对预置的神经网络模型进行训练，得到收敛的图像识别神经网络模型。
29.可选地，所述将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障分析报告的步骤包括：
30.将所述待检测音频发送至故障分析服务器，其中，所述故障分析服务器中存储有收敛的故障分析神经网络模型；
31.接收所述故障分析服务器响应于所述待检测音频，而返回的所述待检测音频对应的故障分析报告。
32.本技术还提供一种基于ar眼镜的故障检测装置，所述故障检测装置包括：
33.拾取模块，所述ar眼镜上的故障检测按键被触发时，用于拾取当前的待检测音频，其中，所述待检测音频为待检测设备在运行过程中产生的音频；
34.生成模块，用于将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障检测信息；
35.输出模块，用于输出所述故障检测信息对应的故障分析报告。
36.本技术还提供一种ar眼镜，所述ar眼镜为实体设备，所述ar眼镜包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于ar眼镜的故障检测方法的程序，所述基于ar眼镜的故障检测方法的程序被处理器执行时可实现如上述的基于ar眼镜的故障检测方法的步骤。
37.本技术还提供一种介质，所述介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现基于ar眼镜的故障检测方法的程序，所述实现基于ar眼镜的故障检测方法的程序被处理器执行以实现如上述基于ar眼镜的故障检测方法的步骤。
38.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于ar眼镜的故障检测方法的步骤。
39.本技术在ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，该待检测音频为待检测设备在运行过程中产生的音频，并将待检测音频输入至收敛的故障分析神经网络模型，基于该故障分析神经网络模型对待检测音频的音频特征信息(包括频率、响度、周期和音色等)进行分析识别，从而生成得到待检测音频对应的故障检测信息，并获取生成的该故障检测信息，最后输出该故障检测信息对应的故障分析报告，从而实现运维人员佩戴该ar眼镜便可在现场通过拾取设备运行的声音，对设备故障进行快速检测分析，生成待检测设备的故障分析报告，并通过ar眼镜的显示界面显示该故障分析报告对应的图像内容，或者通过ar眼镜的扬声器播放该故障分析报告对应的语音内容，从而有效地降低对运维人员的技术要求，降低运维成本以及提高运维工作效率。相比于目前通过ar眼镜的摄像头对工业设备进行图像采集并上传至远端服务器，然后由专家团队登录远端服务器查看该设备图片并进行分析后得到故障检测结果的方式，由于该方式需要等专家团队登录远端服务器处于在线状态后查看该设备图片，然后再等专家团队对该设备图片进行分析评估完，将分析评估的故障检测结果上传至远端服务器，再由远端服务器返回至ar眼镜，其流程非常繁琐以及需要等待的时间太长，而本技术通过将待检测音频输入至预先训练好的故障分析神经网络模型(该故障分析神经网络模型可以为ar眼镜本地存储，也可以为与ar眼镜建立通信链路的远端服务器存储)，直接预测得到待检测设备的故障检测结果，从而提高了故障检测效率，同时本技术无需配置人力成本较高的专家团队进行设备故障运维，从而降低了故障检测的人力成本，进而克服了ar眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。
附图说明
40.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
41.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而
言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1为本技术基于ar眼镜的故障检测方法第一实施例的流程示意图；
43.图2为本技术基于ar眼镜的故障检测方法第二实施例的流程示意图；
44.图3为本技术基于ar眼镜的故障检测方法第三实施例中步骤s30的细化流程示意图；
45.图4为本技术一实施例的故障检测方法的场景示意图；
46.图5为本技术实施例中ar眼镜涉及的硬件运行环境的设备结构示意图。
47.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
48.为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
49.当前主流的使用ar眼镜进行设备故障检测的方法，一般是运维人员通过ar眼镜的摄像头对工业设备进行图像采集，将采集的设备图片传输到远端服务器，然后由专家团队登录该远端服务器后查看该设备图片进行分析，最后返回分析结果给运维人员进行故障检查指导，该设备故障检测方式存在耗费人力成本以及故障检测准确率较低的问题，严重降低了用户的使用体验。
50.实施例一
51.基于此，请参照图1，本实施例提供一种基于ar(增强现实，augmented reality)眼镜的故障检测方法，所述故障检测方法包括：
52.步骤s10，所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，所述待检测音频为待检测设备在运行过程中产生的音频；
53.需要说明的是，该故障检测方法应用于工业设备。在本实施例中，该故障检测按键可为物理按键或者触屏按键。容易理解的是，当该故障检测按键被触发时，代表已开启ar眼镜对工业设备的故障检测功能。另外，可通过ar眼镜上的高保真麦克风拾取当前的待检测音频。
54.步骤s20，将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障检测信息；
55.在本实施例中，该故障分析神经网络模型为通过将正常的设备和存在故障的设备在运行过程中所产生的音频作为训练样本进行训练后得到的。另外，该故障检测信息可为待检测设备是否存在运行故障的故障检测结果，该故障检测结果为设备运行正常和设备运行故障中的一种。
56.容易理解的是，由于相比于运行正常的待检测设备，运行故障的待检测设备在运行过程中所产生音频的音频特征信息(包括频率、响度、周期和音色等)往往不同，因此本实施例巧妙地利用运行故障的待检测设备在运行过程中所产生音频的音频特征相比于正常设备往往存在较大差异的基础原理，通过预先训练好的故障分析神经网络模型对待检测音
频的时域和频域特征进行分析识别，从而准确地检测出待检测设备是否存在运行故障。
57.步骤s30，输出所述故障检测信息对应的故障分析报告。
58.在本实施例中，所述故障分析报告可为故障检测结果，还可为故障检测结果和该故障检测结果对应的故障维修指导。
59.作为一种示例，若所述故障检测信息为设备运行正常，则可将设备运行正常的检测结果作为故障分析报告进行输出。若所述故障检测信息为设备运行故障，则可同样将设备运行故障的检测结果直接作为故障分析报告进行输出。
60.作为另一种示例，请参照图3，所述故障检测信息为设备运行故障对应的故障类型信息，或者设备运行正常；所述步骤s30，输出所述故障检测信息对应的故障分析报告的步骤包括：
61.步骤s31，若所述故障检测信息为设备运行故障对应的故障类型信息，则从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息；
62.在本实施例中，若所述故障检测信息为设备运行正常，则可直接将设备运行正常的检测结果作为故障分析报告进行输出。
63.容易理解的是，该故障信息映射数据表中存储有各故障类型信息，以及各故障类型信息映射的故障维修指导信息。
64.步骤s32，输出包括所述故障类型信息和所述故障维修指导信息的故障分析报告。
65.相对于直接将设备运行故障的检测结果作为故障分析报告进行输出，本实施例通过在故障检测信息为设备运行故障对应的故障类型信息时，从预设的故障信息映射数据表中，查询得到该故障类型信息对应的故障维修指导信息，并输出包括该故障类型信息和该故障维修指导信息的故障分析报告，从而便于指导运维人员对存在故障的待检测设备进行维修保养，有效的降低对运维人员的技术要求，降低运维成本，提高运维工作效率，进一步降低了人力成本。
66.本实施例通过在ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，该待检测音频为待检测设备在运行过程中产生的音频，并将待检测音频输入至收敛的故障分析神经网络模型，基于该故障分析神经网络模型对待检测音频的音频特征信息(包括频率、响度、周期和音色等)进行分析识别，从而生成得到待检测音频对应的故障检测信息，并获取生成的该故障检测信息，最后输出该故障检测信息对应的故障分析报告，从而实现运维人员佩戴该ar眼镜便可在现场通过拾取设备运行的声音，对设备故障进行快速检测分析，生成待检测设备的故障分析报告，并通过ar眼镜的显示界面显示该故障分析报告对应的图像内容，或者通过ar眼镜的扬声器播放该故障分析报告对应的语音内容，从而有效地降低对运维人员的技术要求，降低运维成本以及提高运维工作效率。相比于目前通过ar眼镜的摄像头对工业设备进行图像采集并上传至远端服务器，然后由专家团队登录远端服务器查看该设备图片并进行分析后得到故障检测结果的方式，由于该方式需要等专家团队登录远端服务器处于在线状态后查看该设备图片，然后再等专家团队对该设备图片进行分析评估完，将分析评估的故障检测结果上传至远端服务器，再由远端服务器返回至ar眼镜，其流程非常繁琐以及需要等待的时间太长，而本实施例通过将待检测音频输入至预先训练好的故障分析神经网络模型(该故障分析神经网络模型可以为ar眼镜本地存储，也可以为与ar眼镜建立通信链路的远端服务器存储)，直接预测得到待检测设备的故障检测结果，从
而提高了故障检测效率，同时本实施例无需配置人力成本较高的专家团队进行设备故障运维，从而降低了故障检测的人力成本，进而克服了ar眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。
67.在一种可实施的方式中，请参照图2，所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频的步骤之前包括：
68.步骤s40，采集运行正常的设备在运行过程中产生的正常音频，以及存在运行故障的设备在运行过程中产生的故障音频；
69.在本实施例中，在构建故障分析神经网络模型的训练样本的时候，可通过预先准备好运行正常的设备和运行故障的设备，并对运行正常的设备和运行故障的设备在运行过程中产生的音频进行录音。为了助于理解，列举一种示例，例如设备a、设备b和设备c为运行正常的设备，而存在运行故障的设备为设备d、设备e和设备f。设备a、设备b和设备c在运行过程中产生的音频即为正常音频。而设备d、设备e和设备f在运行过程中产生的音频即为故障音频。
70.步骤s50，获取对所述故障音频对应的故障类型进行分类的故障分类信息，得到各故障音频对应的故障类型标签；
71.需要说明的是，该故障分类信息可通过用户输入而获得。
72.在本实施例中，考虑由于不同设备导致设备运行故障的故障类型可能不同。为了助于理解，在上述列举的示例中继续往下描述，设备d的故障类型为故障d、设备e的故障类型为故障e，以及设备f的故障类型为故障f，这些设备存在的故障类型工作人员事先是知道的，因此可通过在分别采集设备d、设备e和设备f产生的故障音频后，对这些故障音频分别进行故障类型的标注分类。具体地，对设备d产生的故障音频进行标注分类，得到故障类型d的故障类型标签。用户对设备e产生的故障音频进行标注分类，得到故障类型e的故障类型标签。对设备f产生的故障音频进行标注分类，得到故障类型f的故障类型标签。
73.步骤s60，将所述故障音频与其对应的故障类型标签进行标签关联，得到各故障类型的运行故障训练样本，并将所述正常音频与运行正常标签进行标签关联，得到运行正常训练样本；
74.为了助于理解，在上述列举的示例中继续往下描述，将设备d产生的故障音频与故障类型d的故障类型标签进行标签关联，得到故障类型d的运行故障训练样本。将设备e产生的故障音频与故障类型e的故障类型标签进行标签关联，得到故障类型e的运行故障训练样本。将设备f产生的故障音频与故障类型f的故障类型标签进行标签关联，得到故障类型f的运行故障训练样本。
75.步骤s70，通过所述运行故障训练样本和所述运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型。
76.本实施例通过采集运行正常的设备在运行过程中产生的正常音频，以及存在运行故障的设备在运行过程中产生的故障音频，并获取对该故障音频对应的故障类型进行分类的故障分类信息，得到各故障音频对应的故障类型标签，然后将故障音频与其对应的故障类型标签进行标签关联，得到各故障类型的运行故障训练样本，并将正常音频与运行正常标签进行标签关联，得到运行正常训练样本，再通过该运行故障训练样本和运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型，从而使得训练
出的故障分析神经网络模型不仅可以检测出待检测设备是否存在运行故障，而且还可以检测出导致该待检测设备存在运行故障的具体故障类型，从而更加便于运维人员对故障设备采取该具体故障类型对应的维修措施，而无需运维人员重新检查导致设备产生运行故障的具体故障类型，从而有效的降低对运维人员的技术要求，例如无需拆开待检测设备查看内部零件或元器件进行故障类型排查，进而提高了设备运维的效率，降低了设备运维的人力成本。
77.在一种可能的实施方式中，所述步骤s70，通过所述运行故障训练样本和所述运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型的步骤包括：
78.步骤a10，若神经网络模型对各故障类型的故障检测准确率均达到预设比率阈值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
79.在本实施例中，例如设备的各故障类型包括第一故障类型、第二故障类型和第三故障类型。当神经网络模型对设备的第一故障类型、第二故障类型和第三故障类型分别都达到预设比率阈值时，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。其中，该预设比率阈值本实施例不作具体的限定，本领域技术人员可根据具体情况进行设定，例如预设比率阈值可为95％。
80.本实施例通过在神经网络模型对设备的各故障类型的故障检测准确率均达到预设比率阈值，才确定神经网络模型收敛，停止训练，从而有效地确保了故障分析神经网络模型识别出待检测设备的具体故障类型的准确性。
81.步骤a20，若已进行训练的各故障类型的运行故障训练样本的样本量均达到预设量值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
82.在本实施例中，同样假设设备的各故障类型包括第一故障类型、第二故障类型和第三故障类型，当已进行训练的第一故障类型的运行故障训练样本、第二故障类型的运行故障训练样本，以及第三故障类型的运行故障训练样本的样本量分别都达到预设量值时，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。其中，该预设量值本实施例不作具体的限定，本领域技术人员可根据具体情况进行设定，例如预设量值可为1000个样本。
83.步骤a30，若各故障类型的运行故障训练样本对神经网络模型进行训练的训练时长均达到预设时长，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。
84.在本实施例中，同样假设设备的各故障类型包括第一故障类型、第二故障类型和第三故障类型，当第一故障类型的运行故障训练样本、第二故障类型的运行故障训练样本，以及第三故障类型的运行故障训练样本对神经网络模型进行训练的训练时长分别都达到预设时长，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。其中，该预设时长本实施例不作具体的限定，本领域技术人员可根据具体情况进行设定，例如预设时长可为100小时。
85.为了避免即使训练样本的样本量或者训练时长一直累积，但某故障类型的故障检测准确率总是距离达到预设比率阈值还差一点而导致无法收敛的情况发生，本实施例通过在已进行训练的各故障类型的运行故障训练样本的样本量均达到预设量值时，或者在各故障类型的运行故障训练样本对神经网络模型进行训练的训练时长均达到预设时长时，便确
定神经网络模型收敛，停止训练，从而实现在尽量提高识别出故障类型的准确率的前提下，提升神经网络模型的收敛效率。
86.在一种可实施的方式中，所述将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障分析报告的步骤包括：
87.步骤b10，将所述待检测音频发送至故障分析服务器，其中，所述故障分析服务器中存储有收敛的故障分析神经网络模型；
88.步骤b20，接收所述故障分析服务器响应于所述待检测音频，而返回的所述待检测音频对应的故障分析报告；
89.步骤b30，接收所述故障分析服务器响应于所述待检测音频，而返回的所述待检测音频对应的故障分析报告。
90.本实施例通过将待检测音频发送至故障分析服务器，其中，该故障分析服务器中存储有收敛的故障分析神经网络模型，由故障分析服务器中的故障分析神经网络模型对待检测音频的时域和频域特征进行分析识别，检测出待检测设备是否存在运行故障，得到故障分析报告，并接收故障分析服务器发送的该故障分析报告，从而使得本实施例借助故障分析服务器强大的运算功能，无需ar眼镜侧对待检测音频进行分析识别，进而使得ar眼镜无需存储该故障分析神经网络模型，节省了ar眼镜的存储空间，同时降低了ar眼镜的运行负载。
91.为了助于理解本技术的技术构思，列举一具体实施例，请参照图4：
92.如图4所示，图4为本技术一实施例的故障检测方法的场景示意图。整个方案分为两部分，一是由运维人员通过ar眼镜的高保真录音功能大量收集设备正常运行声音与各种故障类型的设备异常故障声音，由故障专家团队对这些收集的录音数据进行分析，工程人员将分析结果数据(即本实施例的该故障类型标签和运行正常标签)和声音语料数据(即本实施例的该故障音频和正常音频)进行关联性匹配得到各训练样本，然后将各训练样本输入至神经网络模型进行训练，训练得到收敛的故障分析神经网络模型，并以此搭建故障分析系统服务器。
93.在故障分析系统服务器搭建完成后，运维人员在现场使用ar眼镜进行高保真录制待故障检测设备的设备运行声音，并通过ar眼镜将设备运行声音传输至故障分析系统服务器，故障分析系统服务器中的故障分析神经网络模型会对录制的设备运行声音进行分析处理，得到故障检测结果，再将故障检测结果返回ar眼镜供运维人员查看。
94.需要说明的是，该具体实施例阐述的诸多细节仅助于理解本技术的技术构思，并不构成对本技术的限定，基于本技术的该技术构思进行更多形式的简单变换，均应在本技术的保护范围内。
95.实施例二
96.基于本技术上述实施例，在本技术另一实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，所述从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息的步骤之前包括：
97.步骤c10，若所述故障类型信息为多种疑似的待确定故障类型，则采集待检测设备在运行过程中的运行图像；
98.在本实施例中，多种疑似的待确定故障类型是指：故障分析神经网络模型在对待检测音频进行识别分析时，识别出待检测设备存在运行故障，但还无法直接确定导致待检测设备存在该运行故障的具体故障类型，只能判定多种可能导致该运行故障的疑似的故障类型。
99.步骤c20，将所述运行图像和所述待确定故障类型，输入至收敛的图像识别神经网络模型，并获取所述图像识别神经网络模型从所述待确定故障类型中选择的目标故障类型，将所述目标故障类型作为最终的故障类型信息，并执行：所述从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息的步骤。
100.由于故障分析神经网络模型在对待检测音频进行识别分析时，识别出待检测设备存在运行故障，但可能无法直接确定导致待检测设备存在该运行故障的具体故障类型，只能判定多种可能导致该运行故障的疑似的故障类型，因此本实施例通过在确定故障类型信息为多种疑似的待确定故障类型时，采集待检测设备在运行过程中的运行图像，并将该运行图像和待确定故障类型，输入至收敛的图像识别神经网络模型，再获取图像识别神经网络模型从所述待确定故障类型中选择的目标故障类型，将该目标故障类型作为最终的故障类型信息，从而通过进行声音识别分析的故障分析神经网络模型，以及进行图形识别分析的图像识别神经网络模型对设备执行故障类型的双重识别，从而提高了ar眼镜检测分析待检测设备的具体故障类型的能力，实现更加准确无疑义地确定出待检测设备的具体故障类型。
101.在一种可能的实施方式中，所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频的步骤之前还包括：
102.步骤d10，采集运行正常的设备在运行过程中产生的正常图像，以及存在运行故障的设备在运行过程中产生的故障图像；
103.步骤d20，获取对所述正常图像对应的故障类型进行划分的故障划分信息，得到各故障图像对应的故障种类标签；
104.步骤d30，将所述故障图像与其对应的故障种类标签进行标签关联，得到各故障类型的运转故障训练样本，并将所述正常图像与运转正常标签进行标签关联，得到运转正常训练样本；
105.步骤d40，通过所述运转故障训练样本和所述运转正常训练样本，对预置的神经网络模型进行训练，得到收敛的图像识别神经网络模型。
106.本实施例通过获取对正常图像对应的故障类型进行划分的故障划分信息，得到各故障图像对应的故障种类标签，并将该故障图像与其对应的故障种类标签进行标签关联，得到各故障类型的运转故障训练样本，并将正常图像与运转正常标签进行标签关联，得到运转正常训练样本，然后通过运转故障训练样本和运转正常训练样本，对神经网络模型进行训练，得到收敛的图像识别神经网络模型，从而使得训练出的图像识别神经网络模型不仅可以检测出待检测设备是否存在运行故障，还可以检测出导致该待检测设备存在运行故障的具体故障类型，从而更加便于运维人员对待检测设备采取该具体故障类型对应的维修措施，而无需运维人员重新检查导致设备运行故障的具体故障类型，有效的降低了对运维人员的技术要求，进而提高了设备运维的效率，降低了设备运维的人力成本。
107.实施例三
108.本发明实施例还提供一种故障检测装置，所述故障检测装置应用于ar眼镜，所述故障检测装置包括：
109.拾取模块，用于所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，所述待检测音频为待检测设备在运行过程中产生的音频；
110.生成模块，用于将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障检测信息；
111.输出模块，用于输出所述故障检测信息对应的故障分析报告。
112.可选地，所述故障检测装置还包括训练模块，所述训练模块用于：
113.采集运行正常的设备在运行过程中产生的正常音频，以及存在运行故障的设备在运行过程中产生的故障音频；
114.获取对所述故障音频对应的故障类型进行分类的故障分类信息，得到各故障音频对应的故障类型标签；
115.将所述故障音频与其对应的故障类型标签进行标签关联，得到各故障类型的运行故障训练样本，并将所述正常音频与运行正常标签进行标签关联，得到运行正常训练样本；
116.通过所述运行故障训练样本和所述运行正常训练样本，对预设的神经网络模型进行训练，得到收敛的故障分析神经网络模型。
117.可选地，所述训练模块，还用于：
118.若神经网络模型对各故障类型的故障检测准确率均达到预设比率阈值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
119.若已进行训练的各故障类型的运行故障训练样本的样本量均达到预设量值，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型；或者，
120.若各故障类型的运行故障训练样本对神经网络模型进行训练的训练时长均达到预设时长，则确定神经网络模型收敛，得到收敛的故障分析神经网络模型。
121.可选地，所述输出模块，还用于：
122.若所述故障检测信息为设备运行故障对应的故障类型信息，则从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息；
123.输出包括所述故障类型信息和所述故障维修指导信息的故障分析报告。
124.可选地，所述输出模块，还用于：
125.若所述故障类型信息为多种疑似的待确定故障类型，则采集待检测设备在运行过程中的运行图像；
126.将所述运行图像和所述待确定故障类型，输入至收敛的图像识别神经网络模型，并获取所述图像识别神经网络模型从所述待确定故障类型中选择的目标故障类型，将所述目标故障类型作为最终的故障类型信息，并执行：所述从预设的故障信息映射数据表中，查询得到所述故障类型信息对应的故障维修指导信息的步骤。
127.可选地，所述训练模块，还用于：
128.采集运行正常的设备在运行过程中产生的正常图像，以及存在运行故障的设备在运行过程中产生的故障图像；
129.获取对所述正常图像对应的故障类型进行划分的故障划分信息，得到各故障图像对应的故障种类标签；
130.将所述故障图像与其对应的故障种类标签进行标签关联，得到各故障类型的运转故障训练样本，并将所述正常图像与运转正常标签进行标签关联，得到运转正常训练样本；
131.通过所述运转故障训练样本和所述运转正常训练样本，对预置的神经网络模型进行训练，得到收敛的图像识别神经网络模型。
132.可选地，所述生成模块，还用于：
133.将所述待检测音频发送至故障分析服务器，其中，所述故障分析服务器中存储有收敛的故障分析神经网络模型；
134.接收所述故障分析服务器响应于所述待检测音频，而返回的所述待检测音频对应的故障分析报告。
135.本发明实施例提供的故障检测装置，采用上述实施例一或实施例二中的基于ar眼镜的故障检测方法，解决了增强现实眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。与现有技术相比，本发明实施例提供的故障检测装置的有益效果与上述实施例提供的基于ar眼镜的故障检测方法的有益效果相同，且所述故障检测装置中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
136.实施例四
137.本发明实施例提供一种ar(增强现实，augmented reality)眼镜，ar眼镜包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的基于ar眼镜的故障检测方法。
138.下面参考图5，其示出了适于用来实现本公开实施例的ar眼镜的结构示意图。图5示出的ar眼镜仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
139.如图5所示，ar眼镜可以包括处理装置1001(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(rom1002)中的程序或者从存储装置加载到随机访问存储器(ram1004)中的程序而执行各种适当的动作和处理。在ram1004中，还存储有ar眼镜操作所需的各种程序和数据。处理装置1001、rom1002以及ram1004通过总线1005彼此相连。输入/输出(i/o)接口也连接至总线1005。
140.通常，以下系统可以连接至i/o接口1006：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置1008；包括例如磁带、硬盘等的存储装置1003；以及通信装置1009。通信装置1009可以允许ar眼镜与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的ar眼镜，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
141.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置1003被安装，或者从rom1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的方法中限定的上述功能。
142.本发明提供的ar眼镜，采用上述实施例一或实施例二中的基于ar眼镜的故障检测
方法，解决了增强现实眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。与现有技术相比，本发明实施例提供的ar眼镜的有益效果与上述实施例一提供的基于ar眼镜的故障检测方法的有益效果相同，且该ar眼镜中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
143.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
144.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
145.实施例五
146.本发明实施例提供一种介质，所述介质为计算机可读存储介质，所述计算机可读存储介质具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的基于ar(增强现实，augmented reality)眼镜的故障检测方法。
147.本发明实施例提供的计算机可读存储介质例如可以是u盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
148.上述计算机可读存储介质可以是ar眼镜中所包含的；也可以是单独存在，而未装配入ar眼镜中。
149.上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被ar眼镜执行时，使得ar眼镜：所述ar眼镜上的故障检测按键被触发时，拾取当前的待检测音频，其中，所述待检测音频为待检测设备在运行过程中产生的音频；将所述待检测音频输入至收敛的故障分析神经网络模型，并获取所述故障分析神经网络模型生成的所述待检测音频对应的故障检测信息；输出所述故障检测信息对应的故障分析报告。
150.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
151.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
152.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
153.本发明提供的计算机可读存储介质，存储有用于执行上述基于ar眼镜的故障检测方法的计算机可读程序指令，解决了增强现实眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的基于ar眼镜的故障检测方法的有益效果相同，在此不做赘述。
154.实施例六
155.本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于ar眼镜的故障检测方法的步骤。
156.本技术提供的计算机程序产品解决了增强现实眼镜对工业设备进行故障检测的人力成本较高，以及故障检测效率较低的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的基于ar眼镜的故障检测方法的有益效果相同，在此不做赘述。
157.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。