一种基于增强现实的机械产品远程故障诊断与排除系统的制作方法

1.本发明属于智能服务技术领域，具体涉及一种基于增强现实的机械产品远程故障诊断与排除系统。


背景技术：

2.随着工业的发展，更多的企业或用户拥有各种大型机器和设备，它们的稳定运行与否直接影响企业或用户的生产效益，而设备一旦出现故障，维修人员无法第一时间赶到现场，并且普通的维修资料与设备无法让维修人员快速排查设备故障。为提高设备的运行效率及维修的及时率，有必要提出一种智能化的机械产品故障诊断及排除系统。
3.大多数机械产品使用场所并不固定，网络通信情况受限，因此现有技术不能满足工程机械对智能化故障诊断及排除的需求，同时，现有技术缺少深度学习功能，未对目标数据模型进行持续优化，不能持续提升ar设备的识别效率。


技术实现要素：

4.本发明的目的是为了解决现有技术不能满足工程机械对智能化故障诊断及排除的需求的问题，提出了一种基于增强现实的机械产品远程故障诊断与排除系统。
5.本发明的技术方案是：一种基于增强现实的机械产品远程故障诊断与排除系统包括故障信息库、故障信息采集模块、故障匹配模块、远程协助模块和深度学习模块；故障信息库部署在远程服务器、ar眼镜或智能移动终端上，其包括故障排除方案库和目标匹配库，用于存储故障排除方案和故障目标，并在故障匹配成功后推送故障排除方案；故障信息采集模块用于采集故障信息；故障匹配模块用于将故障信息模块采集的故障信息与故障信息库的目标数据进行故障匹配；远程协助模块用于非现场技术人员进行远程故障诊断和远程故障排除操作；深度学习模块用于在机械产品故障排除操作成功后进行匹配学习。
6.进一步地，故障信息库包括故障排除方案库和目标匹配库；故障排除方案库包括故障排除信息和故障维修动画；其中，故障排除信息包括故障现象、故障原因、故障排除方案和操作注意事项，故障维修动画包括基于三维模型制作的维修步骤动画和维修视频；目标匹配库包括故障视频音频库和目标识别库；其中，故障视频音频库包括机械产品出现故障后的视频和音频，目标识别库包括故障诊断信息的2d部件图像和3d实体扫描数据；其中，3d实体扫描数据的获取方法为：将定义的识别基准放置于识别目标上，利用ar眼镜或智能移动终端扫描识别基准，构建空间虚拟坐标系；扫描目标特征，并确定目标特征相对于空间虚拟坐标系的空间坐标；通过坐标转换将目标特征的空间坐标进行投影，得
到识别目标的投影目标，作为3d实体扫描数据。
7.进一步地，故障信息采集模块采集的故障信息包括通过ar眼镜或智能移动终端语音输入的故障现象、通过ar眼镜或智能移动终端录制的故障视频或故障音频与通过ar眼镜或智能移动终端扫描的2d部件图像或3d实体扫描数据。
8.进一步地，故障匹配模块通过识别语音、故障视频、故障音频、2d部件图像和3d实体扫描数据，与故障信息库的目标数据进行故障匹配；其中，语音匹配的具体方法为：将用户通过语音输入的故障现象作为关键词，并与故障排除方案库进行模糊匹配；故障视频和故障音频匹配的具体方法为：对用户录制的故障视频或故障音频进行关键帧图像分析或音频分析，并与故障视频音频库进行特征比对；2d部件图像和3d实体扫描数据匹配的具体方法为：获取用户提交的2d部件图像或3d实体扫描数据，并与目标识别库进行模糊匹配，将模糊匹配后的故障信息列表推送至ar眼镜或智能移动终端，用户通过语音或手势在ar眼镜或智能移动终端上交互选择故障排除方案，将用户交互选择的故障排除方案推送并展示在ar眼镜或智能移动终端上。
9.进一步地，远程协助模块进行远程操作的具体方法为：将用户录制的故障视频或故障音频提交至非现场技术人员，通过ar眼镜或智能移动终端识别机械产品部位，保持非现场技术人员视角和机械产品的三维模型联动；通过非现场技术人员进行故障诊断，将诊断得到的故障排除方案或故障维修动画推送至ar眼镜或智能移动终端，并通过音频或视频指导用户进行故障排除操作。
10.进一步地，深度学习模块进行匹配学习的具体方法为：在设定时间，对故障信息模块采集的故障信息与故障信息库的目标数据再次进行故障匹配，得到识别特征，并将识别特征上传至故障信息库中，进行定期同步更新。
11.本发明的有益效果是：（1）本发明对工程机械故障诊断与排除进行研究，提出一种基于增强现实的机械产品远程故障诊断与排除系统，构建故障信息库，通过ar眼镜或智能移动终端采集故障信息，对比分析故障信息与故障信息库中的目标数据，匹配成功后推送具有一定相似度的故障排除信息或维修动画。
12.（2）用户可以开启远程协助，实现设备远程故障诊断与排除，同时通过深度学习模块，优化故障信息库中目标数据模型，提高目标识别效率，有效降低维修人员的专业程度，解放维修人员的双手，有效提高产品故障诊断及排除效率。
附图说明
13.图1为机械产品远程故障诊断与排除系统的结构图；图2为故障诊断排除系统流程图；图3为系统深度学习及数据同步流程图。
具体实施方式
14.下面结合附图对本发明的实施例作进一步的说明。
15.在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发
明中出现的缩略语和关键术语定义进行说明：增强现实（augmented reality，ar）：借助计算机图形图像与数据交互技术，将虚拟信息实施映射到真实场景中，虚拟信息与真实信息相互补充，增加用户感知真实场景的信息量与理解程度。
16.三维模型：物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。
17.如图1所示，本发明提供了一种基于增强现实的机械产品远程故障诊断与排除系统，包括故障信息库、故障信息采集模块、故障匹配模块、远程协助模块和深度学习模块；故障信息库部署在远程服务器、ar眼镜或智能移动终端上，其包括故障排除方案库和目标匹配库，用于存储故障排除方案和故障目标，并在故障匹配成功后推送故障排除方案；故障信息采集模块用于采集故障信息；故障匹配模块用于将故障信息模块采集的故障信息与故障信息库的目标数据进行故障匹配；远程协助模块用于非现场技术人员进行远程故障诊断和远程故障排除操作；深度学习模块用于在机械产品故障排除操作成功后进行匹配学习。
18.在本发明实施例中，故障信息库包括故障排除方案库和目标匹配库；故障排除方案库包括故障排除信息和故障维修动画；其中，故障排除信息包括故障现象、故障原因、故障排除方案和操作注意事项，故障维修动画包括基于三维模型制作的维修步骤动画和维修视频；目标匹配库包括故障视频音频库和目标识别库；其中，故障视频音频库包括机械产品出现故障后的视频和音频，目标识别库包括故障诊断信息的2d部件图像和3d实体扫描数据；其中，3d实体扫描数据的获取方法为：将定义的识别基准放置于识别目标上，利用ar眼镜或智能移动终端扫描识别基准，构建空间虚拟坐标系；扫描目标特征，并确定目标特征相对于空间虚拟坐标系的空间坐标；通过坐标转换将目标特征的空间坐标进行投影，得到识别目标的投影目标，作为3d实体扫描数据。
19.在本发明实施例中，故障信息采集模块采集的故障信息包括通过ar眼镜或智能移动终端语音输入的故障现象、通过ar眼镜或智能移动终端录制的故障视频或故障音频与通过ar眼镜或智能移动终端扫描的2d部件图像或3d实体扫描数据。
20.在本发明实施例中，故障匹配模块通过识别语音、故障视频、故障音频、2d部件图像和3d实体扫描数据，与故障信息库的目标数据进行故障匹配；其中，语音匹配的具体方法为：将用户通过语音输入的故障现象作为关键词，并与故障排除方案库进行模糊匹配；故障视频和故障音频匹配的具体方法为：对用户录制的故障视频或故障音频进行关键帧图像分析或音频分析，并与故障视频音频库进行特征比对；2d部件图像和3d实体扫描数据匹配的具体方法为：获取用户提交的2d部件图像或3d实体扫描数据，并与目标识别库进行模糊匹配，将模糊匹配后的故障信息列表推送至ar
眼镜或智能移动终端，用户通过语音或手势在ar眼镜或智能移动终端上交互选择故障排除方案，将用户交互选择的故障排除方案推送并展示在ar眼镜或智能移动终端上。
21.在本发明实施例中，远程协助模块进行远程操作的具体方法为：将用户录制的故障视频或故障音频提交至非现场技术人员，通过ar眼镜或智能移动终端识别机械产品部位，保持非现场技术人员视角和机械产品的三维模型联动；通过非现场技术人员进行故障诊断，将诊断得到的故障排除方案或故障维修动画推送至ar眼镜或智能移动终端，并通过音频或视频指导用户进行故障排除操作。
22.在本发明实施例中，深度学习模块进行匹配学习的具体方法为：在设定时间，对故障信息模块采集的故障信息与故障信息库的目标数据再次进行故障匹配，得到识别特征，并将识别特征上传至故障信息库中，进行定期同步更新。
23.在本发明实施例中，如图2所示，当机器出现故障后，现场维修人员或用户对故障信息进行采集，如通过ar眼镜或智能移动终端的语音录入故障现象、录制故障视频音频或者通过扫描2d图像或3d实体数据。故障信息采集完成并提交后，系统获取故障信息，并在故障信息库中进行模糊匹配，如系统识别用户语音描述的故障现象在故障排除方案库中进行模糊搜索、系统对比用户提交的与目标匹配库中的故障视频音频，通过对视频音频关键帧图像特征进行分析对比或系统对比用户提交的2d/3d扫描数据与目标匹配库中的目标数据进行对比分析，给出具有一定相似度的故障排除方案列表，并推送给现场维修人员或用户，并展示到ar眼镜视野中。若经过系统模糊匹配，未检索到相近的故障诊断方案，系统提示用户进行选择，重新采集故障信息或是选择远程协助。如果现场维修人员或用户选择远程协助后，系统自动与ar眼镜或智能移动终端建立通信，现场维修人员或用户可以提交故障视频音频供非现场技术人员进行故障分析，同时ar眼镜或智能移动终端所扫描的部件与非现场技术人员端的三维模型联动，便于其对故障的分析；或者是由非现场技术人员接管ar眼镜或智能移动终端视角，此时，非现场技术人员如同现场排查故障一样，通过语音与现场维修人员或用户交互，由现场维修人员或用户调整ar眼镜或智能移动终端扫描区域，非现场技术人员对故障诊断完成后，推送故障排除步骤或维修动画，并可通过语音或视频指导用户进行排除操作。
24.如图3所示，系统在设定的时间内，对成功排除的故障进行深度学习，即再一次比对匹配的条件及目标，找出两者的差异点，通过添加新的识别特征点，优化目标模型，并上传至增强现实设备的数据库中。同样的，系统在设定的时间内，对增强设备的数据库与远程数据库进行数据同步。
25.本发明的工作原理及过程为：本发明提出一种基于增强现实的机械产品远程故障诊断与排除系统，构建故障信息库，通过ar眼镜或智能移动终端采集故障信息，对比分析故障信息与故障信息库中的目标数据，匹配成功后推送具有一定相似度的故障排除信息或维修动画；用户也可以开启远程协助，实现设备故障诊断与排除，有效降低维修人员的专业程度，提高产品故障诊断及排除效率。
26.具体为：现场维修人员或用户通过ar眼镜或智能移动终端采集故障信息，如，通过语音输入故障现象、录制机器故障视频音频及扫描2d或3d目标数据等，系统获取故障信息进行数据匹配，并推送具有一定相似度的故障维修信息，在维修人员或用户ar眼镜或智能移动终端上展示；若没有匹配对象，系统提示请求远程协助，若请求远程协助，维修人员或
用户可通过ar眼镜或移动终端录制故障视频及音频传递给非现场技术人员，非现场技术人员对故障分析后，推送对应的故障排除信息；或直接与非现场技术人员建立通信，此时，非现场技术人员通过现场维修人员的ar眼镜或智能移动终端对故障进行诊断，并推送对应的故障排除信息。
27.本发明的有益效果为：（1）本发明对工程机械故障诊断与排除进行研究，提出一种基于增强现实的机械产品远程故障诊断与排除系统，构建故障信息库，通过ar眼镜或智能移动终端采集故障信息，对比分析故障信息与故障信息库中的目标数据，匹配成功后推送具有一定相似度的故障排除信息或维修动画。
28.（2）用户可以开启远程协助，实现设备远程故障诊断与排除，同时通过深度学习模块，优化故障信息库中目标数据模型，提高目标识别效率，有效降低维修人员的专业程度，解放维修人员的双手，有效提高产品故障诊断及排除效率。
29.本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。