基于AR眼镜的设备维修指导方法、系统及相关设备与流程

基于ar眼镜的设备维修指导方法、系统及相关设备
技术领域
1.本发明涉及设备维修指导技术领域，尤其涉及的是一种基于ar眼镜的设备维修指导方法、系统及相关设备。


背景技术：

2.随着科学技术的发展和各种设备的广泛应用，对于设备的维修也越来越受到重视。设备维修即对设备进行维护和修理，具体的，对可能存在故障的设备通过技术手段进行排查并找出故障原因，从而根据故障原因进行维修。
3.现有技术中，通常由一个维修人员到现场对设备进行实际维修，因此维修过程中只能依靠现场维修人员的个人经验，需要现场维修人员针对每一个故障进行独立识别和独立维修，维修效果（例如能否较好的完成设备存在的所有故障的维修）和效率（即完成故障维修的速率）受限于维修人员的经验。现有技术的问题在于，进行设备维修时只能依靠现场维修人员的个人经验，不利于提高设备维修的效率和效果。
4.因此，现有技术还有待改进和发展。


技术实现要素：

5.本发明的主要目的在于提供一种基于ar眼镜的设备维修指导方法、系统及相关设备，旨在解决现有技术中进行设备维修时只能依靠现场维修人员的个人经验，不利于提高设备维修的效率和效果的问题。
6.为了实现上述目的，本发明第一方面提供一种基于ar眼镜的设备维修指导方法，其中，上述基于ar眼镜的设备维修指导方法包括：通过第一目标对象对应的ar眼镜扫描获取待维修设备；获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息；在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道；获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和/或语音信息；获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
7.可选的，在上述获取上述待维修设备对应的静态信息和三维虚拟模型之前，上述
方法还包括：将待扫描区域内各个待扫描设备的静态信息录入上述ar眼镜中；通过预设的三维模型处理软件构建各上述待扫描设备的三维可视化模型，分别对各上述三维可视化模型的零部件进行信息标注，并对标注后的上述三维可视化模型进行渲染以获得各上述待扫描设备对应的三维虚拟模型，将各上述三维虚拟模型存入上述ar眼镜中；其中，上述待维修设备是上述待扫描区域内的一个待扫描设备。
8.可选的，上述获取上述待维修设备对应的静态信息和三维虚拟模型包括：当上述ar眼镜扫描到上述待维修设备时，采集获取上述待维修设备对应的多张识别图像，将上述多张识别图像输入已训练的设备识别模型并获取上述待维修设备对应的设备型号，其中，上述多张识别图像中各上述识别图像对应的采集角度不同；根据上述设备型号从上述ar眼镜中搜索获上述待维修设备对应的三维可视化模型、设备种类和设备安全运行限定信息。
9.可选的，上述在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道，包括：在接收到上述第一目标对象输入的远程联络指令时，根据预设的远程对象库获取各个远程指导对象的在线状态；根据上述设备型号、上述设备种类和上述远程对象的在线状态从上述远程对象库中确定至少一个第二目标对象；为上述第一目标对象与上述第二目标对象建立通信通道。
10.可选的，上述方法还包括：实时获取模型更新指令，根据上述模型更新指令对上述三维虚拟模型进行实时更新并向上述第一目标对象和上述第二目标对象同步显示更新后的三维虚拟模型；其中，上述模型更新指令包括上述第一目标对象和上述第二目标对象输入的模型操作指令，上述模型操作指令包括拆解指令、拖动指令、组合指令和标注指令，上述第一目标对象通过上述ar眼镜以手势控制和/或语音控制的方式输入上述模型操作指令。
11.可选的，上述通信通道包括互相独立的设备信息通信通道、指导方案通信通道和模型操作通信通道；上述设备信息通信通道用于传输上述待维修设备对应的静态信息、动态信息和描述信息；上述指导方案通信通道用于传输上述目标维修指导方案；上述模型操作通信通道用于传输上述模型更新指令。
12.可选的，上述方法还包括：在上述第一目标对象根据上述目标维修指导方案中的一个目标步骤对上述待维修设备进行维修时，获取上述第一目标对象的维修操作图像，将上述维修操作图像发送给上述第二目标对象和/或已训练的操作判断模型，以触发上述第二目标对象和/或上述已训练的操作判断模型进行误操作判断，其中，上述已训练的操作判断模型用于对上述维修操作图像进行特征识别以获取操作特征，将上述操作特征与上述目标步骤对应的步骤特征进行对比以进行误操作判断；
在接收到误操作指示信息时，对上述第一目标对象进行误操作告警提示，并限制上述ar眼镜不再输出上述目标维修指导方案中上述目标步骤之后的步骤，直到上述第一目标对象修正与上述目标步骤对应的误操作；其中，上述误操作指示信息是通过上述已训练的操作判断模型获取的模型判断信息和上述第二目标对象输入的指导对象判断信息中的任意一种。
13.可选的，上述方法还包括：在接收到误操作指示信息时，根据上述误操作指示信息获取上述误操作指示信息对应的错误等级，并记录上述目标步骤对应的误操作持续时间；当上述错误等级超过预设的等级阈值或上述误操作持续时间超过预设的时间阈值时，锁定上述第一目标对象的维修操作权限，并向预设的移动设备发送权限锁定告警信息。
14.本发明第二方面提供一种基于ar眼镜的设备维修指导系统，其中，上述基于ar眼镜的设备维修指导系统包括：设备扫描模块，用于通过第一目标对象对应的ar眼镜扫描获取待维修设备；信息获取模块，用于获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息；通信模块，用于在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道；信息处理模块，用于获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和/或语音信息；维修指导模块，用于获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
15.本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于ar眼镜的设备维修指导程序，上述基于ar眼镜的设备维修指导程序被上述处理器执行时实现上述任意一种基于ar眼镜的设备维修指导方法的步骤。
16.由上可见，本发明方案中，通过第一目标对象对应的ar眼镜扫描获取待维修设备；获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息；在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道；获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于
描述上述待维修设备的故障状态的文本信息和/或语音信息；获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
17.与现有技术中相比，本发明方案中，基于ar技术，通过ar眼镜扫描获取待维修设备，从而获取待扫描设备对应的静态信息和三维虚拟模型，并通过ar眼镜向第一目标对象（即现场维修人员）输出静态信息和三维虚拟模型，能够辅助第一目标对象进行设备维修，提高设备维修效率。同时，可以根据第一目标对象输入的远程联络指令建立第一目标对象与第二目标对象（即远程指导人员）之间的通信通道，通过该通信通道向第二目标对象传输待维修设备的相关信息，并通过该通信通道向第一目标对象反馈第二目标对象提供的目标维修指导方案，通过ar眼镜向第一目标对象输出该目标维修指导方案，从而指导第一目标对象进行设备维修。如此，可以使第一目标对象结合第二目标对象的指导进行设备维修，避免仅依靠第一目标对象的经验进行设备维修，有利于提高设备维修的效率和效果。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
19.图1是本发明实施例提供的一种基于ar眼镜的设备维修指导方法的流程示意图；图2是本发明实施例提供的一种基于ar眼镜的设备维修指导系统的结构示意图；图3是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
20.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
21.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
22.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
23.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
24.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当
…
时”或“一旦”或“响应于确定”或“响应于分类到”。类似的，短语“如果确定”或“如果分类到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确
定”或“一旦分类到[所描述的条件或事件]”或“响应于分类到[所描述条件或事件]”。
[0025]
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0026]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0027]
随着科学技术的发展和各种设备的广泛应用，对于设备的维修也越来越受到重视。设备维修即对设备进行维护和修理，具体的，对可能存在故障的设备通过技术手段进行排查并找出故障原因，从而根据故障原因进行维修。
[0028]
现有技术中，通常由一个维修人员到现场对设备进行实际维修，因此维修过程中只能依靠现场维修人员的个人经验，需要现场维修人员针对每一个故障进行独立识别和独立维修，维修效果（例如能否较好的完成设备存在的所有故障的维修）和效率（即完成故障维修的速率）受限于维修人员的经验。现有技术的问题在于，进行设备维修时只能依靠现场维修人员的个人经验，不利于提高设备维修的效率和效果。且现场维修人员可能出现操作判断错误或操作失误的情况，因此仅依靠现场维修人员进行设备维修时可能会因判断错误或操作失误而导致设备进一步故障甚至损坏的情况，影响设备的维修效果和使用安全性。
[0029]
为了解决上述多个问题中的至少一个问题，本发明方案中，通过第一目标对象对应的ar眼镜扫描获取待维修设备；获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息；在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道；获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和/或语音信息；获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
[0030]
与现有技术中相比，本发明方案中，基于ar技术，通过ar眼镜扫描获取待维修设备，从而获取待扫描设备对应的静态信息和三维虚拟模型，并通过ar眼镜向第一目标对象（即现场维修人员）输出静态信息和三维虚拟模型，能够辅助第一目标对象进行设备维修，提高设备维修效率。同时，可以根据第一目标对象输入的远程联络指令建立第一目标对象与第二目标对象（即远程指导人员）之间的通信通道，通过该通信通道向第二目标对象传输待维修设备的相关信息，并通过该通信通道向第一目标对象反馈第二目标对象提供的目标维修指导方案，通过ar眼镜向第一目标对象输出该目标维修指导方案，从而指导第一目标对象进行设备维修。如此，可以使第一目标对象结合第二目标对象的指导进行设备维修，避免仅依靠第一目标对象的经验进行设备维修，有利于提高设备维修的效率和效果。
[0031]
同时，根据本技术中的基于ar眼镜的设备维修指导方法，可以结合现场维修的第一目标对象和远程指导的第二目标对象的意见进行设备维修，有利于避免因现场维修的单个人员的错误而引起的误操作和误判断，从而有利于进一步提高设备维修的效果和设备使用的安全性。
[0032]
示例性方法如图1所示，本发明实施例提供一种基于ar眼镜的设备维修指导方法，具体的，上述方法包括如下步骤：步骤s100，通过第一目标对象对应的ar眼镜扫描获取待维修设备。
[0033]
其中，上述第一目标对象是对上述待维修设备进行现场维修的人员或智能设备（例如智能机器人），本实施例中以第一目标对象是现场维修人员为例进行具体说明。上述第一目标对象对应的ar眼镜是第一目标对象所佩戴的ar眼镜，需要说明的是，本实施例中以ar眼镜为例进行具体说明，实际使用过程中还可以使用其它与ar眼镜具有相似功能的设备，例如ar头盔等，在此不作具体说明。上述待维修设备是通过ar眼镜扫描确定的需要进行维修的设备，在一种应用场景中，第一目标对象佩戴ar眼镜对指定的区域（例如目标区域）进行扫描，ar眼镜将扫描识别出来的设备作为待维修设备。
[0034]
步骤s200，获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息。
[0035]
其中，上述静态信息是用于指示上述待维修设备对应的固定不变（不随设备使用状态或使用时间变化）的信息，例如可以包括对应设备的设备型号、设备种类和设备安全运行限定信息。其中，上述设备安全运行限定信息是预先设置的用于限定该待维修设备在正常使用时的各种参数范围的信息，例如可以包括该设备的额定功率范围、额定电压范围、额定电流范围、该设备中不同部件对应的温度限定范围、零部件旋转角度范围等，在此不作具体限定。
[0036]
在一种应用场景中，上述静态信息还可以包括对应设备的设备唯一编码。上述设备唯一编码可以用于指示对应的设备身份，每一个设备的设备唯一编码不同，如此，即使对于相同设备型号的设备，也可以根据实际使用需求的不同、使用环境的不同等因素预先为不同设备设置具体的设备安全运行限定信息，从而进一步确定针对性的维修指导方案，提高设备维修效果。
[0037]
本实施例中，上述待维修设备还具有对应的三维虚拟模型，上述三维虚拟模型用于展示该待维修设备的具体结构，且该三维虚拟模型的各个部件可以进行拆解、拖动、组合和标注，以便用户更好地了解对应的待维修设备的内部结构。
[0038]
本实施例中，在上述获取上述待维修设备对应的静态信息和三维虚拟模型之前，上述方法还包括：将待扫描区域内各个待扫描设备的静态信息录入上述ar眼镜中；通过预设的三维模型处理软件构建各上述待扫描设备的三维可视化模型，分别对各上述三维可视化模型的零部件进行信息标注，并对标注后的上述三维可视化模型进行渲染以获得各上述待扫描设备对应的三维虚拟模型，将各上述三维虚拟模型存入上述ar眼镜中；其中，上述待维修设备是上述待扫描区域内的一个待扫描设备。
[0039]
本实施例中，可以根据上述基于ar眼镜的设备维修指导方法对待扫描区域内的所
有待扫描设备进行维修指导。上述待扫描区域是预先限定的需要进行设备扫描和维修的区域，可以根据实际需求确定。上述待扫描设备包括待扫描区域中的所有数控机床设备。需要说明的是，本实施例中以数控机床为例进行说明，实际使用过程中还可以包括其它类型的设备，在此不作具体限定。
[0040]
其中，上述预设的三维模型处理软件是预先设置好的用于进行三维模型构建和处理的软件，例如可以为unity软件，还可以是其它软件，在此不作具体限定。本实施例中，由用户预先录入对应的静态信息，并预先使用unity软件建立数控机床的三维可视化模型，对模型的各个零部件进行静态信息的标注，并对模型进行渲染，将渲染后的机床虚拟模型放入ar眼镜中。需要说明的是，本实施例中静态信息和三维虚拟模型直接存储在ar眼镜中，可以更加方便和快速地进行查找和调用，有利于提高设备维修效率。实际应用过程中，静态信息和三维虚拟模型也可以存储或备份到云端服务器中，以防止丢失，且方便不同用户随时查找和调用，无需佩戴指定的ar眼镜。
[0041]
在一种应用场景中，在第一目标对象使用ar眼镜进行扫描时，先获取针对待维修设备的识别图像，然后根据识别图像识别获取该待维修设备对应的设备型号和/或设备唯一编码，进而根据设备型号和/或设备唯一编码在ar眼镜中搜索获得对应的设备种类和设备安全操作限定信息。
[0042]
具体的，当设备表面设置有与设备唯一编码对应的标志（例如二维码、条形码等）时，可以直接识别出识别图像中的设备唯一编码，从而确定设备型号、设备种类和设备安全操作限定信息。
[0043]
本实施例中，上述步骤s200具体包括如下步骤：当上述ar眼镜扫描到上述待维修设备时，采集获取上述待维修设备对应的多张识别图像，将上述多张识别图像输入已训练的设备识别模型并获取上述待维修设备对应的设备型号，其中，上述多张识别图像中各上述识别图像对应的采集角度不同；根据上述设备型号从上述ar眼镜中搜索获上述待维修设备对应的三维可视化模型、设备种类和设备安全运行限定信息。
[0044]
其中，当ar眼镜扫描到一个设备实体时，可以发出语音提示信息，提示第一目标对象进行位置移动以对该待扫描设备进行多角度的扫描和图像采集，从而获得更加清晰和全面的识别图像，提高设备型号识别的效率和准确性。
[0045]
上述已训练的设备识别模型是预先训练好的用于根据输入的图像识别获取图像中的设备对应的设备型号的神经网络模型。
[0046]
上述设备识别模型根据如下步骤进行预先训练：将第一训练数据中的训练图像输入设备识别模型，通过设备识别模型获取上述训练图像中各个训练设备的预测设备型号，其中，上述第一训练数据包括多组训练图像组，每一组训练图像组包括训练图像和标注设备型号；根据上述训练图像对应的预测设备型号和标注设备型号，对上述设备识别模型的模型参数进行调整，并继续执行上述将第一训练数据中的训练图像输入设备识别模型的步骤，直至满足预设第一训练条件，以得到已训练的设备识别模型。
[0047]
其中，训练图像中每一个训练设备都对应有一个标注设备型号。上述预设第一训练条件包括设备识别模型对应的损失值不小于第一损失阈值，或者设备识别模型对应的迭代训练次数不小于预设的第一迭代阈值，还可以包括其它条件，在此不作具体限定。对应的损失值可以通过预设的第一损失函数计算，上述第一损失阈值可以根据实际需求预先设置
和调整，在此不作具体限定。
[0048]
步骤s300，在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道。
[0049]
其中，上述第二目标对象是远程指导人员（即远程专家）或用于进行远程指导智能机器人，即不在现场进行设备维修但可以通过预先设置的远程专家指导系统、专家平台或可移动设备为第一目标对象提供维修指导的人员（或智能机器人）。上述远程联络指令由第一目标对象根据需求输入，并通过ar眼镜捕捉和处理后获得，用于向第二目标对象（即远程指导人员）。具体的，上述第一目标对象可以与ar眼镜进行交互，例如进行语音交互或手势交互，从而输入对应的指令。
[0050]
具体的，上述在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道，包括：在接收到上述第一目标对象输入的远程联络指令时，根据预设的远程对象库获取各个远程指导对象的在线状态；根据上述设备型号、上述设备种类和上述远程对象的在线状态从上述远程对象库中确定至少一个第二目标对象；为上述第一目标对象与上述第二目标对象建立通信通道。
[0051]
其中，上述远程对象库是预先设置的数据库，用于存储所有可以为设备维修提供指导的远程指导对象的信息。上述远程对象库可以根据实际需求预先设置和实时调整，在此不作具体限定。
[0052]
本实施例中，第一目标对象（即现场维修人员）在维修过程中遇到困难时，可以从预设的远程对象库中确定需要联系的第二目标对象（即远程指导人员），然后建立通信通道，通过给通信通道，根据远程专家指导系统呼叫专家，远程专家指导系统集成了语音交互功能、图像和视频传输功能、空间定位标注功能，上述远程对象库也可以集成到远程专家指导系统中，用于存储多个专家的信息，如姓名、技术等级、技术类别、联系方式、在线状态、擅长的设备型号等，上述在线状态用于体现对应的第二目标对象（即专家）是否方便接入并进行指导。维修人员可以通过语音交互、视频交互的方式与专家进行问题的问答与交流，专家可以在远程专家系统里标注机床部件位置，标注的信息可以传输到维修人员的眼睛里。在一种应用场景中，对应的标注可以基于ar技术标注到ar眼镜的显示屏中对应的设备实体的位置，且此标注具有空间定位的功能，当眼镜画面移动时，标注与显示屏中设备实体的相对位置不会变化。具体的，可以建立标注与设备实体之间的关联对应关系，并记录标注与设备实体在画面中的相对位置，在ar眼镜移动后，移动对应的标注以保持标注和设备实体时间的相对位置不变。
[0053]
在另一种应用场景中，上述标注还可以标注到对应的三维虚拟模型中，以方便第一目标对象结合三维虚拟模型进一步了解待维修设备的构造和维修方案。需要说明的是，在远程专家指导系统中，维修人员和专家也可以进行文字信息的交流，并进行指导维修文件和图片的传输。
[0054]
具体的，本实施例中，在ar眼镜识别到第一目标对象的手势动作（或识别到语音）并处理后生成远程联络指令时，ar眼镜连接预设的远程对象库（即建立ar眼镜与远程对象库的通信通道）并获取上述远程对象库中各个远程指导对象的在线状态。根据当前的待维修设备的设备种类快速筛选可以处理该种类的所有远程指导对象，然后在该种类对应的所有远程指导对象中选择出所有在线状态为在线的远程指导对象，再进一步遍历以选择出其
中的擅长的设备型号与待维修设备的设备型号相同的远程指导对象（中的一者或多者）作为第二目标对象。如此，先根据设备种类和在线状态进行筛选，再根据设备型号进行遍历和匹配，则无需在每一次使用时都遍历远程对象库中的所有远程指导对象，有利于提高第二目标对象的筛选速率，进而提高设备维修效率。
[0055]
需要说明的是，实际使用过程中，可以选择一个或多个第二目标对象，选择多个第二目标对象时可以结合更多专家意见进行指导，进而提高设备维修效果。本实施例中以选择一个第二目标对象为例进行具体说明，但不作具体限定。
[0056]
步骤s400，获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和/或语音信息。
[0057]
其中，上述动态信息是对上述待维修设备进行采集获取的该待维修设备在当前时刻的运行状态信息，可以包括该设备对应的设备图像和/或设备视频，还可以包括上述待维修设备在当前时刻的电压、电流、功率、部件温度等参数，在此不做具体限定。进一步的，上述动态信息还可以包括待维修设备对应的故障代码（或用于指示故障的故障编码），上述故障代码可以从待维修设备的系统采集获得或对上述待维修设备的显示屏上的显示内容进行识别后获得，还可以有其它获取方式，在此不做具体限定。进一步的，本实施例中，上述描述信息可以包括第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和语音信息。
[0058]
第二目标对象根据接收到的静态信息、三维虚拟模型、动态信息和描述信息进行故障判断并确定对应的维修方案，从而生成（或输入）用于指导第一目标对象进行设备故障维修的目标维修指导方案。
[0059]
步骤s500，获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
[0060]
本实施例中，上述目标维修指导方案由多个按顺序排列的步骤组成，且可以通过上述ar眼镜依次为上述第一目标对象输出各个步骤，以便第一目标对象按照指导进行设备维修，提升设备维修效率。
[0061]
需要说明的是，本实施例中，上述ar眼镜除了显示上述目标维修指导方案中的步骤之外，还可以实时显示上述待维修设备的静态信息、三维虚拟模型、动态信息、故障代码等，以便第一目标对象及时了解待维修设备的各个信息、运行情况和故障情况，并可以帮助第一目标对象结合三维虚拟模型进一步了解待维修设备的构造。例如第一目标对象可以通过拖拽拆解、组合等针对三维虚拟模型的操作进一步了解待维修设备的内部构造，以提升维修效率和效果。
[0062]
进一步的，本实施例中，上述基于ar眼镜的设备维修指导方法还包括：实时获取模型更新指令，根据上述模型更新指令对上述三维虚拟模型进行实时更新并向上述第一目标对象和上述第二目标对象同步显示更新后的三维虚拟模型；其中，上述模型更新指令包括上述第一目标对象和上述第二目标对象输入的模型操作指令，上述模型操作指令包括拆解
指令、拖动指令、组合指令和标注指令，上述第一目标对象通过上述ar眼镜以手势控制和/或语音控制的方式输入上述模型操作指令。
[0063]
需要说明的是，本实施例中为上述第一目标对象和上述第二目标对象同步实时显示对应的三维虚拟模型，当三维虚拟模型有更新时也进行同步更新显示，保证上述第一目标对象和上述第二目标对象所看到的三维虚拟模型是完全相同的，以便提高第一目标对象和第二目标对象之间的沟通效率和准确性，从而提高设备维修效率。
[0064]
具体的，维修人员（即第一目标对象）使用ar眼镜在维修现场对机床进行扫描和维修时，在ar眼镜识别到实体机床（即待维修设备）时，通过ar眼镜的显示屏显示对应机床的三维虚拟模型和静态信息。此时第一目标对象可以与上述三维虚拟模型进行交互，例如，上述ar眼镜具有手势识别和语音识别的功能，通过识别第一目标对象手势动作或语音命令来进行三维虚拟模型的拆解、拖动、组合等操作。当第一目标对象和第二目标对象建立通信通道之后，两者会同步显示完全相同的三维虚拟模型。第二目标对象也可以通过远程专家指导系统输入对应的模型更新指令以对三维虚拟模型进行控制，其具体输入方式可以根据实际需求确定，例如打字输入或手势控制输入，在此不做具体限定。
[0065]
进一步的，上述通信通道包括互相独立的设备信息通信通道、指导方案通信通道和模型操作通信通道；上述设备信息通信通道用于传输上述待维修设备对应的静态信息、动态信息和描述信息；上述指导方案通信通道用于传输上述目标维修指导方案；上述模型操作通信通道用于传输上述模型更新指令。
[0066]
本实施例中，对于第一目标对象和第二目标对象，分别建立三个互相独立的设备信息通信通道、指导方案通信通道和模型操作通信通道来传输不同的数据，以根据数据传输需求分别设置不同通道对应的带宽等，从而保证数据传输质量且提高数据传输速度，满足实时性要求。具体的，上述设备信息通信通道用于传输上述待维修设备对应的静态信息、动态信息和描述信息，静态信息、动态信息和描述信息中可能包括大量需要持续传输的视频和图片，因此设备信息通信通道设置最高的带宽，但其对于实时性要求较低，因此时延可以设置较高。上述指导方案通信通道用于传输对应的目标维修指导方案，为避免因数据传输出错导致维修方案出错，该通道的数据传输安全性和稳定性设置得较高。上述模型操作通信通道用于传输模型更新指令，其对于实时性得要求较高（以实现实时更新），但数据量较少，因此带宽可以较少，但时延设置得较低。如此，根据数据特性、数据重要性和数据实时性要求，各个通信通道的时延、带宽可以灵活设置和调整，有利于维持稳定性，提高维修指导效果，从而提高设备维修效率和准确性和实时性。
[0067]
在另一种应用场景中，上述通信通道可以包括文字通信通道、语音通信通道和图像通信通道，不同的通信通道专门用于处理对应类型的数据，以充分利用其通信能力，提高数据通信效率。
[0068]
本实施例中，上述基于ar眼镜的设备维修指导方法还包括：在上述第一目标对象根据上述目标维修指导方案中的一个目标步骤对上述待维修设备进行维修时，获取上述第一目标对象的维修操作图像，将上述维修操作图像发送给上述第二目标对象和/或已训练的操作判断模型，以触发上述第二目标对象和/或上述已训练的操作判断模型进行误操作判断，其中，上述已训练的操作判断模型用于对上述维修操作图像进行特征识别以获取操作特征，将上述操作特征与上述目标步骤对应的步骤特征进行对比以进行误操作判断；在
接收到误操作指示信息时，对上述第一目标对象进行误操作告警提示，并限制上述ar眼镜不再输出上述目标维修指导方案中上述目标步骤之后的步骤，直到上述第一目标对象修正与上述目标步骤对应的误操作；其中，上述误操作指示信息是通过上述已训练的操作判断模型获取的模型判断信息和上述第二目标对象输入的指导对象判断信息中的任意一种。
[0069]
其中，上述目标步骤是上述目标维修指导方案中的任意一个步骤，具体为第一目标对象正在执行的当前步骤。当第一目标对象根据目标步骤进行维修时，ar眼镜实时采集第一目标对象的维修操作图像，用于判断其操作是否有误。在操作有误时进行告警提示，并且不再输出该目标步骤之后的步骤，以保证在第一目标对象没有修正该错误时无法进行下一步的步骤，提高设备维修的效果和准确性。
[0070]
根据维修操作图像进行误操作判断可以由预先设置的已训练的操作判断模型进行，也可以由第二目标对象直接判断。具体的，上述已训练的操作判断模型是预先训练好的神经网络模型，用于提取输入的维修操作图像的中的动作特征，将上述动作特征与输入该模型的一个步骤描述文本进行匹配，匹配成功（例如两者代表同一动作）则认为不存在误操作，反之则存在误操作。
[0071]
上述操作判断模型根据如下步骤进行预先训练：将第二训练数据中的操作训练图像和操作步骤描述文本输入操作判断模型，通过操作判断模型获取上述操作训练图像对应的预测步骤描述文本，并通过上述操作判断模型计算上述预测步骤描述文本与对应的操作步骤描述文本之间的预测相似度，其中，上述第二训练数据包括多组训练匹配数据组，每一组训练匹配数据组包括操作训练图像、操作步骤描述文本和标注相似度；根据上述预测相似度及其对应的标注相似度对上述操作判断模型的模型参数进行调整，并继续执行上述将第二训练数据中的操作训练图像和操作步骤描述文本输入操作判断模型的步骤，直至满足预设第二训练条件，以得到已训练的操作判断模型。
[0072]
其中，上述标注相似度的值为0或1，0代表不匹配，1代表匹配。操作判断模型输出的结果为预测相似度，预测相似度大于或等于预设的阈值（例如0.5或1）时为匹配（此时模型判断信息不是误操作指示信息），反之则为不匹配（此时模型判断信息为误操作指示信息）。上述预设第二训练条件包括操作判断模型对应的损失值不小于第二损失阈值，或者操作判断模型对应的迭代训练次数不小于预设的第二迭代阈值，还可以包括其它条件，在此不作具体限定。对应的损失值可以通过预设的第二损失函数计算，上述第二损失阈值可以根据实际需求预先设置和调整，在此不作具体限定。
[0073]
进一步的，上述基于ar眼镜的设备维修指导方法还包括：在接收到误操作指示信息时，根据上述误操作指示信息获取上述误操作指示信息对应的错误等级，并记录上述目标步骤对应的误操作持续时间；当上述错误等级超过预设的等级阈值或上述误操作持续时间超过预设的时间阈值时，锁定上述第一目标对象的维修操作权限，并向预设的移动设备发送权限锁定告警信息。
[0074]
具体的，在ar眼镜接收到误操作指示信息时，确定当前的误操作对应的错误等级，具体可以通过预先设置的等级表查找确定。并且记录误操作持续的时间，即未被修正的时间。当误操作等级过高，或者长时间未被修正时，认为第一目标对象能力不足，锁定第一目标对象的维修操作权限，令其停止维修，并向预设的移动设备（可以预先设置和调整，例如可以设置为管理人员的手机）发送权限锁定告警信息，及时提醒派出新的维修人员。以避免
第一目标对象造成更大失误，提高设备使用的安全性。具体的，ar眼镜还可以通过瞳孔识别的方式获取第一目标对象的身份信息并一同发送到上述预设的移动设备。
[0075]
如此，本实施例中，基于ar眼镜，结合语音识别、图像识别、空间定位标注、手势识别等功能，结合远程对象的指导对设备进行维修，有利于实现数控机床的精准指导维修，提高机床维修的工作效率，减少维修人员和专家的工作量。从而解决现有的维修人员单方面维修时维修效率低的问题。
[0076]
由上可见，本发明方案中，基于ar技术，通过ar眼镜扫描获取待维修设备，从而获取待扫描设备对应的静态信息和三维虚拟模型，并通过ar眼镜向第一目标对象（即现场维修人员）输出静态信息和三维虚拟模型，能够辅助第一目标对象进行设备维修，提高设备维修效率。同时，可以根据第一目标对象输入的远程联络指令建立第一目标对象与第二目标对象（即远程指导人员）之间的通信通道，通过该通信通道向第二目标对象传输待维修设备的相关信息，并通过该通信通道向第一目标对象反馈第二目标对象提供的目标维修指导方案，通过ar眼镜向第一目标对象输出该目标维修指导方案，从而指导第一目标对象进行设备维修。如此，可以使第一目标对象结合第二目标对象的指导进行设备维修，避免仅依靠第一目标对象的经验进行设备维修，有利于提高设备维修的效率和效果。
[0077]
示例性设备如图2中所示，对应于上述基于ar眼镜的设备维修指导方法，本发明实施例还提供一种基于ar眼镜的设备维修指导系统，上述基于ar眼镜的设备维修指导系统包括：设备扫描模块610，用于通过第一目标对象对应的ar眼镜扫描获取待维修设备；信息获取模块620，用于获取上述待维修设备对应的静态信息和三维虚拟模型，并通过上述ar眼镜向上述第一目标对象输出上述静态信息和上述三维虚拟模型，其中，上述静态信息包括设备型号、设备种类和设备安全运行限定信息；通信模块630，用于在接收到上述第一目标对象输入的远程联络指令时，为上述第一目标对象与第二目标对象建立通信通道；信息处理模块640，用于获取上述待维修设备对应的动态信息和描述信息，通过上述通信通道向上述第二目标对象传输上述待维修设备对应的静态信息、三维虚拟模型、动态信息和描述信息以触发上述第二目标对象返回目标维修指导方案，其中，上述动态信息包括设备图像和/或设备视频，上述描述信息包括上述第一目标对象输入的用于描述上述待维修设备的故障状态的文本信息和/或语音信息；维修指导模块650，用于获取上述第二目标对象通过上述通信通道返回的目标维修指导方案，通过上述ar眼镜向上述第一目标对象输出上述目标维修指导方案以触发上述第一目标对象根据上述目标维修指导方案对上述待维修设备进行维修。
[0078]
具体的，本实施例中，上述基于ar眼镜的设备维修指导系统及其各模块的具体功能可以参照上述基于ar眼镜的设备维修指导方法中的对应描述，在此不再赘述。
[0079]
需要说明的是，上述基于ar眼镜的设备维修指导系统的各个模块的划分方式并不唯一，在此也不作为具体限定。
[0080]
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括基于ar眼镜的设备维修指导程序，存储器为基于ar眼镜的设备维修指导程序的运行提供环境。该基于ar眼镜的设备维修
指导程序被处理器执行时实现上述任意一种基于ar眼镜的设备维修指导方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
[0081]
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0082]
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于ar眼镜的设备维修指导程序，上述基于ar眼镜的设备维修指导程序被处理器执行时实现本发明实施例提供的任意一种基于ar眼镜的设备维修指导方法的步骤。
[0083]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0084]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0085]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0086]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0087]
在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0088]
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0089]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。