一种基于增强现实的产品交互与故障诊断方法与流程

1.本发明属于人机交互技术领域，涉及针对大型装备或复杂机器的智能交互技术，具体是指一种可让用户快速地掌握产品的功能，使用方法，拆装维修技巧以及迅速地判断和锁定产品工作状态和故障点的基于增强现实的产品交互与故障诊断方法。


背景技术：

2.现有技术中，大型装备或机器在出厂时需要配备详细的说明书供用户了解和使用，比如发动机手册，汽车手册，精密车床手册等等。对应的机器操作者，维修工人，二次设计研发员等用户，需要了解这些手册中的相关内容，才能对设备进行操作使用或者维修设计等等工作。如果不加了解，就直接上手操作使用或维持，很容易造成机器的损坏，影响机器的功能和工作效率。
3.然而本专利申请的发明人发现，现有技术中对装备出厂所配备详细的手册，包括产品说明书，维修手册，使用说明书，用户手册，故障诊断说明，拆装手册等等。这些手册大多都是纸质的，用户想要快速查找里面相关内容时操作非常不便利。针对这一问题，有的厂家会在纸质手册的基础上同时配备电子文档，或者是配备一个专用的电子平板设备，以便用户快速查阅对应的产品手册。这样操作虽然提高了查找效率，但是在实际操作层面，对于大型装备仍是杯水车薪，提升并不明显。首先大型设备手册种类多，用户无法短时间完全有效地找到当时需要的内容。其次通过手册提供的文字和二维图片说明，阅读理解字面意思，效率低下，也很可能因为字面理解错误，导致错误操作。再者手册离不开双手，需要双手翻阅，甚至是多人合作（比如一人翻阅记录，一人对照机器操作）在狭小空间，矛盾更加突出，工具、手册等无处可放；熟悉学习的时间、成本和效率都是不能忍受的。
4.本专利申请的发明人通过检索发现，针对上述的解决方案存在的问题，有人进一步提出了引入智能眼镜的方案，即将配备的电子手册或是平板电脑升级为智能眼镜，让用户直接通过智能眼镜来查阅相关信息。但该方案还是停留在简单的将产品信息导入现有市售产品中的阶段。也就是说虽然查阅效率进一步提高了，但是交互效率仍然很低下，无法对现实场景进行识别并结合产品的现实场景提供更多的支持；更加无法对产品进行故障诊断与识别，并指导用户自助维修。同时还缺少对用户进行安全预警的相关功能，即无法保障用户在与产品进行交互或诊断时不会受到产品和产品周边其他部件的碰撞等伤害。
5.另外，本专利申请的发明人还通过检索发现有专利申请号为：202110337423.2，专利名称为：一种基于增强现实的装配引导方法、系统及应用的发明专利申请；该专利申请公开了一种基于增强现实的装配引导方法、系统及应用，其中装配引导方法包括：将零件模型轮廓信息和配信息解析为结构化数据；识别并捕捉所有零件的位姿信息，为ar场景提供零件的三维跟踪注册矩阵，对现实场景中零件进行动态跟踪及定位，搭建增强现实场景；实时提取零件的三维边缘轮廓特征信息，区分在当前状态下待装配体的基础件和其余零件；基础件待装配位置处高亮显示引导信息；待装配零件进行包络体高亮化标识；装配并动态视觉识别判断装配情况，实现虚实融合；重复上述步骤，所有的零件安装完成。本专利申请的
发明人通过对比发现，该专利申请公开了通过增强现实技术进行快速装配引导的一种方案。但并未涉及产品的使用说明介绍、故障诊断还有用户安全预警等内容。
6.通过进一步检索，本专利申请的发明人发现有专利申请号为：202011420025.9，专利名称为：一种增强现实环境下实时控制及可视化数字工厂的系统的发明专利申请；该专利申请公开了一种增强现实环境下实时控制及可视化数字工厂的系统及装置，至少包括增强现实装置、服务器系统和与若干被控对象，所述服务器系统至少包括二维模块和三维模块，所述二维模块以二维的方式显示被控对象的二维图形部件；所述三维模块以三维的方式显示被控对象的三维图形部件；所述被控对象的属性数据能够响应于所述增强现实装置的操作指令以二维图形和三维视图的方式并行地显示，所述二维模块和/或所述三维模块能够基于所述增强现实装置反馈的操作指令控制所述的被控对象。本专利申请的发明人通过对比发现，该专利申请公开了通过增强现实技术进行高效巡检的方案，同时有提及对工厂局部故障的预判和帮助工人绕开危机的巡检路线规划等内容。但其对故障和危险的预判是基于采集工厂中的各类仪表与探头的数据信号进行自动分析后得出的，不是交互平台直接探测到的，存在信息的延时和传递偏差，同时该系统侧重点是在巡检，即侧重于被动接收巡检信息，而不是高效的进行交互。
7.综上所述，目前仍然缺少一种虚实结合，交互方式更加高效，并可以对产品进行故障诊断与识别，指导用户自助维修，同时在交互与诊断过程中仍最大程度保障用户安全的基于增强现实的产品交互与故障诊断方法。


技术实现要素：

8.本发明要解决的技术问题是，提供一种虚实结合，交互方式更加高效，并可以对产品进行故障诊断与识别，指导用户自助维修，同时在交互与诊断过程中仍最大程度保障用户安全的基于增强现实的产品交互与故障诊断方法。
9.为解决上述技术问题，本发明提供的技术方案为：一种基于增强现实的产品交互与故障诊断方法，它包括如下步骤：第一步，建立以让用户即能观看到现实场景又能观看到虚拟信息的智能穿戴设备为载体的交互平台；所述的交互平台连接有摄像头、麦克风、传声装置、温度传感器、探伤传感器、测距传感器和其他探测产品状态的功能传感器；所述的交互平台上配备有安全预警系统，用于检测用户在与产品进行交互和故障诊断时是否会受到安全威胁，以保障人身安全；第二步，将需要进行交互的产品对应的需要向用户传递的信息进行电子化转换为信息源；所述的信息源包括产品的使用说明信息、故障诊断信息，形式包括文字、语音、图片和视频；第三步，将第二步中的信息源以实现快速检索为目的进行关键词与影像单元化的标签处理；同时将信息源及经标签处理后的信息预存到交互平台内；或者预存在网络或本地存储设备中，并与交互平台之建立可以实时加载数据信息的链接通道；第四步，控制交互平台通过其搭载的各个视角摄像头和传感器实时获取用户眼前需要进行交互的产品当前状态下的数据信息、用户的指令信息及用户所处环境周围的安全信息；
第五步，当检测到用户的指令信息后，交互平台对用户指令、采集的输入源数据以及存储的信息源数据进行匹配处理后，调出最接近当时场景的信息在交互平台上展示给用户，展示内容包括且不限于文字，语音，图像，视频，动画；如果有多条类似信息结果，则根据权重，将结果简介列表展示，并通知用户进行信息选择，然后根据用户的选择指令进行信息筛选与展示；用户在观看上述虚拟信息的同时可以观看到眼前产品的真实场景；当交互平台的安全预警系统检测到安全威胁时，会立即向用户发出预警信号，并提示避险方案。
10.作为优选，所述的交互平台具有多机联机通信功能模块，可以实现多机共享视角和共享数据，通信方式包括物理有线连接和无线网络连接方式；所述的交互平台的功能传感器包括有可以采集产品图像，灰度，红外和热能的特征数据的多种传感器。
11.作为优选，所述的交互平台的传声系统包括扬声器、耳机和骨传导传声器。
12.作为优选，所述的交互平台配备有360度场景摄像头，用于获取用户周边的实时画面。
13.作为优选，所述的智能穿戴设备包括ar眼镜。
14.作为优选，所述的交互平台可以直接与需要进行交互的产品进行通信并传达控制信号。
15.作为优选，所述的交互平台可同时连接其他智能可穿戴设备。
16.作为优选，第二步中的信息源可在线实时更新。
17.作为优选，第五步中在交互平台上将信息显示给用户时，通过信息预处理或是后期图像智能处理后，信息显示的位置会与现实产品中对应需要进行说明或维修的部分相结合。
18.作为进一步优选，所述的交互平台在进行信息交互时，除了会实时检测平台自身周边的工作环境安全状况，还会同步结合采集到的其它外围传感器的信息，判断用户是否处于安全的工作的环境，并提供报警信号或发出紧急停止周边危险设备的控制命令。
19.采用上述方案后，本发明具有如下有益效果：利用增强现实ar和人工智能ai技术，虚拟现实结合，在产品交互使用与学习方面，可以帮助用户高效掌握和使用大型设备，缩短学习过程，提高使用效率。在故障诊断方面使得故障诊断的过程更简单，高效。以智能穿戴设备作为载体，通过语音，手势控制等多种交互手段，彻底解放双手。将和设备相关的所有文档和资料电子化，数字虚拟化。可以在线检索和查找，实时显示查找结果。可以通过投影三维展示设备部件的维修过程，用户可以对照实物进行操作。
20.优选项中还增加了各种扩展功能，如可以多机联机通信功能，可以实现多机共享视角摄像头，有利于用户直接与产品生产厂家或是维修专家连线交流。传声系统采用骨传导传声器可以降低周边声音的相互干扰，避免用户无法听到设备的报警音或是周边同事之间的声音。360度场景摄像头，碰撞预警雷达系统，交互平台可以直接与需要进行交互的产品进行通信并传达控制信号，同时连接其他智能可穿戴设备等扩展结构与控制方法，均是基于生产安全的扩展，让用户沉浸于交互的同时，最大程度保障用户的安全。同时交互平台本身可以直接与被交互的产品进行通信和控制，进一步提高了交互的效率，不只是停留于学习与维护产品，还可以直接控制产品进行相应的反馈或是演示相应的状态。
21.综上所述，本专利申请提供了一种可以解放用户双手，提供更加高效的交互方式，虚实结合，精确反映设备信息，并可以对产品进行故障诊断与识别，指导用户自助维修的基
于增强现实的产品交互与故障诊断方法。
附图说明
22.图1是本发明中涉及的基于增强现实的产品交互时的方法的方框示意图。
23.图2是本发明中涉及的基于增强现实的产品故障诊断时的方法的方框示意图。
24.图3是本发明基于增强现实的产品交互与故障诊断方法实现时的核心模块示意图。
25.图4是图3中的核心模块工作流程示意图。
26.图5是故障诊断实施例下的虚拟信息展示举例。
具体实施方式
27.下面结合附图对本发明做进一步的详细说明。
28.本发明公开了一种基于增强现实的产品交互与故障诊断方法，它包括如下步骤：第一步，建立以让用户即能观看到现实场景又能观看到虚拟信息的智能穿戴设备为载体的交互平台；所述的交互平台连接有摄像头、麦克风、传声装置、温度传感器、探伤传感器、测距传感器和其他探测产品状态的功能传感器；所述的交互平台上配备有安全预警系统，用于检测用户在与产品进行交互和故障诊断时是否会受到安全威胁，以保障人身安全；第二步，将需要进行交互的产品对应的需要向用户传递的信息进行电子化转换为信息源；所述的信息源包括产品的使用说明信息、故障诊断信息，形式包括文字、语音、图片和视频；第三步，将第二步中的信息源以实现快速检索为目的进行关键词与影像单元化的标签处理；同时将信息源及经标签处理后的信息预存到交互平台内；或者预存在网络或本地存储设备中，并与交互平台之建立可以实时加载数据信息的链接通道；第四步，控制交互平台通过其搭载的各个视角摄像头和传感器实时获取用户眼前需要进行交互的产品当前状态下的数据信息、用户的指令信息及用户所处环境周围的安全信息；第五步，当检测到用户的指令信息后，交互平台对用户指令、采集的输入源数据以及存储的信息源数据进行匹配处理后，调出最接近当时场景的信息在交互平台上展示给用户，展示内容包括且不限于文字，语音，图像，视频，动画；如果有多条类似信息结果，则根据权重，将结果简介列表展示，并通知用户进行信息选择，然后根据用户的选择指令进行信息筛选与展示；用户在观看上述虚拟信息的同时可以观看到眼前产品的真实场景；当交互平台的安全预警系统检测到安全威胁时，会立即向用户发出预警信号，并提示避险方案。
29.作为优选，所述的交互平台具有多机联机通信功能模块，可以实现多机共享视角和共享数据，通信方式包括物理有线连接和无线网络连接方式；所述的交互平台的功能传感器包括有可以采集产品图像，灰度，红外和热能的特征数据的多种传感器。
30.作为优选，所述的交互平台的传声系统包括扬声器、耳机和骨传导传声器。
31.作为优选，所述的交互平台配备有360度场景摄像头，用于获取用户周边的实时画面。
32.作为优选，所述的智能穿戴设备包括ar眼镜。
33.作为优选，所述的交互平台可以直接与需要进行交互的产品进行通信并传达控制信号。
34.作为优选，所述的交互平台可同时连接其他智能可穿戴设备。
35.作为优选，第二步中的信息源可在线实时更新。
36.作为优选，第五步中在交互平台上将信息显示给用户时，通过信息预处理或是后期图像智能处理后，信息显示的位置会与现实产品中对应需要进行说明或维修的部分相结合。
37.作为进一步优选，所述的交互平台在进行信息交互时，除了会实时检测平台自身周边的工作环境安全状况，还会同步结合采集到的其它外围传感器的信息，判断用户是否处于安全的工作的环境，并提供报警信号或发出紧急停止周边危险设备的控制命令。
38.上述优选项中，所述的交互平台具有多机联机通信功能，可以实现多机共享视角摄像头。所述的交互平台的传声系统采用骨传导传声器。所述的交互平台配备有360度场景摄像头，用于获取用户周边的实时画面。所述的交互平台上配备有碰撞预警雷达系统。所述的交互平台可以直接与需要进行交互的产品进行通信并传达控制信号。所述的交互平台可同时连接其他智能可穿戴设备。所述的信息源可在线实时更新。在交互平台上通过虚拟投影展示给用户时，通过信息预处理或是后期图像智能处理后，将投影的位置会与现实产品中对应需要进行说明或维修的区域相结合；同时投影区域可由用户自行选择。所述的交互平台在进行信息交互时，会同步结合采集到的用户周边信息判断用户是否处于安全的工作的环境，并提供报警信号或发出紧急停止周边危险设备的控制命令。
39.以下以具体实施例的形式，对本发明申请对应的几种使用场景进行详细说明。
40.具体实施例一进一步结合附图1，以基本的产品交互功能为例；交互平台采用智能眼镜；产品为带有多个机器人装置的一款多功能设备。当用户向智能眼镜输入（语音或软键盘）某个关键词，该词明确为当前产品的一个部位，智能眼镜获取当前摄像头场景，计算单元用预存储的该部位模型进行识别检测，通过框体将检测结果在场景中标识出来。如果检测到场景中多个框体结果，则通知用户输入筛选指令，等用户选取确定某个框体后，获取单元会查找并调取对应部位的信息显示在场景预设区域1中。此处作为进一步的改进，如果框体结果过多，则加入加权算法，先进行智能排序，即结合用户的视角信息和用户的操作习惯等信息，由交互平台进行智能排序，把最有可能的结果排列在靠前的位置。
41.例如，语音方式，用户说出“机器人”，主机调出用户手册“机器人”一节内容，显示在屏幕上。手势方式，点击搜索栏，弹出软键盘，中文输入“机器人”，同样，主机会调出用户手册“机器人”一节内容，投放显示在预设区域1。下一步，用户可以语音输入某种操作的关键词命令，交互平台的获取单元检测到该部位预设了操作的模型动作或者视频，即可在场景预设区域2投放显示该部位三维虚拟模型的操作动画，或者该部位操作的视频。用户可以对照获取单元输出的信息数据认知学习，对照播放的三维动画或视频来操作实际设备。其中计算单元：用于检测摄像头的实时视频，计算检测出的零件部位的位置和大小，并在现实场景中框体标记出来。计算单元可以是cpu，gpu等硬件及其上运行的软件算法模块。该单元一般智能眼镜上有搭载，也可以自行设计性能更好的模块。其中获取单元：用于获取指定框
体部件的对应数据信息，三维虚拟模型，操作动画，视频等。获取单元可以是存储器，传感器等硬件，也可以是搜索计算等软件模块。其中显示单元，用于将获取单元内容以特定形式输出在预定显示区域，该单元一般智能眼镜上有搭载，也可以自行设计性能更好的模块。
42.通过实践证明，上述实施例利用增强现实ar和人工智能ai技术，虚拟现实结合，可以帮助用户高效掌握和使用大型设备，缩短学习过程，提高使用效率。用眼镜作为载体，通过语音，手势控制等多种交互手段，彻底解放双手；和设备相关的所有文档和资料电子化，数字化。可以在线检索和查找，实时显示查找结果。可以检测识别设备部件，通过虚拟框，虚拟三维模型，文字，图片，视频等在特定区域显示，引导用户熟悉设备属性，数据。可以三维沉浸式展示设备部件的拆装过程，用户可以对照实物进行操作。
43.具体实施例二进一步结合附图2，以基本的产品故障诊断功能为例；交互平台采用智能眼镜；产品为带有多个机器人装置的一款多功能设备。设备各个部位都有可能发生故障，这些典型故障可以通过表象判断，比如开关，信号灯的显示，零件的相对位置等等，可以预先通过数据处理和特征提取，模型存储起来。眼镜处于诊断模式时，通过摄像头实时采集视频，计算单元通过和预存模型计算比对，实时获取故障区域的位置和范围，进行标记。获取单元将查找对应故障的信息显示在预定区域1，有对应维修视频或虚拟维修动画的显示在预定区域2。其中计算单元：用于检测摄像头的实时视频，计算检测出的零件部位的位置和大小，并在现实场景中框体标记出来。计算单元可以是cpu，gpu等硬件及其上运行的软件算法模块。该单元一般智能眼镜上有搭载，也可以自行设计性能更好的模块。其中获取单元：用于获取指定框体部件的对应故障数据信息，比如故障文字说明，解决方案，图像描述等。其中显示单元，用于将获取单元内容以特定形式输出在预定显示区域，该单元一般智能眼镜上有搭载，也可以自行设计性能更好的模块。
44.通过实践证明，上述实施例利用增强现实ar和人工智能ai技术，虚拟现实结合，使得故障诊断的过程更简单，高效。用眼镜作为载体，通过语音，手势控制等多种交互手段，彻底解放双手；和设备相关的所有文档和资料电子化，数字化。可以在线检索和查找，实时显示查找结果。可以三维展示设备部件的维修过程，用户可以对照实物进行操作。
45.具体实施例三进一步，结合附图3到附图5，以ar眼镜为主体交互设备，眼镜上有摄像头采集当前场景的视频，显示单元将需要显示内容按指定方式（位置坐标，大小，颜色）叠加显示在物理环境，计算单元、存储单元与眼镜主体有线、无线方式连接。ar眼镜摄像头将当前视频场景传给计算单元，计算单元通过ai（人工智能）算法检测到用户视野范围里有两个poi（point of interest）部位，显示单元根据计算单元给出的部位的位置和大小画出标记框。操作员选择了其中一个作为目标诊断部位，选择方式可以是眼镜头部射线，手柄射线，眼球追踪，手势。计算单元读取存储单元预存的目标场景诊断信息，进行下一步。比如，语音、文字提示“请靠近发动机开关面板部分”，计算单元读取红外测温，发现温度过高，语音文字提示“设备温度48度，已接近报警温度50度”，同时计算单元通过当前面板图像检测到保险丝反向，在保险丝位置上标记高亮框，箭头提示，并语音文字提示“保险丝打反，请关闭设备电源，重新打保险”。在高亮框边，展示打保险的三维模型动画。
46.关于用户安全保障方面，上述三个实施例在实施过程中，均会通过交互平台实时
检测用户所在环境的安全状态，包括是否有活动物体向用户碰撞而来，是否有产品上的部件突发高温高压或泄漏的异常信息，或是用户本身受到虚拟现实信息的冲击出现的过度紧张或是因身体原因出现晕倒等突发情况，所述的安全预警系统均会检测到，并对应做出反应，以保障用户安全。此处的交互平台的安全系统，侧重于直接安装在平台本身，如智能头盔上，或是与平台直接信号连接的手环等穿戴式设备。对应安全系统包括类似于车载防撞的迷你雷达探头，用于检测用户周边障碍物与用户身体之间的距离变化情况，如果检测有物体快速靠近用户身体，则及时发出警报，提示用户进行紧急避险。安全系统还可以包括手环装置，可以实时检测用户的身体状况，防止在一些较为刺激的增强现实环境下出现心率过快，晕倒等突发情况时，无人发现。所述的安全系统进一步改进下，还可以与产品及产品周边的设备实现联动控制，比如和产品本身的紧急制动功能联动，和产品周边的供电系统实现联动；当用户在与产品进行交互过程中，受增强现实影响被卷入产品齿轮中，或是发生触电事故时，用户佩带的安全检测传感器如手环，智能摄像头等会及时检测到，或是会通过用户发出的语音指令，及时收到危险信息，并通过联动控制，实现紧急制动或紧急停电、启动火警报警等操作，以最快速度实现安全保障。
47.关于本专利申请在具体实施时，具体产品的结构设计、硬件电路、芯片还有控制程序与算法，由于不同产品对应的交互诉求有区别，需要生产方结合具体的产品特性与功能需求，在本专利申请所给出的交互方法的指导下进行操作。行业内的技术人员在知晓本专利申请中的产品交互与故障诊断方法后，按方法设计出一套硬件结构与具体算法没有实施方法层面的技术障碍，此处不再进行赘述。
48.以上对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。