一种基于增强现实技术的核电厂远程指导系统和方法与流程

1.本发明涉及核电厂远程指导技术领域，特别是涉及一种基于增强现实技术的核电厂远程指导系统和方法。


背景技术：

2.目前的核电厂主要通过电话的方式进行远程协助，该方式不能准确了解现场作业情况；同时，如果现场工作人员不能够直观的掌握远程协助指导人员的指令，就可能会造成错误操作，存在很大的安全隐患。


技术实现要素：

3.基于此，有必要针对核电厂通过电话的方式进行远程协助存在的不能准确了解现场作业情况以及不能直观掌握远程协助指导人员的指令造成错误操作的问题，提供一种基于增强现实技术的核电厂远程指导系统和方法，该系统和方法通过增强现实技术实现远程指导人员、现场作业人员建立快速、便捷、直观的反馈，达到高效、快速解决问题的目的。
4.为了实现上述目的，本发明提供如下技术方案：
5.一种基于增强现实技术的核电厂远程指导系统，包括模型控制模块、多媒体模块、增强现实现实模块和终端设备；
6.所述模型控制模块用于远程指导人员选择现场作业设备三维模型和现场作业工单，远程指导人员操作选择的现场作业设备三维模型，将远程指导人员选择的现场作业设备三维模型发送终端设备，以及将远程指导人员操作选择的现场作业设备三维模型的远程指导操作内容发送至增强现实显示模块；
7.所述多媒体模块用于远程指导人员在对现场作业人员远程指导或者显示操作现场作业设备三维模型的过程中，发送多媒体信息至终端设备；
8.所述增强现实显示模块用于接收模型控制模块发送的远程指导操作内容，并控制现场增强显示设备显示所述远程指导操作内容，现场作业人员佩戴现场增强现实设备进行现场作业，在观看远程指导操作内容的同时同时进行现场操作，确保操作的正确性；
9.所述终端设备由现场作业人员随身携带，用于接收模型控制模块发送的远程指导人员选择的现场作业设备三维模型，接收多媒体模块发送的多媒体信息，以及与模型控制模块通信。
10.在其中一个实施例中，所述模型控制模块通过读取现场作业设备三维模型和核电厂三维模型，配置现场作业设备基本信息和现场作业设备三维模型在核电厂三维模型中的位置，并将相关数据持久化存储，以用于远程指导人员选择相应的现场作业设备三维模型；所述模型控制模块通过配置业务文件和业务数据，以用于远程指导人员选择需要远程指导的现场作业工单。
11.在其中一个实施例中，所述增强现实模块采用three.js引擎加载三维模型显示；通过佩戴增强设备进行现场实时显示。
12.在其中一个实施例中，所述多媒体信息包括文字、图片和语音消息。
13.在其中一个实施例中，所述终端设备为手机，现场作业人员进行现场作业时需随身携带手机；现场作业人员通过手机可以与远程指导人员进行实时音视频沟通、传输多媒体消息、操作手册等文件，以便远程指导人员指导现场作业作出准确判断和指导。
14.在其中一个实施例中，所述终端设备为定位标签，现场作业人员进行现场作业时需随身携带定位标签；现场作业设备的实时位置通过定位标签传输至模型控制模块，模型控制模块将现场作业设备的实时位置显示在核电厂三维模型中，以便远程指导人员指导现场作业作出准确判断和指导。
15.在其中一个实施例中，所述终端设备为高清摄像头，现场作业人员进行现场作业时需随身携带高清摄像头；现场作业设备的现场视频通过高清摄像头传输至模型控制模块，以便远程指导人员指导现场作业作出准确判断和指导。
16.在其中一个实施例中，所述现场增强设备为ar设备。
17.通过上述基于增强现实技术的核电厂远程指导系统进行核电厂远程指导，包括如下步骤：
18.1、选择现场作业设备三维模型
19.步骤01：远程指导人员在模型控制模块上选择需要远程指导的现场作业工单；
20.步骤02：远程指导人员在模型控制模块上选择现场作业设备三维模型，以及远程指导时所需的其他经验信息和标准文件等；
21.2、选择终端设备
22.步骤01：远程指导人员在模型控制模块上选择需要远程指导的现场作业人员进行通信，现场作业人员携带终端设备进行现场作业，如果该现场作业人员携带多个终端设备则选择其中一个终端设备进行通信；
23.步骤02：针对现场作业工单内容和现场作业设备信息，模型控制模块将选择的现场作业设备三维模型发送至现场作业人员终端设备；
24.步骤03：现场作业人员确认远程指导人员提供的远程指导内容无误后进行下一步操作；
25.3、模型操作示范
26.步骤01：远程指导人员确认开始支持后，开始对现场作业设备的三维模型进行模拟操作，模拟操作效果及语音信息等实时传输给现场终端设备；标记一步示范完成，在现场人员未标记一步操作完成之前，远程指导人员不可再操作，只可以发消息或者语音给现场作业人员；
27.步骤02：现场作业人员根据实时的操作示范，进行现场操作，现场操作视频实时在增强现实模块显示，如果现场作业人员顺利完成操作完成，则标记一步操作完成，远程指导人员可继续下一步；如果现场作业人员未顺利完成操作或者有其他异常，现场作业人员请求远程指导人员再次示范；
28.步骤003：当现场操作异常请求或再次针对某一步骤或者事项再次演示时，远程指导人员可以对现场操作进行回放和操作标记，重新示范，同时标记信息实时在三维模型上显示；
29.步骤004：依照上述步骤，如此一步一步双方确认执行和同时观看对方操作，直到
支持结束。
30.在其中一个实施例中，在远程指导的过程中，现场作业人员和远程指导人员可通过视频录制、图片传输、文件资料共享等多种指导方式的同步进行，提高沟通效率。
31.本发明的有益技术效果：
32.本发明提供的基于增强现实技术的核电厂远程指导系统和方法，通过模型加载渲染技术、增强现实显示技术和多媒体技术，将现场的真实环境通过显示器渲染在眼前，可以根据需要调整第一、第三人称视角，进行不同层面的三维效果观察。通过模型进行真实显示和提醒，能够直观看到人员、环境等状况。能够达到只派遣初级人员到现场、少量人员到现场，提高现场作业、解决问题效率的效果。
附图说明
33.图1为本发明的基于增强现实技术的核电厂远程指导系统结构示意图。
具体实施方式
34.下面结合附图和实施例对本发明做进一步详细地描述。
35.实施例1
36.参见图1，本发明提供一种基于增强现实技术的核电厂远程指导系统，包括模型控制模块、多媒体模块、增强现实现实模块和终端设备；
37.所述模型控制模块用于远程指导人员选择现场作业设备三维模型和现场作业工单，远程指导人员操作选择的现场作业设备三维模型，将远程指导人员选择的现场作业设备三维模型发送终端设备，以及将远程指导人员操作选择的现场作业设备三维模型的远程指导操作内容发送至增强现实显示模块；
38.所述多媒体模块用于远程指导人员在对现场作业人员远程指导或者显示操作现场作业设备三维模型的过程中，发送多媒体信息至终端设备；
39.所述增强现实显示模块用于接收模型控制模块发送的远程指导操作内容，并控制现场增强显示设备显示所述远程指导操作内容，现场作业人员佩戴现场增强现实设备进行现场作业，在观看远程指导操作内容的同时同时进行现场操作，确保操作的正确性；
40.所述终端设备由现场作业人员随身携带，用于接收模型控制模块发送的远程指导人员选择的现场作业设备三维模型，接收多媒体模块发送的多媒体信息，以及与模型控制模块通信。
41.所述模型控制模块通过读取现场作业设备三维模型和核电厂三维模型，配置现场作业设备基本信息和现场作业设备三维模型在核电厂三维模型中的位置，并将相关数据持久化存储，以用于远程指导人员选择相应的现场作业设备三维模型；所述模型控制模块通过配置业务文件和业务数据，以用于远程指导人员选择需要远程指导的现场作业工单。
42.所述增强现实模块采用three.js引擎加载三维模型显示；通过佩戴增强设备进行现场实时显示。
43.所述多媒体信息包括文字、图片和语音消息。
44.所述现场终端设备为手机、定位标签或高清摄像头；
45.当现场终端设备为手机时，现场作业人员进行现场作业时需随身携带手机；现场
作业人员通过手机可以与远程指导人员进行实时音视频沟通、传输多媒体消息、操作手册等文件，以便远程指导人员指导现场作业作出准确判断和指导；
46.当现场终端设备为定位标签时，现场作业人员进行现场作业时需随身携带定位标签；现场作业设备的实时位置通过定位标签传输至模型控制模块，模型控制模块将现场作业设备的实时位置显示在核电厂三维模型中，以便远程指导人员指导现场作业作出准确判断和指导；
47.当现场终端设备为高清摄像头时，现场作业人员进行现场作业时需随身携带高清摄像头；现场作业设备的现场视频通过高清摄像头传输至模型控制模块，以便远程指导人员指导现场作业作出准确判断和指导。
48.所述现场增强设备为ar设备。
49.通过上述基于增强现实技术的核电厂远程指导系统进行核电厂远程指导，包括如下步骤：
50.1、选择现场作业设备三维模型
51.步骤01：远程指导人员在模型控制模块上选择需要远程指导的现场作业工单；
52.步骤02：远程指导人员在模型控制模块上选择现场作业设备三维模型，以及远程指导时所需的其他经验信息和标准文件等；
53.2、选择现场终端设备
54.步骤01：远程指导人员在模型控制模块上选择需要远程指导的现场作业人员进行通信，现场作业人员携带现场终端设备进行现场作业，如果该现场作业人员携带多个现场终端设备则选择其中一个现场终端设备进行通信；
55.步骤02：针对现场作业工单内容和现场作业设备信息，模型控制模块将选择的现场作业设备三维模型发送至现场终端设备；
56.步骤03：现场作业人员确认远程指导人员提供的远程指导内容无误后进行下一步操作；
57.3、模型操作示范
58.步骤01：远程指导人员确认开始远程指导后，开始通过模型控制模块对选择的现场作业设备三维模型进行模拟操作，并将远程指导人员操作选择的现场作业设备三维模型的远程指导操作内容通过模型控制模块发送至增强现实显示模块；
59.多媒体模块在远程指导人员对现场作业人员远程指导或者显示操作现场作业设备三维模型的过程中，发送至多媒体信息指终端设备；
60.增强现实显示模块用于接收模型控制模块发送的远程指导操作内容，并控制现场增强显示设备显示所述远程指导操作内容，现场作业人员佩戴现场增强现实设备进行现场作业，在观看远程指导操作内容的同时同时进行现场操作，确保操作的正确性；
61.现场作业人员通过随身携带的现场终端设备接收多媒体模块发送的多媒体信息，以及与远程指导人员通信；
62.标记一步示范完成，在现场作业人员未标记一步操作完成之前，远程指导人员不可再操作，只可以发多媒体信息给现场作业人员；
63.步骤02：现场作业人员根据实时的操作示范，进行现场操作，现场操作视频实时传输至模型控制模块，模型控制模块实时播放现场操作视频，如果现场作业人员顺利完成操
作完成，则标记一步操作完成，远程指导人员可继续下一步；如果现场作业人员未顺利完成操作或者有其他异常，现场作业人员请求远程指导人员再次示范；
64.步骤003：当现场操作异常请求或再次针对某一步骤或者事项再次演示时，远程指导人员可以对现场操作进行回放和操作标记，重新示范，同时标记信息实时在三维模型上显示；
65.步骤004：依照上述步骤，如此一步一步双方确认执行和同时观看对方操作，直到支持结束。
66.进一步地，在远程指导的过程中，现场作业人员和远程指导人员可通过视频录制、图片传输、文件资料共享等多种指导方式的同步进行，提高沟通效率。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。