虚实交互的方法、电子设备及存储介质与流程

1.本技术涉及混合现实领域，尤其涉及一种虚实交互的方法、电子设备及存储介质。


背景技术：

2.目前，基于混合现实技术在工业领域上进行的虚实交互培训上多半是应用在物料及治具都为实体的情况下，通过在培训场景中添加虚拟的提示告知用户当前应做的步骤或注意事项。往往需要用户在完成当前步骤以后手动切换到下一步骤继续进行培训。并且物料在培训完成后的状态是不可逆的。而另外一种则是物料及治具都为虚拟模型的培训方式，通过这种方式进行培训时，用户无法感受到实际操作治具时的触觉，培训效果不佳。


技术实现要素：

3.鉴于以上内容，有必要提供一种虚实交互的方法、电子设备及存储介质，能增强培训效果及节约培训成本。
4.本技术提供一种虚实交互的方法，所述方法包括：获取对应于真实物料的虚拟物料；通过混合现实设备将所述虚拟物料迭合至真实世界中的实体治具上；根据所述虚拟物料的第一状态数据，控制所述实体治具调整运行模式；根据所述实体治具的第二状态数据，通过所述混合现实设备调整所述虚拟物料的运行状态。
5.在一种可能的实现方式中，所述通过混合现实设备将所述虚拟物料迭合至真实世界中的实体治具上包括：设定真实标志点；每隔预设时间，通过所述混合现实设备扫描所述真实标志点，得到所述真实标志点的虚拟世界坐标；根据所述虚拟世界坐标调整所述虚拟物料的位置。
6.在一种可能的实现方式中，所述根据所述虚拟世界坐标调整所述虚拟物料的位置包括：提取当前虚拟世界坐标作为第一虚拟世界坐标，提取上一次虚拟世界坐标作为第二虚拟世界坐标；计算所述第一虚拟世界坐标和所述第二虚拟世界坐标之间的距离；判断所述距离是否大于预设距离阈值；若所述距离大于所述预设距离阈值，将所述虚拟物料移动至所述第一虚拟世界坐标处；若所述距离小于所述预设距离阈值，保持所述虚拟物料的位置不变。
7.在一种可能的实现方式中，所述第二状态数据包括：连续性的状态数据及非连续性的状态数据，其中，所述连续性的状态数据包括所述实体治具开合的角度、压力值和红外线感测；所述非连续性的状态数据包括所述实体治具运行模式的切换和开关的触发。
8.在一种可能的实现方式中，所述方法还包括：响应于所述实体治具的状态的改变，通过所述实体治具发送改变的第二状态数据至消息服务器。
9.在一种可能的实现方式中，在所述根据所述实体治具的第二状态数据，通过所述混合现实设备调整所述虚拟物料的运行状态之前，所述方法还包括：接收所述消息服务器发送的所述实体治具的第二状态数据。
10.在一种可能的实现方式中，在所述根据所述实体治具的第二状态数据，通过所述
混合现实设备调整所述虚拟物料的运行状态之后，所述方法还包括：通过所述混合现实设备获取发生改变的第三状态数据。
11.在一种可能的实现方式中，所述方法还包括：获取所述虚拟物料的实时状态数据；获取所述虚拟物料最终需要满足的目标状态数据；判断所述实时状态数据和所述目标状态数据是否相同；当所述实时状态数据和所述目标状态数据相同时，生成培训完成的提示。
12.本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的虚实交互的方法。
13.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的虚实交互的方法。
14.本技术公开的虚实交互的方法及相关设备，通过获取对应于真实物料的虚拟物料，并利用混合现实设备将所述虚拟物料迭合至真实世界中的实体治具上，根据所述虚拟物料的第一状态数据，控制所述实体治具调整运行模式，根据所述实体治具的第二状态数据，通过所述混合现实设备调整所述虚拟物料的运行状态。通过将所述虚拟物料与所述实体治具进行状态同步，可以提高培训的效果。
附图说明
15.图1是本技术实现一种虚实交互的方法的较佳实施例的电子设备的结构示意图。
16.图2是本技术公开的一种虚实交互的方法的较佳实施例的流程图。
具体实施方式
17.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本技术进行详细描述。
18.请参阅图1，图1为本技术一实施例的电子设备的示意图。参阅图1所示，所述电子设备1包括，但不仅限于，存储器11和至少一个处理器12上述元件之间可以通过通讯总线13连接，也可以直接连接。
19.所述电子设备1可以是计算机、手机、平板电脑、个人数字助理(personal digital assistant，pda)等安装有应用程序的设备。本领域技术人员可以理解，所述示意图1仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
20.如图2所示，是本技术虚实交互的方法的较佳实施例的流程图。所述虚实交互的方法应用在所述电子设备1中。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。在本实施方式中，所述虚实交互的方法包括：
21.s21、获取对应于真实物料的虚拟物料。
22.在工业领域的作业流程中，规范相关技术人员的操作至关重要。因此往往需要对相关技术人员进行作业培训。例如，在电子零件的组装流水线中，需要对组装人员进行上岗培训。为了节约培训成本和提高培训效率，需要将培训所需要的真实世界中的物料转换为虚拟世界中的物料。
23.在本技术的实施例中，所述真实物料为真实存在的物体，例如，电子零件。所述虚
拟物料为利用三维建模技术生成的三维虚拟物体。
24.在本技术的实施例中，所述获取对应于真实物料的虚拟物料包括：
25.(1)获取所述真实物料的材质信息和几何信息。其中，所述材质信息代表所述真实物料的物理属性，例如，颜色和反射率。所述几何信息代表所述真实物料的几何属性，例如，形状和尺寸。
26.(2)根据所述材质信息和几何信息，使用三维建模软件进行构建所述虚拟物料，例如bim、solidworks等，本技术对此不作任何限定。
27.具体实施时，可以根据所述虚拟物料生成三维模型库，用于存放各类真实物料的三维模型。当使用所述三维模型时，可以从所述三维模型库中提取。
28.通过生成所述虚拟物料代替所述真实物料，可以节省培训成本。
29.s22、通过混合现实设备将所述虚拟物料迭合至真实世界中的实体治具上。
30.在电子零件的组装流水线中，为了使用户感受到实体治具的真实感，采用虚实结合的培训方式，增加培训体验，提高培训效率。培训开始之前，首先需要将所述虚拟物料迭合至所述实体治具上。
31.在本技术的实施例中，所述实体治具为与所述真实物料对应的治具，例如，当所述真实物料为电子零件时，所述实体治具为电子零件组装治具。
32.在本技术的实施例中，所述混合现实设备可以为头戴式设备，例如，hololens设备。
33.在本技术的实施例中，所述混合现实设备可以根据培训内容从所述三维模型库中提取对应的虚拟物料，例如，当培训内容为手机主板的组装时，所述混合现实设备从所述三维模型库中分别提取出中央处理器(central processing unit，cpu)，图形处理器(graphic processing unit，gpu)，只读存储器(read only memory，rom)，随机存储器(random access memory，ram)和外部存储器的三维模型。
34.在本技术的实施例中，所述通过混合现实设备将所述虚拟物料迭合至真实世界中的实体治具上包括：
35.(1)设定真实标志点，所述真实标志点可以根据用户的实际需求进行选取，例如，选取电子零件组装治具的载台工作面中的某一点为所述真实标志点。
36.(2)每隔预设的第一时间，通过所述混合现实设备扫描所述真实标志点，得到所述真实标志点的虚拟世界坐标。其中，所述第一时间可以根据用户的实际需求进行选取，例如，设定为0.01秒。需要说明的是，所述第一时间越小，所述虚拟物料和所述实体治具的迭合效果越好。
37.(3)根据所述虚拟世界坐标调整所述虚拟物料的位置。具体实施时，利用所述混合现实设备的传感器对真实培训场景进行扫描，基于即时定位与地图构建(simultaneous localization and mapping，slam)技术来获取真实场景的空间信息。提取当前虚拟世界坐标作为第一虚拟世界坐标，提取上一次虚拟世界坐标作为第二虚拟世界坐标。计算所述第一虚拟世界坐标和所述第二虚拟世界坐标之间的距离。判断所述距离是否大于预设距离阈值，若所述距离大于所述预设距离阈值，将所述虚拟物料移动至所述空间信息的第一虚拟世界坐标处。若所述距离小于所述预设距离阈值，保持所述虚拟物料的位置不变。
38.所述步骤s22之后，所述方法还包括：根据培训内容将操作流程拆分为多个培训步
骤，并生成培训步骤提示信息至所述混合现实设备，所述培训步骤提示信息包括语音、文字、数字、图形和方向标示中的至少一种。
39.s23、根据所述虚拟物料的第一状态数据，控制所述实体治具调整运行模式。
40.当所述虚拟物料迭合至真实世界中的实体治具上后，所述实体治具会根据所述虚拟物料的状态数据调整运行模式。
41.在本技术的实施例中，所述第一状态数据可以包括所述虚拟物料的虚拟位置坐标、角度、形状和尺寸。
42.在本技术的实施例中，每个预设的第二时间，所述混合现实设备获取所述虚拟物料的第一状态数据，并将所述第一状态数据发送至消息服务器。其中，所述消息服务器用于接收各发送端发送的数据，收到数据后根据发送端将资料转发至对应的接收端。所述消息服务器将所述第一状态数据发送至所述实体治具。所述实体治具根据所述第一状态数据切换至对应的运行模式。例如，当所述虚拟物料的虚拟世界坐标为所述真实标志点的虚拟世界坐标时，调整所述实体治具的运行模式为启动模式。
43.通过设置所述消息服务器对数据进行转发，避免了数据的错误传输，例如，人工误将数据发送给了其他无关用户，提高了数据的安全性。
44.s24、根据所述实体治具的第二状态数据，通过所述混合现实设备调整所述虚拟物料的运行状态。
45.在培训过程中，由于用户会对所述实体治具进行操作，因此所述实体治具的状态数据会发生改变，需要实时调整所述虚拟物料的状态。
46.在本技术的实施例中，所述第二状态数据包括：连续性的状态数据及非连续性的状态数据，其中，所述连续性的状态数据包括所述实体治具开合的角度、压力值和红外线感测，所述非连续性的状态数据包括所述实体治具运行模式的切换和开关的触发。
47.在本技术的实施例中，通过所述实体治具实时获取所述实体治具的所述第二状态数据。比对当前所述第二状态数据和上一次获取到的所述第二状态数据，将比对不一致的第二状态数据发送至所述消息服务器。所述消息服务器发送所述第二状态数据至所述混合现实设备。所述混合现实设备根据所述第二状态数据调整所述虚拟物料的状态。例如，当所述实体治具开合的角度发生改变时，所述混合现实设备根据发生改变的角度调整所述虚拟物料的角度、形状和尺寸。
48.需要说明的是，除了所述虚拟物料的状态会根据所述实体治具的改变而改变外，所述培训步骤提示信息也会根据所述实体治具的改变而改变。例如，当所述实体治具的所述第二状态数据达到预设的第一目标状态时，表示培训步骤一已完成，所述培训步骤提示信息会自动切换至培训步骤二的提示信息。当所述实体治具的所述第二状态数据达到预设的第二目标状态时，表示培训步骤二已完成，所述培训步骤提示信息会自动切换至培训步骤三的提示信息。
49.通过根据所述实体治具的状态实时调整所述虚拟物料的状态，达到所述虚拟物料与所述实体治具状态同步的效果，可以增强培训效果。
50.所述步骤s24之后，所述方法还包括：通过所述混合现实设备获取发生改变的第三状态数据。
51.在本技术的实施例中，所述发生改变的第三状态数据可以包括：用户的手指关节、
眼睛注视点。可以通过所述混合现实设备的摄像头和传感器实时获取所述第三状态数据。比对当前所述第三状态数据和上一次获取到的所述第三状态数据，根据比对不一致的第三状态数据调整所述虚拟物料的状态。
52.在本技术的实施例中，用户头戴所述混合现实设备，将所述虚拟物料迭合至所述实体治具上，所述实体治具根据所述虚拟物料的状态调整运行模式，用户根据所述培训步骤提示操作所述实体治具。所述混合现实设备根据所述实体治具的状态数据调整所述虚拟物料的状态，同时所述混合现实设备还要根据用户的手指关节和眼睛注视点调整所述虚拟物料的状态。
53.作为一种可选的实施方式，所述方法还包括：获取所述虚拟物料的实时状态数据；获取所述虚拟物料最终需要满足的目标状态数据；判断所述实时状态数据和所述目标状态数据是否相同；当所述实时状态数据和所述目标状态数据相同时，生成培训完成的提示。
54.具体实施时，预先设置虚拟物料的目标状态数据，所述目标状态数据为培训完成后所述虚拟物料需要达到的状态数据。获取所述虚拟物料的实时状态数据，当所述实时状态数据和所述目标状态数据相同时，生成培训完成的提示，并通过所述混合现实设备进行显示。
55.请继续参阅图1，本实施例中，所述存储器11可以是电子设备1的内部存储器，即内置于所述电子设备1的存储器。在其他实施例中，所述存储器11也可以是电子设备1的外部存储器，即外接于所述电子设备1的存储器。
56.在一些实施例中，所述存储器11用于存储程序代码和各种数据，并在电子设备1的运行过程中实现高速、自动地完成程序或数据的存取。
57.所述存储器11可以包括随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
58.在一实施例中，所述处理器12可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是其它任何常规的处理器等。
59.所述存储器11中的程序代码和各种数据如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，例如实现延长电池服务寿命的方法中的步骤，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)等。
60.可以理解的是，以上所描述的模块划分，为一种逻辑功能划分，实际实现时可以有
另外的划分方式。另外，在本技术各个实施例中的各功能模块可以集成在相同处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同单元中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
61.最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。