设备虚拟拆装培训系统及其培训方法与流程

1.本发明涉及图像处理领域，特别是涉及一种设备虚拟拆装培训系统及其培训方法。


背景技术：

2.设备的现有拆装培训一般是让学员针对实体设备进行拆装学习，这样的培训方式，不仅需要较高的人工成本，还耗费大量的时间成本，极大地限制了培训效率。
3.信息数字化的培训方式是当前培训部门发展的方向，如何更直观、更舒适的满足需求，同时更节约成本，而且不影响培训成果是每个培训部门的迫切要求。


技术实现要素：

4.本发明的一个目的是要提供一种至少解决上述问题的设备虚拟拆装培训系统及其培训方法。
5.本发明一个进一步的目的是使得拆装操作简单。
6.根据本发明的一个方面，本发明首先提供了一种设备虚拟拆装培训系统的培训方法，所述培训系统包括操作感应装置和显示器，所述培训方法包括：
7.向所述显示器导入设备的三维模型；
8.获取所述操作感应装置采集的操作人员动作，使所述三维模型以响应于所述操作人员动作而被拆卸或被装配。
9.可选地，所述获取所述操作感应装置采集的操作人员动作，使所述三维模型以响应于所述操作人员动作而被拆卸或被装配的步骤包括：
10.根据所述三维模型中各零件被拆卸或被装配的顺序确定当前需要被拆卸或被装配的零件，作为目标零件的三维模型；
11.将所述操作人员动作与所述目标零件的三维模型关联。
12.可选地，所述将所述操作人员动作与所述目标零件的三维模型关联的步骤包括：
13.获取所述操作感应装置与位于所述显示器中的所述目标零件的三维模型的虚拟距离；
14.若所述虚拟距离小于或等于预设距离阈值，将所述目标零件的三维模型的显示状态变更为激活状态，所述激活状态的视觉效果区别于其他零件的三维模型。
15.可选地，所述将所述目标零件的三维模型的显示状态变更为激活状态的步骤之前，还包括：
16.判断所述目标零件的拆卸或装配是否需要拆卸或装配工具；
17.若否，执行所述将所述目标零件的三维模型的显示状态变更为激活状态的步骤；
18.若是，在所述显示器中显示所述目标零件拆卸或装配所需的拆卸或装配工具的模型，将所述操作人员动作与所述拆卸或装配工具的模型进行关联，再执行所述将所述目标零件的三维模型的显示状态变更为激活状态的步骤。
19.可选地，在将所述将操作人员动作与所述目标零件的三维模型关联的步骤之后，还包括：
20.在显示器中显示对所述目标零件的三维模型进行拆卸或装配的指导信息。
21.可选地，在将所述将操作人员动作与所述目标零件的三维模型关联的步骤之后，还包括：
22.将所述目标零件的三维模型配置为响应于操作人员的第一手部动作而缩小尺寸并吸附于所述显示器中的操作人员的手部位置；和/或
23.将所述目标零件的三维模型配置为响应于操作人员的第二手部动作而旋转；和/或
24.将所述目标零件的三维模型配置为响应于操作人员的第三手部动作而恢复尺寸并以当前姿态放置在所述显示器中的操作人员的手部位置。
25.可选地，在所述向所述显示器内导入设备的三维模型之前，还包括：
26.接收操作人员的培训选择，供选择的培训包括设备的拆卸培训或装配培训；
27.所述向所述显示器内导入设备的三维模型的步骤包括：
28.向所述显示器内导入与操作人员选择的培训对应的设备的三维模型，与所述拆卸培训对应的设备的三维模型为装配完整的设备的三维模型；与所述装配培训对应的设备的三维模型为拆解后的设备的三维模型，且拆解后的设备的三维模型配置为被导入显示器内预设的零件存放区。
29.可选地，在所述目标零件的三维模型以当前姿态放置在所述显示器中的操作人员的手部位置的步骤之后，还包括：
30.确定所述目标零件的三维模型在所述显示器中被放置的位置与预设装配位置之间的距离偏差；
31.若所述距离偏差小于或等于预设距离偏差阈值，解除所述操作人员动作与所述目标零件的三维模型关联；
32.若所述距离偏差大于所述预设距离偏差阈值，将所述目标零件的三维模型移动至所述预设的零件存放区。
33.根据本发明的另一方面，本发明还提供了一种设备虚拟拆装培训系统，包括：
34.显示器，配置为输出图像；
35.操作感应装置，配置为采集操作人员的动作；
36.处理器；以及
37.存储器，存储有计算机程序，所述计算机程序被所述处理器执行时用于实现前述任一项所述的培训方法。
38.可选地，所述显示器为普通显示器或头戴式显示器；
39.所述操作感应装置包括操作手柄、智能触觉手套或体感控制器。
40.本发明的设备虚拟拆装培训系统及其培训方法通过采集操作人员动作对设备的三维模型进行拆卸或装配，使得操作人员通过虚拟操作可快速熟悉设备的拆装过程，避免了现有培训方法的费时费力的问题，缩短了培训周期，提高了培训效率。
41.进一步地，本发明的设备虚拟拆装培训系统及其培训方法通过操作感应装置与显示器中的目标零件的三维模型的虚拟距离确定操作人员接近的是否是目标零件，保证零件
的拆装顺序正确，提高了虚拟拆装培训系统的智能化，使得设备拆装操作更加简单。
42.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
43.后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
44.图1是根据本发明一个实施例的设备虚拟拆装培训系统的示意框图；
45.图2是根据本发明一个实施例的设备虚拟拆装培训方法的示意图；
46.图3是根据本发明一个实施例的设备虚拟拆卸培训方法的示意图。
具体实施方式
47.本实施例提供了一种设备虚拟拆装培训系统100及其培训方法，其中的设备可以为家用电器或家用电器的一个组件，例如，空调器、冰箱、空调器的室内机、空调器室内机的送风组件等。当然，设备也可以为除家用电器以外的其他可进行拆卸或装配的设备。
48.图1是根据本发明一个实施例的设备虚拟拆装培训系统100的示意框图，如图1所示，本实施例的培训系统100可包括显示器110、操作感应装置120、处理器130和存储器140。
49.显示器110向操作人员输出图像，显示器110可为普通显示器，例如电脑的显示屏。显示器110也可为头戴式显示器，可被操作人员穿戴于头部，头戴式显示器可以为虚拟头盔或智能眼镜等显示设备，通过虚拟现实的方式呈现虚拟图像。
50.操作感应装置120配置为采集操作人员的动作，使操作人员与显示器110输出的图像进行互动，操作感应装置120可为采用惯性感测、光学感测、触觉感测及其组合等手段采集操作人员动作的感测设备，例如操作手柄、智能触觉手套、体感控制器。
51.在一些实施例中，操作感应装置120可配置为采集操作人员的手部动作，以便于更加灵活地预置指令动作，使得小幅度的操作人员动作便可实现与图像互动。在另一些实施例中，操作感应装置120可配置为采集操作人员的手臂动作。
52.存储器140内存储有计算机程序141，计算器程序被处理器130执行时用于实现本实施例的设备虚拟拆装培训方法。
53.处理器130可以是一个中央处理单元(central processing unit，简称cpu)，或者为数字处理单元等等。处理器130通过通信接口收发数据。存储器140用于存储处理器130执行的程序。存储器140是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何介质，也可以是多个存储器140的组合。上述计算机程序141可以从计算机可读存储介质下载到相应计算/处理设备或者经由网络(例如因特网、局域网、广域网和/或无线网络)下载到计算机或外部存储设备。
54.计算机程序141可以完全布置在本地计算设备、作为独立的软件包、部分布置在本地计算设备并且部分布置在远程计算设备上、或者完全布置在远程计算设备或服务器(包括云端设备)上来执行。
55.图2是根据本发明一个实施例的设备虚拟拆装培训方法的示意图。参见图2，本实
施例的培训方法可由上述的培训系统100实现。本实施例的培训方法包括如下步骤：
56.s202，向显示器110导入设备的三维模型；
57.s204，获取操作感应装置120采集的操作人员动作，使三维模型以响应于操作人员动作而被拆卸或被装配。
58.本实施例通过采集操作人员动作对设备的三维模型进行拆卸或装配，使得操作人员通过虚拟操作可快速熟悉设备的拆装过程，避免了现有培训方法的费时费力的问题，缩短了培训周期，提高了培训效率。
59.在一些实施例中，步骤s202可包括如下步骤：
60.根据操作人员输入的设备编号或选择的设备图片，从服务器下载对应的设备图纸；
61.将设备图纸转换为设备的三维模型，按照拆卸、装配顺序分别为组成设备的各个零件的三维模型进行编号，以保证拆装顺序正确，并为三维模型增加碰撞体、刚体、摩擦力等属性，并为各个零件的三维模型的拆卸、装配编写拆卸工具、装配工具以及拆卸过程、装配过程，例如，零件拆卸、装配需要的旋转圈数、旋转角度、位移等。
62.在另一些实施例中，设备的三维模型可预先存储在存储器140中，以供操作人员选择。
63.在一些实施例中，在步骤s202之前可包括：接收操作人员的培训选择，供选择的培训包括设备的拆卸培训或装配培训。
64.步骤s202还可包括：向显示器110内导入与操作人员选择的培训对应的设备的三维模型，与拆卸培训对应的设备的三维模型为装配完整的设备的三维模型；与装配培训对应的设备的三维模型为拆解后的设备的三维模型，且拆解后的设备的三维模型配置为被导入显示器110内预设的零件存放区。
65.在一些实施例中，步骤s204可包括如下步骤：
66.根据三维模型中各零件被拆卸或被装配的顺序确定当前需要被拆卸或被装配的零件，作为目标零件的三维模型；
67.将操作人员动作与目标零件的三维模型关联，以逐个对各个零件的三维模型进行拆卸或装配。
68.在步骤s204中，操作人员动作具体可为操作人员的手部动作，以便于更加灵活地预置指令动作，使得小幅度的操作人员动作便可实现与图像互动。
69.在步骤s204中，将操作人员动作与目标零件的三维模型关联之后，还可包括：在显示器110中显示对目标零件的三维模型进行拆卸或装配的指导信息。在一些实施例中，指导信息可以为目标零件被拆卸或被装配需要旋转的圈数、旋转角度、平移的位移等。
70.本实施例的培训方法监测操作人员对目标零件的三维模型的操作，再对操作人员操作及时给予指导，既加深了操作人员对操作过程的了解，又节省了操作时间。
71.在步骤s204中，将操作人员动作与目标零件的三维模型关联的步骤包括如下步骤：
72.获取操作感应装置120与位于显示器110中的目标零件的三维模型的虚拟距离；
73.若虚拟距离小于或等于预设距离阈值，将目标零件的三维模型的显示状态变更为激活状态，激活状态的视觉效果区别于其他零件的三维模型，例如变更目标零件的三维模
型的显示颜色或透明度。
74.本实施例的培训方法通过操作感应装置120与显示器110中的目标零件的三维模型的虚拟距离确定操作人员接近的是否是目标零件，保证零件的拆装顺序正确，提高了虚拟拆装培训系统100的智能化。
75.在步骤s204中，将目标零件的三维模型的显示状态变更为激活状态的步骤之前，还可包括如下步骤：
76.判断目标零件的拆卸或装配是否需要拆卸或装配工具；
77.若否，执行将目标零件的三维模型的显示状态变更为激活状态的步骤。也即是说，若不需要拆卸或装配工具，说明操作人员不需要借助工具即可对该目标零件进行拆卸或装配，此时，直接执行下一步骤，即激活该目标零件的三维模型。
78.若是，在显示器110中显示目标零件拆卸或装配所需的拆卸或装配工具的模型，将操作人员动作与拆卸或装配工具的模型进行关联，再执行将所述目标零件的三维模型的显示状态变更为激活状态的步骤。也即是说，若需要拆卸或装配工具，操作人员需要首先需要拿取拆卸或装配工具才可对该目标零件进行拆卸或装配，因此，需要先将操作人员动作与拆卸或装配工具的模型进行关联，使得该拆卸或装配工具能够随操作人员动作而改变位置和/或姿态，再执行下一步骤，即激活该目标零件的三维模型。
79.将操作人员动作与拆卸或装配工具的模型进行关联的步骤可包括如下步骤：
80.获取操作感应装置120与位于显示器110中的拆卸或装配工具的模型的虚拟距离；
81.若该虚拟距离小于或等于另一预设距离阈值，将该拆卸或装配工具的模型的显示状态变更为激活状态，该激活状态的视觉效果区别于其他拆卸或装配工具的模型。
82.本实施例的培训方法为设备的拆卸或装配赋予了所需的拆卸或装配工具，可更加真实地反映实体设备的拆装过程，增加操作人员对实体设备的真实拆装过程的了解。
83.步骤s204可进一步包括如下步骤：
84.若获取到操作感应装置120采集的第一手部动作，将目标零件的三维模型配置为响应于操作人员的第一手部动作而缩小尺寸并吸附于显示器110中的操作人员的手部位置，以使目标零件的三维模型随操作人员的手部在显示器110中移动。
85.若获取到操作感应装置120采集的第二手部动作，将目标零件的三维模型配置为响应于操作人员的第二手部动作而旋转，以改变目标零件的姿态，便于拆卸或装配目标零件。
86.若获取到操作感应装置120采集的第三手部动作，将目标零件的三维模型配置为响应于操作人员的第三手部动作而恢复尺寸并以当前姿态放置在显示器110中的操作人员的手部位置，以将目标零件的三维模型放置在期望的虚拟位置，实现对目标零件的拆卸或装配。
87.上述第一手部动作、第二手部动作、第三手部动作可以根据操作人员交互习惯进行配置，例如第一手部动作对应于手部的抓取动作，第二手部动作对应于手部的翻转动作(转动手腕等)，第三手部动作对应于释放动作(展开手掌或抛出等)。
88.在目标零件的三维模型以当前姿态放置在显示器110的操作人员的手部位置的步骤之后，本实施例的培训方法还可包括如下步骤：
89.确定目标零件的三维模型在显示器110中被放置的位置与预设装配位置之间的距
离偏差，以确定在装配过程中，目标零件的三维模型是否被放置到预设装配位置内。
90.若距离偏差小于或等于预设距离偏差阈值，解除操作人员动作与目标零件的三维模型关联，以表示该目标零件被装配成功，该目标零件不会再随操作人员手部动作变化而变化。
91.若距离偏差大于预设距离偏差阈值，将目标零件的三维模型移动至预设的零件存放区，以表示该目标零件未被装配成功，提示操作人员需要再次对该目标零件进行装配。
92.图3是根据本发明一个实施例的设备虚拟拆卸培训方法的示意图，如图3所示，本实施例以设备拆卸过程为例，提供了设备虚拟拆卸培训方法的一种执行流程，其包括如下详细步骤：
93.步骤s302，接收操作人员选择的拆卸培训；
94.步骤s304，向显示器110导入装配完整的设备的三维模型；
95.步骤s306，根据三维模型中各零件被拆卸的顺序确定当前需要被拆卸的零件，作为目标零件的三维模型；
96.步骤s308，获取操作感应装置120与位于显示器110中的目标零件的三维模型的虚拟距离；
97.步骤s310，判断该虚拟距离是否小于或等于预设距离阈值，若是，执行步骤s312，若否，返回步骤s308；
98.s312，判断目标零件的拆卸是否需要拆卸工具，若否，执行步骤s316，若是，执行步骤s314；
99.s314，在显示器110中显示目标零件拆卸所需的拆卸工具的模型，将操作人员动作与拆卸工具的模型进行关联，再执行步骤s316；
100.s316，将目标零件的三维模型的显示状态变更为激活状态，以提示操作人员可对该目标零件的三维模型进行拆卸；
101.s318，在显示器110中显示对目标零件的三维模型进行拆卸的指导信息；
102.s320，获取操作感应装置120采集的操作人员手部动作；
103.s322，使得目标零件的三维模型响应于操作人员手部动作而运动至显示器110中的操作人员的手部位置；
104.s324，在显示器110上显示拆卸完成和拆卸完成时间。
105.在一个具体实施例中，可以通过htc vive vr头盔及其配套定位器和leap motion手势识别设备来构建本实施例的虚拟现实系统。该实施例的虚拟现实系统的搭建过程可以包括：
106.获取设备的三维图纸，三维图纸绘制过程可使用ug，在ug中详细绘制设备的各零件，精确到模型螺钉孔和各孔洞。
107.绘制的图纸导入三维动画渲染软件(例如三维动画渲染3dsmax)，转换为设备的三维模型。
108.将设备以及其他的三维模型导入虚拟开发平台(例如unity3d)。
109.在htc vive虚拟现实头盔的sdk(软件开发工具包)中接入虚拟开发平台(unity3d)中，调整头盔的定位设备，搭建虚拟场景。
110.leap motion手势识别设备与htc vive虚拟现实头盔连接。在unity3d中建立手部
属性，放入虚拟场景后，加入碰撞体和刚体等属性。leap motion识别手部信息，读取手部状态。
111.编写脚本对手部与各零件进行关联，加入碰撞、摩擦力等属性，将各零件按照拆装顺序进行关联。通过数据采集算法，对手部移动信息进行采集计算。
112.在使用虚拟现实系统时，通过leap motion手势识别设备以及htc vive虚拟现实头盔获取手部与待拆卸或待装配的目标零件的三维模型的虚拟距离，当虚拟距离符合条件时，激活目标零件的三维模型(例如将目标零件的三维模型变更为绿色)。然后通过检测操作人员的手部动作，使目标零件的三维模型相应动作，例如通过定义手势弯曲抓取可将目标零件的三维模型吸附在手中，改变目标零件的三维模型的位置，完成拆卸或装配操作。
113.本发明的设备虚拟拆装培训方法，通过采集操作人员动作对设备的三维模型进行拆卸或装配，使得操作人员通过虚拟操作可快速熟悉设备的拆装过程，避免了现有培训方法的费时费力的问题，缩短了培训周期，提高了培训效率。
114.至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。