一种基于认知负荷的自适应虚拟装配培训方法

1.本发明属于虚拟现实技术领域，具体涉及一种自适应虚拟装配培训方法。


背景技术：

2.随着航天领域的不断发展，大容量、大载荷固体发动机需求激增，生产效率亟待提升。航天装备制造过程中，装配工作量占整个产品研制工作量的20％～70％；并且航天产品装配过程存在大量手工装配作业，操作人员严重依赖于纸质工艺文档，因纸质文档的不直观性，导致操作人员学习起来认知负荷过大，尤其针对工作经验缺乏的新任被培训人员，现有装配教学模式固定、内容枯燥，由于初学者常对装配过程和被培训不熟悉，且平面二维的纸质工艺表达不直观再加上装配工艺是成篇枯燥的文字叙述或平面示意图，致使初学者对纸质工艺文档以及装配指令的理解效率较低，导致认知负荷过大，时间久了难免也会出现厌学情绪，影响装配培训效率和培训效果。固体发动机芯模壳体由壳体、芯模、头部套圈、下翼片、上翼片、排气盘、盖子、工装等零部件组成。大部分零部件的外形尺寸较大，零件结构复杂，装配工艺繁琐，无论是通过现场观看经验人员装配演练或者用纸质工艺文档来进行课堂式装配教学都无法让工人全面掌握学习零部件的装配细节，导致装配培训效率低、培训效果不佳；并且由于尺寸过大现场装配教学也具有一定的安全隐患。


技术实现要素：

3.为了克服现有技术的不足，本发明提供了一种基于认知负荷的自适应虚拟装配培训方法，首先创建固体发动机芯模壳体装配三维模型，导入unity搭建虚拟培训环境；基于unity和htc vive搭建虚拟培训平台，实现vr环境下的装配工艺内容表达与交互。其次设计实验测量被培训人员的脑电信号，将采集到的被培训人员脑电信号进行分析处理后提取特征分类得出认知负荷的上下界，通过机器学习获得被培训人员的个人认知负荷分类模型并嵌入虚拟装配培训平台系统，被培训人员佩戴脑电信号采集设备在进行虚拟装配培训时，系统会根据被培训人员的实时认知负荷来调整培训内容，被培训人员始终能在自身的认知负荷承受范围内接受虚拟装配培训，实现基于认知负荷的自适应虚拟装配培训，从而提高培训的效率。
4.本发明解决其技术问题所采用的技术方案包括如下步骤：
5.步骤1：搭建自适应虚拟装配培训系统，包括一个虚拟显示头盔、两个控制手柄、两个追踪器和脑电信号采集设备；
6.所述虚拟显示头盔基于roomscale技术，通过虚拟显示头盔的两个lighthouse与追踪器进行定位追踪；通过lighthouse和传感器的配合，被培训人员能在虚拟世界中自然行走；在虚拟世界中，被培训人员通过控制手柄抓取、移动各个零件来进行装配；
7.步骤2：使用solidworks软件创建固体发动机壳体的零件三维模型，并组装成完整的装配体，转换格式后导入到利用unity搭建的虚拟装配环境中；
8.在unity编辑器中为零件添加collider和rigidbody组件；其中collider定义了物
理定律作用的形状，rigidbody指示了物理模拟要作用的对象；
9.步骤3：设计实验，通过脑电信号采集设备采集被培训人员的脑电信号；处理脑电数据提取特征得出个人认知负荷的上下界，通过机器学习训练出个人认知负荷分类模型；将被培训人员的脑电信号分类为高、中、低三类认知负荷；
10.使用脑电信号采集设备采集被培训人员的脑电信号，将其脑电信号提取特征，然后采用支持向量机分类算法进行分类识别找到被培训人员的认知负荷上、下界，用机器学习训练出个人认知负荷分类模型，将脑电数据分类为高、中、低三类认知负荷，将个人认知负荷分类模型嵌入虚拟装配培训系统中；
11.步骤4：制作文字、语音、动画三种培训内容，基于步骤3训练好的个人认知负荷分类模型，被培训人员佩戴脑电信号采集设备在虚拟环境中进行装配培训，系统根据每个被培训人员的认知负荷高低，实时调整装配培训内容；
12.当被培训人员戴着脑电信号采集设备在进行虚拟装配培训时，脑电信号采集设备采集到的脑电数据传输到个人认知负荷分类模型，系统将得到被培训人员的实时认知负荷情况，依据认知负荷的高低自动向被培训人员推送符合其当时认知负荷的教学培训内容，即当认知负荷超过预设的高阈值时，系统会给被培训人员推送动画培训内容；当认知负荷低于预设的低阈值时，系统会给被培训人员推送文字培训内容；当认知负荷介于低阈值和高阈值之间时，系统会给被培训人员推送语音培训内容。
13.优选地，所述虚拟显示头盔为htc vive。
14.本发明的有益效果如下：
15.1、本发明通过虚拟现实技术，在vr环境中培训初学者的装配技能，因为是虚拟环境中的沉浸式教学方式，全方位立体化地展示方式可提高学员兴趣，使初学者快速、高效地学习零部件结构和装配工艺流程，同时规避了现实培训中的潜在风险，且学员也可随时去培训学习，不受作业空间和时间限制。使用虚拟现实技术搭建装配培训平台，虚拟设备也不消耗材料、不需要维护、不会有任何安全隐患，可有效节省教学培训支出成本。
16.2、本发明可依据工人在培训过程中的认知负荷，实时调节培训内容使得工人能够在自身认知负荷范围内接受培训内容，最终达到熟练掌握装配工艺步骤。基于认知负荷的自适应虚拟装配培训系统可提高装配培训效率，并节约培训成本。最重要的一点是该系统还可以在航空航天大部件中通用，只需要替换装配零件模型、修改装配工艺流程和部分代码即可。
附图说明
17.图1为本发明的系统整体方案设计图。
18.图2为本发明的虚拟装配培训平台。
19.图3为本发明的虚拟装配培训内容设计图。
20.图4为本发明的虚拟装配操作过程示意图。；
21.图5为本发明的脑电数据采集、特征提取分类的实验设计示意图。
具体实施方式
22.下面结合附图和实施例对本发明进一步说明。
23.本发明提旨在解决现有固体发动机芯模壳体的课堂式、纸质工艺手册装配培训模式造成被培训人员认知负荷过大，从而导致装配效率低下及装配培训效果不佳的问题。建立了一个基于认知负荷的自适应虚拟装配培训方法及系统，以航天产品部件设备的三维模型为基础，通过虚拟现实设备htc vive以及脑电采集设备，建立一个实时闭环的自适应虚拟装配培训系统，实现装配培训的自适应性，提高装配培训效率。
24.一种基于认知负荷的自适应虚拟装配培训方法，包括以下步骤：
25.步骤1：使用solidworks软件创建固体发动机壳体的零件三维模型，转换格式后导入到利用unity搭建的虚拟装配环境中。
26.步骤2：设计实验，通过脑电设备采集被培训人员的脑电信号，实验也是在虚拟环境中进行的。处理脑电数据提取特征得出个人认知负荷的上下界，通过机器学习训练出个人认知负荷分类模型，可将被培训人员的脑电信号分类为高、中、低三类认知负荷。
27.步骤3：制作文字、语音、动画三种培训内容，基于前面训练好的认知负荷分类模型，被培训人员佩戴脑电采集设备在虚拟环境中进行装配培训，系统根据每个被培训人员的认知负荷高低，实时调整装配培训内容。
28.虚拟装配培训需要htc vive的硬件设备配合才能完成，硬件设备包括一个虚拟显示头盔、两个控制手柄、两个追踪器。htc vive的头戴显示器设计基于“roomscale”(房间规模)技术，通过房间中的两个lighthouse与头戴显示器和控制器进行定位追踪。通过lighthouse和传感器的配合，被培训人员能在虚拟世界中自然行走。在这个虚拟世界中，被培训人员通过控制手柄抓取、移动各个零件来进行装配。为了在纯虚拟的环境中，体现出零件装配的真实感觉，在unity编辑器中需要为零件添加collider和rigidbody组件；其中collider定义了物理定律作用的形状，rigidbody指示了物理模拟要作用的对象。这样虚拟零件就具备了重力和碰撞作用力的效果，装配过程更具备真实感。在装配培训过程中会有文字、语音及动画来指导员工进行零部件的装配。
29.为了实现自适应虚拟装配培训功能，本发明在进行虚拟装配培训之前设计了一组实验；使用脑电信号采集设备采集被培训人员的脑电信号，将其脑电信号进行一系列处理并提取特征，然后选用泛化能力较好的支持向量机分类算法进行分类识别找到被培训人员的认知负荷上、下界，用机器学习训练出个人认知负荷分类模型，此模型可将脑电数据分类为高、中、低三类认知负荷。将该模型嵌入虚拟装配培训系统中。当被培训人员戴着脑电设备在进行虚拟装配培训时，脑电设备采集到的脑电数据传输到系统中的个人认知负荷分类模型，系统将得到被培训人员的实时认知负荷情况，会依据认知负荷的高低自动向被培训人员推送符合其当时认知负荷的教学培训内容，即当认知负荷高了，系统会给被培训人员推送动画培训内容；当认知负荷低了，系统会给被培训人员推送文字培训内容；当认知负荷适中，系统会给被培训人员推送语音培训内容。这样被培训人员始终处在与自身匹配的认知负荷状态下，既不会因为认知负荷过高学起来难度大而自暴自弃，也不会因为认知负荷低感觉太简单学起来无聊而产生厌学情绪。
30.具体实施例：
31.参照图1，本发明实施案例所提供的基于认知负荷的虚拟装配培训系统的总体方案设计图，该方法流程如下：
32.实施案例为基于认知负荷的自适应虚拟装配培训过程，首先是搭建虚拟装配培训
平台如图2所示。使用solidworks建模软件创建固体发动机芯模的所有零部件，并组装成完整的装配体，转换格式后导入unity编辑器中。联合unity和visual studio，采用c#代码脚本来控制零件的移动、旋转等。其次是利用3ds max设计制作装配培训内容(培训内容包括文字、语音、动画)如图3，将传统纸质工艺信息转换为结构化数据，并利用vr技术将其呈现在被培训人员视野中。被培训人员手持控制手柄可进行虚拟零件的抓取、移动来完成装配，如图4。
33.其次是进行脑电实验设计，设计不同难度的数学题来采集被培训人员的脑电数据，将采集到的脑电数据进行预处理，采用小波变换分析的方法来对脑电信号进行时频域分析，并基于分析结果提取脑电信号的线性特征，并利用样本熵方法来提取脑电信号的非线性特征，二者组合后得到最终的脑电信号特征。用支持向量机的算法进行脑电分类识别，对被试者的认知负荷进行低、中、高进行分类，采用机器学习训练出个人认知负荷分类模型嵌入装配培训系统中，如图5。
34.然后被培训人员佩戴htc vive的头戴显示器及脑电采集设备在虚拟环境中进行装配培训，基于前面训练好的认知负荷分类模型，被培训人员在装配培训的过程中，当脑电系统采集到其脑电数据传入个人认知负荷分类模型，通过分类模型系统得到被培训人员当时的认知负荷高低，会根据实时的认知负荷来调整教学内容，即在认知负荷高的时候装配培训内容会是动画的形式；认知负荷低的时候会是文字；认知负荷适中的时候会是语音加文字的装配培训内容，使被培训人员始终处在一个与自己认知负荷匹配的状态中；整个虚拟装配培训系统是一个闭环反馈的系统。