一种多人联机的虚拟现实教育系统及其使用方法与流程

1.本发明涉及人机交互领域，尤其涉及一种多人联机的虚拟现实教育系统及其使用方法。


背景技术：

2.教育能增进人民的爱国情怀、培育人民的高尚情操、铸就人民的创新精神。然而随着科技的不断进步，以图书，影像，音频为主要教学媒介，以课堂，博物馆为主要场所的传统教育已经无法满足人们的需求。
3.传统的教育存在以下几个方面的缺点：1、采用单向传输，枯燥单调，容易引起兴趣疲劳；2、受到时间空间的限制，情境体验感薄弱；3、在现有的虚拟现实教育应用中，大部分采用单人虚拟现实交互体验的方式，缺少多人同步互动学习的方式。随着科技的发展，多人联机虚拟现实技术也成为了教育的重要宣传手段，如何基于虚拟现实技术，解决上述教育中存在的缺陷，是一件亟待解决的问题。


技术实现要素：

4.本发明提供一种多人联机的虚拟现实教育系统及其使用方法，以克服现有教育系统中沉浸感薄弱，情境体验感薄弱，枯燥单调的技术问题。
5.为了实现上述目的，本发明的技术方案是：
6.一种多人联机的虚拟现实教育系统，其特征在于，包括：按键采集信息模块、多人vr网络联机模块、vr场景模块和vr人机交互模块；
7.按键采集信息模块用于根据用户指令控制多人vr网络联机模块、vr 场景模块和vr人机交互模块的信号流程；
8.多人vr网络联机模块包括服务器、客户端、vr手柄和头盔，其中客户端包括教师端和学生端；
9.服务器用于对在线的用户进行管理，进行系统的任务处理和系统中用户头盔和vr手柄的位置信息和旋转角度信息同步更新；
10.教师端通过vr人机交互模块将vr手柄和头盔通过ui界面进行vr教育课程的流程信号交互，并控制vr教育课程进行的流程信号发送给服务器，再由服务器反馈到学生端；
11.学生端用于实时获取学生用户头盔和vr手柄的位置信息和旋转信息，并将位置信息和旋转信息送给服务器，再由服务器把用户头盔和vr手柄的位置信息和旋转角度信息反馈给学生端和教师端；
12.vr场景模块包括三维模型设计模块、动画设计模块、视频设计模块和特效设计模块；
13.三维模型设计模块用于建模三维教育系统vr场景，通过steamvr插件，使头盔控制unity游戏引擎中摄像机运动，并将摄像机所视区域的vr 场景，通过unity游戏引擎图形渲染技术形成逐帧图像，显示在教师端和学生端的电脑屏幕和头盔屏幕上，同时调用unity游
戏引擎中的碰撞检测技术，为三维教育系统vr场景添加碰撞组件；
14.动画设计模块用于设计和制作场景中角色动画和场景动画，并调用 unity游戏引擎中的图形渲染技术，将用户所看到的区域角色动画和场景动画逐帧通过游戏引擎的图形渲染，显示在教师端和学生端的电脑和头盔的屏幕中；
15.视频设计模块用于将教育内容的视频素材导入unity游戏引擎，调用 unity游戏引擎中视频播放技术，调用videoplayer中的play()和pause() 方法实现视频素材在头盔的屏幕中的播放和暂停；
16.特效设计模块调用unity游戏引擎中的粒子系统技术，制作粒子特效素材，粒子特效素材包括三维场景中的环境光照特效、精灵闪光特效、烟雾特效，当用户通过人机交互模块使用vr手柄与三维场景中的模型道具发生碰撞检测时，系统生成粒子特效素材，实现碰撞效果；
17.vr人机交互模块基于steamvr软件，通过steamvr中的房间设置功能，将头盔和vr手柄与steamvr软件所提供的虚拟摄像机控制器和虚拟手柄控制器完成空间定位和配对，通过unity引擎技术，将steamvr中的虚拟摄像机控制器和虚拟手柄控制器导入三维教育系统vr场景中，使用户所使用的头盔和vr手柄可以控制三维教育系统vr场景中的摄像机和vr手柄道具模型的运动，进而使用户通过头盔和vr手柄与多人vr网络联机模块、vr场景模块和vr人机交互模块之间进行人机交互。
18.进一步的，还包括vr语音讲解模块，vr语音讲解模块调用unity游戏引擎中的音频播放技术和timeline时间线技术，调用timeline中的 playable director中的play()和pause()方法控制客户端教育解说语音素材的播放和暂停。
19.进一步的，还包括vr答题系统模块，vr答题系统模块调用unity游戏引擎技术中的ui组件，使用ui组件中的canvas画布制作学生端的vr 答题面板，使用canvas画布中的text功能将预设好的题目显示在canvas 画布上，从而将题目显示在学生端的答题面板上。
20.进一步的，所述按键采集信息模块包括教育课程按钮、控制面板按钮、下一步按钮、退出按钮和答题按钮。
21.同样的目的，一种多人联机的虚拟现实教育系统的使用方法，其特征在于：
22.步骤1、将服务器和客户端部署在局域网中，将电脑连接多人联机的虚拟现实教育系统，并进行vr空间定位，选择一台电脑作为教师机安装教师端，一台电脑作为服务器，其余电脑作为学生机安装学生端；
23.步骤2、开启服务器，教师打开教师端，教师佩戴头盔和vr手柄，通过vr人机交互模块，使用vr手柄选择教育课程按钮，进入三维教育系统 vr场景；学生开启学生端，通过多人vr网络联机模块，进入和教师端相同的三维教育系统vr场景；通过vr场景模块，三维教育系统vr场景显示在学生的头盔中，并通过多人vr网络联机模块，观察到其他学生在三维教育系统vr场景中的头盔和vr手柄运动效果；
24.步骤3、教师使用vr手柄点选三维教育系统vr场景中的ui交互界面的控制面板按钮，控制教育课程内容的进行进度；教师点击下一步按钮，将开启vr语音讲解模块和vr场景模块，播放教育内容的音频解说并在系统中加载与解说内容相关的vr场景素材，通过多人vr网络联机模块，使学生端和教师端的信息同步，同时通过vr人机交互模块，学生能够使用vr手柄与三维教育系统vr场景中的三维模型角色和道具进行互动；
25.步骤4、通过vr人机交互模块，教师使用vr手柄点选三维教育系统 vr场景中的ui交互界面控制面板中的答题按钮进入vr答题系统模块，通过多人vr网络联机模块，控制学生端弹出答题面板，通过vr人机交互模块，学生使用vr手柄点选答题面板中的选项，通过vr答题系统模块，完成题目的作答和正误的判断；
26.步骤5、教育课程结束后，通过vr人机交互模块，教师使用vr手柄点选三维教育系统vr场景中的ui交互界面控制面板中的退出按钮，通过多人vr网络联机模块，使学生和教师一起退出系统。
27.进一步的，步骤3具体为：
28.步骤3.1、通过vr人机交互模块，教师使用vr手柄点选三维教育系统vr场景中的ui交互界面的控制面板按钮；
29.步骤3.2、点击ui交互界面上下一步按钮，进行文字翻页，进而提示教师进行下一段教育的讲解，并开启vr语音讲解模块，播放讲解音效，完成教育内容的讲解；
30.步骤3.3、教师点选三维教育系统vr场景中的ui交互界面的控制面板按钮后，通过多人vr网络联机模块，向教师端和学生端发送指令，通过vr场景模块，调用unity游戏引擎技术控制三维教育系统vr场景中动画、视频和特效的产生和播放；
31.步骤3.4、学生佩戴头盔和vr手柄,通过vr场景模块模块，观察三维教育系统vr场景的动画、视频和特效变化，聆听语音解说，并通过vr人机交互模块，使用vr手柄与三维教育系统vr场景中的道具模型进行碰撞，调用unity游戏引擎的碰撞检测技术，触发场景中道具模型的生成、角色动画的播放、粒子特效的生成效果。
32.有益效果：
33.本发明将网络技术，虚拟现实技术融入教学，丰富了教育教学形式。
34.本发明能把各类场景生动形象的展现出来，尤其是一些时间空间受限，无法还原的场景，让参与其中的学生获得更深刻的情景体验。
35.本发明采用的多人联机虚拟现实交互，学生可以在多人的互动中找到协作学习的乐趣，提高学习的兴趣，尤其是在一些作战教育中，这种多人互动，使学生意识到团队协同作战的重要性。
36.本发明的vr答题系统可以帮助学生回顾所学知识，加深记忆。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明系统示意图；
39.图2为本发明使用流程图；
40.图3为本发明多人vr网络联机实现的流程图；
41.图4为本发明vr人机交互技术实现流程图；
42.图5为本发明vr语音讲解实现流程图；
43.图6为本发明vr场景实现的流程图；
44.图7为本发明vr答题系统实现流程图；
45.图8为本发明多台vr计算机网络联机附图；
46.图9为本发明系统中vr教学场景示意图；
47.图10为本发明系统中vr场景切换意图；
48.图11为本发明系统中vr答题场景示意图；
49.图12为本发明学生进入系统后vr场景的效果图；
50.图13为本发明教师和学生进入系统后vr场景的效果图。
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本实施例提供了一种多人联机的虚拟现实教育系统，如图1，图3
‑
13，包括：按键采集信息模块、多人vr网络联机模块、vr场景模块和vr人机交互模块；
53.按键采集信息模块用于根据用户指令控制多人vr网络联机模块、vr 场景模块和vr人机交互模块的信号流程；所述按键采集信息模块包括教育课程按钮、控制面板按钮、下一步按钮、退出按钮和答题按钮；
54.多人vr网络联机模块包括服务器、客户端、vr手柄和头盔，其中客户端包括教师端和学生端；
55.服务器用于对在线的用户进行管理，进行系统的任务处理和系统中用户头盔和vr手柄的位置信息和旋转角度信息同步更新；
56.教师端通过vr人机交互模块将vr手柄和头盔通过ui界面进行vr教育课程的流程信号交互，并控制vr教育课程进行的流程信号发送给服务器，再由服务器反馈到学生端；
57.学生端用于实时获取学生用户头盔和vr手柄的位置信息和旋转信息，并将位置信息和旋转信息送给服务器，再由服务器把用户头盔和vr手柄的位置信息和旋转角度信息反馈给学生端和教师端；
58.vr场景模块包括三维模型设计模块、动画设计模块、视频设计模块和特效设计模块；
59.三维模型设计模块用于建模三维教育系统vr场景，通过steamvr插件，使头盔控制unity游戏引擎中摄像机运动，并将摄像机所视区域的vr 场景，通过unity游戏引擎图形渲染技术形成逐帧图像，显示在教师端和学生端的电脑屏幕和头盔屏幕上，同时调用unity游戏引擎中的碰撞检测技术，为三维教育系统vr场景添加碰撞组件；
60.动画设计模块用于场景中角色动画和场景动画的设计和制作，并调用 unity游戏引擎中的图形渲染技术，将用户所看到的区域角色动画和场景动画逐帧通过游戏引擎的图形渲染，显示在教师端和学生端的电脑和头盔的屏幕中；
61.视频设计模块用于将教育内容的视频素材导入unity游戏引擎，调用 unity游戏引擎中视频播放技术，使用videoplayer组件和c#编程，调用 videoplayer中的play()和pause()方法实现视频素材在头盔的屏幕中的播放和暂停；
62.特效设计模块调用unity游戏引擎中的粒子系统技术，制作粒子特效素材，粒子特效素材包括三维场景中的环境光照特效、精灵闪光特效、烟雾特效，当用户通过人机交互模块使用vr手柄与三维场景中的模型道具发生碰撞检测时，系统生成粒子特效素材，实现碰撞效果；此外当用户挥动vr手柄时，产生粒子特效，使其紧跟vr手柄实现闪烁拖尾效果。
63.vr人机交互模块基于steamvr软件，通过steamvr中的房间设置功能，将头盔和vr手柄与steamvr软件所提供的虚拟摄像机控制器和虚拟手柄控制器完成空间定位和配对，通过unity引擎技术，将steamvr中的虚拟摄像机控制器和虚拟手柄控制器导入三维教育系统vr场景中，使用户所使用的头盔和vr手柄可以控制三维教育系统vr场景中的摄像机和vr手柄道具模型的运动，进而使用户通过头盔和vr手柄与多人vr网络联机模块、vr场景模块和vr人机交互模块之间进行人机交互。
64.在具体应用中，vr人机交互模块的作用为：
65.1.教师和学生通过佩戴头盔和vr手柄硬件，控制vr教育系统中的摄像机和vr手柄模型的运动，并将用户头盔和vr手柄的在vr场景中的运动数据传递给多人vr网络联机模块，实现多人vr角色动作的画面同步效果；2.调用unity中的碰撞检测技术，为手柄模型添加碰撞检查功能组件，使教师和学生在佩戴头盔和vr手柄后既可以360度观看和触控vr场景模块中的模型，动画，视频和特效，又可以通过vr手柄与vr场景模块中的模型进行碰撞检测，触发模型动画，视频播放和暂停，特效产生等效果； 3.调用unity中的碰撞检测技术，教师通过vr手柄点击vr场景中的ui 交互界面按钮，并通过多人网络联机模块，控制所有学生机中vr教育课程的进度和语音讲解模块中教学语音的播放，使所有学生机中课程的进度保持一致；4.调用unity中的碰撞检测技术，学生通过vr手柄触碰vr场景中答题板上的答案控制器，完成答题模块中的选择答案选项的功能，并将学生答题的结果通过多人vr网络联机模块，反馈给各个学生段用户。
66.在具体实施例中，还包括vr语音讲解模块，vr语音讲解模块调用 unity游戏引擎中的音频播放技术和timeline时间线技术，通过c#编程，调用timeline中的playable director中的play()和pause()方法控制客户端教育解说语音素材的播放和暂停。
67.在具体实施例中，还包括vr答题系统模块，vr答题系统模块调用 unity游戏引擎技术中的ui组件，使用ui组件中的canvas画布制作学生端的vr答题面板，使用canvas画布中的text功能将预设好的题目显示在canvas画布上，从而将题目显示在学生端的答题面板上。
68.同样的目的，如图2，实施例2提供一种多人联机的虚拟现实教育系统的使用方法，其特征在于：
69.步骤1、将服务器和客户端部署在局域网中，将电脑连接多人联机的虚拟现实教育系统，并进行vr空间定位，选择一台电脑作为教师机安装教师端，一台电脑作为服务器，其余电脑作为学生机安装学生端；
70.步骤2、开启服务器，教师打开教师端，教师佩戴头盔和vr手柄，通过vr人机交互模块，使用vr手柄选择教育课程按钮，进入三维教育系统 vr场景；学生开启学生端，通过多人vr网络联机模块，进入和教师端相同的三维教育系统vr场景；通过vr场景模块，三维教育系统vr场景显示在学生的头盔中，并通过多人vr网络联机模块，观察到其他学生在三维教育系统vr场景中的头盔和vr手柄运动效果；
71.步骤3、教师使用vr手柄点选三维教育系统vr场景中的ui交互界面的控制面板按钮，控制教育课程内容的进行进度；教师点击下一步按钮，将开启vr语音讲解模块和vr场景模块，播放教育内容的音频解说并在系统中加载与解说内容相关的vr场景素材，通过多人vr网络联机模块，使学生端和教师端的信息同步，同时通过vr人机交互模块，学生能够使用 vr手柄与三维教育系统vr场景中的三维模型角色和道具进行互动；
72.步骤4、通过vr人机交互模块，教师使用vr手柄点选三维教育系统 vr场景中的ui交互界面控制面板中的答题按钮进入vr答题系统模块，通过多人vr网络联机模块，控制学生端弹出答题面板，通过vr人机交互模块，学生使用vr手柄点选答题面板中的选项，通过vr答题系统模块，完成题目的作答和正误的判断；
73.步骤5、教育课程结束后，通过vr人机交互模块，教师使用vr手柄点选三维教育系统vr场景中的ui交互界面控制面板中的退出按钮，通过多人vr网络联机模块，使学生和教师一起退出系统。
74.在具体实施例中，步骤3具体为：
75.步骤3.1、通过vr人机交互模块，教师使用vr手柄点选三维教育系统vr场景中的ui交互界面的控制面板按钮；
76.步骤3.2、点击ui交互界面上下一步按钮，进行文字翻页，进而提示教师进行下一段教育的讲解，并开启vr语音讲解模块，播放讲解音效，完成教育内容的讲解；
77.步骤3.3、教师点选三维教育系统vr场景中的ui交互界面的控制面板按钮后，通过多人vr网络联机模块，向教师端和学生端发送指令，通过vr场景模块，调用unity游戏引擎技术控制三维教育系统vr场景中动画、视频和特效的产生和播放；
78.步骤3.4、学生佩戴头盔和vr手柄,通过vr场景模块模块，观察三维教育系统vr场景的动画、视频和特效变化，聆听语音解说，并通过vr人机交互模块，使用vr手柄与三维教育系统vr场景中的道具模型进行碰撞，调用unity游戏引擎的碰撞检测技术，触发场景中道具模型的生成、角色动画的播放、粒子特效的生成效果。
79.在具体实施例中，如图4，步骤3.1实现步骤具体为：
80.步骤3.1.1、基于unity游戏引擎中的steamvr插件，将头盔和vr手柄硬件传感器与unity游戏引擎开发场景中的摄像机和三维手柄控制模型匹配，当用户佩戴头盔和vr手柄运动时，可以控制游戏引擎开发场景中的摄像机和手柄模型运动；
81.步骤3.1.2、在unity游戏引擎开发场景中，基于碰撞检测技术，为三维手柄控制模型添加碰撞检测组件，并为vr手柄触碰的模型道具或ui 界面上的按钮添加碰撞检测组件。
82.步骤3.1.3、基于unity游戏引擎，采用现有的c#编写程序，为三维手柄模型添加脚本组件，三维手柄控制模型与三维场景中的道具或按钮发生触碰时时，调用脚本组件中的oncollisionenter()函数，启动碰撞检测后的触发效果。
83.在具体实施例中，如图5，步骤3.2实现具体步骤为：
84.步骤3.2.1、根据教育内容，撰写讲解稿；
85.步骤3.2.2、并录制讲解音频，并将音频素材导入unity游戏引擎；
86.步骤3.2.3、基于unity游戏引擎，采用现有的c#编写程序，调用unity 中的audiosource组件控制音频的播放和暂停；
87.在具体实施例中，如图6，步骤3.3实现具体步骤为：
88.步骤3.3.1、收集教育内容的图文音视频素材；
89.步骤3.3.2、根据收集的素材，基于三维建模软件，进行三维场景的建模、角色动画的制作；
90.步骤3.3.3、将建好的模型、角色动画、视频素材导入unity游戏引擎，在unity游戏引擎中，使用动画组件、视频播放组件、粒子特效组件完成系统场景的搭建；
91.步骤3.3.4、基于unity游戏引擎的图形渲染技术，将vr场景渲染在电脑或头盔的屏幕上；
92.在具体实施例中，如图7，步骤4实现具体步骤为：
93.步骤4.1、根据教育内容编写选择题题库；
94.步骤4.2、将题库导入unity游戏引擎，通过c#程序将题库文件读入系统，并显示在系统场景中创建的题目显示面板上；
95.步骤4.3、每个选择题的选项均由带有碰撞检测组件的三维模型道具表示。用户使用vr手柄控制模型，触碰选项三维模型道具，完成题目答案的选择。
96.步骤4.4、系统获取用户选择结果，与写入程序中的正确结果比对，将答题结果反馈给用户，显示在用户的题目显示面板上。
97.如图3，步骤2具体为：
98.步骤2.1、通过网线、交换机将服务器和多台计算机连网形成一个小型的局域网；
99.步骤2.2、除服务器以外的计算机安装steamvr,连接htc vive硬件头盔和vr手柄设备；
100.步骤2.3、基于photonserver和unity游戏引擎开发客户端和服务器；
101.步骤2.4、将开发的服务器和客户端分别部署在服务器和教师机与学生机上；
102.步骤2.5、开启服务器程序，开启多个客户端，用户登录系统，完成多人vr网络联机效果；
103.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。