一种耙吸挖泥船虚拟现实仿真系统的制作方法

本发明涉及一种仿真系统，具体涉及一种耙吸挖泥船虚拟现实仿真系统。

背景技术

耙吸挖泥船是主要疏浚设备之一，具有自航、自载、自卸等功能，被广泛应用于港口、航道疏浚及吹填等工程。耙吸挖泥船结构、疏浚机理及疏浚过程复杂，配备的机具、软件都较为专业。疏浚施工人员往往较难全部掌握，很难发挥先进设备应有的优势。施工单位会组织一些培训，但培训活动受诸多因素的制约，效果难以保证，主要表现在：授课培训多通过语言描述和图片静态展示，对关键设备的工作原理描述较为抽象，使得内部构造不清楚，难于理解；通过师傅带教徒弟模式，疏浚施工的流程和工艺因人而异，不能标准化教学；实船演练培训受到安全和成本方面的限制，练习次数少，培训周期长等。

虚拟现实技术以其沉浸感强、多感知性、交互性等特点在各行各业得到广泛的应用。虚拟现实技术是克服上述传统培训存在的问题的利器。发明专利《耙吸船模拟仿真系统》(专利号：ZL201710150691.7)中提出了一种通过在硬件上搭建环幕和疏浚操作台的方式模拟耙耙吸船操作环境，对耙吸船施工环境、操作环境和施工过程进行仿真。该仿真系统逼真的模拟了耙吸船的操作环境，一定程度上缩短了耙吸挖泥船工作人员的培训周期，提高了培训的操作体验和培训效果。但该设备体积大，成本高，难以普及。

技术实现要素：

为解决上述技术问题，本发明的耙吸挖泥船虚拟现实仿真系统，其特征在于，包括漫游模块、疏浚过程模拟模块、设备拆装模块；

所述漫游模块，用于对耙吸挖泥船的船体结构、船上疏浚设备进行教学培训；漫游模块使用虚拟现实技术显示耙吸船模型，并提供交互功能，包括第一人称交互(模拟在船上行走)和第三人称交互(控制视角以船为中心旋转、拉远和拉近)。当重要疏浚设备的模型被选中时，系统会弹出该设备的文字介绍和语音讲解。

所述疏浚过程模拟模块，用于对耙吸挖泥船的疏浚过程进行教学培训；疏浚过程模拟模块使用虚拟现实技术显示耙吸船模型、海洋和海底地形，并提供交互功能：界面上显示虚拟操作杆和操作按钮，通过拖拽虚拟操作杆和点击虚拟操作按钮，对耙吸船的车、舵、耙臂、耙头进行控制；界面上显示管道模拟控制面板，通过操作控制面板，切换耙吸船工作状态，包括挖泥、抛泥、吹填，并显示泥浆在管道中的运动；可使用手势对船体航速和视角进行控制；可使用语音进行控制，通过口述命令，程序执行相应操作。模拟耙吸船航行和疏浚工艺流程。

所述设备拆装模块，用于对耙吸挖泥船的重要疏浚设备拆装进行教学培训；设备拆装模块对耙吸挖泥船的重要疏浚设备零部件分别建立模型并使用虚拟现实技术显示，将各零部件和其对应的拆装工具绑定，设置拆卸和安装动画，提供交互功能，当用户点击正确的零部件和工具时触发拆装动画，模拟重要疏浚设备的拆卸和安装。

以上漫游模块、疏浚过程模拟模块、设备拆装模块在计算机中运行，有桌面版和VR版两种交互方式。桌面版使用显示器、手势、语音进行交互，VR版使用虚拟现实眼镜、手持操作杆和语音进行交互。

上述的疏浚过程模拟模块，其特征在于，使用手势和语音控制代替硬件设备，模拟耙吸挖泥船疏浚操作。使用手势控制视角，使用手势控制放耙和收耙操作，使用语音控制代替疏浚台上的按钮和旋钮，使用语音控制Scada系统中的液压系统、封水系统、闸阀模式、蝶阀模式、大泥门、小泥门。

上述的设备拆装模块，其特征在于，建立各个零部件和拆卸、安装工具的对照表，每个零部件使用特定的拆卸和安装工具进行拆装。

有益效果：

基于上述耙吸船虚拟现实仿真系统，能够实现对耙吸船船体结构、重要疏浚设备拆装以及施工工艺的仿真，可提高培训的操作体验和培训效果。

本发明的耙吸船虚拟现实仿真系统按照某大型耙吸挖泥船建立高精度全船模型，通过三维图形引擎实现疏浚过程模拟、全船漫游、关键设备拆装等功能。操作人员通过多种交互方式进行虚拟交互，操作人员完全融入到场景中，获得较强的沉浸感。有效地缩短耙吸挖泥船工作人员的培训周期，提高培训的操作体验和培训效果。

附图说明

图1为本发明系统架构图

具体实施方式

本发明开发一套耙吸挖泥船虚拟现实培训系统，需要解决的问题包括：如何快速让一个不懂耙吸挖泥船的人入门：要了解耙吸船，一是要了解耙吸船的构造，二是要了解耙吸船如何进行施工，三是要了解耙吸船内部的重要疏浚设备，即三个方面的教学。

本发明公开了一种三步走的培训方式，设计了三个模块分别进行上述教学：

漫游模块，用于让学员可以在虚拟环境中浏览耙吸船的全部构造，可使用第一人称视角在耙吸船中行走，也可使用第三人称视角浏览耙吸船的整体结构。

疏浚模拟模块，用于让学员在虚拟环境中操作耙吸挖泥船进行疏浚操作，学习耙吸挖泥船疏浚过程。

设备拆装模块，用于让学员深入了解耙吸船上的重要疏浚设备，学习其内部结构和其拆装方法。

进一步的，在所述疏浚模拟模块中如何在使用尽量少的硬件设施实现对耙吸挖泥船的疏浚操作的模拟。所述疏浚模拟模块为一种新的交互方式，其替代传统的硬件设备进行耙吸船疏浚操作，通过语音控制和手势控制相结合，脱离疏浚台硬件设备，在虚拟环境中对耙吸船疏浚操作进行模拟。

进一步的，在所述设备拆装模块中使用第一人称视角的同时如何方便的调整位置。设备拆装过程中，耙吸船疏浚设备体积大，例如泥泵、耙头等，拆装过程中需要不断移动位置，才能按照正确顺序拆装零部件。在虚拟现实环境中使用第一人称视角时，操作及其不便。双手使用虚拟操作杆处理要进行拆装操作，还需要进行位置的切换。为了能够模拟真实的拆装过程，又需要在第一人称视角下进行操作。所述设备拆装模块为一种新的交互方式，其替代手持操作杆的单一控制，使用语音控制进行视点的切换。通过预先设定好拆卸过程中操作人员常用的几个站位，使用语音控制用户在几个站位之间移动，让双手的操作集中在设备的拆装上。

实施例

本实施例需要解决：

1.真实耙吸船疏浚操作复杂，需要在两个控制终端上操作多个按键和操作杆，在电脑上通过鼠标键盘操作难以模拟真实的疏浚操作，不能达到很好的教学效果；

2.耙吸船结构复杂，船上设备较多，即使在电脑中进行虚拟漫游，也很难调动学员积极性，学习时间较长；

3.耙吸船设备拆装过程中需要使用多种工具，学员不仅需要学习零部件的拆装顺序，还需了解拆装各个零部件所使用的工具；

实施例提供一种能够真实展现耙吸船船体结构、重要设备拆装过程以及施工工艺的仿真系统，为培训人员提供沉浸式的学习体验，提高培训效果。

实施例公开的耙吸船虚拟现实仿真系统，用于耙吸船疏浚技术教学和展示的计算机系统，分为硬件和软件两个部分。

硬件部分主要包括电脑主机、电脑显示器、VR头盔套件、麦克风、音响、体感控制器等。其中VR头盔套件、其特征在于必须包括头盔显示器、手持操作杆，可含有激光定位器。软件部分主要完成业务逻辑处理、可视化显示与人机交互。

按照分类，硬件包括电脑主机和交互设备。交互设备有两种选择，分为桌面版和VR版。桌面版使用计算机显示器、鼠标、键盘、体感控制器和话筒进行交互。通过话筒采集语音信号进行语音识别操作，通过体感控制器采集手势信号进行手势识别操作。疏浚过程模拟模块中，可使用手势对船体航速和视角进行控制，使用语音进行疏浚操作控制，方便教员在教学过程中展示耙吸挖泥船的疏浚过程。VR版虚拟现实眼镜和手持操作杆进行交互，学员可在VR版中学习，对耙吸挖泥船疏浚知识获得更深刻的认识和记忆。可使用HTC Vive头盔套件作为VR版交互设备。其中HTC Vive头盔套件主要包括头盔显示器、手持操作杆、激光定位器。

软件部分使用三维图像引擎开发，完成可视化显示与人机交互。软件部分由漫游模块、疏浚过程模拟模块、设备拆装模块组成，提供桌面版和VR版两种交互方式，根据不同的硬件设备自动切换为相应的交互方式。

漫游模块，用于进行耙吸船的漫游展示和设备讲解。漫游展示基于三维漫游功能和环境模拟功能实现，包括自动漫游和手动漫游，手动漫游根据用户进行视角控制。视角控制包括两种方式，第一人称交互(模拟在船上行走)和第三人称交互(控制视角以船为中心旋转、拉远和拉近)。第一人称交互根据用户输入控制相机前后左右移动和旋转，相机始终与地面保持一定高度，模拟人的行走，对相机和船体模型设置碰撞体进行碰撞检测，防止相机穿墙；第三人称交互根据用户输入控制相机以耙吸船为中心旋转、拉近和拉远。自动漫游根据数据库中存储的业务元数据——自动漫游相机关键点文件进行视角控制，相机根据预先设定好的路径进行移动和旋转；设备讲解基于语音播放功能和文字显示功能实现，根据数据库中存储的场景元数据——关键设备介绍文字和语音进行文字显示和语音播放，当用户选中特定模型时，触发相应的文字显示和语音播放。场景数据库以资源压缩包的形式实现，包含模型、贴图、动画、声音，采用LZMA压缩算法进行压缩，可以在程序运行的时候被加载。业务数据库中的内容可以记录在程序文件中，不以单独的数据库进行存储。

疏浚过程模拟模块，用于进行耙吸船疏浚工艺流程的教学和展示。疏浚过程模拟模块基于疏浚过程模拟功能和环境模拟功能实现。疏浚过程模拟功能根据耙吸挖泥船真实施工过程开发，包括放耙、挖泥、进舱、收耙、航行、抛泥、艏喷、艏吹。分别对耙吸挖泥船的状态、挖掘时的地形变化以及泥浆输送过程进行模拟。

使用手势和语音控制的方式代替硬件设备对耙吸船疏浚操作过程进行模拟。下表展示了不同手势和语音对应的操作。将耙吸船疏浚操作按照合适的方式分配给了语音和手势进行控制，并对部分操作进行简化，方便学员快速掌握耙吸船疏浚过程。

表1.交互操作表

耙吸挖泥船的状态模拟分为多个环节，耙臂运动、挖掘、装载和卸载。其中，

耙臂运动模拟包括A支架的收放、绞车的运动、耙头与耙臂收放；

挖掘过程模拟包括耙头高压冲水开与关、耙头活动罩运动、耙头下放深度控制、航行速度控制、波浪补偿器运动，装载模拟过程包括进舱控制、溢流控制。

卸载过程模拟包括底部泥门抛泥、艏吹与艏喷。根据真实耙吸船疏浚过程中各个部件的姿态变化制作三维动画。所谓三维动画是指，通过设置模型在运动过程中关键时间点的模型方位，控制模型运动，模型在关键时间点之间的状态通过插值获得。根据用户操作，控制相应动画的播放。根据真实的耙吸挖泥船操作设备设置UI界面，模拟的操作设备包括车、舵、疏浚操作按钮和操作杆以及部分软件操作界面。疏浚操作按钮包括一键放耙、一键收耙、进舱、低浓度排放、左右高压冲开关。疏浚操作杆包括左右耙头、耙中和弯管的吊架绞车绞车收、放操作杆。软件操作界面包括闸阀控制界面、溢流控制界面、抛泥控制界面。用户通过拖拽虚拟操作杆和点击虚拟操作按钮操作UI界面，程序根据用户输入进行逻辑判断，控制模型运动或播放相应动画。

地形变化的模拟分为挖掘和抛泥两个部分。挖掘过程中，根据耙吸船耙头的位置修改地形网格点的高度。同时，地形也会反作用于耙头，阻止耙头不断下陷。当耙头着地后，与耙头接触的地形网格点会根据耙头高度重新计算位置。地形下陷深度有一个最大值，当下陷深度未达到最大值时，将与耙头接触的地形网格点高度值变为耙头的高度值。当下陷深度达到最大值时，继续下放耙头不再改变耙头和地形高度。抛泥过程中，根据耙吸船抛泥模式，分别根据艏喷、艏吹和大泥门位置改变地形网格点的高度。

泥浆输送过程模拟根据耙吸船工作状态，模拟挖泥、抛泥、吹填过程中的泥浆输送。在界面上设置船身透明按钮，用户点击后将耙吸船模式设为半透明状态，方便用户观察泥浆在管道中的运动。用户通过操作软件操作界面中的闸阀控制界面和抛泥控制界面控制耙吸挖泥船工作状态，程序根据相应工作状态开启和关闭不同的闸阀和疏浚设备，播放不同的泥浆流动动画。

关键设备拆装模块，用于进行耙吸船关键疏浚设备的拆装教学和演示，基于设备拆装功能、三维漫游功能、语音播放功能、文字显示功能实现。设备拆装功能开发流程如下：

1.在建模软件上制作出设备零部件的三维模型，让每个零部件以独立的个体存在，并赋予零部件特征属性信息，包括零部件名称和相关文字介绍；

2.建立各个零部件和拆卸、安装工具的对照表，每个零部件都只能使用特定的拆卸和安装工具。

3.设置各个零部件和其拆装工具以及辅助工具模型在拆装时的运动轨迹和运动方式(辅助工具包括缆绳、木屑、橡胶垫和不同种类的吊架)；

4.将零部件和其拆装工具的运动轨迹和运动方式按特定的拆装顺序进行组合；

5.设置点击响应功能：当按照拆装顺序点击正确的零部件和其对应的拆装工具时，模型将按照设定好的运动轨迹和运动方式运动。

6.针对不同的疏浚设备设置拆装过程中的两到三个常用站位，设置语音响应关键词(视点一，视点二，视点三)，当对应的语音关键词被触发时，摄像机移动到对应视点所在位置。

设备拆卸流程模拟有漫游观察、拆卸练习、安装练习、自动拆装4种模式选择。漫游观察模式和漫游模块中的漫游类似，分为第一人称交互和第三人称交互，方便用户对设备进行全方位的自由观察。用户可选中各个零部件，分别设为隐藏，方便对设备内部结构进行观察。自动拆装模式为学习模式，设备拆装动画按设备拆装步骤自动播放，同时，嵌入语音教学讲解内容，将语音讲解内容跟每一拆装动作序列进行一一对应。拆卸练习与安装练习模式为训练模式，只有当用户选中当前拆装步骤中正确的拆装工具和相应的设备零部件，该零部件和其拆装工具才会按照正确的方式运动。

软件系统按分层方式进行架构，共分为六层，分别为元数据、数据库、图形引擎层、功能层、应用层和表现层。系统架构如图1所示。元数据包括场景元数据以及业务元数据。场景元数据，其特征在于包括3D模型、材质、声音、动画、文字；业务元数据，其特征在于包括设备零件拆装顺序、自动漫游路径信息。元数据存储于数据库中。图形渲染引擎层主要负责系统业务逻辑处理，其特征在于包括模型方位控制、模型状态控制、视角控制、声音控制、特效控制、动画控制、碰撞检测。功能层主要是在图形引擎层编写的控制逻辑基础上定制开发具体功能项，其特征在于包括三维漫游功能、设备拆装功能、疏浚过程模拟功能、语音播放功能、文字显示功能、耙吸挖泥船状态模拟功能、环境模拟功能。在功能层的基础上进行关键设备的虚拟拆装练习和教学、漫游展示、疏浚过程展示与教学应用。表现层为桌面端和VR端两种人机交互方式，桌面端使用鼠标、键盘、麦克风、音响、体感控制器、电脑显示器进行交互，VR端使用VR头盔套件。

上述基于虚拟现实技术设计的耙吸挖泥船培训系统，分为桌面版和VR版两个版本。可在普通计算机上运行，也可使用VR头盔套件提升操作体验。桌面版方便教员进行授课教学，VR版可进一步提高学员学习效果，满足多方面需求，成本低，效果好，易于普及。