基于虚拟现实电力岗位评价的力反馈交互方法及系统与流程

1.本发明涉及虚拟现实仿真交互技术领域，具体涉及一种基于虚拟现实电力岗位评价的力反馈交互方法及系统。


背景技术：

2.虚拟现实(vr,virtual reality)技术作为计算机图形学领域的重要研究分支,其独有的视觉呈现与虚拟仿真交互方式，使用户能够真实地置身于虚拟构造的三维场景中，感受高度沉浸的视觉漫游体验。通过引入虚实融合的多模态视觉、听觉、触觉、嗅觉等感知技术，实现与虚拟场景物体的动态交互，感受虚拟世界所带来的知识学习与视觉震撼，能够有效的应用于医学仿真、教育培训、游戏娱乐、军事模拟、装配制造、工业智能机器人等多个领域，为人类的生产生活提供广泛的智能化数字交互的便利，成为研究人员所关注的研究热点和计算机前沿科技。
3.虚拟现实技术的出现使得现在教育行业发生的很大的变化，抽水蓄能电站的学员培训及岗位评价也逐渐往虚拟现实的方向发展。其沉浸式的交互体验和仿真场景让电厂员工能够如同置身真实电厂一样，并用先进的交互设备模拟真实操作，提高训练成效。
4.随着在抽水蓄能电站岗位评价中虚拟现实技术与力反馈技术相结合，应用的越来越广泛，以下问题也越来越明显：
5.1)课件体量过大，模型制作，刚体设置复杂，没有水电厂零件拆装开发经验；
6.2)课件中水电厂模型拆装体验相对固定，缺乏新鲜感和力觉临场感体验真实性；
7.3)水电厂模型重力反馈数值设置，实际调研设置过程繁杂；
8.经检索，公开号为cn111882936a的中国专利公开了一种基于力反馈与虚拟现实的手术预演及教学系统，其特征在于：包括三维重建单元、有限元力学分析单元、力反馈单元、pc单元、无线通信模块单元和虚拟眼镜单元。该专利通过力反馈与虚拟现实的结合，给医生以及医学生在模拟手术中的真实的视觉与触觉，并可以更换不同虚拟手术得到不同的手感，可以让医学院学生在培训时或者医生在手术模拟演练中拥有更加逼真的感受，达到让使用者沉浸在虚拟现实环境中即可进行手术训练的目的。通过该方法，已经重建出的病例和场景可以被反复练习使用，在做到节约资源的同时，帮助使用者不断精进自己的技巧，从而大大提高医生术前规划以及医学生手术教学的效率，降低手术风险。该专利虽然引入了力反馈，但其存在课件体量过大，模型制作、刚体设置复杂，模型操作复杂。
9.公开号为cn104657096b的中国专利公开了一种在cave环境下实现虚拟产品可视化与交互的方法。该专利的重点是将虚拟现实技术、数字样机技术、数字媒体技术等新技术手段有效整合，不同于传统多媒体动画技术复杂流程方式，提出在虚拟产品可视化模型的构建与优化、虚拟产品可视化模型的材质贴图与实时渲染、cave环境下实时可视化展示与交互应用等主要方面的新技术思路和方法，且实际应用到多个直升机型号虚拟产品可视化与交互中，提供了一种在cave环境下实现虚拟产品可视化与交互的方法。但是该专利在交互的过程中没有用到力反馈，缺乏操作真实性，体验效果不佳。
10.因此，亟需提供一种基于虚拟现实电力岗位评价的力反馈交互方法，以解决上述技术问题。


技术实现要素：

11.本发明的目的是针对现有技术存在的问题，提供一种基于虚拟现实电力岗位评价的力反馈交互方法及系统。
12.为实现上述目的，本发明采用的技术方案是：
13.一种基于虚拟现实电力岗位评价的力反馈交互方法，包括以下步骤：
14.s1，将3d软件中建立的电力岗位设备模型及场景模型导入虚拟现实仿真平台；
15.s2，通过虚拟现实仿真平台给设备模型添加刚体，设置每个设备模型的重力参数及各个零件模型之间的相互作用力和碰撞逻辑，并调整每个刚体的轴心，使各个设备模型的重心与对应实际设备零件的重心一致，在调整后能通过力反馈真实再现拾取零件时的力觉临场感体验。
16.s3，添加自动选取与自动录音功能，通过虚拟现实仿真平台调整模型操作方式，按照考生抽取的题目顺序自动选取模型，当前模型被选取时，开始自动录音，并提示考生回答该模型的设备名称及功能原理；在拆卸完成后，销毁当前模型，停止录音；自动选取下一模型并开始新录音；
17.s4，将虚拟现实仿真平台接入cave显示系统，并通过局域网将校准后的力反馈设备接入cave显示系统；
18.s5，通过cave显示系统完成电力岗位考核的登录验证、考题及模型加载后，学员通过虚拟现实交互设备和力反馈设备对虚拟场景中的模型进行操作，完成电力岗位评价考核任务。
19.具体地，步骤s1中，所述设备模型及场景模型为1：1模拟现实电力岗位的设备及场景，能真实再现水电厂零件的细节结构与零件组合内构。
20.具体地，所述设备模型包括设备整体模型和设备零件模型，将站内机组设备的三维模型进行零件拆分和重组，以便于基于不同的考核业务，使每一重组后的零件单元能够被单独调用。
21.具体地，所述虚拟现实仿真平台采用makereal3d软件作为开发引擎对模型进行可视化编程、模型参数设置以及操作方式的调整，便于学员更好地体验水电厂岗位评价考核。
22.优选地，步骤s3中，所述模型的操作方式还包括：模型被选取后，模型的刚体开启，并同时反馈模型自身的重力以及与其它模型之间的相互作用力；模型未被选取时，模型的刚体关闭，同时不反馈模型自身的重力以及与其它模型之间的相互作用力。本发明中，不需要所有模型实时开启刚体和重力效果，只有当模型被选取后，才开启刚体和重力效果，极大地降低了系统的能耗。
23.具体地，岗位评价结构认知考核需要对应任一设备模型有着熟悉的认知，在考核过程中，按照考生抽取到的题目顺序进行自动选取当前模型并开启录音功能，选取后提示考生开始拆卸当前模型并讲解该设备的名称及功能原理。当完成当前步骤，即将模型移动到指定位置后，会自动销毁当前的设备模型、完成当前设备的录音，然后选取考题中对应的下一个设备模型并重新开启录音。传统交互方式为：通过力反馈设备完成当前设备模型的
拆装后，再切换至虚拟现实交互设备关闭当前考题对应的模型，选取下一个模型并手动开启录音；然后再切换至力反馈设备对考题中对应的设备模型进行拆装作业；这样一来，在考核过程中，需要频繁切换虚拟现实交互设备与力反馈设备，操作复杂，且容易出错。通过设置本发明的模型交互逻辑，学员只需要通过虚拟现实交互设备完成登录验证即可全程使用力反馈设备进行操作，后续操作不需要用到虚拟现实交互设备，无需在虚拟现实交互设备与力反馈设备之间来回切换，简化了学员的操作步骤。
24.具体地，步骤s5中，学员在考核过程中，通过力反馈设备对设备模型进行拆卸，根据手部感知到的反馈力的大小及方向来控制虚拟场景中零件模型的拆卸方向和力度；本发明中，每个设备模型的零件拆卸顺序和方法都是预设好的，学员在拆卸过程中，必须严格按照预设的拆卸顺序和方法进行，才能成功完成设备模型的拆卸作业。
25.与上述力反馈交互方法相对应的，本发明还提出了一种基于虚拟现实电力岗位评价的力反馈交互系统，包括：
26.构建模块，用于构建电力岗位的场景模型以及设备模型；
27.仿真模块，用于给设备模型添加刚体，设置每个设备模型的重力参数及各个零件模型之间的相互作用力和碰撞逻辑，并调整每个刚体的轴心，使各个设备模型的重心与对应实际设备零件的重心一致；还用于调整模型操作方式；
28.cave显示模块，用于展示虚拟作业场景，并提供人机交互界面；
29.力反馈模块，用于在虚拟现实环境下与虚拟设备模型进行交互操作，完成设备模型的拆卸。
30.与上述力反馈交互方法相对应的，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述力反馈交互方法的步骤。
31.与现有技术相比，本发明的有益效果是：
32.(1)本发明通过引入力反馈交互设备，实现了人机力觉交互，结合传统的视听交互形成了一种多感官通道融合的交互方式，不仅能为用户提供丰富的试听信息，同时允许用户通过操纵力反馈设备身临其境地感知虚拟环境中物体的运动和力觉信息，增强了虚拟仿真培训的真实性和沉浸感；
33.(2)本发明通过调整模型的操作方式，使得用户在完成当前对应的设备模型的拆卸后，销毁当前考题中选中的对应设备模型并保存讲解录音，然后自动选取考题中对应的下一个设备零件模型并开启新的录音；学员只需要通过虚拟现实交互设备完成登录验证即可，后续操作不需要用到虚拟现实交互设备，无需在虚拟现实交互设备与力反馈设备之间来回切换，简化了学员的操作步骤；
34.(3)本发明中，不需要所有模型实时开启刚体和重力效果，只有当模型被选取后，才开启刚体和重力效果，极大地降低了系统的能耗。
附图说明
35.图1为本发明实施例基于虚拟现实电力岗位评价的力反馈交互方法的流程示意框图。
36.图2为本发明实施例基于虚拟现实电力岗位评价的力反馈交互系统的结构示意框图。
具体实施方式
37.下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
38.如图1所示，作为本实施的一种实施方案，提供了一种基于虚拟现实电力岗位评价的力反馈交互方法，包括以下步骤：
39.s1，将3d软件中建立的电力岗位设备模型及场景模型导入虚拟现实仿真平台；
40.s2，通过虚拟现实仿真平台给设备模型添加刚体，设置每个设备模型的重力参数及各个零件模型之间的相互作用力和碰撞逻辑，并调整每个刚体的轴心，使各个设备模型的重心与对应实际设备零件的重心一致，在调整后能通过力反馈真实再现拾取零件时的力觉临场感体验。
41.s3，通过虚拟现实仿真平台调整模型操作方式，当前模型拆卸完成后，自动销毁当前模型并选取下一模型；
42.s4，将虚拟现实仿真平台接入cave显示系统，并通过局域网将校准后的力反馈设备接入cave显示系统；
43.s5，通过cave显示系统完成电力岗位考核的登录验证、考题及模型加载后，学员通过虚拟现实交互设备和力反馈设备对虚拟场景中的模型进行操作，完成电力岗位考核任务。
44.具体地，步骤s1中，所述设备模型及场景模型为1：1模拟现实电力岗位的设备及场景，能真实再现水电厂零件的细节结构与零件组合内构。
45.具体地，所述设备模型包括设备整体模型和设备零件模型，将站内机组设备的三维模型进行零件拆分和重组，以便于基于不同的考核业务，使每一重组后的零件单元能够被单独调用。
46.具体地，所述虚拟现实仿真平台采用makereal3d软件作为开发引擎对模型进行可视化编程、模型参数设置以及操作方式的调整，便于学员更好地体验水电厂岗位评价考核。
47.优选地，步骤s3中，所述模型的操作方式还包括：模型被选取后，模型的刚体开启，并同时反馈模型自身的重力以及与其它模型之间的相互作用力；模型未被选取时，模型的刚体关闭，同时不反馈模型自身的重力以及与其它模型之间的相互作用力(当拧螺栓的时候，螺帽、螺栓有自身的重力，同时螺帽与螺栓之间还有摩擦力和挤压力)。本发明中，不需要所有模型实时开启刚体和重力效果，只有当模型被选取后，才开启刚体和重力效果，极大地降低了系统的能耗。
48.具体地，当完成当前考核中对应的设备零件模型拆卸后，自动完成录音并销毁当前考核中选中的对应设备模型，自动选取考核对应的下一个设备模型并重新开启录音。传统交互方式为：通过力反馈设备完成当前设备模型的拆卸后，通过点击ui开启与关闭录音，再切换至虚拟现实交互设备关闭当前考题对应的模型，并选取下一个模型再次重复录音；然后再切换至力反馈设备对下一考题对应的设备模型进行拆卸作业；这样一来，在考核过程中，需要频繁切换虚拟现实交互设备与力反馈设备，操作复杂，且容易出错。通过设置本发明的模型交互逻辑，学员只需要通过虚拟现实交互设备(本实施例中虚拟现实交互设备
采用数据手套)完成登录验证以及考核中拆卸顺序对应的第一个模型选取即可，后续操作不需要用到虚拟现实交互设备，无需在虚拟现实交互设备与力反馈设备之间来回切换，简化了学员的操作步骤。
49.具体地，步骤s5中，学员在拆卸过程中，通过力反馈设备对设备模型进行拆卸，根据手部感知到的反馈力的大小及方向来控制虚拟场景中零件模型的拆卸方向和力度，感受到现场进行水电厂零件拆卸时的逼真体验；相比单纯观看专家讲解操作视频的教学方法，力反馈教学的应用不仅提供了一种更具真实感和沉浸性的教学情境，而且其学练结合的模式有助于提高学员掌握水电厂检修拆卸技能的效率。本发明中，每个设备模型的零件拆卸顺序和方法都是预设好的，学员在拆卸过程中，必须严格按照预设的拆卸顺序和方法进行，才能成功完成设备模型的拆卸作业。
50.本实施例中，力反馈设备作为一种重要的人机接口交互设备，它结合其他虚拟现实技术，使岗评学员能够通过视觉、听觉和触觉等通道与虚拟环境进行交互，有助于学员对水电厂拆装的虚拟环境的熟悉和掌握。将力反馈技术引入到水电厂岗位评价考核中，学员一方面可以通过图形窗口观察教学情境，另一方面可以感受到在使用力反馈设备与教学情境中物体交互时产生的力反馈信息。能让学员在水电厂岗评考核中学到更多，体验到更多。
51.作为本实施例的另一实施方案，如图2所示，本实施例还提出了一种基于虚拟现实电力岗位评价的力反馈交互系统，包括：
52.构建模块，用于构建电力岗位的场景模型以及设备模型；
53.仿真模块，用于给设备模型添加刚体，设置每个设备模型的重力参数及各个零件模型之间的相互作用力和碰撞逻辑，并调整每个刚体的轴心，使各个设备模型的重心与对应实际设备零件的重心一致；还用于调整模型操作方式；
54.cave显示模块，用于展示虚拟作业场景，并提供人机交互界面；
55.力反馈模块，用于在虚拟现实环境下与虚拟设备模型进行交互操作，完成设备模型的拆卸。
56.本实施例中，所述cave显示模块为多通道显示单元，由多面屏幕围合而成的沉浸式虚拟现实显示环境，具体为五面led-cave显示系统；还包括单通道显示单元，由投影机和幕布组成的虚拟现实显示环境。
57.作为本实施例的又一实施方案，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述力反馈交互方法的步骤。
58.处理器可以按任何适当的方式实现，例如，处理器可以采取例如微处理器以及存储可由该微处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器的形式，存储器控制器还可以被实现为存储器的控制逻辑的一部分。
59.本领域技术人员也知道，除了以纯计算机可读程序代码方式实现处理器以外，完全可以通过将方法步骤进行逻辑编程来使得处理器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微制器等的形式来实现相同功能。因此这种处理器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
60.上述实施例阐明的平台、系统、终端、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
61.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
62.本发明是参照根据本发明实施例的方法、平台(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
63.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
64.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
65.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算机包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
66.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
67.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的
存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
68.在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
69.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。