一种基于传感器技术的虚拟现实增强方法及系统与流程

1.本发明涉及虚拟现实技术领域，具体是一种基于传感器技术的虚拟现实增强方法及系统。


背景技术：

2.增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，它把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、味道、触觉等），通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
3.现有技术中，关于视觉信息的开发已经比较完善了，但是声音、味道、触觉或气味等其它信息几乎是没有涉及，在上述其它信息中，声音是一种可以由电子设备完全模拟的信息，但是现有的关于声音的显示过程大都是静态的，这会使得虚拟世界有一种重复感，这种重复感会降低虚拟世界的真实性。因此，如何设计一种新的声音显示方式，从听觉角度对虚拟现实进行增强，是本发明技术方案想要解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种基于传感器技术的虚拟现实增强方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于传感器技术的虚拟现实增强方法，所述方法包括：实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表；所述材质表包括名称项和材质项；根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表；接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息；其中，所述碰撞信息包括碰撞点、所述碰撞点与场景模型中心点的距离和碰撞主体的材质；根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小。
6.作为本发明进一步的方案：所述实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表的步骤包括：获取用户的虚拟位置信息，根据所述虚拟位置信息确定用户区域；读取所述用户区域的连接点，根据所述连接点读取相邻场景区域，根据所述用户区域和所述相邻场景区域生成场景模型；
依次读取所述场景模型中部件的初始材质和创建时间，根据所述初始材质和创建时间确定动态材质；根据所述动态材质生成材质表。
7.作为本发明进一步的方案：所述根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表的步骤包括：遍历所述材质表中的名称项，根据所述名称项标记活动部件；所述名称项中包含索引项，活动部件的索引项中包含活动标签；依次提取材质表中标记的活动部件，得到活动部件表；根据活动部件表和材质表生成以活动部件为索引的子音效表，连接所述子音效表得到音效表；其中，固定部件的存在时间达到预设的时间阈值时，将相应的固定部件转换为活动部件。
8.作为本发明进一步的方案：所述时间阈值的确定步骤包括：顺序读取所述场景模型中的部件，并计算所述部件的应力；获取所述部件的材质和尺寸，基于所述材质和尺寸计算部件强度；基于所述部件确定连接处，计算连接处应力，获取连接方式及相应的连接强度；基于所述部件的应力、子部件强度、连接处应力和连接强度确定该部件的时间阈值。
9.作为本发明进一步的方案：所述接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息的步骤包括：接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时更新与用户人物相关的活动部件，根据所述活动部件调整音效表的连接顺序；记录用户的操作量，根据所述操作量确定用户类型，根据所述用户类型确定碰撞概率，根据所述碰撞概率确定音效表读取通道；实时监测场景中各部件的碰撞信息。
10.作为本发明进一步的方案：所述根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小的步骤包括：读取所述碰撞信息中碰撞主体的材质，根据所述材质确定初始震源；读取所述碰撞信息中碰撞点与场景模型中心点的距离，将所述初始震源和所述距离输入训练好的衰减模型中，得到震动信号；其中，所述衰减模型的衰减参数由传播介质确定；根据所述音效表读取通道在调整连接顺序后的音效表中读取音效类型，根据所述碰撞点与场景模型中心点的距离计算音效的传播时间和衰减幅度；根据所述传播时间确定音效显示时间，根据所述衰减幅度确定音量大小。
11.作为本发明进一步的方案：所述方法还包括：基于图像获取设备获取多帧图像，其中，所述多帧图像包括均当前用户的人脸信息；
对所述多帧图像进行降噪处理，得到降噪后的多帧人脸图像；提取当前帧人脸图像对当前反馈信息的微表情，根据所述微表情确定当前帧人脸图像的满意度，并对多帧人脸图像的满意度进行统计，当所述满意度低于阈值时，对所述碰撞信息进行模糊筛选。
12.本发明技术方案还提供了一种基于传感器技术的虚拟现实增强系统，所述系统包括：材质表生成模块，用于实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表；所述材质表包括名称项和材质项；音效表确定模块，用于根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表；碰撞信息监测模块，用于接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息；其中，所述碰撞信息包括碰撞点、所述碰撞点与场景模型中心点的距离和碰撞主体的材质；音效生成模块，用于根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小。
13.作为本发明进一步的方案：所述碰撞信息监测模块包括：场景更新单元，用于接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时更新与用户人物相关的活动部件，根据所述活动部件调整音效表的连接顺序；通道建立单元，用于记录用户的操作量，根据所述操作量确定用户类型，根据所述用户类型确定碰撞概率，根据所述碰撞概率确定音效表读取通道；部件监测单元，用于实时监测场景中各部件的碰撞信息。
14.作为本发明进一步的方案：所述音效生成模块包括：震源确定单元，用于读取所述碰撞信息中碰撞主体的材质，根据所述材质确定初始震源；震动衰减单元，用于读取所述碰撞信息中碰撞点与场景模型中心点的距离，将所述初始震源和所述距离输入训练好的衰减模型中，得到震动信号；其中，所述衰减模型的衰减参数由传播介质确定；音效衰减单元，用于根据所述音效表读取通道在调整连接顺序后的音效表中读取音效类型，根据所述碰撞点与场景模型中心点的距离计算音效的传播时间和衰减幅度；处理执行单元，用于根据所述传播时间确定音效显示时间，根据所述衰减幅度确定音量大小。
15.与现有技术相比，本发明的有益效果是：本发明通过对场景模型中的部件进行分类，并依次匹配，生成音效表，当监测到碰撞信息时，根据碰撞信息生成衰减的震动信号和音效，提供了一种动态的音效显示过程，提高了虚拟现实的真实感。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些
实施例。
17.图1示出了基于传感器技术的虚拟现实增强方法的流程框图。
18.图2示出了基于传感器技术的虚拟现实增强方法的第一子流程框图。
19.图3示出了基于传感器技术的虚拟现实增强方法的第二子流程框图。
20.图4示出了基于传感器技术的虚拟现实增强方法的第三子流程框图。
21.图5示出了基于传感器技术的虚拟现实增强方法的第四子流程框图。
22.图6示出了基于传感器技术的虚拟现实增强系统的组成结构框图。
23.图7示出了基于传感器技术的虚拟现实增强系统中碰撞信息监测模块的组成结构框图。
24.图8示出了基于传感器技术的虚拟现实增强系统中音效生成模块的组成结构框图。
具体实施方式
25.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
26.实施例1图1示出了基于传感器技术的虚拟现实增强方法的流程框图，本发明实施例中，一种基于传感器技术的虚拟现实增强方法，所述方法包括步骤s100至步骤s200：步骤s100：实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表；所述材质表包括名称项和材质项；步骤s100的目的是对场景模型中的各物体进行分析，所述部件为搭建场景模型的单元，每个单元在设计伊始都有自己的参数，本发明技术方案是从音效方向实现虚拟增强，因此，仅读取场景模型中各部件的材质信息。
27.步骤s200：根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表；步骤s200的目的是确定音效表，在现有技术的背景下，视觉方面的研究已经很完善了，但是其它感觉的开发还不够完善，其中，听觉是一种比较容易开发的感觉，如果想要虚拟现实更加逼真，那么音效的需要尽可能的真实，可以想到，不同材质的物体相撞，其音效是不同的。
28.步骤s300：接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息；其中，所述碰撞信息包括碰撞点、所述碰撞点与场景模型中心点的距离和碰撞主体的材质；步骤s400：根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小；步骤s300和步骤s400是具体的操作环节，当用户输入控制信号时，在场景模型中可能发生各种各样的碰撞，这些碰撞会产生不同的音效，为了使得音效更加真实，还需要模拟传播过程。需要说明的是，上述内容都是在场景模型的架构下完成的。
29.图2示出了基于传感器技术的虚拟现实增强方法的第一子流程框图，所述实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表的步骤包括步骤s101至步骤s103：步骤s101：获取用户的虚拟位置信息，根据所述虚拟位置信息确定用户区域；步骤s102：读取所述用户区域的连接点，根据所述连接点读取相邻场景区域，根据所述用户区域和所述相邻场景区域生成场景模型；步骤s103：依次读取所述场景模型中部件的初始材质和创建时间，根据所述初始材质和创建时间确定动态材质；步骤s104：根据所述动态材质生成材质表。
30.步骤s101至步骤s103对材质表的生成过程进行了进一步的细化，与传统技术不同的是，生成的材质是动态材质，即，每个部件都是有“寿命”的，在“寿命”结束时，会因为重力等原因坠落；当然，上述时间也是基于场景模型而设定的。
31.图3示出了基于传感器技术的虚拟现实增强方法的第二子流程框图，所述根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表的步骤包括步骤s201至步骤s203：步骤s201：遍历所述材质表中的名称项，根据所述名称项标记活动部件；所述名称项中包含索引项，活动部件的索引项中包含活动标签；步骤s202：依次提取材质表中标记的活动部件，得到活动部件表；步骤s203：根据活动部件表和材质表生成以活动部件为索引的子音效表，连接所述子音效表得到音效表；其中，固定部件的存在时间达到预设的时间阈值时，将相应的固定部件转换为活动部件。
32.上述内容提供了一种具体的音效表生成方案，首先，将部件分为活动部件和固定部件，然后生成活动部件表和固定部件表，依次从活动部件表提出活动部件，将它与固定部件表中的固定部件依次匹配，最终确定一个子音效表，进而生成音效表。
33.值得一提的是，固定部件是可以转换为活动部件的，比如，当一个房顶的“寿命”快要结束时，将它转换为活动部件，并生成活动部件与其它固定部件之间的碰撞音效，当“寿命”结束时，根据碰撞情况读取相应的碰撞音效。
34.具体的，所述时间阈值的确定步骤包括：顺序读取所述场景模型中的部件，并计算所述部件的应力；获取所述部件的材质和尺寸，基于所述材质和尺寸计算部件强度；基于所述部件确定连接处，计算连接处应力，获取连接方式及相应的连接强度；基于所述部件的应力、子部件强度、连接处应力和连接强度确定该部件的时间阈值。
35.上述内容中的参数均是基于场景模型的虚拟值，它与现实中的数据参数可能会有很大的区别，但是遵循的物理原理是大致相同的。
36.图4示出了基于传感器技术的虚拟现实增强方法的第三子流程框图，所述接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息的步骤包括步骤s301至步骤s303：
步骤s301：接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时更新与用户人物相关的活动部件，根据所述活动部件调整音效表的连接顺序；步骤s302：记录用户的操作量，根据所述操作量确定用户类型，根据所述用户类型确定碰撞概率，根据所述碰撞概率确定音效表读取通道；步骤s303：实时监测场景中各部件的碰撞信息。
37.活动部件一般与用户操控的模型有关，当一个活动部件与用户操控的模型相关连时，对应的音效表就更有可能被读取，因此，将它调整至容易读取的位置可以有效提高工作效率。
38.对于一个温柔的用户和一个有活力的用户，两者的操作习惯肯定不同，后者的碰撞应该大于前者，因此，当从用户的操作量中确定了用户为活力用户，就代表着碰撞会很频繁，相应的，确定一个更加迅速的音效表读取通道可以提高真实感。
39.图5示出了基于传感器技术的虚拟现实增强方法的第四子流程框图，所述根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小的步骤包括步骤s401至步骤s404：步骤s401：读取所述碰撞信息中碰撞主体的材质，根据所述材质确定初始震源；步骤s402：读取所述碰撞信息中碰撞点与场景模型中心点的距离，将所述初始震源和所述距离输入训练好的衰减模型中，得到震动信号；其中，所述衰减模型的衰减参数由传播介质确定；步骤s403：根据所述音效表读取通道在调整连接顺序后的音效表中读取音效类型，根据所述碰撞点与场景模型中心点的距离计算音效的传播时间和衰减幅度；步骤s404：根据所述传播时间确定音效显示时间，根据所述衰减幅度确定音量大小。
40.步骤s401至步骤s404对震动信号和音效的显示过程进行了具体的限定，其原理是基本的数学和物理原理，需要说明的是，所述传播介质等参数是基于场景模型确定的。
41.进一步的，所述方法还包括：基于图像获取设备获取多帧图像，其中，所述多帧图像包括均当前用户的人脸信息；对所述多帧图像进行降噪处理，得到降噪后的多帧人脸图像；提取当前帧人脸图像对当前反馈信息的微表情，根据所述微表情确定当前帧人脸图像的满意度，并对多帧人脸图像的满意度进行统计，当所述满意度低于阈值时，对所述碰撞信息进行模糊筛选。
42.上述内容提供了一种智能匹配的功能，我们知道，对于一些特别密集、特别真实的音效，用户可能会不喜欢，因此，通过获取用户的微表情，根据所述微表情确定用户的满意度，然后根据所述满意度筛选碰撞信息的技术方案可以更加适合用户。比如，如果一个用户的检测结果是不满意，可以将碰撞信息中随机过滤或有意的过滤一些碰撞信息，降低音效的密集程度。
43.实施例2图6示出了基于传感器技术的虚拟现实增强系统的组成结构框图，本发明实施例
中，一种基于传感器技术的虚拟现实增强系统，所述系统10包括：材质表生成模块11，用于实时获取场景模型，依次读取所述场景模型中部件的材质，生成材质表；所述材质表包括名称项和材质项；音效表确定模块12，用于根据所述名称项提取所述材质表中的活动部件，基于所述活动部件遍历所述材质表，依次确定碰撞音效，生成音效表；碰撞信息监测模块13，用于接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时监测场景模型中各部件的碰撞信息；其中，所述碰撞信息包括碰撞点、所述碰撞点与场景模型中心点的距离和碰撞主体的材质；音效生成模块14，用于根据所述碰撞点与场景模型中心点的距离生成含有传播时间的震动信号，根据所述碰撞信息中碰撞主体的材质在所述音效表中读取相应的音效类型，根据所述碰撞点与场景模型中心点的距离确定音效显示时间和音量大小。
44.图7示出了基于传感器技术的虚拟现实增强系统中碰撞信息监测模块的组成结构框图，所述碰撞信息监测模块13包括：场景更新单元131，用于接收用户输入的控制信号，根据所述控制信号进行场景切换，并实时更新与用户人物相关的活动部件，根据所述活动部件调整音效表的连接顺序；通道建立单元132，用于记录用户的操作量，根据所述操作量确定用户类型，根据所述用户类型确定碰撞概率，根据所述碰撞概率确定音效表读取通道；部件监测单元133，用于实时监测场景中各部件的碰撞信息。
45.图8示出了基于传感器技术的虚拟现实增强系统中音效生成模块的组成结构框图，所述音效生成模块14包括：震源确定单元141，用于读取所述碰撞信息中碰撞主体的材质，根据所述材质确定初始震源；震动衰减单元142，用于读取所述碰撞信息中碰撞点与场景模型中心点的距离，将所述初始震源和所述距离输入训练好的衰减模型中，得到震动信号；其中，所述衰减模型的衰减参数由传播介质确定；音效衰减单元143，用于根据所述音效表读取通道在调整连接顺序后的音效表中读取音效类型，根据所述碰撞点与场景模型中心点的距离计算音效的传播时间和衰减幅度；处理执行单元144，用于根据所述传播时间确定音效显示时间，根据所述衰减幅度确定音量大小。
46.所述基于传感器技术的虚拟现实增强方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于传感器技术的虚拟现实增强方法的功能。
47.处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（read-only memory，rom），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
48.示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
49.本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
50.所称处理器可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
51.上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card， smc），安全数字（secure digital， sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
52.终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。
53.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
54.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。