一种基于头动意图的VR画面刷新方法及系统与流程

一种基于头动意图的vr画面刷新方法及系统
技术领域
1.本发明涉及vr画面刷新技术领域，特别是涉及一种基于头动意图的vr画面刷新方法及系统。


背景技术：

2.现有技术中是基于时延缩短方式进行vr界面刷新优化的，但是基于时延缩短的方式主要包括硬件性能提升和算法优化，这种在动作发生后才进行画面刷新的方法在原理层面将会遇到无法继续缩短时延的技术瓶颈。


技术实现要素：

3.本发明的目的是提供一种基于头动意图的vr画面刷新方法及系统，能够在头部运动发生前就进行vr画面刷新准备工作，从而极大地缩短时延。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于头动意图的vr画面刷新方法，包括：
6.采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；
7.通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；
8.根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；
9.根据识别出的用户转头方向刷新vr画面。
10.可选地，通过脑电帽设备采集用户的脑电信号，脑电信号通道数目为3。
11.可选地，在通过所述脑电信号训练卷积神经网络模型之前，还包括：
12.对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。
13.本发明还提供了一种基于头动意图的vr画面刷新系统，包括：
14.采集模块，用于采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；
15.第一训练模块，用于通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；
16.第二训练模块，用于根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；
17.刷新模块，用于根据识别出的用户转头方向刷新vr画面。
18.可选地，通过脑电帽设备采集用户的脑电信号，脑电信号通道数目为3。
19.可选地，还包括：
20.预处理模块，用于对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。
21.根据本发明提供的具体实施例，本发明公开了以下技术效果：
22.本发明提供了一种基于头动意图的vr画面刷新方法，包括：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；根据识别出的用户转头方向刷新vr画面。本发明能够对用户头动意图进行识别，从而能够提前预测头部运动，为vr画面刷新留出时间，实现vr时延的缩短。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例基于头动意图的vr画面刷新方法的流程图；
25.图2为本发明实施例基于头动意图的vr画面刷新方法的原理图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.本发明的目的是提供一种基于头动意图的vr画面刷新方法及系统，能够在头部运动发生前就进行vr画面刷新准备工作，从而极大地缩短时延。
28.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
29.如图1-2所示，一种基于头动意图的vr画面刷新方法，包括以下步骤：
30.步骤101：采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号。
31.在实际应用中，通过脑电帽设备采集用户在左右转头运动前后的脑电信号(eeg)，脑电信号通道数目为3，具体为fcz、fc3、fc4。需注意，通道数目和通道位置均可以调整，也可以更换成其他通道。
32.采集实验包括随机在电脑屏幕上出现左右转头方向提示，用户根据提示进行左右转头运动。
33.对脑电信号数据进行预处理，通过连续小波变换得到小波变换时频图。
34.步骤102：通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图。
35.将时频图放入卷积神经网络中进行训练，得到该用户关于是否存在头部运动意图的模型，即转头意图识别模型。
36.步骤103：根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向。
37.步骤104：根据识别出的用户转头方向刷新vr画面。
38.具体实施例：
39.在用户佩戴vr头盔显示器后，通过佩戴脑电帽实时采集处理脑电信号，截取最新收集的300ms脑电信号数据段。
40.利用脑电解码算法对该数据段进行处理获得是否存在头部运动意图。利用转头意图识别模型实现实时的运动意图检测识别，判断是否有头动意图。如果不存在头部运动意图则vr画面不刷新，继续进行脑电信号监测。
41.如果存在头动意图，利用转头方向识别模型进行左右转头意图识别分类，得到分类方向，可以识别未来几百毫秒内头部的运动方向。
42.根据头部运动意图方向，可以向vr设备发送方向信息，然后根据运动速度估计和画面刷新耗时得到头部视角在未来时刻所处的位置，最后根据这一位置信息将vr场景画面视角进行调整，在头部运动发生前就进行vr设备画面刷新准备，为vr画面刷新留足时间从而缩短vr设备时延，从而缓解时延带来的vr晕动症。
43.其中，根据运动速度估计和画面刷新耗时得到头部视角在未来时刻所处的位置，具体为，头部运动意图方向识别后，再根据前期通过惯性传感器得到的统计的用户平均转头速度作为假设转头速度。而时间计算方面，通过对头动意图的脑电信号产生时间和惯性传感器测得的实际头动时间之间的间隔时间进行统计得到平均值。同时计算机内部对上述步骤的耗时进行记录并加上画面刷新的固定耗时，得到整个过程的耗时，最后两个时间相减可以知道画面呈现时间处于头部运动多久后，之后再根据平均转头速度通过线性外推的方法获得此时的头部位置，并且刚好实现画面刷新，画面较为准确地与实际视角匹配。
44.本发明还提供了一种基于头动意图的vr画面刷新系统，包括：
45.采集模块，用于采集用户的脑电信号；所述脑电信号包括用户转头前后的脑电信号；
46.第一训练模块，用于通过所述脑电信号训练卷积神经网络模型，得到转头意图识别模型；所述转头意图识别模型识别用户的转头意图；
47.第二训练模块，用于根据转头意图训练卷及神经网络模型，得到转头方向识别模型；所述转头方向识别模型用于识别用户的转头方向；
48.刷新模块，用于根据识别出的用户转头方向刷新vr画面。
49.其中，还包括：
50.预处理模块，用于对所述脑电信号进行预处理，通过连续小波变换得到小波变换时频图。
51.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
52.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。