一种虚拟现实路线级移动速度稳定性预测方法、装置、电子设备及存储介质

本发明涉及虚拟现实，尤其涉及一种虚拟现实路线级移动速度稳定性预测方法、装置、电子设备及存储介质。

背景技术：

1、在沉浸式虚拟现实导航过程中，用户需要连续完成视觉搜索、空间定位、路线决策和身体姿态调节。头部朝向、眼动方向与身体移动之间存在连续耦合，局部速度波动能够反映不同路线区域内的移动控制状态。

2、现有虚拟现实导航评估通常采用任务总耗时、路径长度或完整试次平均速度等宏观指标。上述指标将整条路线压缩为单一结果，难以区分转弯区、直行区和路径决策区等具有不同空间语义的局部状态，因而不利于对路线级移动速度稳定性进行预测。

3、另一方面，头部姿态、眼动方向与身体位置数据存在采样频率不一致、时间戳抖动、局部缺失和个体差异。若训练数据与测试数据未按照用户身份隔离，同一用户的行为特征可能同时参与模型训练与性能评估，难以反映面向未知用户的实际预测能力；在标注样本有限时，直接监督训练的时序编码器也难以获得稳定的跨用户动态表征。

4、因此，需要一种虚拟现实路线级移动速度稳定性预测方法、装置、电子设备及存储介质，将虚拟场景空间拓扑、物理移动轨迹与头眼时序建模相结合，在具有一致空间语义的路线分段上构建局部移动速度稳定性指标，并利用有限标注数据完成面向未知用户的预测。

技术实现思路

1、本发明的目的是提出一种虚拟现实路线级移动速度稳定性预测方法、装置、电子设备及存储介质，以解决完整试次级指标无法反映局部空间差异、不同用户路线片段缺乏可比性以及有限标注条件下头眼时序模型跨用户泛化不足的问题。

2、一种虚拟现实路线级移动速度稳定性预测方法，包括：

3、获取用户在虚拟现实导航过程中的腰部质心位置序列、头部姿态序列、眼动方向序列及对应时间戳；

4、将腰部质心位置序列变换至虚拟场景固定坐标系，将腰部质心位置序列、头部姿态序列和眼动方向序列对齐至统一时间网格；

5、根据虚拟场景的路径拓扑结构和转向决策节点信息建立归一化路径进程，基于归一化路径进程、转向决策节点的语义先验和跨用户转弯节点模板确定转弯节点，以转弯节点为中心生成转弯段，将相邻转弯段之间的轨迹定义为直行段，筛除不满足有效性条件的路线分段；

6、在各有效路线分段内构建四通道时序输入，提取单模态统计特征和跨模态关系特征；

7、将四通道时序输入输入预测模型的序列编码分支，单模态统计特征和跨模态关系特征输入预测模型的特征编码分支进行训练；

8、将序列编码分支与特征编码分支输出的高层表示拼接后输入回归头，由回归头输出表征目标路线分段移动速度稳定性的速度变异系数预测值。

9、进一步地，转弯节点的确定过程如下：

10、对于重采样后的腰部质心轨迹，根据相邻轨迹点的平面位移方向计算航向角，在滑动窗口内对相邻航向角的周期差值绝对值进行累加，得到累积转向角；再由累积转向角与转向决策节点语义先验构造转弯候选评分，在各跨用户模板位置的预设搜索邻域内选取转弯候选评分的局部最大值作为转弯节点。

11、进一步地，四通道时序输入的构建过程如下：

12、将头部前向单位方向向量和眼动单位方向向量分别转换为偏航角与俯仰角，对偏航角序列进行周期连续化，在相邻统一时间网格点之间作差，得到四通道时序输入。

13、进一步地，跨用户转弯节点模板通过对多个训练用户在同一拓扑转向决策节点处的归一化路径进程位置进行中位数或稳健均值聚合获得；所述有效性条件包括：分段边界位于完整轨迹范围内，分段空间长度处于预设范围内，有效位置样本数量和有效头眼样本数量达到预设值以及有效样本比例达到预设比例。

14、进一步地，预测模型在训练阶段根据各有效路线分段内的腰部质心位置序列计算瞬时速度序列，以瞬时速度序列的标准差与均值之比作为分段级速度变异系数标签。

15、进一步地，单模态统计特征包括从头部和眼动的偏航角运动序列与俯仰角运动序列中提取的均值、标准差、最小值、最大值、极差、均方根和差分绝对均值；所述跨模态关系特征包括同一轴向头眼角运动差值的统计量、头动与眼动幅度比以及零时滞或低阶时滞相关系数；所述序列编码分支为具有膨胀卷积和残差连接的时域卷积编码器；所述特征编码分支为多层感知机。

16、进一步地，在监督训练之前，仅利用训练用户的四通道时序输入进行自监督对比预训练，对同一四通道时序输入分别施加两次随机时序增强形成正样本对，将两个增强视图分别输入共享参数的时域卷积编码器和投影头获得归一化表示，采用归一化温度缩放交叉熵损失更新时域卷积编码器；预训练完成后移除投影头，将时域卷积编码器的参数作为序列编码分支的初始化参数；其中，自监督预训练、监督训练、特征标准化参数计算、缺失值填充参数计算和模型选择均不使用目标用户的数据。

17、一种虚拟现实路线级移动速度稳定性预测装置，包括：

18、数据采集模块，用于获取用户在虚拟现实导航过程中的腰部质心位置序列、头部姿态序列、眼动方向序列及对应时间戳；

19、数据变换模块，用于将腰部质心位置序列变换至虚拟场景固定坐标系，将腰部质心位置序列、头部姿态序列和眼动方向序列对齐至统一时间网格；

20、路线分段模块，用于根据虚拟场景的路径拓扑结构和转向决策节点信息建立归一化路径进程，基于归一化路径进程、转向决策节点的语义先验和跨用户转弯节点模板确定转弯节点，以转弯节点为中心生成转弯段，将相邻转弯段之间的轨迹定义为直行段，筛除不满足有效性条件的路线分段；

21、特征提取模块，用于在各有效路线分段内构建四通道时序输入，提取单模态统计特征和跨模态关系特征；

22、模型训练模块，用于将四通道时序输入输入预测模型的序列编码分支，单模态统计特征和跨模态关系特征输入预测模型的特征编码分支进行训练；

23、预测输出模块，用于将序列编码分支与特征编码分支输出的高层表示拼接后输入回归头，由回归头输出表征目标路线分段移动速度稳定性的速度变异系数预测值。

24、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现虚拟现实路线级移动速度稳定性预测方法中的各个步骤。

25、一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现虚拟现实路线级移动速度稳定性预测方法中的各个步骤。

26、本发明的有益效果在于：

27、1、本发明基于空间拓扑先验和跨用户模板建立固定路线分段，使不同用户在相同路径位置的行为片段具有一致空间语义；

28、2、本发明保留连续头眼时序和显式统计摘要，降低了仅使用统计量造成的时间结构信息损失；

29、3、本发明通过训练用户的无标签序列对时域卷积编码器进行自监督预训练，改善了有限标注条件下的模型初始化和跨用户预测能力；

30、4、本发明输出的分段级速度变异系数能够作为虚拟现实训练评估、康复监测和导航交互自适应的输入参数。