面向虚拟现实晕动症的神经反馈训练方法及系统

本发明属于虚拟现实人机交互与神经调控，具体涉及一种面向虚拟现实晕动症的可解释神经反馈训练方法及系统。

背景技术：

1、虚拟现实（virtual reality,vr）技术在工业、医疗、教育等领域快速落地，但约80%初次使用者会在20分钟内出现晕动症状，严重时引发神经损伤，成为vr规模化推广的核心瓶颈。现有主流干预手段为习服训练，通过单一重复刺激提升大脑适应性，但存在明显缺陷：(1)训练范式统一，忽视个体神经差异，适用性差、推广受限；(2)依赖主观量表评估，无法实时、客观捕捉晕动神经机制；(3)神经反馈目标单一（如仅调控alpha波），可解释性低，因果链条模糊；(4)缺乏时间尺度层次化表征，无法区分“感官冲突-晕动症状”渐进过程；(5)调控策略固定，不能根据个体实时脑状态动态调整，干预效果不稳定。

2、现有基于脑电与神经反馈的vr晕动改善研究，多为端到端黑盒模型，无内置因果约束，决策依据不可追溯；且未形成“机制解析-目标提取-个性化调控”闭环，难以实现安全、高效、精准的vr晕动干预。

技术实现思路

1、针对上述背景技术中存在的缺陷，本发明的目的在于提供一种面向虚拟现实晕动症的可解释个性化神经反馈训练方法及系统，基于脑电信号、可解释图神经网络与个性化闭环调控对虚拟现实晕动症进行干预，旨在解决神经反馈目标神经模式可解释性低、因果关联弱、传统训练无个性化适配、干预效果差的问题，实现虚拟现实晕动实时检测、动态调控与闭环干预一体化，可用于虚拟现实用户晕动症的检测、预警、训练与症状改善，适用于工业、医疗等场景，提升使用安全性与舒适度。

2、为实现上述目的，本发明采用如下技术方案：

3、本发明一种面向虚拟现实晕动症的神经反馈训练方法，包括:

4、在安静无vr刺激状态下，采集被试静息态脑电信号，并完成ssq晕动量表评分，建立个体静息态脑电基线及ssq基线评分；

5、对被试分级场景施加分级刺激vr诱发晕动，基于静息态脑电基线确定个体晕动临界等级，采集该等级对应的ssq晕动评分；

6、在vr晕动诱发过程中实时采集多通道脑电信号，经预处理及多域特征提取后，构建反映脑区关联强度的多属性脑功能网络超图，所述超图基于ssq基线评分与ssq晕动评分筛选有效特征；

7、基于多属性脑功能网络超图构建内置因果约束可解释图神经网络模型，获取被试vr实时晕动状态与关键神经子图；

8、根据实时晕动状态与关键神经子图表征的当前实时神经模式，并对照预设目标神经模式，生成个性化调控策略，动态调整vr场景当前运行参数与多感官反馈，实现实时神经反馈闭环调控；

9、在实时神经反馈闭环调控过程中，持续采集晕动诱发及神经反馈全过程的多通道脑电数据，并持续输入所述因果可解释图神经网络模型进行闭环迭代训练，同步优化模型参数与个性化调控策略，直至实时神经模式趋近目标神经模式且达到预设终止条件时，输出多维度模型评估结果。

10、进一步地，所述基于静息态脑电基线确定个体晕动临界等级，采集该等级对应的ssq晕动评分，包括：

11、在逐级提升过程中，实时监测被试的脑电响应与主观晕动状态，同步采集多阶段实时ssq晕动量表评分，当被试首次出现晕动倾向或轻微晕动症状时，当前刺激等级即为该被试的个体晕动临界等级，记录该等级对应的实时ssq晕动量表评分作为ssq晕动评分。

12、进一步地，所述经预处理及多域特征提取后，构建反映脑区关联强度的多属性脑功能网络超图，包括：

13、在vr晕动诱发过程中，对所采集的原始时序脑电信号保留0.5hz到60hz之间的信号频率，同时滤除电磁干扰，完成实时降噪；

14、同步提取时域、频域、空域、相域及黎曼空间的多维度特征，计算各通道间多维度特征的皮尔逊相关系数、相位锁值plv、互信息mi并多指标融合，确定通道之间的连接权重，根据连接权重构建脑电通道网络邻接关系；

15、整合两两通道关联特征，求解多通道组合的联合关联程度，将大于设定的自适应阈值θ的多通道联合关联定义为超边；

16、从多维度特征中，筛选与ssq基线评分及ssq晕动评分显著相关的标志性特征，配置为超图节点的特征属性；

17、归一化标志性特征，按超图节点对应关系规整排布数据，整合形成标准化的超图顶点特征矩阵。

18、进一步地，所述确定通道之间的连接权重，包括：

19、以多通道脑电采集电极分别作为网络独立节点，基于各脑电通道预处理后的原始时序脑电信号，两两通道之间，分别计算皮尔逊相关系数、相位锁值plv、互信息mi，得到多维度关联量化数值；

20、对多维度关联量化数值分别进行归一化，结合多指标融合量化方式，得到通道间综合关联强度，确定为各通道之间的连接权重。

21、进一步地，基于多属性脑功能网络超图构建内置因果约束可解释图神经网络模型，获取被试vr实时晕动状态与关键神经子图，包括：

22、搭建包含边卷积模块、点特征卷积模块及内置因果关系模块的因果可解释图神经网络模型结构；

23、将所述多属性脑功能网络超图输入边卷积模块，通过可学习边权重学习脑区间关联强度特征，并在边卷积模块内部将超图划分为信息子图与冗余网络；

24、将边卷积模块整体输出的关联强度特征向量输入点特征卷积模块，提取节点特征的高维特征；

25、结合边卷积学习更新后的边权重与点特征卷积输出的节点高维特征，对超图中的连接与节点进行联合筛选，保留与晕动状态关联显著的连接与节点，完成特征提取与初步子图筛选；

26、基于内置因果关系模块，调用边卷积模块已划分的信息子图与冗余网络，增强信息子图与晕动状态的因果性、弱化冗余网络的因果性，筛选出与晕动响应强相关的关键神经子图；

27、基于所述关键神经子图的特征训练模型，以vr实时晕动状态为标签，通过损失函数约束预测误差，使模型能够输出被试的vr实时晕动状态与关键神经子图。

28、进一步地，所述增强信息子图与晕动状态的因果性、弱化冗余网络与晕动状态的因果性，筛选出与晕动响应强相关的关键神经子图，包括：

29、计算信息子图与晕动状态标签之间的因果关联强度，增大其在模型损失函数中的权重；

30、计算冗余网络与晕动状态标签之间的因果关联强度，减小其在模型损失函数中的权重；

31、基于调整后的损失函数对模型进行训练，使模型优先学习信息子图中与晕动状态强相关的边与节点；

32、依据模型训练后的因果关联程度，在信息子图中保留与晕动响应因果关联显著的边与节点，形成关键神经子图。

33、进一步地，所述基于所述关键神经子图的特征，实时输出被试的vr晕动状态，并更新关键神经子图特征，包括：

34、将所述关键神经子图的节点特征与边特征输入模型的分类层，通过全连接层映射得到被试vr晕动状态的预测结果；

35、基于预设的晕动等级划分标准，将预测结果映射为被试当前的vr晕动状态等级；

36、实时采集被试后续vr交互过程中的脑电数据，更新脑功能网络超图；

37、重复边卷积、点特征卷积与因果关系模块的处理流程，重新筛选关键神经子图并更新其特征；

38、结合模型输出的晕动状态与更新后的关键神经子图特征，为后续vr场景参数与多感官反馈的动态调整提供实时依据。

39、进一步地，所述将关联强度特征向量输入点特征卷积模块，提取节点特征的高维特征，包括：

40、将边卷积输出的关联强度特征向量输入点特征卷积模块，通过 kmeans聚类分组、卷积运算提取局部特征并映射至高维空间，再与超图节点的原始多维度特征加权融合，提取节点特征的高维表示。

41、进一步地，通过图同构网络gin利用可学习边权重对邻域节点进行卷积聚合，更新并增强节点特征，得到节点高维特征。

42、本发明还公开了一种面向虚拟现实晕动症的神经反馈训练系统，用于实现如上任一项所述的方法，包括基线建立模块、晕动诱发模块、超图构建模块、模型解析模块、闭环调控模块及训练评估模块，其中:

43、基线建立模块，用于在安静无vr刺激状态下，采集被试静息态脑电信号，并完成ssq晕动量表评分，建立个体静息态脑电基线及ssq基线评分；

44、晕动诱发模块，用于对被试分级场景施加分级刺激vr诱发晕动，基于静息态脑电基线确定个体晕动临界等级，采集该等级对应的ssq 晕动评分；

45、超图构建模块，用于在vr晕动诱发过程中实时采集多通道脑电信号，经预处理及多域特征提取后，构建反映脑区关联强度的多属性脑功能网络超图，所述超图基于ssq基线评分与ssq晕动评分筛选有效特征；

46、模型解析模块，用于构建内置因果约束可解释图神经网络模型，获取被试vr实时晕动状态与关键神经子图；

47、根据实时晕动状态与关键神经子图表征的当前实时神经模式，并对照预设目标神经模式，生成个性化调控策略，动态调整vr场景当前运行参数与多感官反馈，实现实时神经反馈闭环调控；

48、在实时神经反馈闭环调控过程中，持续采集晕动诱发及神经反馈全过程的多通道脑电数据，并持续输入所述因果可解释图神经网络模型进行闭环迭代训练，同步优化模型参数与个性化调控策略，直至实时神经模式趋近目标神经模式且达到预设终止条件时，输出多维度模型评估结果。

49、本发明的有益效果为：

50、内置因果约束，从源头输出可解释神经子图，决策可追溯、生物学意义明确；依据个体实时脑状态动态调控，适配神经差异，显著提升干预效果与训练效率；实时闭环、低延迟，可工程化落地，适用于多类vr场景与人群；有效降低晕动发生率与症状强度，保障vr使用安全，推动产业规模化推广。