一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互方法及系统与流程

本发明涉及人机交互领域，尤其涉及一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互方法及系统。

背景技术：

1、脑机接口（brain-computer interface, bci）技术通过解码大脑神经活动信号建立大脑与外部设备的直接通信通道，在医疗康复、智能控制、虚拟现实等领域具有广泛应用前景。按照信号采集方式的不同，脑机接口可分为侵入式和非侵入式两大类。侵入式脑机接口通过手术将电极植入大脑皮层，信号质量高但存在手术风险、免疫排斥和长期稳定性等问题，且完全无法适配全身大幅度运动场景；非侵入式脑机接口通过佩戴于头皮表面的电极采集脑电信号（electroencephalography, eeg），虽然信号在传输过程中受到颅骨衰减和噪声干扰，但具有无创、便携、易穿戴等优势，是面向消费级娱乐交互场景的主流技术路线。体感交互技术则依赖于惯性测量单元（imu）、光学追踪、肌电传感器等设备捕捉用户身体动作，将用户的肢体运动映射为虚拟环境中的控制指令，已广泛应用于体感游戏、虚拟现实和数字体育等领域。

2、现有虚拟娱乐交互系统主要分为纯体感交互系统和纯脑机接口系统两大类，两者均存在明显的技术缺陷。纯体感交互系统（如基于光学摄像头的姿态识别系统、基于惯性传感器的动作捕捉系统）虽然能够精确捕捉用户的肢体动作，但完全依赖外部物理行为，无法感知用户的认知意图和内在决策，操作切换依赖复杂的手势序列或按键组合，瞬时决策意图无法被执行，交互效率受限。另一方面，现有的非侵入式脑机接口系统全部聚焦于静态认知任务（如脑电拼写器、冥想状态监测、视觉诱发电位字符选择等），要求用户保持静止以避免运动伪影干扰脑电信号，没有任何方案将非侵入式脑电信号与全身动态体感动作进行实时融合用于娱乐交互场景。近年来出现的脑电与体感融合研究，其融合方式仅为简单的信号叠加或决策级投票，缺乏系统性的融合策略架构——当脑信号意图与身体动作产生矛盾时（例如脑电意图指示向左转向而体感动作执行向右转向），现有系统无法妥善处理这类冲突。此外，现有脑机接口系统均为单一工作模式设计，要么工作在纯脑电模式，要么工作在纯体感模式，不存在主动设计为在同一硬件架构上支持融合模式与纯脑电模式无缝切换的系统。

技术实现思路

1、本发明要解决的技术问题是：现有虚拟娱乐交互系统中，纯体感交互无法捕捉认知意图，纯脑电交互无法兼容动态身体运动，两者融合时缺乏冲突消解策略，且缺乏可切换双模式架构以覆盖从店内沉浸式设备到家用轻量化设备的全场景需求；同时，现有纯脑机接口系统在无体感设备时导致用户身体静止不动，与体感娱乐的设计理念相悖。

2、一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互方法，具体包括以下步骤：

3、s1、通过非侵入式脑信号采集装置实时采集用户的脑电信号，对所述脑电信号进行信号处理，输出脑信号意图信号；

4、s2、通过体感输入设备实时采集用户的肢体动作数据，输出体感动作信号；

5、s3、对所述脑信号意图信号和所述体感动作信号进行时间同步，使两者的时间差小于预设的意识-动作耦合阈值；

6、s4、通过融合控制单元执行融合决策算法，根据当前体感输入设备的接入状态和用户状态，判断是否进入融合模式：

7、当体感输入设备已接入且所述体感输入设备的信号有效时，进入融合模式：同时接收所述脑信号意图信号和所述体感动作信号，根据交互需求选择一种融合子模式，所述融合子模式包括优先级模式、互补模式或冲突消解模式；

8、所述优先级模式下，所述脑信号意图信号优先于所述体感动作信号，所述体感动作信号作为执行确认；

9、所述互补模式下，所述脑信号意图信号和所述体感动作信号分别控制不同维度的交互参数；

10、所述冲突消解模式下，当检测到所述脑信号意图信号对应的第一交互意图与所述体感动作信号对应的第二交互意图之间存在冲突时，采用协商式消解策略：对所述第一交互意图和所述第二交互意图进行加权融合，生成折中交互指令；

11、s5、根据步骤s4的融合决策结果生成交互控制指令，输出至虚拟娱乐环境。

12、一种用于虚拟娱乐交互的纯脑电交互方法，包括以下步骤：

13、t1、通过非侵入式脑信号采集装置实时采集用户的脑电信号，对所述脑电信号进行信号处理，输出脑信号意图信号；

14、t2、检测体感输入设备的接入状态和信号有效性；

15、t3、当体感输入设备未接入或体感输入设备的信号无效时，进入纯脑电模式：不依赖体感动作数据，仅基于所述脑信号意图信号生成交互指令；

16、t4、检测系统是否连接有肢体辅助输出设备：

17、当系统连接有所述肢体辅助输出设备时，所述交互指令包括肢体驱动指令，所述肢体驱动指令用于控制所述肢体辅助输出设备带动用户身体执行动作，使用户身体在被动驱动下保持物理运动状态；

18、当系统未连接所述肢体辅助输出设备时，所述交互指令包括虚拟对象控制指令，所述虚拟对象控制指令用于直接控制虚拟娱乐环境中的虚拟对象执行预定操作；

19、t5、根据步骤t3和t4生成的交互指令控制虚拟娱乐环境中的交互对象。

20、一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互系统，包括：

21、非侵入式脑信号采集装置，设置于用户头部，包括至少两个非侵入式电极，用于采集脑电信号并进行预处理和特征提取，输出脑信号意图信号；

22、融合控制单元，被配置为支持在融合模式和纯脑电模式之间切换：

23、在所述融合模式下，同时接收所述脑信号意图信号和体感输入设备的动作数据，执行融合决策算法，根据交互需求选择优先级模式、互补模式或冲突消解模式；

24、在所述纯脑电模式下，不依赖体感输入设备的动作数据，仅基于所述脑信号意图信号生成交互指令；当系统连接有肢体辅助输出设备时，所述交互指令包括肢体驱动指令，所述肢体驱动指令用于控制所述肢体辅助输出设备带动用户身体执行动作；

25、交互输出单元，根据所述融合控制单元的输出控制虚拟娱乐环境中的交互对象。

26、一种存储介质，所述存储介质存储指令及数据用于实现所述的一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互方法。

27、一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互设备，包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现所述的一种用于虚拟娱乐交互的非侵入式脑信号与体感融合交互方法。

28、本发明提供的有益效果是：本发明通过在融合控制单元中内置体感设备接入状态检测机制，实现融合模式与纯脑电模式的自动切换——当体感设备接入时启用双通道融合（脑电意图+体感动作），并在脑电与体感发生冲突时采用协商式加权消解策略生成折中指令；当体感设备未接入或信号无效时自动切换至纯脑电模式，并通过生成肢体驱动指令控制外骨骼、机械臂或智能体感服装等肢体辅助输出设备反向带动用户身体运动，使用户身体在纯脑电模式下仍保持物理运动状态；当无肢体辅助设备时进一步支持纯意识直接操控虚拟对象的可选扩展。上述技术手段确保了娱乐交互中“身体始终参与”的核心体验，同时通过统一的融合控制单元实现了单一硬件架构支撑多模式无缝切换，覆盖从店内cave/环绕显示系统到家用视网膜投影/近眼显示设备的全场景部署。本发明还通过冲突消解的分级处理（轻度冲突加权融合、重度冲突按权重占优方输出）和用户状态自适应的权重动态调节，构建了完整的脑电-体感协同控制框架，显著提升了虚拟娱乐交互的沉浸感、连续性和可靠性。