多感测融合的环境自适应AR-BCI多模态刺激系统的制作方法

本发明涉及脑机接口与扩增实境交叉，尤其涉及一种多感测融合的环境自适应ar-bci多模态刺激系统。

背景技术：

1、脑机接口（brain-computer interface，bci）技术能够将人脑神经活动转换为控制指令，已广泛应用于医疗康复、人机互动及辅助沟通等领域。扩增实境（augmentedreality，ar）技术则能在真实世界中叠加虚拟资讯，为用户提供沉浸式体验。将bci技术与ar技术结合，可实现免手持的人机互动，具有重要应用价值。

2、传统bci系统通常由独立的脑电图（eeg）采集设备与外部显示器组成，视觉刺激通过电脑屏幕或独立led阵列呈现。该技术方案存在以下缺陷：

3、（1）运算设备彼此独立，不便携。传统系统的eeg采集、信号处理与刺激呈现在不同设备上完成，设备间依赖有线或无线连接，整体体积庞大，难以满足移动使用需求。

4、（2）视觉刺激强度固定，环境适应性差。目前系统的视觉刺激亮度、对比度等参数在生产时即已设定，无法根据环境光照条件动态调整。在明亮环境（如室外阳光下），固定强度的视觉刺激可见度大幅降低，导致稳态视觉诱发电位等脑波反应微弱甚至消失，系统失效。

5、（3）刺激模态单一，稳定性不足。传统bci系统主要依赖视觉刺激诱发电位，缺乏对听觉、触觉及运动想象等多模态刺激方式的整合利用，在复杂环境下的系统稳定性与使用弹性受限。

6、当前技术中，虽然已有将bci与ar结合的系统方案，例如：提出了用于增强现实的脑机接口系统，其通过检测生物信号并提供感官反馈形成闭环，但是并未解决多环境自适应问题，其刺激参数无法根据环境光照、噪音等条件即时调整。此外，现有ar-bci系统在感测器融合方面存在不足，未能充分利用环境光感测器、摄影机、麦克风等多源感测数据进行刺激参数的联合优化。

技术实现思路

1、本发明的目的在于提供多感测融合的环境自适应ar-bci多模态刺激系统，解决目前ar-bci系统环境适应性差、刺激模态单一、响应延迟高及操作便利性不足的技术问题，实现全光照环境自适应、多模态刺激协同增强、本地端低延迟实时控制及刺激参数全自动优化。

2、为实现上述目的，本发明提供了多感测融合的环境自适应ar-bci多模态刺激系统，包括：

3、脑电采集模组，配置于可穿戴载体上，用于采集使用者的脑电信号；

4、扩增实境模组，为头戴式显示装置，用于提供多模态刺激并采集环境感测数据；

5、外部运算模组，与扩增实境模组双向通讯连接，且与脑电采集模组通讯连接以接收脑电信号，用于执行脑电信号处理与感测器融合演算法；

6、所述扩增实境模组包括：环境感测子模组、多模态刺激子模组和本地处理单元；

7、所述环境感测子模组包括：环境光感测器、惯性测量单元、摄影机和麦克风；

8、所述多模态刺激子模组包括：视觉刺激单元、听觉刺激单元和触觉刺激单元；

9、所述本地处理单元包括：自适应控制子模组；所述自适应控制子模组根据环境光感测器、惯性测量单元、摄影机和麦克风采集的多源感测数据，自动调整视觉刺激单元的亮度与配色参数、听觉刺激单元的增益与频率参数以及触觉刺激单元的强度与节律参数。

10、优选地，所述脑电采集模组，包括：

11、复数个脑部电极，按照国际10-20系统配置于使用者头部枕叶区域的o1、o2、oz、poz位置中的至少两个位置，用于采集稳态视觉诱发电位及运动想象的脑电信号；

12、参考电极，配置于使用者耳后乳突位置，作为信号参考点；

13、接地电极，配置于使用者前额fpz位置，用于接地并降低共模噪音；

14、信号采集电路板，用于对复数个脑部电极采集的脑电信号依次执行前置放大、类比数位转换、数据缓冲与封包处理，并将处理后的脑电信号通过无线方式传输至外部运算模组；所述信号采集电路板，包括：前置放大器、类比数位转换器、微控制器、通讯模组及电源管理系统。

15、优选地，所述环境光感测器用于实时侦测环境的光照強度；所述环境光感测器的照度侦测范围为0.1~100000lux；

16、所述惯性测量单元用于追踪使用者头部的运动和姿态；所述惯性测量单元包括：三轴加速度计与三轴陀螺仪；

17、所述摄影机用于采集环境影像以进行背景颜色与亮度分布分析；

18、所述麦克风用于量测环境噪音强度与频谱特征。

19、优选地，所述视觉刺激单元用于产生特定频率的闪烁视觉刺激，复数个刺激目标分别以8~15hz范围内的不同频率闪烁；

20、所述听觉刺激单元用于输出节律声刺激或双耳节拍刺激；所述节律声刺激或双耳节拍刺激的频率为20~50hz；

21、所述触觉刺激单元包括：线性致动器或震动马达，配置于头戴式显示装置的镜脚部位，用于产生频率为50~250hz的规律震动刺激。

22、优选地，所述自适应控制子模组包括：视觉自适应控制子单元、听觉自适应控制子单元和触觉自适应控制子单元。

23、优选地，所述视觉自适应控制子单元用于根据环境光感测器输出的照度值及摄影机输出的背景颜色分布数据，采用对比度优化演算法计算视觉刺激单元的最佳亮度与配色方案，最大化刺激与背景的对比度。

24、优选地，所述听觉自适应控制子单元用于根据麦克风输出的环境噪音频谱，采用自动增益控制演算法调整听觉刺激单元的输出增益与频率参数，确保听觉刺激的信噪比不低于预设阈值。

25、优选地，所述触觉自适应控制子单元用于根据惯性测量单元输出的头部运动幅度数据调整触觉刺激单元的震动强度，当头部运动幅度超过预设阈值时增加震动强度。

26、优选地，所述自适应控制子模组内存储有自适应控制演算法；

27、所述自适应控制演算法于扩增实境模组的本地处理单元中运行；所述自适应控制演算法对多源感测数据的处理及对视觉刺激单元、听觉刺激单元和触觉刺激单元的参数调整在扩增实境模组本地端完成，不依赖外部运算模组，用于实现毫秒级响应；

28、所述本地处理单元为系统单晶片、微控制器、现场可程式化闸阵列或专用积体电路。

29、优选地，所述外部运算模组包括：

30、bci演算法单元，用于执行脑电信号的预处理、特征提取与分类识别；

31、感测器融合演算法单元，用于对脑电信号、惯性测量单元的惯性数据、环境光感测器的照度数据、摄影机的影像数据及麦克风的音频数据进行特征层融合或决策层融合，生成控制指令。

32、综上所述，本发明提供的多感测融合的环境自适应ar-bci多模态刺激系统，相比传统技术，有益效果如下：通过脑电采集模组、扩增实境模组与外部运算模组的协同架构，构建了集多源环境感知、多模态自适应刺激与本地端实时控制于一体的ar-bci整合系统；通过环境光感测器、摄影机、麦克风等多源感测器的即时数据采集与融合，系统能够根据光照、背景色、环境噪音等条件自动调整各模态刺激参数，在极暗至强光环境下均能保持脑电诱发电位的稳定性，有效克服传统固定参数系统在户外失效的技术缺陷，显著提升了环境自适应能力；多模态刺激的协同作用在单一刺激模态受环境干扰时可自动补偿或切换模态，显著提升了系统的整体鲁棒性；整个自适应控制过程于扩增实境模组本地端独立完成，无需依赖外部运算模组，实现了毫秒级响应，相较于依赖外部运算的传统bci系统大幅降低了延迟；全自动化的参数优化使用户无需任何手动干预，系统即能根据环境变化智能适配最优刺激方案，极大提升了移动与户外场景下的使用便利性。

33、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。