一种基于智能传感器的多模态脑机交互系统的制作方法

本发明涉及脑机接口与人工智能，尤其涉及一种基于智能传感器的多模态脑机交互系统。

背景技术：

1、随着智能传感器、可穿戴设备与人机交互技术的快速发展，脑机接口逐渐从单一脑电控制场景扩展至医疗康复、智能辅助、虚拟现实和外部设备控制等多种交互场景。针对多模态脑机交互任务，现有技术通常采集脑电信号、眼动信号、肌电信号、惯性信号或皮肤电信号，并对各类信号进行特征提取后输入分类模型，进而识别用户意图并生成控制指令。

2、现有脑机交互系统在实际应用中普遍存在以下问题：脑电信号易受佩戴状态、接触阻抗和环境噪声影响，单独依赖脑电特征进行意图识别时容易出现误触发；眼动、肌电和惯性信号虽然能够反映用户行为确认过程，但现有方法多采用简单拼接或同步输入方式处理多模态数据，难以表达神经意图、行为确认和设备执行反馈之间的时序演化关系；已有深度学习模型通常直接对多模态特征进行分类，缺少面向交互过程的生命周期建模机制，无法清楚刻画意图出现、确认保持、执行反馈和状态回落之间的连续关系；此外，现有脑机交互系统缺少对控制指令执行后多模态反馈数据的持续更新机制，导致交互过程难以形成稳定闭环，限制了复杂场景下控制指令生成的准确性和可靠性。

3、因此，如何提供一种基于智能传感器的多模态脑机交互系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于智能传感器的多模态脑机交互系统，本发明通过采集并同步处理脑电、眼动、肌电、惯性和皮肤电多模态交互数据，构建神经意图孪生体、行为确认孪生体和执行反馈孪生体，并利用改进perceiver io模型建立孪生演化场，生成意图演化表征数据；再基于意图共振区间生成控制指令，并结合反馈数据持续更新孪生演化场，从而提高脑机交互意图识别稳定性、控制指令可靠性和交互过程可解释性。

2、根据本发明实施例的一种基于智能传感器的多模态脑机交互系统，包括：

3、多模态数据采集模块，用于采集多模态交互数据，生成多模态原始感知数据；

4、数据同步处理模块，用于对所述多模态原始感知数据进行时间同步、数据补全和异常数据处理，生成多模态同步感知序列；

5、神经启动片段提取模块，用于基于所述多模态同步感知序列提取脑电变化片段，并构建神经启动片段序列；

6、行为确认片段构建模块，用于基于所述多模态同步感知序列提取行为变化片段，并构建行为确认片段集合；

7、孪生体构建模块，用于基于所述神经启动片段序列构建神经意图孪生体，基于所述行为确认片段集合构建行为确认孪生体，并结合控制执行事件构建执行反馈孪生体；

8、孪生演化建模模块，用于基于所述神经意图孪生体、行为确认孪生体以及执行反馈孪生体构建孪生演化场，并将所述孪生演化场输入改进perceiver io模型，构建演化场潜变量阵列，对孪生体之间的汇聚状态、分裂状态、漂移状态和回归状态进行编码，生成孪生演化轨迹，并基于所述孪生演化轨迹生成意图演化表征数据；

9、意图决策模块，用于基于所述意图演化表征数据确定意图共振区间，并根据所述意图共振区间生成控制指令；

10、反馈更新模块，用于采集控制指令执行后的多模态反馈数据，并基于所述多模态反馈数据更新所述孪生演化场。

11、可选的，所述多模态数据采集模块，包括：

12、采集脑电信号，并记录对应传感器标识、脑电通道标识、采集时间、节律幅值、节律相位、事件电位变化量、接触阻抗、佩戴压力以及采样完整度，形成脑电感知数据；

13、采集眼动信号，并记录对应传感器标识、眼动通道标识、采集时间、注视位置坐标、视线方向、眼动速度、眨眼持续时间、佩戴状态以及采样完整度，形成眼动感知数据；

14、采集肌电信号，并记录对应传感器标识、肌电通道标识、采集时间、肌电幅值、肌电激活时长、肌电变化速率、接触阻抗以及采样完整度，形成肌电感知数据；

15、采集惯性信号，并记录对应传感器标识、惯性通道标识、采集时间、角速度、加速度、姿态变化量以及采样完整度，形成惯性感知数据；

16、采集皮肤电信号，并记录对应传感器标识、皮肤电通道标识、采集时间、皮肤电导水平、皮肤电导变化量、接触阻抗以及采样完整度，形成皮肤电感知数据；

17、提取脑电感知数据、眼动感知数据、肌电感知数据、惯性感知数据以及皮肤电感知数据中的采集时间，按照采集时间进行统一排序，并依据传感器标识建立对应关系，形成多模态原始感知数据。

18、可选的，所述数据同步处理模块，包括：

19、提取脑电感知数据、眼动感知数据、肌电感知数据、惯性感知数据以及皮肤电感知数据中的采集时间，统计各类感知数据相邻采集时间之间的时间间隔，并将出现频次最高的时间间隔确定为基准时间间隔；

20、依据所述基准时间间隔构建统一时间轴，并将脑电感知数据、眼动感知数据、肌电感知数据、惯性感知数据以及皮肤电感知数据映射至所述统一时间轴对应的时间位置；

21、针对统一时间轴中存在空缺位置的感知数据，提取空缺位置前后的同类感知数据，计算对应数据项之间的变化幅度，并按照变化幅度进行逐项插补，形成补全感知数据；

22、分别统计脑电感知数据、眼动感知数据、肌电感知数据、惯性感知数据以及皮肤电感知数据在连续时间窗口内的数据变化量，并计算各连续时间窗口对应的数据变化分布；

23、将各连续时间窗口中的数据变化量与对应数据变化分布进行比较，识别偏离程度最大的感知数据作为异常感知数据，并采用相邻时间位置的同类感知数据进行替换；

24、按照统一时间轴顺序对补全感知数据和异常处理后的感知数据进行排列，并建立时间位置对应关系，生成多模态同步感知序列。

25、可选的，所述神经启动片段提取模块，包括：

26、从所述多模态同步感知序列中分离脑电感知数据，按照时间顺序构建脑电时序序列；

27、对所述脑电时序序列进行连续时间窗口划分，形成多个脑电片段候选区间；

28、在每个脑电片段候选区间内提取节律幅值变化序列与事件电位变化序列，并计算相邻时间位置的变化增量序列；

29、依据变化增量序列的连续聚集位置确定脑电变化片段起始位置与结束位置，并生成对应片段索引；

30、对各脑电变化片段按照时间先后顺序进行排列，并建立片段之间的连续关联关系，生成神经启动片段序列。

31、可选的，所述行为确认片段构建模块，包括：

32、从所述多模态同步感知序列中分离眼动感知数据、肌电感知数据以及惯性感知数据，并按照时间顺序构建行为时序序列；

33、对所述行为时序序列进行多通道时间窗口划分，形成多个行为候选片段区间；

34、在各行为候选片段区间内提取注视位置变化序列、肌电激活变化序列以及惯性姿态变化序列，并计算各变化序列的连续变化方向与变化幅度；

35、依据注视位置变化序列、肌电激活变化序列以及惯性姿态变化序列在时间轴上的一致性聚集位置确定行为变化片段起始位置与结束位置，并生成行为片段索引；

36、将各行为变化片段按照时间先后顺序进行排列，并建立片段之间的连续关联关系，生成行为确认片段集合。

37、可选的，所述孪生体构建模块，包括：

38、从所述神经启动片段序列中读取各神经启动片段的片段索引、起始时间、结束时间、节律变化轨迹和事件电位变化轨迹，并按照意图出现阶段、意图持续阶段和意图回落阶段进行阶段标记，形成神经意图孪生记录；

39、按照神经意图孪生记录之间的时间连续关系连接各神经意图孪生记录，并记录相邻神经意图孪生记录之间的时间间隔和变化方向，生成神经意图孪生体；

40、从所述行为确认片段集合中读取各行为确认片段的片段索引、起始时间、结束时间、注视变化轨迹、肌电变化轨迹和姿态变化轨迹，并按照确认出现阶段、确认保持阶段和确认衰减阶段进行阶段标记，形成行为确认孪生记录；

41、按照行为确认孪生记录之间的时间连续关系连接各行为确认孪生记录，并记录相邻行为确认孪生记录之间的重叠时间、变化方向和持续时长，生成行为确认孪生体；

42、读取控制执行事件中的控制指令类型、指令输出时间、执行开始时间、执行结束时间和设备返回状态，并按照执行启动阶段、执行保持阶段和执行结束阶段进行阶段标记，形成执行反馈孪生记录；

43、按照执行反馈孪生记录之间的时间连续关系连接各执行反馈孪生记录，并记录相邻执行反馈孪生记录之间的执行间隔和状态变化，生成执行反馈孪生体。

44、可选的，所述孪生演化建模模块，包括：

45、所述改进perceiver io模型以跨注意力机制实现输入数据向潜变量阵列的映射更新，并通过查询向量从潜变量阵列中读取输出结果的结构为基础，包括顺序连接的孪生场展开单元、演化相态潜变量阵列单元、孪生相态交互单元、孪生轨迹回读单元和意图共振解码单元；

46、所述孪生场展开单元读取神经意图孪生体、行为确认孪生体和执行反馈孪生体中的阶段标记、起始时间、结束时间、变化轨迹和相邻关系，按照同一交互任务的时间顺序建立孪生演化场；

47、所述孪生演化场包含神经意图层、行为确认层和执行反馈层，并将同一时间段内神经意图孪生记录、行为确认孪生记录和执行反馈孪生记录之间的时间覆盖关系、阶段对应关系和变化方向关系记录为相态单元；

48、所述演化相态潜变量阵列单元构建汇聚潜变量区、分裂潜变量区、漂移潜变量区和回归潜变量区，并按照相态单元中三类孪生记录的时间覆盖关系、阶段对应关系和变化方向关系，将相态单元写入对应潜变量区并进行潜变量状态重构更新；

49、所述孪生相态交互单元分别统计相邻相态单元在神经意图层、行为确认层和执行反馈层中的阶段变化顺序，计算神经意图层与行为确认层之间的起始时间差以及行为确认层与执行反馈层之间的起始时间差，并将阶段同步变化的相态单元连接为汇聚状态，将阶段分离变化的相态单元连接为分裂状态，将起始时间差增大的相态单元连接为漂移状态，将起始时间差缩小的相态单元连接为回归状态；

50、所述孪生轨迹回读单元按照时间顺序读取汇聚状态、分裂状态、漂移状态和回归状态之间的连续连接关系，生成孪生演化轨迹；

51、所述意图共振解码单元基于所述孪生演化轨迹中连续汇聚状态在时间轴上的连续连接关系、状态持续长度、三类孪生记录阶段一致关系和变化方向一致关系，计算意图共振特征；

52、基于所述孪生演化轨迹和意图共振特征生成意图演化表征数据。

53、可选的，所述意图共振特征，包括：

54、从所述孪生演化轨迹中提取连续汇聚状态对应的轨迹片段，并记录每一轨迹片段的起始时间、结束时间和状态持续长度；

55、读取每一轨迹片段内对应的神经意图孪生记录、行为确认孪生记录和执行反馈孪生记录，并按照时间顺序排列三类孪生记录的阶段标记，形成阶段标记序列；

56、对同一时间位置上的神经意图孪生记录阶段标记、行为确认孪生记录阶段标记和执行反馈孪生记录阶段标记进行一致性统计，形成阶段一致计数；

57、分别读取神经意图孪生记录、行为确认孪生记录和执行反馈孪生记录中的变化轨迹，并按照相邻时间位置的变化方向生成三类方向标记序列；

58、对同一时间位置上的三类方向标记序列进行一致性统计，形成方向一致计数；

59、读取连续汇聚状态中神经意图层与行为确认层之间的起始时间差，以及行为确认层与执行反馈层之间的起始时间差，并按照时间顺序生成时间差变化序列；

60、将状态持续长度、阶段一致计数、方向一致计数和时间差变化序列进行关联记录，形成意图共振特征。

61、可选的，所述意图决策模块，包括：

62、对所述意图演化表征数据进行时间序列展开，提取各时间位置对应的共振特征值，构建共振特征序列；

63、对所述共振特征序列进行连续区间划分，识别满足共振特征值连续递增关系的时间片段，形成候选共振区间集合；

64、对各候选共振区间内的阶段一致计数、方向一致计数以及时间差变化序列进行加权组合计算，生成区间稳定度序列；

65、依据所述区间稳定度序列对候选共振区间进行排序，选取排序结果位于首位的候选共振区间作为意图共振区间；

66、基于所述意图共振区间对应的神经意图孪生体类型与行为确认孪生体类型的组合关系确定意图类别，并依据所述意图类别映射生成对应控制指令。

67、可选的，所述反馈更新模块，包括：

68、采集控制指令执行后的脑电反馈信号、眼动反馈信号、肌电反馈信号、惯性反馈信号和设备执行状态数据，并记录控制指令类型、指令输出时间、执行开始时间和执行结束时间，生成多模态反馈数据；

69、按照指令输出时间、执行开始时间和执行结束时间构建反馈时间段，并将所述多模态反馈数据映射至所述反馈时间段对应的统一时间轴位置；

70、从所述多模态反馈数据中提取脑电回落变化片段、眼动回视变化片段、肌电释放变化片段、惯性停止变化片段和设备状态变化片段，并按照时间顺序构建反馈响应片段集合；

71、读取所述意图共振区间对应的孪生演化轨迹，并将反馈响应片段集合与所述孪生演化轨迹中的末端相态单元进行时间连接，生成反馈相态单元；

72、根据反馈相态单元中脑电回落变化片段、眼动回视变化片段、肌电释放变化片段、惯性停止变化片段和设备状态变化片段之间的阶段对应关系与变化方向关系，标记反馈相态单元的回归状态、漂移状态或分裂状态；

73、将所述反馈相态单元写入所述孪生演化场中的执行反馈层，并更新神经意图层、行为确认层和执行反馈层之间的时间覆盖关系、阶段对应关系和变化方向关系。

74、本发明的有益效果是：

75、本发明通过采集脑电、眼动、肌电、惯性和皮肤电多模态交互数据，结合时间同步、数据补全与异常数据处理，针对脑机交互过程中多源信号采样频率不一致、佩戴状态变化和信号局部失真的问题，形成时间连续且模态对应关系明确的多模态同步感知序列；在片段构建阶段，分别提取脑电变化片段和行为变化片段，构建神经启动片段序列与行为确认片段集合，使用户意图生成过程和行为确认过程具备可追溯的时序表达；在孪生体构建阶段，将神经启动、行为确认和控制执行分别抽象为神经意图孪生体、行为确认孪生体和执行反馈孪生体，记录各孪生体的阶段标记、变化轨迹和相邻关系，实现对意图出现、确认保持和执行反馈全过程的生命周期建模；在孪生演化建模阶段，引入改进perceiver io模型，将孪生演化场作为输入对象，并构建演化相态潜变量阵列，对汇聚状态、分裂状态、漂移状态和回归状态进行分区编码，生成孪生演化轨迹和意图演化表征数据，有效增强模型对多阶段交互时序关系的表达能力；在意图决策阶段，基于意图共振特征确定意图共振区间，并结合神经意图孪生体类型与行为确认孪生体类型生成控制指令，降低单一脑电误触发对交互结果的影响；最终通过反馈更新模块将控制执行后的多模态反馈数据写入孪生演化场，形成意图生成、行为确认、设备执行和反馈回落的闭环更新机制，实现多模态脑机交互过程的稳定识别、可解释决策和持续优化控制。