基于脑机接口和深度学习的意念控制方法和交互系统与流程
本发明涉及脑机接口与智能人机交互,具体地涉及一种基于脑机接口和深度学习的意念控制方法和交互系统。
背景技术:
1、脑机接口技术是一种通过采集和解析人体脑电等神经活动信号,将用户的意图转换为外部设备控制指令的人机交互技术。随着脑电采集设备、深度学习算法和智能终端控制技术的发展,基于脑机接口的意念控制已逐渐应用于智能家居、康复训练、辅助机器人、虚拟现实交互、轮椅控制以及无接触操作等场景。现有意念控制方法通常通过采集用户在运动想象、视觉诱发、注意选择或特定交互任务中的脑电信号,提取频带能量、事件相关电位、共空间模式特征、相位同步特征等,再利用支持向量机、卷积神经网络、循环神经网络或transformer模型识别用户的控制意图。
2、然而,现有脑机接口意念控制方法仍存在明显不足。首先,脑电信号幅值微弱,容易受到眨眼、肌电、头动、电极接触变化以及环境电磁干扰的影响,导致同一用户在不同佩戴状态、不同疲劳程度或不同交互时段下的脑电响应差异较大。现有方法多采用固定阈值或统一归一化方式处理脑电信号,难以准确适应用户个体基线的动态变化。
3、其次,现有方法通常以固定时间窗内的脑电特征作为模型输入,侧重于脑区或频段的局部响应强度,而缺乏对不同脑区、不同频段之间响应先后关系和传播方向的刻画。真实意图产生过程往往表现为特定脑区-频段响应的连续激活和跨脑区传播,而眨眼、肌电等伪迹则常表现为多个通道的同步突发变化。若仅依赖频带能量或静态相关性特征,容易将非意图脑活动或伪迹误判为有效控制意图。
4、再次,现有深度学习解码模型多直接输出分类标签,通常只关注“左移、右移、确认、取消”等有效意图类别,对用户处于自然观看、注意力波动、思考但未发出控制意图等无意图状态建模不足。在连续交互场景中,用户大部分时间并非主动发出控制指令,若模型缺乏对无意图状态的有效区分,容易产生误触发,尤其在机械臂、轮椅、康复设备等安全敏感场景中存在较大风险。
5、此外,现有意念控制系统往往需要较长时间的个体校准,新增控制动作或更换使用场景时模型适配成本较高,且对连续多个时间窗内意图响应是否稳定缺乏有效判断机制,导致控制输出抖动、误操作或响应延迟。因此,有必要提出一种能够结合个体静息基线、脑区-频段响应起跳时序、有向意图传播关系以及无意图对抗判别机制的脑机接口意念控制方法和交互系统,以提高意图识别稳定性,降低误触发率,并增强连续交互场景下的控制可靠性。
技术实现思路
1、为解决上述技术问题,本发明提供一种基于脑机接口和深度学习的意念控制方法及交互系统。该方法采集用户交互任务中的多通道脑电信号,依据交互前静息脑电的中位响应值和绝对中位差确定各脑区各频段的基线波动范围;在滑动时间窗内计算响应变化量并确定响应起跳时刻;以脑区-频段组合作为节点,依据节点起跳先后关系建立有向意图传播图,并结合起跳时差、响应强度和相位一致性确定图边权重;将有向意图传播图及脑电响应序列输入意图解码网络,生成当前意图特征,并与动作意图原型和无意图对抗原型进行距离判别;在满足动作触发、无意图分离及连续传播一致条件时输出外部设备控制参数,从而降低伪迹和无意图状态引起的误触发。
2、本技术提供一种基于脑机接口和深度学习的意念控制方法,包括步骤:
3、s1:采集用户在交互任务中的多通道脑电信号,并根据交互开始前预设时长的静息脑电的中位响应值和绝对中位差,确定各脑区各频段的基线波动范围;
4、s2:在滑动时间窗内计算各脑区各频段相对所述基线波动范围的响应变化量,当同一脑区同一频段的响应变化量连续超过起跳阈值时,确定对应脑区对应频段的响应起跳时刻;
5、s3:以脑区-频段组合作为节点,按照不同节点响应起跳时刻的先后关系建立有向意图传播图,并根据节点间起跳时差、前后节点的响应变化量强度和相位一致性确定图边权重;
6、s4:将所述有向意图传播图和对应滑动时间窗内的脑电响应序列输入意图解码网络,由所述意图解码网络生成当前意图特征,并分别计算所述当前意图特征与预先构建的动作意图原型、无意图对抗原型之间的距离;
7、s5:当当前意图特征与目标动作意图原型的距离小于动作触发阈值、与各无意图对抗原型中的最近距离大于无意图分离阈值,且连续多个时间窗内有向意图传播图的起始节点相同或对应脑区属于同一预设脑功能区并且主要传播方向一致时,输出目标动作意图对应的外部受控设备控制参数;否则保持外部设备当前状态或输出停止控制参数。
8、本技术还提供一种基于脑机接口和深度学习的意念控制交互系统,包括:
9、脑电采集模块,用于采集用户在交互任务中的多通道脑电信号;
10、基线建模模块,与所述脑电采集模块连接,用于根据交互开始前预设时长的静息脑电的中位响应值和绝对中位差,确定各脑区各频段的基线波动范围;
11、响应起跳检测模块,与所述基线建模模块连接,用于在滑动时间窗内计算各脑区各频段相对所述基线波动范围的响应变化量,并在同一脑区同一频段的响应变化量连续超过起跳阈值时,确定对应脑区对应频段的响应起跳时刻;
12、意图传播图生成模块,与所述响应起跳检测模块连接,用于以脑区-频段组合作为节点,按照不同节点响应起跳时刻的先后关系建立有向意图传播图,并根据节点间起跳时差、前后节点的响应变化量强度和相位一致性确定图边权重;
13、意图解码模块,与所述意图传播图生成模块连接,用于将所述有向意图传播图和对应滑动时间窗内的脑电响应序列输入意图解码网络,由所述意图解码网络生成当前意图特征,并分别计算所述当前意图特征与预先构建的动作意图原型、无意图对抗原型之间的距离;
14、控制判别模块,与所述意图解码模块连接,用于在当前意图特征与目标动作意图原型的距离小于动作触发阈值、与各无意图对抗原型中的最近距离大于无意图分离阈值,且连续多个时间窗内有向意图传播图的起始节点相同或对应脑区属于同一预设脑功能区并且主要传播方向一致时,生成目标动作意图对应的控制指令;否则生成保持当前状态指令或停止控制指令;
15、设备控制模块,与所述控制判别模块连接,用于将所述控制指令转换为外部受控设备控制参数,并发送至外部受控设备。
16、与现有技术相比,本发明的技术方案具有以下有益效果:
17、(1)本发明通过静息脑电的中位响应值和绝对中位差建立各脑区各频段的基线波动范围,并以归一化偏离量判断响应起跳时刻,相比采用固定阈值或普通均值归一化的方式,能够降低个体差异、佩戴状态变化及局部异常值对意图识别的影响。由于绝对中位差对突发噪声不敏感,系统能够更稳定地区分真实脑电响应与偶发干扰,从而提高不同用户、不同交互时段下意念控制识别的可靠性。
18、(2)本发明以脑区-频段组合作为节点,并按照响应起跳时刻的先后关系建立有向意图传播图,使意图识别不再仅依赖单一脑区能量变化或静态相关特征,而是进一步利用脑区之间的响应传播顺序、起跳时差、响应强度及相位一致性。该方式能够刻画意图产生过程中的动态传播模式,同时通过排除短时间内大范围同步起跳的伪迹时间窗,减少眨眼、肌电、头动等同步突发干扰造成的误判。
19、(3)本发明将有向意图传播图和脑电响应序列输入意图解码网络,并通过动作意图原型和无意图对抗原型进行距离判别,只有在当前意图特征接近目标动作意图原型、远离无意图对抗原型且连续多个时间窗传播特征一致时才输出控制参数。该机制不仅能够识别具体动作意图,还能有效抑制自然观看、注意力波动、非控制思考等无意图状态引起的误触发,提高机械臂、轮椅、智能家居和康复设备等场景下的控制安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com