一种视听觉联合的混合脑机接口方法与流程

1.本发明涉及生物医学工程中神经工程及脑机接口技术领域，具体涉及一种视听觉联合的混合脑机接口方法。


背景技术：

2.脑机接口是人脑
‑
计算机接口的简称，脑机接口系统收集内源性或外源性的大脑响应，通过信号处理和模式识别分析大脑信号中嵌入的控制意图。从目前的脑机接口研究来看，单模态脑机接口存在诸多问题，最突出的表现为以下两方面：一是使用者中存在的“脑机接口文盲”现象，即部分使用者对某种脑机接口形式不敏感；其次，从单模态脑机接口中采集到的脑电信号是有限的，难以实现复杂的控制模式。因此，基于视觉和听觉联合的混合脑机接口方式，又称为多模态混合脑机接口方式，可以解决单模态脑机接口的上述固有问题。在多模态混合脑机接口中，即使使用者对其中一个脑机接口系统不敏感，仍然可以使用混合脑机接口的其余功能。混合脑机接口提供了更多的信息维度，从而提高了脑机接口应用的稳定性和鲁棒性。
3.目前还没有视觉和听觉联合的混合脑机接口方式公开。


技术实现要素：

4.为了克服上述现有技术的缺点，本发明的目的在于提供了一种视听觉联合的混合脑机接口方法，提高了脑机接口的控制信号维度，提高了脑机接口应用的稳定性和鲁棒性。
5.为了实现上述目的，本发明采取的技术方案为：
6.一种视听觉联合的混合脑机接口方法，将视觉诱发电位和听觉诱发电位的脑电信号相结合，采用基于调幅声波的听觉刺激和基于翻转运动棋盘格的视觉刺激，采用典型相关分析算法进行在线辨识。
7.一种视听觉联合的混合脑机接口方法，包括以下步骤：
8.步骤1，在使用者头部视觉枕区和听觉颞区安放测量电极，在其单侧耳垂位置处安放参考电极，在其头部前额位置处安放地电极，将多个测量电极测得的脑电信号经放大和模数转换后送往计算机；
9.步骤2，对于视觉刺激，将n个按不同刺激频率进行振荡的运动刺激单元通过计算机屏幕同时呈现在使用者面前，使用者头部距离计算机屏幕为50～100厘米，运动刺激单元采用棋盘格，将运动翻转频率定义为视觉刺激频率，即棋盘格在收缩和扩张之间翻转运动的频率，通过采用不同视觉刺激频率对应不同运动刺激单元以诱发具有不同频率的视觉诱发电位脑电信号；
10.对于听觉刺激，采用基于调幅声波的听觉刺激方式，选用两种具有不同调制频率的调幅声波通过耳机同时对左右耳进行听觉刺激，将调制频率定义为听觉刺激频率，左右耳接收到的听觉刺激频率不同，通过采用左右耳听觉刺激的方式以诱发具有不同频率的听觉诱发电位脑电信号；
11.步骤3，形成n个运动刺激单元以及两个具有不同调制频率的调幅声波后，按以下步骤进行：
12.步骤3
‑
1，计算机屏幕上显示具有不同视觉刺激频率的运动刺激单元，左右耳听觉通道分别输出两个具有不同调制频率和载波频率的调幅声波刺激左右耳；使用者注视屏幕上n个运动刺激单元中的任意一个，同时将注意力集中于左耳或右耳听觉刺激中的一方，使用者所注视的运动刺激单元与所集中注意力的听觉通道分别称为目标视觉刺激和目标听觉通道，而其他运动刺激单元和另一耳侧听觉通道分别称为非目标视觉刺激和非目标听觉通道；
13.步骤3
‑
2，使用者注视计算机屏幕上的目标视觉刺激，同时集中注意力于目标听觉通道，通过测量电极采集视觉枕区的视觉诱发电位和听觉颞区的听觉诱发电位的脑电信号，经过滤波和加权平均预处理后，送入典型相关分析算法进行在线辨识，通过将多个测量电极同时记录的脑电信号设为信号组，由包含视觉或听觉刺激频率的正弦和余弦函数序列设为模板组，对设置好的信号组与模板组计算两者之间的相关系数，具有最大相关系数的视觉刺激和听觉刺激分别判定为使用者所集中注意力的目标视觉刺激和目标听觉通道，从而得到视觉刺激和听觉刺激的辨识结果；
14.步骤4，将视觉刺激和听觉刺激的辨识结果反馈到计算机屏幕上呈现给使用者；
15.步骤5，计算机完成视觉和听觉目标辨识后，返回步骤3，重复步骤3和步骤4，进行下一次目标辨识任务。
16.本发明的有益效果为：
17.传统单模态脑机接口中普遍存在的“脑机接口文盲”现象，目前常用的单模态脑机接口仅能实现一些简单的控制，如一维鼠标光标控制，或鼠标光标分阶段的多维控制；但更复杂的控制模式，如同时实现鼠标光标的二维控制，是难以实现的。本发明将视觉诱发刺激和听觉诱发刺激集成使用，通过在进行视觉输入的同时使用调幅声波进行听觉刺激，能够实现视觉和听觉响应的同步诱发，从而提高脑电信号的控制维度，此时即使使用者对其中一个脑机接口系统不敏感，仍然可以使用混合脑机接口的其余功能，从而提高了脑机接口应用的稳定性和鲁棒性。由此，本发明为提高脑机接口信息维度开辟了新思路，显示了如下优越性：
18.(1)相比于传统的单模态脑机接口，本发明首次将视觉诱发电位和听觉诱发电位混合使用，从不同的信息维度进行数据获取和处理，能够实现更复杂的控制模式；
19.(2)本发明改善了“脑机接口文盲”现象，为混合脑机接口技术提供了新的发展方向。
附图说明
20.图1为本发明实施例脑电电极位置图。
21.图2为本发明实施例视听觉联合脑机接口图形界面。
22.图3为本发明实施例运动刺激单元布置示意图。
23.图4为本发明实施例视听觉联合的流程图。
24.图5(a)为本发明实施例8.5hz视觉刺激频率下大脑视觉诱发电位幅值谱图；图5(b)为本发明实施例13hz听觉刺激频率下大脑听觉诱发电位幅值谱图。
具体实施方式
25.下面结合附图及实施例对本发明作进一步的详细说明。
26.一种视听觉联合的混合脑机接口方法，包含以下步骤：
27.步骤1，参照图1，在使用者头部视觉枕区和听觉颞区t7、tp7、p7、t8、tp8、p8、po3、poz、po4、o1、oz、o2位置安放测量电极，在其单侧耳垂位置a1处安放参考电极，在其头部前额fpz位置处安放地电极，从视觉枕区的po3、poz、po4、o1、oz、o2通道获取视觉诱发电位脑电响应，从左侧听觉颞区t7、tp7、p7通道和右侧听觉颞区t8、tp8、p8通道获取听觉诱发电位脑电响应，将多个测量电极测得的脑电信号经放大和模数转换后送往计算机；
28.步骤2，参照图2和图3，计算机屏幕上的视听觉联合脑机接口图形界面由两个子面板组成；左侧面板为视觉刺激界面，右侧面板为鼠标光标操作界面；对于视觉刺激，将四个按不同刺激频率进行振荡的运动刺激单元通过计算机屏幕同时呈现在使用者面前，使用者头部距离计算机屏幕为65厘米，运动刺激单元采用棋盘格，将运动翻转频率定义为视觉刺激频率，即棋盘格在收缩和扩张之间翻转运动的频率，通过采用不同视觉刺激频率对应不同运动刺激单元以诱发具有不同频率的视觉诱发电位脑电信号；四个运动刺激单元设置在左侧面板的上、下、左、右四个位置，呈等边菱形分布呈现于计算机屏幕上，运动刺激单元直径为350像素，刺激呈现过程中，运动刺激单元按正弦调制方式进行收缩和扩张，形成两个方向上的周期往复振荡运动；在60hz计算机屏幕刷新率的条件下，采用的8.5～12hz视觉刺激频率如表1所示：
29.表1：视觉刺激的刺激位置与刺激频率对应关系
[0030][0031]
对于听觉刺激，为了使左、右耳对齐视觉刺激位置，采用基于调幅声波的听觉刺激方式，选用两种具有不同调制频率的调幅声波通过耳机同时对左右耳进行听觉刺激，将调制频率定义为听觉刺激频率，听觉刺激频率设置为左耳9hz，右耳13hz，并为使信号容易区分，将听觉通道载波频率设置为左耳和右耳有较大差距，载波频率的差异反映在声音信号的音高上，调制频率与载波频率对应关系如表2所示：
[0032]
表2：调制频率与载波频率对应关系
[0033] 调制频率(hz)载波频率(hz)左耳9450右耳13650
[0034]
在听觉刺激时，左右耳都受到调幅声波的刺激，左右耳接收到的听觉刺激频率不同，设置调幅声波的音量为计算机最大音量的30％，以驱动使用者佩戴的耳机；通过采用左右耳听觉刺激的方式以诱发具有不同频率的听觉诱发电位脑电信号；
[0035]
步骤3，形成四个运动刺激单元以及两个具有不同调制频率的调幅声波后，按以下步骤进行：
[0036]
步骤3
‑
1，计算机屏幕上显示具有不同视觉刺激频率的运动刺激单元，左右耳听觉通道分别输出两个具有不同调制频率和载波频率的调幅声波刺激左右耳；使用者注视计算机屏幕上四个运动刺激单元中的任意一个，同时将注意力集中于左耳或右耳听觉刺激中的一方，使用者所注视的运动刺激单元与所集中注意力的听觉通道分别称为目标视觉刺激和目标听觉通道，而其他运动刺激单元和另一耳侧听觉通道分别称为非目标视觉刺激和非目标听觉通道；对于目标视觉刺激，所得到的视觉诱发电位脑电信号转化为控制鼠标光标上下左右一维移动的控制信号，对于目标听觉通道，听觉诱发电位脑电信号转化为控制鼠标光标左右键一维点击的控制信号，最终通过视听觉联合控制方式，同时实现鼠标光标的二维控制；
[0037]
步骤3
‑
2，参照图4，首先对脑电信号作48～52hz陷波处理，消除高频肌电与眨眼等伪迹干扰，并对脑电信号作0.5～40hz带通滤波处理，消除基线漂移及其他噪声干扰；其次，使用者注视计算机屏幕上的目标视觉刺激，同时集中注意力于目标听觉通道，通过测量电极采集视觉枕区的视觉诱发电位和听觉颞区的听觉诱发电位的脑电信号，经过滤波和加权平均预处理后，采用快速傅里叶变换(fft)进行离线频谱分析，并送入典型相关分析算法进行在线辨识，通过将多个测量电极同时记录的脑电信号设为信号组，由包含视觉或听觉刺激频率的正弦和余弦函数序列设为模板组，对设置好的信号组与模板组计算两者之间的相关系数；给定两组多维变量，具有最大相关系数的视觉刺激和听觉刺激分别判定为使用者所集中注意力的目标视觉刺激和目标听觉通道，从而得到视觉刺激和听觉刺激的辨识结果；
[0038]
步骤4，对于视觉刺激和听觉刺激辨识结果，一方面将反馈函数应用到计算机屏幕上显示辨识结果，另一方面，由预先编写的钩子程序拦截上述信息，转化为代表鼠标光标上下左右一维移动和左右键一维点击的函数返回值；钩子程序是wh_mouse_ll钩子和wh_mouse钩子，其中wh_mouse_ll钩子监视发送到线程消息队列的鼠标消息，wh_mouse钩子监视发送到消息队列的鼠标消息，即peekmessage和getmessage函数的鼠标返回值，这些返回值就代表目标视觉刺激和目标听觉通道对应的鼠标光标上下左右一维移动和鼠标光标左右键一维点击，从而实现视听觉联合脑机接口应用下鼠标光标的二维控制；
[0039]
步骤5，计算机完成目标辨识与鼠标光标控制后，返回步骤3，重复步骤3和步骤4，进行下一次目标辨识与鼠标光标控制任务。
[0040]
下面再结合实施例对本发明进行说明。
[0041]
采用本发明方法对六名使用者进行了实验，实验过程中记录脑电信号并在视听觉联合脑机接口图形界面反馈识别结果，根据图形界面鼠标光标移动及点击情况来检验实验中使用者状态，在实验中，使用者尽量不产生眨眼、体动、咬牙等动作，保证脑电信号的数据质量，减少伪迹干扰；按照上述步骤1对使用者安放电极，按照上述步骤2将四个运动刺激单元按上、下、左、右位置同时呈现于计算机屏幕上，其刺激频率分别为11hz、12hz、8.5hz、9hz，左右耳采用调幅声波，调制频率为左耳9hz，右耳13hz；使用者头部距离计算机屏幕为65厘米；按照上述步骤3至步骤5识别使用者所集中注意力的目标视觉刺激和目标听觉通道，每名使用者均进行4轮实验，每轮实验包含10次单次实验，每次实验持续5秒，两次实验间的间隔时间设为2秒。
[0042]
对视觉刺激与听觉刺激下的大脑响应幅值谱图参照图5(a)和图5(b)，其中图5(a)
为8.5hz视觉刺激频率下大脑视觉诱发电位幅值谱图，图5(b)为13hz听觉刺激频率下大脑听觉诱发电位幅值谱图；图5(a)表明视觉刺激诱发的视觉诱发电位频域峰值由运动翻转频率为8.5hz的棋盘格目标视觉刺激诱发，在8.5hz运动翻转频率的二次谐波处有一个幅值为2.119微伏的谱峰，恰好在诱发频率二倍频处；另外，图5(b)显示了使用者集中注意力于右耳侧听觉通道的13hz调幅声波后诱发的听觉诱发电位频域峰值，从中可以看出，在6.493hz处出现了一个0.4665微伏的谱峰，即13hz听觉刺激诱发的半倍频。对于本发明方法精度和效率的判定，可以分别通过较高的辨识正确率以及较短的正确检测时间得以体现，如表3所示：
[0043]
表3：视听觉联合的混合脑机接口性能表
[0044]
项目数值视觉刺激实验次数240目标视觉刺激正确辨识次数236目标视觉刺激辨识准确率98.3％听觉刺激实验次数240目标听觉通道正确辨识次数176目标听觉通道辨识正确率73.3％
[0045]
从表3可以看出，由于视觉诱发电位和听觉诱发电位的辨识正确率分别在95％以上和70％以上，因而使用者能够将本发明方法应用于鼠标光标的二维同步控制，对脑机接口的实用化进程具有重要现实意义。