一种基于非侵入式脑机接口的意念控制虚实融合反馈方法与流程

1.本发明涉及一种基于非侵入式脑机接口的意念控制虚实融合反馈方法，具体地说，是一种利用便携式干电极脑电采集设备收集脑电数据、信号分析处理模块分析和处理脑电数据传输给虚实融合显示模块进行实时可视化呈现和信息反馈的方法。


背景技术：

2.脑机接口(brain computer interface，bci)技术可用于收集使用者的脑电波，在医学领域可以辅助治疗以提供有效可行的治疗手段；在教学中可以帮助研究者通过数据更好地了解学生，从而验证何种教学或学习过程是最有效的。它实现了大脑与外界环境的直接交互，在教育和医学领域具有极大的应用潜力。早期的时候检测脑电波需要很多复杂的准备，检测时需要通过侵入式或非侵入式的电极固定在被试的头上，实验成本大且需要十分专业的操作。随着技术的进步，目前已经出现了简易便捷的装置可以采集脑电信号，这种装置轻巧便携，使用干电极采集被试的脑电信号，提供了在各种活动中更加灵活地测量脑波技术并对使用者进行双向交互和实时反馈的可能性。
3.已有的一种基于多模态脑机接口的智能家电控制护理装置及方法(专利公布号：cn105446158a)将使用者的脑电信号进行采集并基于p300的脑机接口来选择控制家电设备及相关操作的控制，该装置及方法主要针对卧床瘫痪病人，因此使用者需要在特定空间和位置状态下；一种基于增强现实和意念控制的机器人控制方法(专利公布号：cn110434877a)利用使用者脑电数据对增强现实环境中的虚拟机器人进行动作控制，由虚拟机器人的动作姿态生成姿态数据作为控制机器人执行相关动作的指令，没有将意念控制数据直接用于控制对象，利用增强现实技术进行画面呈现来辅助间接实现意念控制真实机器人动作，该发明需要事先收集场地实景图像数据，且使用者需要分别佩戴意念头戴设备和ar设备；一种采用移动终端结合ar技术的智能头盔(专利公告号：cn210382801u)公开了一种将脑电信号转化为电脑指令并分析使用者对所观察到的某一区域或物体的喜恶程度并返回给移动终端的设备，该设备实现了初级控制技术，采用增强现实技术进行画面和物体呈现，但没有充分利用增强现实技术的虚实融合和沉浸式的特征来达到实时双向交互，除此之外，该发明使用传统重量级头盔，散热性和舒适度不如便携式干电极脑电采集设备。
4.该脑电设备还可以用于测量学习过程中的注意力。注意力是指人的心理活动指向和集中于某种事物的能力，集中注意力可以使人高效地学习，在实际的学习过程中，学习者的注意力容易分散，学习效率会有所降低，因而出现了一些基于脑机接口的、有针对性的注意力训练设备和方法来辅助注意力的提升，例如，“一种基于eeg的实时人脑注意力测试和训练系统”(专利公布号：cn201710164162.2)公开了一种通过脑电eeg信号评估注意力水平，从而用户根据实时的生物反馈，提高注意力，并改善在注意力实验中的表现的方法；“一种基于脑机交互的注意力训练方法及系统”(专利公布号：cn201611106017.0)公开了一种基于脑机交互的方法，通过脑电节律的变化获得专注度的评估，并通过智能终端反馈其在虚拟闯关游戏中的训练结果，反馈以视觉信息的方式在二维平面。现有的技术主要缺点在
于使用过程中设备较为繁重、显示效果不佳，没有形成实时双向交互和信息反馈，使用环境受限等。


技术实现要素：

5.为了克服现有脑电信号应用技术所需设备较为繁重、显示效果不佳，未形成实时双向交互和信息反馈，使用环境受限等问题，本发明提供一种利用便携式干电极脑电采集设备和轻量级移动设备对脑电信号进行数据采集和计算处理，通过增强现实技术实时显示使用者的意念数据值并实施反馈，营造人脑和计算机之间的双向实时交互的工具。
6.本发明的技术方案为：一种基于非侵入式脑机接口的意念控制虚实融合反馈方法，包括如下步骤：
7.步骤1、使用非侵入、便携式干电极脑电采集设备收集、记录和传输使用者连续的脑电图信号；所述非侵入、便携式干电极脑电采集设备通过蓝牙与运行脑电信号处理计算软件的轻量级移动设备连接；所述轻量级移动设备与运行增强现实软件的平板电脑或手机连接在同一局域网环境下；
8.步骤2、轻量级移动设备上的脑电信号处理计算软件将便携式干电极脑电采集设备采集到的脑电信号通过脑电信号处理算法处理为意念控制数据值；所述便携式干电极脑电采集设备分别收集alpha、belta、delta、theta、gamma五种类型的脑电波和眨眼、咬牙动作；
9.步骤3、所述意念控制数据值通过udp网络通信osc协议传输到装有增强现实软件的平板电脑或手机上；所述增强现实软件实现将输入的意念控制数据进行可视化并关联虚拟物体，再通过轻量级移动设备屏幕或投影屏幕显示反馈信息进行多通道双向实时交互，所述反馈信息包括增强现实场景下的虚拟物体形态、呈现在轻量级移动设备屏幕的视觉信息，以及声音信息和触感信息，实现根据使用者的脑电信号打造实时变化的沉浸式虚实融合交互环境。
10.进一步的，通过脑电信号处理算法将脑电信号处理为0～100范围的意念控制数据值，增强现实模块将意念控制数据可视化映射到真实捕获的场景中，并使用该数据关联和控制虚拟物体，通过轻量级移动设备屏幕或投影屏幕显示控制结果的虚实融合场景，实现实时的沉浸式虚实融合双向交互。
11.进一步的，所有模块和设备之间通过无线数据传输方式指各模块软件部分的数据传输与接收程序块基于蓝牙和udp网络通信的osc协议进行数据传输，即便携式干电极脑电采集设备和轻量级移动设备之间、轻量级移动设备和轻量级移动设备之间基于蓝牙或局域网进行信号和数据传输，以灵活便捷实现模块间数据流动。
12.进一步的，所述将脑电信号进行可视化指将便携式干电极脑电采集设备采集的五种脑电信号和使用者眨眼或咬牙动作通过脑电信号处理算法合成为意念控制数据值，可视化映射意念控制数据值为增强现实软件中虚拟物体的二维或三维特征，反馈信息通过虚实融合的方式进行呈现。
13.进一步的，通过脑电信号处理算法将脑电信号处理为0～100范围的意念控制数据值，所述脑电信号处理算法具体是采用意念控制估算算法，使用截止频率为50hz的低通滤波器处理量化级别为16位、频率为256hz的脑电数据，采用快速傅里叶变换将一个256个样
本点的样本数据片段转换到频域，片段以128个点与前一片段重叠的方式进行滑动；f(n)为片段分析结果，n＝1,2,
…
,256；功率谱密度计算为：
[0014][0015]
n为数据点数，例如为256个点；
[0016]
根据脑电信号的波段分布对各波段功率谱密度值求和，产生特征e
alpha
、e
belta
、e
delta
、e
theta
、e
gamma
，计算方式为：
[0017][0018]fmax
为各波段的最高频率，f
min
为各波段的最低频率；通过神经网络学习特征得到最终输出结果即意念控制数据值att，范围在0～100之间。
[0019]
进一步的，意念控制估算算法描述如下：
[0020]
输入：五类脑电波信号signals，为五类脑电波信号和眨眼咬牙动作信号；
[0021]
输出：意念控制数据值att，att范围为0～100；
[0022]
步骤1、使用低通滤波处理信号，signals＝lowpassfilter(signals)，lowpassfilter()函数为低通滤波函数，输入为原始信号，输出为经过滤波后的可用信号，低通滤波器所用截止频率值参考使用者设置头带对脑电波的采样频率，采用基于小波变换的多分辨率分析的方法进行眨眼或咬牙信号的分离，得到随时间变化的眨眼和特征向量；
[0023]
步骤2、分割信号，segments＝cutpointsignals(signals)，segments为切割得到的信号片段，cutpointsignals()函数为片段分割函数，输入为经过低通滤波的可用信号，输出为可用信号片段，获取片段的滑动窗口大小参考使用者设置的采样频率；
[0024]
步骤3、采用快速傅里叶变换转换segments，segments＝ftt(segments)，fft()为快速傅里叶变换，将信号片段从空域转换到频域；
[0025]
步骤4、定义功率谱密度为p(n)为功率谱密度计算函数，对每一个片段进行计算，单位为w/hz；f(n)为一个片段的快速傅里叶变换结果，n为片段编号，f
*
(n)为f(n)的共轭函数；
[0026]
步骤5、分别计算每种类型脑电波的功率谱密度值和眨眼咬牙特征向量作为特征数据，
[0027][0028]
e为根据功率谱密度定义的信号特征，每一类信号有一个e特征；f
max
为各波段的最高频率，f
min
为各波段的最低频率；pf为不同频率的功率谱密度；
[0029]
步骤6、使用神经网络学习特征得到意念控制数据值att，att＝net(e)，net()为训练的网络模型，所用训练数据输入为每种类型脑电波的功率谱密度值和眨眼咬牙特征的融合特征向量，标签为人工标注的注意力值大小，函数将信号特征映射为注意力值att；
[0030]
步骤7、返回att意念控制数据值。
[0031]
根据本发明的另一方面，还提出一种基于非侵入式脑机接口的意念控制虚实融合反馈系统，包括：
[0032]
便携式干电极脑电采集模块、信号分析处理模块和虚实融合显示模块，各模块之间通过无线进行连接；
[0033]
所述便携式干电极脑电采集模块包括便携式干电极脑电采集设备，以及基于蓝牙的数据存储模块和传输模块；
[0034]
所述信号分析处理模块包括轻量级移动设备，轻量级移动设备其上有脑电信号接收模块块、信号处理计算模块和控制数据传输模块；
[0035]
虚实融合显示模块包括轻量级移动设备，其上有增强现实模块，增强现实模块用于进行数据接收、可视化映射和数据反馈。
[0036]
有益效果：
[0037]
1、本发明将脑机接口技术与增强现实技术结合提供了新颖的交互方式，可以让使用者解放双手，仅依靠大脑的想象或是情绪感知手段，实现与机器的对话，而三维增强现实技术构建了沉浸式的环境，给了使用者充足的自由空间，通过多通道的注意力值反馈，将这两种技术结合可以实现优势互补，相互促进创新，具有非常广阔的应用前景。在医学领域，可以作为一种有效患者冥想引导方法，为患者提供沉浸式的虚实融合环境，同时能够为治疗提供有效辅助手段，在自然的状态下能够较为准确地判断出治疗过程患者大脑状态并给出干预；在教育领域，有学者认为学生的注意力在知识同化的过程中有着十分重要的意义，因此利用便携式干电极脑电采集设备检测学生在使用增强现实进行学习时的注意力变化状态，与传统的教学方式做了对比实验，结果发现增强现实组在对注意力的提升方面起到了更为显著的作用。将脑机接口和增强现实两种技术结合，因为其技术手段新颖，交互方式多元化，为各个领域或场景开始实践和应用提供有价值的参考方案。
[0038]
2、本发明结合增强现实技术，将意念控制数据可视化映射到虚实融合场景中，并向使用者提供多通道信息反馈；
[0039]
3、本发明脑电信号分析处理软件中的程序算法参考眨眼和咬牙动作将采集到的脑电信号实时转化为具体范围和数据值的意念控制数据；
[0040]
4、本发明所用设备和数据传输方式为简易轻便快捷的，实用性极强。
附图说明
[0041]
图1为本方法的模块结构和数据流示意图，包括便携式干电极脑电采集模块、信号分析处理模块和虚实融合显示模块；
[0042]
图2为本方法的使用逻辑示意图，便携式干电极脑电采集设备将脑电数据收集后传输给运行脑电信号分析处理软件的轻量级移动设备(如平板电脑)，数据处理后传输给运行增强现实的一个或多个轻量级移动设备进行数据的实时可视化显示和信息反馈；
[0043]
图3为本方法所用的便携式干电极脑电采集设备的传感器示意图，其中1和2指两个位于额叶区的前额传感器，3指三个参考电极传感器，4和5指两个位于额叶区的智能导电橡胶耳部传感器；
[0044]
图4为本发明的传感器外观示意图；
[0045]
图5为本方法的增强现实软件开发流程，增强现实软件在pc端可利用unity和
vuforia工具进行实现，c#脚本可实现数据接收和可视化映射；
[0046]
图6为本发明的实际使用图示例，使用者头戴便携式干电极脑电采集设备，手持运行增强现实软件的轻量级移动设备，进行屏幕和卡片交互的沉浸式体验。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0048]
本发明所采用的技术方案是：一种基于非侵入式脑机接口的意念控制虚实融合反馈方法和系统，使用可穿戴无线的、便携式干电极脑电采集设备记录使用者连续的脑电图信号，便携式干电极脑电采集设备通过蓝牙与的轻量级移动设备连接，轻量级移动设备上运行脑电信号分析计算软件，将轻量级移动设备与运行增强现实软件的平板电脑连接在同一局域网环境下，利用轻量级移动设备端上的脑电信号分析计算软件将便携式干电极脑电采集设备采集到的脑电信号通过脑电信号分析算法处理为意念控制数据值，意念控制数据值通过udp网络通信osc协议传输到装有增强现实软件的平板电脑上，增强现实软件实现将输入的脑电信号进行可视化并关联虚拟物体，再通过屏幕显示反馈信息进行双向实时交互，实现根据使用者的脑电信号打造实时变化的沉浸式交互环境。
[0049]
根据本发明的一个实施例，如图1和图2所示，一种基于非侵入式脑机接口的意念控制虚实融合反馈系统，包括便携式干电极脑电采集模块、信号分析处理模块和虚实融合显示模块，首先将运行增强现实软件的轻量级移动设备和运行脑电信号分析处理软件的轻量级移动设备连接在同一局域网环境下，然后先开启便携式干电极脑电采集设备电源，通过蓝牙与运行脑电信号分析处理软件的轻量级移动设备进行配对连接。上述技术方案中便携式干电极脑电采集设备是一个大脑感知头带，是干电极脑电采集设备的一种，头带上五个传感器分别收集alpha、belta、delta、theta、gamma五种类型的脑电波和眨眼、咬牙动作。如图3所示，使用者头戴便携式干电极脑电采集设备头带时将前额传感器(1、2)以及参考电极(3)和前额紧贴，智能导电橡胶耳部传感器(4、5)紧贴耳后，连接稳定后使用脑电信号分析处理软件查看和监测使用者脑电信号记录。脑电信号分析处理软件中的程序算法将采集到的脑电信号实时转化为意念控制数据值，通过预先设定程序将脑电波的数值记录下来。意念控制数据值表示被试者的意念控制水平，意念控制数据值越高则被试当前的意念控制能力越强。眨眼、咬牙动作来自于两个前额传感器(1和2)和两个智能导电橡胶耳部传感器。头带中间的3个参考电极传感器用于分析大脑基本活动，周围的4个传感器用于收集并转译使用者的反馈数据。头带可以通过蓝牙的方式与pc、平板或手机等终端进行连接，将收集的脑电数据传输给脑电信号分析计算软件，对五类脑波以及两类动作等类型数据进行分发处理，将便携式干电极脑电采集设备收集到的信号通过意念控制估算算法转化为意念控制数据值，数值为0～100之间的整数，数值越高代表当前的意念控制水平越高。
[0050]
本发明所用大脑感知头带为包含七个精确校准的传感器，如图4所示,其中有两个位于额叶区的前额传感器(fp1、fp2),两个位于额叶区的智能导电橡胶耳部传感器(tp9、tp10),以及三个参考传感器。
[0051]
除此之外头带对脑电波的采样频率是可设置的；
[0052]
头带可对大脑电波egg、心率、身体运动、呼吸进行实时反馈。
[0053]
上述技术方案中脑电信号分析计算软件中涉及的意念控制估算算法为：使用截止频率为25hz的低通滤波器处理量化级别为16位、频率为256hz的脑电数据，采用快速傅里叶变换将一个256个样本点的样本数据片段转换到频域，片段以128个点与前一片段重叠的方式进行滑动。f(n)(n＝1,2,
…
,256)为片段分析结果，功率谱密度计算为：
[0054][0055]
n为数据点数，例如为256个点；
[0056]
根据脑电信号的波段分布对各波段功率谱密度值求和，产生特征e
alpha
、e
belta
、e
delta
、e
theta
、e
gamma
，计算方式为：
[0057][0058]fmax
为各波段的最高频率，f
min
为各波段的最低频率；通过神经网络学习特征得到最终输出结果即意念控制数据值att，范围在0～100之间。
[0059]
意念控制估算算法描述如下：
[0060]
输入：五类脑电波信号signals，为五类脑电波信号和眨眼咬牙动作信号；
[0061]
输出：意念控制数据值att，att范围为0～100；
[0062]
步骤1、使用低通滤波处理信号，signals＝lowpassfilter(signals)，lowpassfilter()函数为低通滤波函数，输入为原始信号，输出为经过滤波后的可用信号，低通滤波器所用截止频率值参考使用者设置头带对脑电波的采样频率，本实例使用50hz。采用基于小波变换的多分辨率分析的方法进行眨眼或咬牙信号的分离，得到随时间变化的眨眼和特征向量；具体而言，眨眼咬牙动作是从egg信号中提取出来的，采用了基于小波变换的多分辨率分析的方法进行眨眼或咬牙信号的分离，1表示眨眼或咬牙，得到随时间变化的特征向量，将两个特征向量与每种类型的脑电波功率谱密度值进行特征融合。
[0063]
步骤2、分割信号，segments＝cutpointsignals(signals)，segments为切割得到的信号片段，cutpointsignals()函数为片段分割函数，输入为经过低通滤波的可用信号，输出为可用信号片段，获取片段的滑动窗口大小参考使用者设置的采样频率，本实例使用128个采样点；
[0064]
步骤3、采用快速傅里叶变换转换segments，segments＝ftt(segments)，fft()为快速傅里叶变换，将信号片段从空域转换到频域；
[0065]
步骤4、定义功率谱密度为p(n)为功率谱密度计算函数，对每一个片段进行计算，单位为w/hz；f(n)为一个片段的快速傅里叶变换结果，n为片段编号，本实例n范围为1～256；n为总片段数，本实例中为256；f*(n)为f(n)的共轭函数；
[0066]
步骤5、分别计算每种类型脑电波的功率谱密度值和眨眼咬牙特征向量作为特征
数据，e为根据功率谱密度定义的信号特征，每一类信号有一个e特征；f
max
为各波段的最高频率，f
min
为各波段的最低频率；pf为不同频率的功率谱密度；
[0067]
步骤6、使用神经网络学习特征得到意念控制数据值att，att＝net(e)，net()为训练的网络模型，所用训练数据输入为每种类型脑电波的功率谱密度值和眨眼咬牙特征的融合特征向量，标签为人工标注的注意力值大小，函数将信号特征映射为注意力值att；
[0068]
步骤7、返回att意念控制数据值。
[0069]
上述技术方案需要将便携式干电极脑电采集设备通过蓝牙与运行脑电信号分析计算软件的轻量级移动设备相连，将脑电信号传输至信号分析处理模块的轻量级移动设备端，将信号分析处理模块的轻量级移动设备和运行增强现实软件的轻量级移动设备置于同一局域网环境下，信号分析处理模块的轻量级移动设备将算法得到的意念控制数据传输至虚实融合显示模块的一台或多台运行增强现实软件的轻量级移动设备。虚实融合显示模块的轻量级移动设备在局域网中通过udp网络通信osc协议接收数据，在调试和使用基于脑机接口的增强现实系统时仍需架设局域网环境来确保信号和反馈的实时性。
[0070]
上述技术方案的增强现实软件可基于ar sdk来开发实现。首先创建具有明显特征点的标记卡片，程序运行过程中，当摄像头捕捉到标记卡片时，根据预先设定的可捕获事件处理器接收处理过的脑电信号即意念控制数据值，将数据映射为虚拟物体二维或三维特征，控制需要进行交互的3d虚拟物体。事件处理器在默认情况下将指定的3d虚拟物体与标记卡片进行配对绑定，在标记卡片被识别之时，将对应的3d资源以增强现实的方式呈现于轻量级移动设备的摄像头取景画面之中。本技术方案已用于验证方案可行性的增强现实软件包括：
[0071]
1.意念弯勺：用增强现实的方式呈现一只正常的铁勺，被试者需要在一定时间内使用意念让勺子弯曲，注意力集中程度越高，勺子越容易弯曲。
[0072]
2.爆炸气球：用增强现实的方式呈现一只气球，被试者需要在一定时间内通过集中注意念的方式给气球吹气，随着吹气量的增加，气球不断膨胀并且颜色发生变化，最后当意念值累积达到阈值后虚拟气球会发生爆炸。
[0073]
3.火箭起飞：用增强现实的方式呈现一艘火箭，被试者需要在一定时间内集中注意，当意念控制数据值到达一定程度时火箭会被点燃并且上升，火箭上升的高度越高则被试者的注意力保持能力越强。
[0074]
上述技术方案涉及的设备包括：便携式干电极脑电采集设备、用于信号处理分析的轻量级移动设备(用于运行脑电信号分析计算软件)、虚实融合显示设备(用于运行增强现实软件)、增强现实识别图；使用环境：将便携式干电极脑电采集设备和用于信号处理分析的轻量级移动设备(用于运行脑电信号分析计算软件)通过蓝牙连接，用于信号处理分析的轻量级移动设备(用于运行脑电信号分析计算软件)和虚实融合显示设备(用于运行增强现实软件)处于同一局域网环境下。
[0075]
脑电信号分析处理软件是一款研究便携式干电极脑电采集设备数据的软件，包括脑电信号接收程序块、信号处理计算程序块和控制数据传输程序块，兼容ios和android系统，因此技术方案中提到的轻量级移动设备可以根据实际情况使用其他轻量级移动设备进
行替换。
[0076]
如图2所示，便携式干电极脑电采集设备和轻量级移动设备之间通过蓝牙进行脑电波信号的传输，轻量级移动设备和轻量级移动设备之间使用局域网进行连接，传递的数据为意念控制数据值。
[0077]
增强现实软件开发流程如图5所示，需要首先在pc端进行功能开发，完成后连网进行软件测试，再导出apk到轻量级移动设备上进行连网测试。
[0078]
使用者在平板电脑上运行和操作增强现实软件，扫描增强现实标记卡片，平板屏幕出现三维虚拟物体并显示反馈信息，如图6所示。
[0079]
此时轻量级移动设备端上的脑电信号分析处理软件将便携式干电极脑电采集设备采集到的脑电信号通过算法处理为意念控制数据值并通过udp网络通信osc协议传输到平板电脑，增强现实软件将意念控制数据值进行处理映射到三维物体特征上，实现脑电信号控制三维虚拟物体，同时增强现实软件为使用者提供信息反馈，帮助其完成任务。使用者通过意念控制三维虚拟物体特征如勺子的弯曲程度、气球的大小或火箭的高度。使用者完全沉浸在自己的行为之中时，大脑会保持高度的注意力，可以大大提升神经元触发和连接的效率，锻炼注意力，从而提升学习效率。
[0080]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。