一种基于小波变换的多模态脑机接口数据融合方法与流程

1.本发明属于模式识别领域，涉及一种数据融合方法，特别是基于小波变换的多模态数据融合方法。


背景技术：

2.脑机接口(brain-computer interface,bci)提供了大脑和外部设备之间的连接。它被广泛应用于机器人控制、精神压力检测、神经系统疾病检测等领域。bci技术通常分为侵入式bci和非侵入式bci。常见的非侵入式的bci信号采集成像方式包括脑电图(electroencephalogram,eeg)，皮层区脑电图(electrocardiogram,ecog)，功能性近红外光谱(functional near-infrared spectroscopy,fnirs)，功能磁共振成像(functional magnetic resonance imaging,fmri)和脑磁图(magnetoencephalography,meg)等。
3.每种脑成像模态信号都有自身的优势与局限性，比如，eeg是一种非侵入式脑成像技术，它利用头皮电极来测量神经元大量电活动引起的电压波动。这项技术具有很好的时间分辨率。但是，脑电信号极易受到运动伪影的影响，并且由于容积传导效应，导致eeg信号的空间分辨率较低。这些将会降低脑机接口的准确性。fnirs是一种非侵入式光学成像技术，通常利用两个不同的波长(600～1000nm)来测量氧合血红蛋白(oxygenated hemoglobin,hbo)和脱氧血红蛋白(deoxygenated hemoglobin,hbr)的浓度变化，并以此来测量大脑神经元的代谢活动。基于fnirs的bci的主要局限性在于血流动力学响应延迟较长,这导致了较差的时间分辨率，被认为是基于实时fnirs的bci应用的主要障碍。另一方面，fnirs具有较好的空间分辨率，血流动力学信号不像电信号那样在通道之间传播，而且对运动伪影具有显著的鲁棒性。
4.因此，研究人员试图结合不同模态的优势来克服单模态的缺陷，开展多模态脑机接口系统的研究。为了将多种模态的信号进行融合，研究者们提出了许多的融合方法，比如利用联合互信息(jmi)准则对eeg特征和fnirs特征进行组合优化的方法；通过不同的决策路径从特定方面分析大脑信息，最后通过独立决策路径融合(idpf)的方法；通过张量映射将eeg和fnirs时间序列的组合转换为三阶张量实现融合的方法。尽管通过这些方法融合的混合模态bci在准确性和稳定性方面都优于单一模态，但由于不同模态之间存在数据的采样率，幅值尺度等性质不同以及多源信号的时空配准等问题，多模态的数据级融合是一个具有挑战性的问题。


技术实现要素：

5.本发明针对现有技术的不足，提出了一种基于小波变换的多模态脑机接口数据融合方法。本发明通过对两种或多种模态数据进行小波分解，然后计算小波系数的fisher值，按照fishe值赋予小波系数不同的权重，再对小波系数加权求和得到一组新的小波系数，最后通过小波重构从而实现不同模态数据的融合。本发明包括以下步骤：
6.步骤(1)：多通道多模态信号的采集与预处理,对两种模态中每个通道信号的预处
理是进行适带通滤波；
7.1)：频带处理，对eeg信号进行0.5-35hz的滤波，目的是为了消除干扰和噪声；
8.2)：将光强度测量值转换为血液动力学变化，使用六阶零相位巴特沃斯滤波器对fnirs信号进行0.01-0.1hz的滤波操作，同时采用实验前n秒的hbr和hbo浓度数据的均值进行基线校正；
9.3)：插值与放缩：由于eeg和fnirs信号的采样率不同，且两者的幅度差异较大，为了保证小波变换的兼容性和融合的效果，需要对fnirs信号进行插值，使其与eeg的采样率保持一致，同时为了更好地体现fnirs携带的信息，将两种信号放缩到同一尺度；
10.步骤(2)：使用sym3小波基函数对两种模态信号分别进行l层的小波分解，分别得到两种信号的一个近似系数a
l
和细节系数d
l
；
11.两种信号离散小波变换是通过正交镜像滤波器组实现的；低通和高通滤波器分支的输出被视为近似系数和细节系数；通过将前一级的系数作为输入，同样的过程重复多次以提高频率分辨率；每次分解后，通过降采样使时间分辨率减半，而通过滤波使频率分辨率加倍；分解的第l层，其输出的小波系数为
[0012][0013][0014]
其中g[k]与h[k]分别为低通和高通滤波器，m，k表示数据点；由于fnirs信号是一种低频信号，在小波分解后的高频细节系数的幅值非常小，为了更好地体现fnirs高频细节系数所携带的信息，本发明将两种信号的细节系数放缩到了同一尺度；
[0015]
步骤(3)：对每一层的小波系数计算其fisher值，根据fisher值给小波系数赋予权重，并将两种信号对应层的小波系数加权求和，从而得到一组新的小波系数，然后对新的小波系数进行小波重构，得到融合信号；
[0016]
1)：选择时间窗长度与eeg频带；
[0017]
2)：计算小波系数的fisher值；
[0018]
对不同的样本分别进行了i1与i2次实验，通过计算样本信号的各层小波系数的类间欧式距离与类内方差的比值，定义每个小波系数表征二分类能力的值为：
[0019][0020]
其中，f代表fisher值，n代表通道数量，x
si
代表第s个通道第i次试验的小波系数，m
si
代表x
si
的平均值；
[0021]
3)：融合规则
[0022]
基于fisher值加权与小波重构融合规则，首先计算两种信号小波系数的fisher值，然后通过
[0023][0024][0025]
来计算给各层小波系数分配的权重w
*
，再利用融合规则得到新的小波系数
[0026]cnew
＝w
eegceeg
w
fnirscfnirs
ꢀꢀꢀ
(6)
[0027]
最后使用新的小波系数c
new
进行小波重构得到融合信号；
[0028]
步骤(4)：提取融合信号的csp特征，并使用lda分类。
[0029]
作为优选，所述的将光强度测量值转换为血液动力学变化；具体为：将在实验中接收到的近红外光的强度信号，通过修正的beer-lamber定律转换为含氧血红蛋白hbo和脱氧血红蛋白hbr的血液动力学变化，从而获取到大脑信息。
[0030]
作为优选，采用实验前5秒的hbr和hbo浓度数据的均值进行基线校正。
[0031]
作为优选，步骤(3)中的时间窗长度与eeg频带的选择，具体为：时间窗长度选择7s，eeg信号选择4-13hz频带的信号。
[0032]
作为优选，所述的提取融合信号的csp特征，并使用lda分类；具体为：
[0033]
1)：提取融合信号的csp空域特征：通过一个投影矩阵使得不同类别的信号在投影空间有很大差异，然后求得每次实验信号x的投影信号z，并用log-variances方法提取每次实验的csp特征向量f；
[0034]
为了最大化的区分信号，就需要找出能使两种信号经过投影后信号间的方差最大化的投影矩阵；假设两类任务的信号矩阵分别为x1和x2，构造投影矩阵；首先对两类样本数据归一化，然后求两类信号矩阵协方差rj，得到：
[0035][0036]
其中，trace(
·
)是矩阵的迹，然后计算出混合空间的协方差矩阵r，并对其进行特征分解：
[0037][0038]
其中，是两类任务的协方差矩阵，j＝1，2，λ是总协方差矩阵的特征值，u是特征值对应的特征向量；对方差做均化处理，定义白化矩阵p为：
[0039][0040]
用该白化矩阵分别处理和
[0041][0042]
经过处理后的协方差矩阵用以下式子表示：
[0043]
s1＝uλ1u
t
,s2＝uλ2u
t
ꢀꢀꢀꢀ
(11)
[0044]
其中，λ1和λ2分别为s1和s2对应的特征值，且满足λ1 λ2＝i，i为单位矩阵；因此当s1的特征值取最大值的时候，s2中的对应的特征值也就最小，这样就使得两类信号能最大化的投影在不同的区域，实现分类；分别从两个特征向量中提取前后t个特征向量形成矩阵
b，于是得到最后的投影矩阵w：
[0045]
w＝b
t
p
ꢀꢀꢀ
(12)
[0046]
通过投影矩阵得到两个类别信号投影后的信号矩阵：
[0047]
z＝wx
ꢀꢀꢀ
(13)
[0048]
最后取对数得到最后的特征向量：
[0049][0050]
其中，zu表示z的第u行；
[0051]
2)：使用线性判别分析方法进行分类；
[0052]
通过求解最优化问题来找出最佳投影矩阵w，即：
[0053][0054]
其中，trace(
·
)表示矩阵的迹，sb和sw分别为类间和类内散布矩阵；使用从融合信号提取出来的csp特征训练lda分类器。
[0055]
本发明的有益效果：本发明通过基于小波变换的方法实现的多种模态的数据级融合能够同时兼顾多种模态的信息，即从多个角度获取大脑信息，在一定程度上提高了bci系统的分类性能。另外，与其他的多模态融合方法相比，比如特征级融合与决策级融合，数据级融合在特征提取之前就将多种模态融合，这能在一定程度上提高系统的计算效率。
附图说明
[0056]
图1为本发明的流程图；
[0057]
图2为单次实验时间轴；
[0058]
图3为四层小波分解图；
[0059]
图4为信号融合可视化图；
[0060]
图5为不同时间窗长度与eeg频带分类比较；
[0061]
图6为整体框架图；
具体实施方案
[0062]
本发明使用由30个通道的eeg和36个通道的fnirs信号所构成的数据集进行说明，数据集包含从29位健康受试者(14位男性和15位女性，平均年龄28.5
±
3.7)收集的心理算数实验信号。ma数据集有心算和基线任务，且每个受试者进行60次试验。图1为一次实验的具体时间轴，包括两秒钟的视觉介绍，10s的任务时间段和14-16s的休息时间。在ma任务的过程中，要求受试者从“三位数”中减去一位数字(例如123-9)，并从先前的减法结果中重复减去一位数字，直到任务完成。在ma任务中，通过休息来执行基线任务。
[0063]
下面结合附图详细描述本发明基于小波变换的多模态数据融合方法。本发明的基本流程如图2所示，具体包括4个步骤：
[0064]
步骤(1)：多通道eeg与fnirs信号的采集与预处理。
[0065]
4)：频带处理，由于脑电信号中通常包含有非常多的干扰与噪声，其中一部分可以
在信号采集中尽量避免，而有一部分则只能在后续的处理中去消除，如工频干扰等。所以首先对eeg信号进行0.5-35hz的滤波，目的是为了消除干扰和噪声。
[0066]
5)：将光强度测量值转换为血液动力学变化，由于近红外信号是一种光信号，我们需要将在实验中接收到的近红外光的强度信号，通过修正的beer-lamber定律转换为含氧血红蛋白(oxygenated hemoglobin，hbo)和脱氧血红蛋白(deoxygenated hemoglobin，hbr)的血液动力学变化，从而获取到大脑信息。并且使用六阶零相位巴特沃斯滤波器对fnirs信号进行0.01-0.1hz的滤波操作，同时采用实验前5s的hbr和hbo浓度数据的均值进行基线校正。
[0067]
6)：插值与放缩：由于eeg和fnirs信号的采样率不同，且两者的幅度差异较大，为了保证小波变换的兼容性和融合的效果，需要对fnirs信号进行插值，使其与eeg的采样率保持一致，同时为了更好地体现fnirs携带的信息，需要将两信号放缩到同一尺度。
[0068]
步骤(2)：使用sym3小波基函数对eeg和fnirs信号分别进行4层的小波分解。
[0069]
信号x(n)离散小波变换是通过正交镜像滤波器组实现的，如图3所示。低通和高通滤波器分支的输出被视为近似(a
l
)和细节(d
l
)系数，其中i表示小波网络的层数。通过将前一级的系数作为输入，同样的过程可以重复多次以提高频率分辨率。每次分解后，通过降采样使时间分辨率减半，而通过滤波使频率分辨率加倍。在分解的第m层，其输出的小波系数为
[0070][0071][0072]
其中g[k]与h[k]分别为低通和高通滤波器。由于fnirs信号是一种低频信号，在小波分解后的高频细节系数的幅值非常小，为了更好地体现fnirs高频细节系数所携带的信息，本发明将两种信号的细节系数放缩到了同一尺度。
[0073]
步骤(3)：按照融合规则进行融合。
[0074]
1)：计算小波系数的fisher值。
[0075]
fisher准则是一种将高维参数投影成一维来测量类判别属性的统计量参数,fisher值代表了两类样本的可分程度，fisher值越大表示可分性越强，。若两种不同的样本分别进行了i1与i2次实验，通过计算样本信号的各层小波系数的类间欧式距离与类内方差的比值，定义每个小波系数表征二分类能力的值为：
[0076][0077]
其中，f代表fisher值，n代表通道数量，x
si
代表第s个通道第i次试验的小波系数，m
si
代表x
si
的平均值。图4将信号融合过程进行了可视化。
[0078]
2)：融合规则。
[0079]
基于fisher值加权与小波重构(fisher weighted and wavelet reconstruction，fw-wr)融合规则，首先计算两种信号小波系数的fisher值，然后通过
[0080][0081][0082]
来计算给各层小波系数分配的权重w
*
，再利用融合规则得到新的小波系数
[0083]cnew
＝w
eegceeg
w
fnirscfnirs
ꢀꢀꢀ
(6)
[0084]
最后使用新的小波系数c
new
进行小波重构得到融合信号，其中f
*
代表fisher值。
[0085]
3)：时间窗长度与eeg频带的选择。
[0086]
由于近红外信号具有较高的延迟性，为了选取到数据质量最高、可分性最好的的时间段，对融合信号进行滑动时间窗处理，时间窗长度的选择十分重要，太短则包含的信息量不足，太长则可能造成冗余。图5是时间窗长度与eeg频带不同的组合的分类效果，从中可以看出在时间窗长度选择7s，eeg选择4-13hz也就是thete和alpha频段时的融合信号的分类效果是最好的，所以本发明最终选择7s的时间窗长度，eeg信号选择4-13hz频带的信号与fnirs融合进行研究。
[0087]
步骤(4)：提取融合信号的csp特征，并使用lda分类。
[0088]
1)：csp特征提取：本发明提取的是融合信号的csp空域特征，csp是一种高效的空域滤波特征提取方法，已经广泛应用在人脸识别、疲劳检测、脑电信号分析、语音识别等领域。csp算法提取特征的核心在于通过一个投影矩阵使得不同类别的信号在投影空间有很大差异，然后求得每次实验信号x的投影信号z，并用log-variances方法提取每次实验的csp特征向量f。
[0089]
为了最大化的区分信号，就需要找出能使两种信号经过投影后信号间的方差最大化的投影矩阵。假设两类任务的信号矩阵分别为x1和x2，构造投影矩阵；首先求两类信号矩阵协方差，并归一化，得到：
[0090][0091]
其中，trace(
·
)是矩阵的迹，然后计算出混合空间的协方差矩阵r，并对其进行特征分解：
[0092][0093]
其中，是两类任务的协方差矩阵，j＝1，2，λ是总协方差矩阵的特征值，
[0094]
u是特征值对应的特征向量。对方差做均化处理，定义白化矩阵p为：
[0095][0096]
用该白化矩阵分别处理和
[0097][0098]
经过处理后的协方差矩阵也可以用以下式子表示：
[0099]
s1＝uλ1u
t
,s2＝uλ2u
t
ꢀꢀꢀꢀ
(11)
[0100]
其中，λ1和λ2分别为s1和s2对应的特征值，且满足λ1 λ2＝i，i为单位矩阵。因此
当s1的特征值取最大值的时候，s2中的对应的特征值也就最小，这样就使得两类信号能最大化的投影在不同的区域，实现分类。分别从两个特征向量中提取前后m个特征向量形成矩阵b，于是得到最后的投影矩阵w：
[0101]
w＝b
t
p
ꢀꢀꢀ
(12)
[0102]
通过投影矩阵就可以得到两个类别信号投影后的信号矩阵：
[0103]
z＝wx
ꢀꢀꢀ
(13)
[0104]
最后取对数就可以得到最后的特征向量：
[0105][0106]
其中，zu表示z的第u行；
[0107]
2)：lda分类：本发明使用的分类方法为线性判别分析(linear discriminant analysis，lda)。lda的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后使样本的类内距离最小而类间距离最大，可以通过求解最优化问题来找出这样的一个最佳投影矩阵w，即：
[0108][0109]
其中，trace(
·
)表示矩阵的迹，sb和sw分别为类间和类内散布矩阵。使用从融合信号提取出来的csp特征训练lda分类器，本发明的整体框架如图6所示。本发明所提出的方法与单模态eeg，fnirs，多模态的特征级融合进行了分类比较，实验精度如表1所示：
[0110]
表1 10名受试者不同模态特征的分类精度表
[0111][0112][0113]
针对上述数据集，基于小波变换的数据级融合表现出来最佳的分类性能。来自数据集的十位受试者：基于小波变换的数据级融合在s1、s2、s3、s6和s7五位受试者身上获得了最高的分类进度，而特征级融合在s5、s9和s10身上获得了最高分类精度，单模态eeg则在s4和s8身上获得最高分类精度。基于小波变换的数据级多模态融合的方法作为一种结合了多种模态的方法，结合了各种模态的优势，从不同的角度获取大脑信息斌融合，增强了获取到的信息的丰富性，除此之外，本发明使用了基于fisher值加权的融合规则，给可分性强的
小波系数赋予更高的权重，可分性低的小波系数赋予小的权重，这即结合了两种模态的信息，同时又避免了不必要信息的冗余，这些都有利于在一定程度上提高bci系统的分类性能。
[0114]
从整体上看，本发明提出了一种基于小波变换的多模态信号融合方法用于bci系统的任务分类。利用两种信号各层小波系数的fisher值衡量各信号成分对于心算任务可分性的作用，然后采用基于fisher值加权的融合规则分配各小波系数的权重，可分性越强的小波系数权重越大，由这种方式所得到小波系数重构出的信号同时兼顾了两种信号的信息，因而具有良好的可分性。最后的分类精度结果表明该方法为的多模态数据级融合提供了新思路，在一定程度上能够提高bci系统的分类性能。