基于脑机接口的多源域自适应想象语音生成方法及系统与流程

1.本发明涉及语音生成技术领域，特别是涉及基于脑机接口的多源域自适应想象语音生成方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.失语症是指人由于与语言功能有关的脑组织的病变引起的一种病症，如脑卒中、喉癌、闭锁综合征等。这类疾病会造成患者对人类进行交际符号系统的理解和表达能力的损害，尤其是语音、词汇、语法等成分、语言结构和语言的内容与意义的理解和表达障碍，以及作为语言基础的语言认知过程的减退和功能的损害。以脑卒中为例，患者虽然出现失语的状况，但其脑部的语言神经并没有发生病变，换言之患者是可以在大脑内部产生语音神经信号的，结合当下时兴的脑机接口技术，这就为患者的语言表达提供了可能性。
4.近年来，想象语音已经成为一种新的神经范式，它基于大脑活动的内部刺激，以实现交流行为，而不需要借助听觉语言。想象语音包括音素、字或者词语的内心想象发音，不产生任何的声音或发音动作。
5.根据前人的充分实验与论证，脑电图(eeg)是一种适合于想象语音分类的技术。目前对于从eeg信号中提取特征的技术正在迅速的发展，其目的在于构建想象语音的分类器。传统的特征提取和特征分类算法包括共空间模式(csp)和支持向量机(svm)等。目前这些技术的发展已经相当完善，称为脑机接口领域的经典算法。但是，现有的技术存在的一个局限性在于无法收集大量的标记样本。传统的机器学习要求训练数据和测试数据必须服从独立同分布的约束条件，但是脑电信号的个体差异性很强，这限制了当前的分类器对新受试者的适用性。


技术实现要素：

6.为了解决现有技术的不足，本发明提供了基于脑机接口的多源域自适应想象语音生成方法及系统；采用跨学科的方法，使用一组不同学科的eeg数据对新用户进行分类。在此基础上，迁移学习显示出在解决想象语音的跨学科方法方面的效用。在跨学科的背景之下，迁移学习的目的是提取跨学科的相同部分，并将这些知识应用到新的学科中。然而对于单源域的迁移学习来说，如果源域和目标域之间的相似性较差，进行迁移学习可能会产生负迁移的现象。因此可以采用多源域的迁移学习来弥补这一缺陷。提供一种想象语音的生成算法，使得多个患者的数据可以用于新的病患，从而提高了算法的适用性，有利于想象语音设备的进一步发展。
7.第一方面，本发明提供了基于脑机接口的多源域自适应想象语音生成方法；
8.基于脑机接口的多源域自适应想象语音生成方法，包括：
9.获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标
域数据，包括：预设伪标签的脑电信号；
10.将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；
11.根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。
12.第二方面，本发明提供了基于脑机接口的多源域自适应想象语音生成系统；
13.基于脑机接口的多源域自适应想象语音生成系统，包括：
14.预处理模块，其被配置为：获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标域数据，包括：预设伪标签的脑电信号；
15.特征提取模块，其被配置为：将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；
16.语音生成模块，其被配置为：根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。
17.第三方面，本发明还提供了一种电子设备，包括：
18.存储器，用于非暂时性存储计算机可读指令；以及
19.处理器，用于运行所述计算机可读指令，
20.其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
21.第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
22.与现有技术相比，本发明的有益效果是：
23.(1)适用性更强；传统的脑机接口分类算法需要对单独对每个患者的数据进行测算分析，患者往往需要经过多组的试验数据采集，每个患者的数据是独立存在的。依据本算法可以将采集到的其他患者的数据直接应用于新的病患身上进行使用，这大大提高了算法的普适性。
24.(2)响应速度更快：在多源域自适应领域，本算法能通过更少的迭代次数迅速得到分类结果，这满足了脑机接口想象语音对于算法实时性的要求，为使用者提供了更好的用户体验。
25.(3)准确率更高：本算法通过降低源域和目标域之间的边缘分布差异和条件分布差异，使用在源域数量增加时拥有更高的识别准确率。
26.本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
27.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
28.图1为第一个实施例的方法流程图；
29.图2为第一个实施例的自适应矩阵优化方法。
具体实施方式
30.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
31.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
32.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
33.实施例一
34.本实施例提供了基于脑机接口的多源域自适应想象语音生成方法；
35.如图1和图2所示，基于脑机接口的多源域自适应想象语音生成方法，包括：
36.s101：获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；
37.所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标域数据，包括：预设伪标签的脑电信号；
38.s102：将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；
39.s103：根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。
40.进一步地，所述s101：获取源域数据和目标域数据；具体包括：
41.通过使用时佩戴在用户头部的eeg电极帽，获取用户想象发声的脑电信号。
42.用户佩戴eeg电极帽在脑海进行想象发生，例如在想象发音上、下、左、右等，采集相应的脑电信号为x
n
(t)并将其存放到数据库中。
43.进一步地，所述s101：对源域数据和目标域数据进行预处理；具体包括：
44.采用独立成分分析(independent component analysis,ica)和赫斯特指数，消除待处理脑电信号的伪影；
45.采用共同平均参考值car(common average reference)，对消除伪影的脑电信号计算所有电极的平均值，通过去除所有电极的平均值来提高信噪比。
46.进一步地，所述采用独立成分分析(independent component analysis,ica)和赫斯特指数，消除待处理脑电信号的伪影；具体包括：
47.首先，通过独立成分分析将采集到的eeg信号分解为时间上独立且空间固定的分量之和，眼部活动对应于大脑的额叶部位；
48.然后，计算眼电所处空间的赫斯特指数，即赫斯特指数在0.58
‑
0.69范围内的分量，使用赫斯特指数评估每个通道的所有独立分量，去除眼电分量后，再将剩余的分量混合成整个通道的总量，完成伪影处理。
49.由于采集到的脑电数据中存在影响实验准确度的无效信息，所以采用独立成分分析(ica)和赫斯特指数来消除eeg信号上的伪影，然后采用共同平均参考(car)对数据进行预处理。对采集到得脑电数据进行预处理，提高数据的信噪比以便更好的滤除噪声对后续
工作的影响。
50.进一步地，所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；其中，已知分类标签为用户想象的“上”、“下”、“左”或“右”。
51.进一步地，所述目标域数据，包括：预设伪标签的脑电信号；其中，预设伪标签，为人工设置，例如：设置伪标签为“左”或“右”；此时设置的伪标签可能是错误的，但是，经过分类器和训练集的不断优化，伪标签的值会被不断修正，并越来越接近真实标签值。
52.进一步地，所述s102：对提取的特征进行降维处理；是采用主成分分析(principalcomponents analysis，pca)降维处理。
53.进一步地，所述s103：根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；其中，分类器为支持向量机。
54.进一步地，所述根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签，具体过程包括：
55.s1031：针对降维处理得到的训练集特征向量，将特征向量按照对应特征值从大到小的顺序排列成矩阵，选取前k个特征向量作为自适应矩阵a；对自适应矩阵a进行迭代优化，得到优化后的自适应矩阵a；
56.s1032：基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行训练，得到目标域数据对应的修正后的伪标签。
57.进一步地，所述s1031：对自适应矩阵a进行迭代优化，得到优化后的自适应矩阵a；具体包括：
58.s10311：对训练集的数据进行特征分解，对特征分解得到的所有特征值采用从大到小的顺序进行排序，选择前k个特征向量，作为自适应矩阵a；
59.s10312：将优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签投影到再生核希尔伯特空间，然后对投影的数据采用分类器进行分类，实现对目标域中伪标签的更新；
60.s10313：计算条件分布系数矩阵m
c
；m
c
是最大均值差异mmd的系数矩阵，其中包含了每一个x
u
∈x
s
以及x
t
的类别标签；类别标签是指一个数据中有若干个种类，例如，源域中的一个源数据包含想象的上、下、左、右四类；
61.s10314：计算对角次梯度矩阵g；在此对源域的样本进行重新加权，以减小不相关样本对于预测准确率的影响，对角次梯度矩阵g中包含了各类样本的权重。
62.s10315：判断迭代次数是否达到设定次数(10次)，如果是，则条件分布系数矩阵与对角次梯度矩阵均达到收敛状态，得到优化的自适应矩阵；如果否，就返回s10311。
63.进一步地，s1032：基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行训练，得到目标域数据对应的修正后的伪标签；具体包括：
64.s10321：将最大均值差异mmd输入的数据，投影到再生核希尔伯特空间(reproducing kernel hilbert space,rkhs)，根据映射关系，选择线性核函数；通过线性
核函数计算获得核矩阵；
65.s10322：将边缘分布矩阵和条件分布系数矩阵结合，计算数据总体分布的权重；根据边缘分布的权重，得到归一化的拉普拉斯矩阵；
66.s10323：构造对角矩阵；根据核矩阵、对角矩阵和归一化的拉普拉斯矩阵，构造分类器的参数；
67.s10324：根据分类器的参数和核函数，设置分类器；
68.s10325：基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签，对分类器进行训练；
69.基于优化后的自适应矩阵a、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行测试；
70.将目标域提取的特征输入到测试的分类器中，得到目标域数据对应的修正后的伪标签。
71.示例性地，进行参数表示：将脑电数据分为源域数据目标域数据x
t
；并设置源域标签正则化参数表示为λ，σ，γ，子空间为k；
72.源域数据x
s
，包括训练集和测试集；目标域数据x
t
，包括一组待处理脑电信号。将y
t
设置为目标域伪标签，对源域样本使用模型进行训练；利用半监督领域的伪标签学习设置伪标签y
t
，在源域样本中对其进行训练，明确源域和目标域的决策边界。
73.对脑电采用最大均值差异(maximum mean discrepancy，mmd)测量目标域和源域之间的边缘分布差异，并减小两者之间的边缘分布差异，提高两种域之间的相性；设置类内散布矩阵s，用与测量源域数据间的样本距离；采用主成分分析(pca)技术对数据进行降维，将特征向量按对应特征值大小自上而下按行排列成矩阵，选取前k个特征向量作为自适应矩阵a；基于投影的源域数据{a
t
x
s
，y
s
}训练标准分类器f，更新作为目标域伪标签的目标标签y
t
；更新最大平均偏差矩阵更新次梯度矩阵g；循环运行直至收敛最大平均偏差矩阵和次梯度矩阵收敛；
74.选择一个核函数k(x
i
，x
j
)，并计算在投影数据上计算核矩阵k；通过边缘分布学习目标域性能良好的预测函数，利用权重函数确定边缘的权重；构造对角矩阵，确定分类器的参数α，进而确定自适应分类器f；通过构造的分类器对目标数的数据进行预测，获得目标域的标签；
75.采用mmd算法来测量源域和目标域之间的分布差异，根据公式(1)计算每个x
u
∈x
s
和x
t
的mmd系数矩阵。
[0076][0077]
其中，代表第u个源域数据的样本数，n
t
代表目标域数据的样本数。表示源域的第u个数据集，x
t
表示目标域数据集，(m0)
i，j
表示边缘分布矩阵。
[0078]
为确保训练集中每个源域的不同类别之间的区别，采用类内方差来度量每个预测数据与其平均值之间的最小化度量。对所有的x
u
∈x
s
构建压缩的域不变集群来保留输入数据，并在每个x
u
的不同类之间产生清晰的决策域，如公式(2)所示，其中是属于x
u
∈x
s
的c类样本的平均值，s设置为公式(3)所示。a
s
表示由多个源域组成的全部源域样本的映射矩阵，a
t
表示目标域样本的映射矩阵。c代表一个数据集的类别数目集合。s表示每个c类别的内类散布矩阵。
[0079][0080][0081]
根据公式(4)对源域的数据进行特征分解工作，对进行特征分解后的所有特征：
[0082]
(xm
c
x
t
s λg)a＝xhx
t
aφ
ꢀꢀ
(4)
[0083]
值采用降序的方式进行排序，选择前k个作为最小特征向量，作为自适应矩阵a使用。m
c
表示条件分布系数矩阵，s表示类内散布矩阵，g是对角次梯度矩阵，λ是正则化参数，a是自适应矩阵，xhx
t
是协方差矩阵，φ是x
→
φ(x)的映射函数。
[0084]
将降到k维后的源数据{a
t
x
s
，y
s
}进行投影，然后对投影的源数据使用标准的分类器f进行分类，完成伪标签的更新。
[0085]
根据公式(5)更新条件分布mmd的系数矩阵m
c
，该系数矩阵包括所有x
u
∈x
s
以及x
t
。是源域的c类的样本集合，是目标域x
t
的c类的样本集合。是对应的基数，是的基数。
[0086][0087]
更新公式(4)中的对角次梯度矩阵，g
ii
的更新公式如下所示：
[0088][0089]
其中，a
i
是原对角梯度矩阵g的第i行i列的元素。
[0090]
重复上述步骤直到最大平均的系数矩阵m
c
以及对角次梯度矩阵g
ii
收敛为止。pca降维技术虽然拥有很高的效率，但是其无法最小化源域和目标域之间的分布差异，但是跨域的分布差异很大。所以采用上述模块来最小化训练集和目标数据汇中每个源域之间的分布差异。
[0091]
根据映射关系来选择径向基(radial basis function，rbf)核函数k(x
i
，x
j
)，通过计算获得核矩阵k，公式(7)：
[0092]
k(x
i
，x
j
)＝exp(
‑
γ||x
i
‑
x
j
||2)
ꢀꢀ
(7)
[0093]
其中，x
i
，x
j
∈x[x
s
，x
t
]，γ是用于计算的正则化参数。
[0094]
然后，根据公式(8)和公式(9)来计算出边缘的权重，再通过公式(10)来得到归一化的拉普拉斯矩阵。
[0095][0096][0097][0098]
根据公式(11)和公式(12)构造对角矩阵r和分类器参数α。
[0099][0100][0101]
其中，σ和γ是用于计算的正则化参数，r即使主对角线为r
ii
的对角矩阵，是归一化的拉普拉斯矩阵，k是核矩阵，y是包含[y
s
，y
t
]的矩阵。
[0102]
确定上述参数后，根据公式(13)训练分类器，使用自适应分类器f对目标域进行分类预测，确定目标域标签，完成识别。
[0103][0104]
其中，α
i
∈α，k(x
i
，x)表示径向基核函数。
[0105]
实施例二
[0106]
本实施例提供了基于脑机接口的多源域自适应想象语音生成系统；
[0107]
基于脑机接口的多源域自适应想象语音生成系统，包括：
[0108]
预处理模块，其被配置为：获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标域数据，包括：预设伪标签的脑电信号；
[0109]
特征提取模块，其被配置为：将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；
[0110]
语音生成模块，其被配置为：根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。
[0111]
此处需要说明的是，上述预处理模块、特征提取模块和语音生成模块对应于实施例一中的步骤s101至s103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0112]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0113]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划
分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
[0114]
实施例三
[0115]
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
[0116]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0117]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0118]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0119]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0120]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0121]
实施例四
[0122]
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
[0123]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。