基于脑机接口的多源域自适应想象语音生成方法及系统与流程

技术特征：
1.基于脑机接口的多源域自适应想象语音生成方法，其特征是，包括：获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标域数据，包括：预设伪标签的脑电信号；将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。2.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，获取源域数据和目标域数据；具体包括：通过使用时佩戴在用户头部的eeg电极帽，获取用户想象发声的脑电信号。3.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，对源域数据和目标域数据进行预处理；具体包括：采用独立成分分析和赫斯特指数，消除待处理脑电信号的伪影；采用共同平均参考值，对消除伪影的脑电信号计算所有电极的平均值，通过去除所有电极的平均值来提高信噪比。4.如权利要求3所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，采用独立成分分析和赫斯特指数，消除待处理脑电信号的伪影；具体包括：首先，通过独立成分分析将采集到的eeg信号分解为时间上独立且空间固定的分量之和，眼部活动对应于大脑的额叶部位；然后，计算眼电所处空间的赫斯特指数，即赫斯特指数在0.58
‑
0.69范围内的分量，使用赫斯特指数评估每个通道的所有独立分量，去除眼电分量后，再将剩余的分量混合成整个通道的总量，完成伪影处理。5.如权利要求1所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，所述根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签，具体过程包括：针对降维处理得到的训练集特征向量，将特征向量按照对应特征值从大到小的顺序排列成矩阵，选取前k个特征向量作为自适应矩阵a；对自适应矩阵a进行迭代优化，得到优化后的自适应矩阵a；基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行训练，得到目标域数据对应的修正后的伪标签。6.如权利要求5所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，所述对自适应矩阵a进行迭代优化，得到优化后的自适应矩阵a；具体包括：(1)对训练集的数据进行特征分解，对特征分解得到的所有特征值采用从大到小的顺序进行排序，选择前k个特征向量，作为自适应矩阵a；(2)将优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签投影到再生核希尔伯特空间，然后对投影的数据采用分类器进行分类，实现对目标域中伪标签的更新；
(3)计算条件分布系数矩阵m
c
；(4)计算对角次梯度矩阵g；(5)判断迭代次数是否达到设定次数，如果是，则条件分布系数矩阵与对角次梯度矩阵均达到收敛状态，得到优化的自适应矩阵；如果否，就返回(1)。7.如权利要求5所述的基于脑机接口的多源域自适应想象语音生成方法，其特征是，基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行训练，得到目标域数据对应的修正后的伪标签；具体包括：将最大均值差异mmd输入的数据，投影到再生核希尔伯特空间，根据映射关系，选择线性核函数；通过线性核函数计算获得核矩阵；将边缘分布矩阵和条件分布系数矩阵结合，计算数据总体分布的权重；根据边缘分布的权重，得到归一化的拉普拉斯矩阵；构造对角矩阵；根据核矩阵、对角矩阵和归一化的拉普拉斯矩阵，构造分类器的参数；根据分类器的参数和核函数，设置分类器；基于优化后的自适应矩阵a、训练集脑电信号所有已提取特征和训练集脑电信号对应标签，对分类器进行训练；基于优化后的自适应矩阵a、测试集脑电信号所有已提取特征和测试集脑电信号对应标签，对分类器进行测试；将目标域提取的特征输入到测试的分类器中，得到目标域数据对应的修正后的伪标签。8.基于脑机接口的多源域自适应想象语音生成系统，其特征是，包括：预处理模块，其被配置为：获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；所述训练集和测试集，均为已知分类标签的脑电信号；所述目标域数据，包括：预设伪标签的脑电信号；特征提取模块，其被配置为：将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；语音生成模块，其被配置为：根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1
‑
7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1
‑
7任一项所述方法的指令。

技术总结
本发明公开了基于脑机接口的多源域自适应想象语音生成方法及系统，获取源域数据和目标域数据；对源域数据和目标域数据进行预处理；所述源域数据，包括：训练集和测试集；训练集和测试集均为已知分类标签的脑电信号；目标域数据，包括：预设伪标签的脑电信号；将预处理后的源域数据和目标域数据均进行特征提取；对提取的特征进行降维处理；根据降维处理得到的训练集特征向量、测试集特征向量、已知伪标签对应脑电信号的特征向量和分类器，得到目标域数据对应的修正后的伪标签；根据修正后的伪标签，生成对应的语音信号。通过降低源域和目标域之间的边缘分布差异和条件分布差异，使用在源域数量增加时拥有更高的识别准确率。源域数量增加时拥有更高的识别准确率。源域数量增加时拥有更高的识别准确率。


技术研发人员：高诺 戚禾汀 赵凯 王蕴辉 鲁守银
受保护的技术使用者：山东建筑大学
技术研发日：2021.09.15
技术公布日：2021/12/13