一种面向听觉诱发的端到端脑电信号解码方法与流程

技术特征：
1.一种面向听觉诱发的端到端脑电信号解码方法，其特征在于：包括以下步骤：s1、获取待测人员的脑电数据以及解码后的语音数据；s2、对所述脑电数据和语音数据进行预处理；s3、对预处理后的数据进行分类识别，获得脑电数据集、脑电/语音数据集和语音数据集；s4、构建双dualgan网络模型，基于所述脑电数据集、所述脑电/语音数据集和所述语音数据集对所述双dualgan网络模型进行训练，获得训练好的所述双dualgan网络模型，对所述待测人员的脑电数据进行解码，获得语音信号。2.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述s1中，脑电数据的获取过程为：首先对待测人员的听觉神经进行刺激，通过所述刺激引起中枢神经系统的生物电反应，产生电信号从而获得待测人员的所述脑电数据。3.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述s2中，脑电数据预处理的过程为：对所述脑电数据进行滤波，获取预处理后的所述脑电数据。4.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述s3中，分类识别的方法为：将预处理后的所述脑电数据和所述解码后的语音数据进行混合，组成多维混合矩阵，作为所述脑电/语音数据集；将预处理后的所述脑电数据作为脑电数据集；将预处理后的所述语音数据作为语音数据集。5.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述双dualgan网络模型包括两个dualgan网络，分别为第一dualgan网络和第二dualgan网络，所述第一dualgan网络包括第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第二dualgan网络包括所述第三生成器、第四生成器、所述第一鉴别器和第三鉴别器；所述第一dualgan网络和所述第二dualgan网络共用所述第一鉴别器。6.根据权利要求5所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第一dualgan网络用于处理所述脑电数据集和所述脑电/语音数据集，所述第一dualgan网络处理所述脑电数据集的具体方法为：所述脑电数据集基于所述第一生成器获得第一脑电信号，所述第一鉴别器对所述第一脑电信号进行评估，获得第一隶属度得分；所述第一脑电信号基于所述第二生成器获得第二脑电信号，计算所述第二脑电信号和所述脑电数据集之间绝对差的平均值，作为第一重构损失；基于所述第一隶属度得分，对所述第一生成器、所述第一dualgan网络的正向路径进行优化。7.根据权利要求6所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第一dualgan网络处理所述脑电/语音数据集的具体方法为：所述脑电/语音数据集基于所述第二生成器获得第一脑电/语音信号，所述第二鉴别器对所述第一脑电/语音信号进行评估，获得第二隶属度得分；所述第一脑电/语音信号基于所述第一生成器获得第二脑电/语音信号，计算所述第二脑电/语音信号和所述脑电/语音数据集之间绝对差的平均值，作为第二重构损失；基于所述第二隶属度得分，对所述第二生成器、所述第一dualgan网络的反向路径进行
优化。8.根据权利要求5所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第二dualgan网络用于处理所述语音数据集和所述脑电/语音数据集，所述第二dualgan网络处理所述语音数据集的具体方法为：所述语音数据集基于所述第三生成器获得第一语音信号，所述第一鉴别器对所述第一语音信号进行评估，获得第三隶属度得分；所述第一语音信号基于所述第四生成器获得第二语音信号，计算所述第二语音信号和所述语音数据集之间绝对差的平均值，作为第三重构损失；基于所述第三隶属度得分，对所述第三生成器、所述第二dualgan网络的正向路径进行优化。9.根据权利要求8所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第二dualgan网络用于处理所述脑电/语音数据集，所述第二dualgan网络处理所述脑电/语音数据集的具体方法为：所述脑电/语音数据集基于所述第三生成器获得第三脑电/语音信号，所述第三鉴别器对所述第三脑电/语音信号进行评估，获得第四隶属度得分；所述第三脑电/语音信号基于所述第四生成器获得第四脑电/语音信号，计算所述第四脑电/语音信号和所述脑电/语音数据集之间绝对差的平均值，作为第四重构损失；基于所述第四隶属度得分，对所述第三生成器、所述第二dualgan网络的正向路径进行优化。10.根据权利要求5所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第一生成器、所述第二生成器、所述第三生成器和所述第四生成器均采用相同的网络结构，为u
‑
net结构，配置有相同数量的下采样层和上采样层；所述第一鉴别器、所述第二鉴别器和所述第三鉴别器均采用patchgan结构。

技术总结
本发明公开了一种面向听觉诱发的端到端脑电信号解码方法，包括以下步骤：S1、获取待测人员的脑电数据以及解码后的语音数据；S2、对所述脑电数据和语音数据进行预处理；S3、对预处理后的数据进行分类识别，获得脑电数据集、脑电/语音数据集和语音数据集；S4、构建双DualGAN网络模型，基于所述脑电数据集、所述脑电/语音数据集和所述语音数据集对所述双DualGAN网络模型进行训练，获得训练好的所述双DualGAN网络模型，对所述待测人员的脑电数据进行解码，获得语音信号。本发明基于双DualGAN的模型算法在人机交互方面具有一定的可行性和有效性，该方法为脑机接口的研究扩展提供新的思路。提供新的思路。提供新的思路。


技术研发人员：郭一娜 晋朝 张晓飞 赵珍
受保护的技术使用者：太原科技大学
技术研发日：2021.08.06
技术公布日：2021/11/4