脑电信号的语言解码方法、程序产品及相关设备与流程

本技术涉及脑机接口，特别是涉及一种脑电信号的语言解码方法、程序产品及相关设备。

背景技术：

1、随着脑机接口技术的发展，对于语言障碍患者的辅助通信系统、脑控输入设备与假肢控制接口以及神经科学实验中语言产生与感知的机制研究有了更多的帮助。其中，语言能力是人类认知功能的核心组成部分，例如脑卒中、肌萎缩侧索硬化症、闭锁综合征等各类疾病导致的重度运动障碍使患者丧失语言表达能力，严重影响其生活质量与社会参与，脑机接口技术通过解码脑信号直接重建语言输出，为这类患者提供了“思想-语言”转化的潜在途径。

2、目前基于脑电信号的语言解码方法主要通过三种途径来实现：直接使用ecog（electrocorticography，皮层脑电图‌）原始信号经简单滤波输送至传统分类器；使用high-gamma特定波段的ecog脑电进行中文语言解码；使用seeg立体脑电信号，经预训练或端到端处理后分类进行语言解码。

3、利用这种方法对脑电信号进行语言解码的缺陷在于对信号特征选择是盲目的，传统方法多采用全通道、全频带的ecog信号作为输入，未针对语言任务进行特征筛选。传统方法采用64通道、ecog全频带信号进行语音解码，特征维度高达64×100=6400维，模型计算量巨大且会导致模型过拟合严重，实验中发现大量通道的神经活动与语言任务无关，盲目选用信号特征在引入大量噪声的同时增加了计算复杂度。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高语言解码准确率的同时降低计算复杂度的脑电信号的语言解码方法、程序产品及相关设备。

2、第一方面，本技术提供了一种脑电信号的语言解码方法，包括：

3、获取目标脑电信号，将该目标脑电信号输入至训练后的语音检测模型，输出该目标脑电信号的发音时间段；

4、根据该发音时间段对该目标脑电信号进行裁剪，得到至少一个候选发音片段；

5、从该至少一个候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，并根据该目标发音片段提取频域特征；

6、获取该候选通道的原始电压信号，并根据该原始电压信号提取时域特征；

7、将该频域特征输入至训练后的拼音解码模型的频域支路，将该时域特征输入至该拼音解码模型的时域支路，输出该目标脑电信号对应的声母概率和韵母概率；

8、通过训练后的语言模型将该声母概率和韵母概率转化为汉字序列。

9、在其中一个实施例中，该候选通道的确定步骤包括：

10、获取通过全通道采集的样本脑电信号，根据对该样本脑电信号的标注，从该样本脑电信号中提取来源于各通道的发音段时频振幅序列与静音段时频振幅序列；

11、计算不同通道中该发音段时频振幅序列与该静音段时频振幅序列之间的相似值；

12、将该相似值低于预设值的发音段时频振幅序列对应的通道确定该候选通道。

13、在其中一个实施例中，该计算不同通道中所述发音段时频振幅序列与所述静音段时频振幅序列之间的相似值，包括：

14、通过以下公式计算不同通道中该发音段时频振幅序列与该静音段时频振幅序列之间的该相似值：

15、

16、其中，表示频率带数量，表示总通道数，表示发音通道，j表示静音通道，表示频率，表示发音通道和静音通道j之间频率同为时的相似度度量；

17、通过以下公式确定该发音通道和该静音通道之间的相似度度量：

18、

19、其中，表示对进行归一化处理的结果取最大值；

20、将发音段时频振幅序列与不同通道中所述静音段时频振幅序列之间的循环互相关值通过以下公式进行归一化处理：

21、

22、其中，表示所述循环互相关值，表示时间滞后量；

23、通过以下公式计算发音段时频振幅序列与不同通道中所述静音段时频振幅序列之间的循环互相关值：

24、

25、其中，表示时间滞后量，t表示时间片段总数，t表示第t个时间片段，表示循环互相关函数，表示发音通道，表示频率，表示静音通道，表示发音段频谱时间序列；表示静音段频谱时间序列。

26、在其中一个实施例中，该候选频段的确定步骤包括：

27、提取通过该候选通道传输的样本脑电信号的发音段频谱时间序列中携带的频率，获取对该发音段频谱时间序列预先进行标注的拼音类别；

28、计算该拼音类别与该频率均相同、且来源于不同候选通道的该发音段频谱时间序列之间的pearson相关系数；

29、根据计算得到的该pearson相关系数，计算该拼音类别相同时该候选通道与对应拼音类别的频率之间的类内协同性得分；

30、对所有不同拼音类别的对应类内协同性得分取平均值，得到该候选通道与对应频率之间的类内协同性最终得分；

31、构建该候选通道与该发音段频谱时间序列中携带的频率之间的全局冗余性矩阵；

32、计算该全局冗余性矩阵中该候选通道不同但该频率相同的两不同特征单元之间的冗余距离；

33、根据该冗余距离，计算每个该特征单元与其它所有同频候选通道的特征单元之间的平均冗余距离；

34、将该类内协同性最终得分大于第一阈值且该平均冗余距离大于第二阈值的候选通道对应的频率集合确定为该候选频段。

35、在其中一个实施例中，该计算该拼音类别相同时该候选通道与对应拼音类别的频率之间的类内协同性得分，包括：

36、通过以下公式计算该类内协同性得分：

37、

38、其中，表示拼音类别，表示拼音类别为的样本数量，表示候选通道集合，表示不同的候选通道，表示拼音类别为、频率为且通过候选通道传输的第个发音段频谱时间序列，表示拼音类别为、频率为且通过候选通道传输的第个发音段频谱时间序列，表示计算得到的所述pearson相关系数；

39、所述根据所述冗余距离，计算每个所述特征单元与其它所有同频候选通道的特征单元之间的平均冗余距离，包括：

40、通过以下公式计算所述平均冗余距离：

41、

42、

43、其中，，表示候选通道集合，表示频率带数量，表示的候选通道，表示频率，表示候选通道为、频率为的特征单元，表示候选通道为、频率为的特征单元，表示、两特征单元之间的pearson相关系数。

44、在其中一个实施例中，该语音检测模型包括训练后的lstm编码器，该拼音解码模型的频域支路包括该lstm编码器，该方法还包括：

45、通过训练后的该lstm编码器从该目标发音片段中提取该频域特征；

46、通过该拼音解码模型的特征融合层将该频域特征与该时域特征在通道维度上进行拼接，得到融合特征；

47、通过该拼音解码模型的声母分类头对该融合特征进行输出，得到该声母概率，通过该拼音解码模型的韵母分类头对该融合特征进行输出，得到该韵母概率。

48、第二方面，本技术还提供了一种脑电信号的语言解码装置，包括：

49、时间段检测模块，用于获取目标脑电信号，将该目标脑电信号输入至训练后的语音检测模型，输出该目标脑电信号的发音时间段；

50、裁剪模块，用于根据该发音时间段对该目标脑电信号进行裁剪，得到至少一个候选发音片段；

51、频域特征提取模块，用于从该至少一个候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，并根据该目标发音片段提取频域特征；

52、时域特征提取模块，用于获取该候选通道的原始电压信号，并根据该原始电压信号提取时域特征；

53、概率输出模块，用于将该频域特征输入至训练后的拼音解码模型的频域支路，将该时域特征输入至该拼音解码模型的时域支路，输出该目标脑电信号对应的声母概率和韵母概率；

54、转化模块，用于通过训练后的语言模型将该声母概率和韵母概率转化为汉字序列。

55、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

56、获取目标脑电信号，将该目标脑电信号输入至训练后的语音检测模型，输出该目标脑电信号的发音时间段；

57、根据该发音时间段对该目标脑电信号进行裁剪，得到至少一个候选发音片段；

58、从该至少一个候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，并根据该目标发音片段提取频域特征；

59、获取该候选通道的原始电压信号，并根据该原始电压信号提取时域特征；

60、将该频域特征输入至训练后的拼音解码模型的频域支路，将该时域特征输入至该拼音解码模型的时域支路，输出该目标脑电信号对应的声母概率和韵母概率；

61、通过训练后的语言模型将该声母概率和韵母概率转化为汉字序列。

62、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

63、获取目标脑电信号，将该目标脑电信号输入至训练后的语音检测模型，输出该目标脑电信号的发音时间段；

64、根据该发音时间段对该目标脑电信号进行裁剪，得到至少一个候选发音片段；

65、从该至少一个候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，并根据该目标发音片段提取频域特征；

66、获取该候选通道的原始电压信号，并根据该原始电压信号提取时域特征；

67、将该频域特征输入至训练后的拼音解码模型的频域支路，将该时域特征输入至该拼音解码模型的时域支路，输出该目标脑电信号对应的声母概率和韵母概率；

68、通过训练后的语言模型将该声母概率和韵母概率转化为汉字序列。

69、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

70、获取目标脑电信号，将该目标脑电信号输入至训练后的语音检测模型，输出该目标脑电信号的发音时间段；

71、根据该发音时间段对该目标脑电信号进行裁剪，得到至少一个候选发音片段；

72、从该至少一个候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，并根据该目标发音片段提取频域特征；

73、获取该候选通道的原始电压信号，并根据该原始电压信号提取时域特征；

74、将该频域特征输入至训练后的拼音解码模型的频域支路，将该时域特征输入至该拼音解码模型的时域支路，输出该目标脑电信号对应的声母概率和韵母概率；

75、通过训练后的语言模型将该声母概率和韵母概率转化为汉字序列。

76、上述脑电信号的语言解码方法、程序产品及相关设备，在对待解码的目标脑电信号裁剪出候选发音片段后，从该候选发音片段中筛选出对应的目标脑电信号来源于候选通道且发音频率在候选频段内的候选发音片段，作为目标发音片段，一方面不是通过全通道而是通过候选通道对目标脑电信号进行初次筛选，可以保留语言任务敏感的脑区，由于语言相关脑区仅覆盖大脑皮层的有限区域，而与各个通道相对应的用于采集目标脑电信号的电极阵列通常覆盖较大范围的皮层表面，包括与语言无关的感觉运动区、视觉区等，本技术通过候选通道对目标脑电信号进行初次筛选，可以剔除大量无效通道，降低噪声干扰，提高解码效率和准确率，另一方面，本技术通过利用发音频率在候选频段内的条件对候选发音片段进行第二次筛选，可以从众多候选发音片段中筛选出最具语言判别力的频率成分，可以将不同频段携带的可能互补的具有不同层面（如音素识别层面、韵律加工层面、词汇检索等层面）的语言信息进行融合分析，同时还可对前序步骤得到的候选发音片段做进一步校验，进一步提高语言解码的准确性，同时还能缩短解码延迟。