半监督解耦多阶段肌电语音识别方法及系统

本发明涉及语音识别领域，具体涉及一种半监督解耦多阶段肌电语音识别方法及系统。

背景技术：

1、语音识别是人类交流的基石，无声语音识别（ssr）旨在无需可听声音信号即可推测出说话人的意图，从而实现在嘈杂环境中的交流、保护隐私的交互，以及为言语表达能力受损者提供辅助。近年来，记录肌肉纤维产生的电活动的表面肌电图（semg）实现无声语音识别已成为一种颇具前景的技术途径。选择无声语音识别是因为它能够捕捉与语音相关的神经肌肉激活模式，并支持音素和词级识别。然而，基于表面肌电图的语音识别仍面临用户、录音会话以及说话条件之间的分布差异问题，这限制了其在无声语音识别应用中的实际使用。

2、为了减少每次使用前的特定校准工作，迁移学习(tl)即通过从相关源域转移知识来提升目标域性能的方法，正逐渐成为减少校准工作量的有前景的策略。现有的迁移学习研究在相关semg语音任务中的跨场景泛化方面取得了重要进展，包括对口音、说话人和录音会话的适应性调整。例如，现有技术（s. ullah and d. kim, “multiaccent emg-to-speech optimized transduc-tion with perfl and maml adaptations,” ieeetransactions on instru-mentation and measurement, vol. 73, 2024, publishercopyright: © 2024ieee. personal use is permitted, but republication/redistribution requires ieee permission）提出了一种基于squeeze-and-excitation网络和门控多层感知器的模型无关元学习方法，用于适应不同口音的数据，在公共数据集上使词错率降低了1.3%至3.5%。现有技术（q. cui, x. zhang, y. zhang, c. zheng, l.xie, y. yan, e. q. wu, and e. yin, “a simplified adversarial architecture forcross-subject silent speech recognition using electromyography,” j. neuraleng., 2024.）提出了一种简化的差异对抗网络，用于跨说话人的ssr任务，其性能比现有最先进方法高出10.07%。现有技术（m. wand, t. schultz, and j. schmidhuber, “domain-adversarial training for session independent emg-based speech recognition,”09 2018, pp. 3167–3171.）引入了域对抗训练技术，无需监督注册即可使神经网络前端适应新的录音会话，在开发数据集上词错率相对降低了17.0%，在评估数据集上降低了4.7%。这些研究支持了这样一种观点：semg表征中包含可迁移的结构，而精心设计的适应性调整能够减轻特定数据收集的负担。

3、尽管这些研究证明了迁移学习在基于semg的无声语音识别应用中的价值，但其迁移设置仍仅部分符合实际的无声语音识别部署需求。跨被试方法主要解决了在相近说话条件下用户个体差异带来的问题，而跨会话方法则主要提升了在同一识别任务中对录音不稳定或电极重新贴附情况的鲁棒性。然而，在实际的无声语音识别应用中，目标情境往往是新用户的无声发音，由于无声语音缺乏可观测的声学输出以进行直接验证，因此获取大规模高质量标注数据十分困难。这一挑战在临床人群中更为突出:他们难以维持长时间的校准过程或重复的标准化测试，而现有系统在数据获取、校准负担以及临床实际情况下的评估方面仍面临诸多障碍。此外，无声语音的运动幅度更弱且发音努力度更不稳定，尤其是对于那些存在语音产生障碍的用户而言。这些因素使得仅依赖目标无声语音进行监督训练既成本高昂又不稳定。相比之下，有声语音更容易诱发且标注更为可靠，因此能提供更易获取的语音类别监督信号。因此，一个重要的实际问题就是:当可用的标注目标无声语音数据有限时，如何利用有声语音的信息来提升特定用户的无声语音识别性能。只有当两种语音模式共享可迁移的语音相关信息时，这个问题才有意义。从发声语音到无声语音的转换策略在生理学上是可行的，因为发声语音和无声语音具有相同的语音内容，且涉及对发音器官的局部重叠的神经肌肉控制。这种关系促使近期的研究利用发声或跨模态语音信息来支持无声肌电信号建模。例如，现有技术（d. gaddy and d. klein, “digital voicing ofsilent speech,” in proceedings of the 2020 conference on empirical methods innatural language processing (emnlp), b. webber, t. cohn, y. he, and y. liu,eds. online: association for computational linguistics, 2020, pp. 5521–5530.）将发声录音中的音频目标数据转换为无声肌电信号，肌电语音合成研究表明，有声发音能够为建模无声发音提供有效的监督。

4、肌电语音合成研究表明，有声发音能够为建模无声发音提供有效的监督。现有技术（t. benster, g. wilson, r. elisha, f. r. willett, and s. druckmann, “across-modal approach to silent speech with llm-enhanced recognition,” 2024.）进一步提出了一种跨模态的静默语音识别框架，该框架能够将肌电信号与音频特征对齐，并利用纯音频数据集来提升静默语音识别性能。这些研究表明，来自相关有声发音条件的信息有助于静默语音建模。然而，它们并未直接解决在受试者与模态同时变化情况下的类别区分性肌电语音识别问题。对于静默语音识别分类而言，模型应在目标静默语音条件下形成可区分的语音表征，而不仅仅是根据肌电信号重建或合成语音。这一需求使得有声发音成为一个颇具吸引力的源域，因为它不仅能提供更丰富、更可靠的类别监督信息，还与静默语音共享发音意图。不过，有声发音与静默语音在分布上并不相同。有声发音还涉及声带振动、气流控制以及声学反馈，以往的研究表明，发音模式及缺乏声学反馈会影响基于肌电信号的语音识别。因此，有声发音数据虽能提供宝贵的类别相关信息，但直接迁移到静默语音识别中却并不充分。如何减少受试者和模态影响的分布差异，已成为基于表面肌电图(semg)实现无声语音识别(肌电语音识别)领域亟待解决的关键技术问题。

技术实现思路

1、本发明要解决的技术问题：针对现有技术的上述问题，提供一种半监督解耦多阶段肌电语音识别方法及系统，本发明旨在缓解肌电语音识别中个体差异的影响，提升肌电语音识别时数据分布各异的个体识别准确率。

2、为了解决上述技术问题，本发明采用的技术方案为：

3、一种半监督解耦多阶段肌电语音识别方法，包括采用包含三个阶段的半监督解耦肌电语音识别训练以获得肌电数据语音识别模型：

4、第一阶段，利用源域的有声语音肌电数据和静默语音肌电数据两种模态的数据样本预训练双分支解耦生成器，所述双分支解耦生成器包括模式分支和个体分支，所述模式分支用于学习语音相关的表征，而个体分支用于捕捉与个体相关的差异；

5、第二阶段，保留双分支解耦生成器中的模式分支，利用源域和目标域两者的有声语音肌电数据模态的数据样本对模式分支进行半监督微调以实现有声语音肌电数据模态从源域到目标域的适配；

6、第三阶段，针对微调后的模式分支，利用源域的有声语音肌电数据和静默语音肌电数据两种模态的数据样本，以及目标域的静默语音肌电数据的数据样本对模式分支进行进一步半监督微调以实现目标域的有声语音肌电数据模态到静默语音肌电数据模态的适配，获得由模式分支构成的肌电数据语音识别模型以用于目标域的静默语音肌电数据语音识别。

7、可选地，所述双分支解耦生成器的模式分支由模式编码器和语音分类器组成，所述模式编码器用于对输入特征图进行编码生成模式潜变量，所述语音分类器用于对模式潜变量分类识别出在模式空间中对应的语音类别原型；所述双分支解耦生成器的个体分支由个体编码器和个体分类器组成，所述个体编码器用于对输入特征图进行编码生成个体潜变量，所述个体分类器用于对个体潜变量分类识别出在个体主体空间中对应的个体身份原型，其中输入特征图为源域个体带有标签的有声肌电数据或无声肌电数据提取得到的特征图。

8、可选地，所述双分支解耦生成器还包括共享解码器和梯度反转层grl，所述共享解码器用于根据输入的模式潜变量和个体潜变量进行重建以获得重建特征图，所述梯度反转层grl用于在反向传播过程中反转辅助分类器的梯度方向以抑制模式潜变量中的个体身份信息以及个体潜变量中的语音类别信息；所述利用源域的有声语音肌电数据和静默语音肌电数据两种模态的数据样本预训练双分支解耦生成器时，所采用的损失函数为第一阶段损失，所述第一阶段损失的函数表达式为：

9、；

10、；

11、；

12、；

13、其中，为第一阶段损失，和为权重系数，为约束输入特征图及其重建特征图之间差异的重建损失，为用于降低模式潜变量和个体潜变量之间信息耦合的解耦损失，为在模式空间中对应的语音类别原型和在个体主体空间中对应的个体身份原型的对齐损失；和为权重系数，为自重建损失，用于约束共享解码器根据同一样本的模式潜变量和个体潜变量重建原始输入肌电特征图，从而保证潜变量保留输入信号的有效信息；为交叉潜变量循环一致性损失，用于约束模式潜变量与置换后的个体潜变量经共享解码器重建后，再次编码得到的模式潜变量和个体潜变量分别与原始模式潜变量及置换个体潜变量保持一致；为平衡系数，为通过梯度反转层grl实现的对抗分类损失，为用于约束模式潜变量和个体潜变量几何相关性的正交约束损失，为模式分支对语音类别原型的类别判别损失，为个体分支对个体身份原型的个体判别损失。

14、可选地，重建损失的计算函数表达式为：

15、；

16、；

17、，，；

18、对抗分类损失的计算函数表达式为：

19、；

20、正交约束损失的计算函数表达式为：

21、；

22、类别判别损失的计算函数表达式为：

23、；

24、个体判别损失的计算函数表达式为：

25、；

26、其中，为批大小，和分别为第个样本的重建特征图和输入特征图，表示共享解码器，和分别表示模式编码器和个体编码器，和为特征图对应的模式潜变量和个体潜变量，特征图为和两者通过共享解码器解码得到的特征图，为批内随机置换后第个样本的个体潜变量，其中表示对批内样本索引进行随机置换后与第个样本配对的索引，为个体分类器在输入为模式潜变量经过梯度反转层grl后预测第个样本属于个体身份原型标签的概率，和分别为第个样本的模式潜变量和个体潜变量，为第个样本的语音类别原型标签，为个体分类器，为语音分类器，为的转置，为模式分支基于给定潜变量预测语音类别原型标签的概率，为正则化权重系数，为模式分支中第个样本的模式潜变量到其语音类别原型标签对应高斯分布的马氏距离，为模式分支中语音类别原型标签的精度矩阵，所述精度矩阵为协方差矩阵的逆；为个体分支中给定个体潜变量时预测源域第个样本属于个体身份原型标签的概率，为正则化权重系数，为个体分支中源域第个样本的个体潜变量到其个体身份原型标签对应高斯分布的马氏距离，为个体分支中个体身份原型标签的精度矩阵。

27、可选地，所述模式编码器和个体编码器两者结构相同，均包括级联的多个编码卷积块、展平层和潜变量层，其中编码卷积块由依次相连的二维卷积conv2d、批归一化层bn和 lrelu激活函数组成，最后一个卷积块的输出端经过展平层展平后输入潜变量层，所述潜变量层为线性层以用于将输入的特征映射为指定维度的模式潜变量或个体潜变量；所述共享解码器包括输入层、级联的多个解码卷积块和输出层，其中输入层用于通过线性层将模式编码器和个体编码器拼接的特征线性化后输出至第一个解码卷积块，所述解码卷积块由依次相连的上采样模块、二维卷积conv2d、批归一化层bn和 lrelu激活函数组成，所述输出层由二维卷积conv2d和双曲正切tanh组成以用于将输入的特征映射重建为重建特征图。

28、可选地，第二阶段所采用的损失函数为第二阶段损失，所述第二阶段损失的函数表达式为：

29、；

30、其中，为第二阶段损失，、、和为第二阶段的损失权重，为第二阶段利用有标签样本进行语音类别监督的交叉熵分类损失，为第二阶段用于增强同类样本聚集性和异类样本分离性的监督表征约束损失，为第二阶段源域和目标域有声语音肌电数据在模式空间中对应的语音类别原型统计分布的对齐损失，为第二阶段用于约束目标域适配过程中类别原型偏移的原型锚定损失。

31、可选地，第三阶段所采用的损失函数为第三阶段损失，所述第三阶段损失的函数表达式为：

32、；

33、其中，为第三阶段损失，、、和为第三阶段的损失权重，为第三阶段利用有标签样本进行语音类别监督的交叉熵分类损失，为第三阶段用于增强同类样本聚集性和异类样本分离性的监督表征约束损失，为第三阶段用于对齐有声语音肌电数据与静默语音肌电数据在模式潜变量空间中的统计分布差异的模态对齐损失，为第三阶段用于约束目标域适配过程中类别原型偏移的原型锚定损失。

34、可选地，所述第二阶段源域和目标域有声语音肌电数据在模式空间中对应的语音类别原型统计分布的对齐损失的计算函数表达式为：

35、；

36、；

37、；

38、为有声语音肌电数据模态下的全局coral对齐损失，用于对齐源域和目标域整体表征分布的协方差，为有声语音肌电数据模态下的类别级coral对齐损失，用于逐类对齐源域和目标域表征分布的协方差，为第二阶段权重系数，为模式潜变量和个体潜变量的特征维度，为求协方差矩阵，和分别为源域和目标域有声语音肌电数据模态样本的模式潜变量集合，为参与类别级coral对齐的类别集合，和分别为源域和目标域中第类有声语音肌电数据模态样本的模式潜变量集合；

39、所述第三阶段用于对齐有声语音肌电数据与静默语音肌电数据在模式潜变量空间中的统计分布差异的模态对齐损失的计算函数表达式为：

40、；

41、；

42、；

43、其中，为第三阶段模态对齐损失，为第三阶段全局coral对齐损失，为第三阶段类别级coral对齐损失，为第三阶段类别级coral对齐损失的权重系数，为模式潜变量的特征维度，为协方差矩阵计算函数，为第三阶段中有声语音肌电样本经模式编码器编码并归一化后得到的模式潜变量集合，为第三阶段中全部可用于全局模态对齐的静默语音肌电样本的模式潜变量集合，为第c个语音类别对应的有声语音肌电样本模式潜变量集合，为目标域中第c个语音类别对应的有标注静默语音肌电样本模式潜变量集合，为同时存在于有声样本和目标域有标注静默样本中的语音类别集合；

44、所述交叉熵分类损失的计算函数表达式为：

45、；

46、；

47、；

48、，；

49、；

50、；

51、；

52、，；

53、其中，为有声语音肌电数据模态下源域有标签样本的交叉熵分类损失，为权重系数，为有声语音肌电数据模态下目标域少量有标签样本的交叉熵分类损失，和分别为源域和目标域的批大小，为源域中第个样本在给定的条件下预测语音类别的概率，为源域中第个有声语音肌电样本的语音类别标签，为源域中第个有声语音肌电样本的模式潜变量，为目标域中第个有标注有声语音肌电样本在给定的条件下预测语音类别的概率，为目标域中第个有标注有声语音肌电样本的语音类别标签，为目标域中有标注有声语音肌电样本的模式潜变量，为归一化操作，为源域中第个有声语音肌电数据样本，其中s表示源域，v表示有声语音肌电数据模态，为目标域中第个有标注有声语音肌电数据样本，其中t表示目标域，lab表示有标注样本，和分别表示模式编码器和个体编码器，为权重系数，为第三阶段中有声语音肌电数据样本的交叉熵分类损失，用于保持模式分支对有声语音类别的判别能力，为第三阶段中目标域有标注静默语音肌电数据样本的交叉熵分类损失，用于利用少量静默语音校准样本对模式分支进行语义校正，为第三阶段中有声语音肌电数据样本的批大小，为第三阶段中目标域有标注静默语音肌电数据样本的批大小，为目标域中第个样本在给定的条件下预测语音类别的概率，为目标域中第个有声语音肌电样本的语音类别标签，为源域中第个有声语音肌电样本的模式潜变量，为目标域中第i个有标注静默语音肌电样本在给定其模式潜变量的条件下，被语音分类器预测为语音类别标签的概率；为目标域中第i个有标注静默语音肌电样本的语音类别标签；为目标域中第i个有标注静默语音肌电样本经模式编码器编码并归一化后得到的模式潜变量；

54、所述监督表征约束损失的计算函数表达式为：

55、；

56、；

57、；

58、；

59、其中，和为权重系数，为监督对比学习损失，为无标签样本的视图一致性损失，为第i个样本的正样本集合，第个样本的正样本集合为与第个样本i属于同一语音类别的样本索引集合，为相似度函数，为第个样本的模式潜变量，为模式潜变量，为第个样本的模式潜变量，第个样本为对比学习中的负样本，为温度系数，为无标签样本的批大小，为目标域的无标签类型的有声语音肌电数据模态的第个样本，、和为样本的随机增强函数，用于对样本添加随机噪声；为目标域中第个无标注有声语音肌电数据样本，其中表示无标注样本；

60、所述原型锚定损失的计算函数表达式为：

61、；

62、；

63、；

64、其中，为语音类别总数，为第二阶段学习得到的目标域有声语音肌电数据模态中第c个语音类别的类别原型，为源域有声语音肌电数据模态中第c个语音类别的类别原型，来源于第一阶段预训练得到的模式分支原型，为目标域有标注静默样本中出现的类别集合，为目标域有标注静默语音肌电样本中第c类样本的模式潜变量中心，为目标域有标注静默语音肌电样本中属于第c类的样本数量，表示求和仅针对语音类别标签为的目标域有标注静默样本，为目标域中第个有标注静默语音肌电样本。

65、可选地，所述采用包含三个阶段的半监督解耦肌电语音识别训练以获得肌电数据语音识别模型之后，还包括使用肌电数据语音识别模型进行目标域的肌电数据语音识别：

66、s1，获取目标域的个体在发出静默语音时发音肌群处的多通道表面肌电信号；

67、s2，将多通道表面肌电信号进行预处理降噪；

68、s3，针对预处理降噪后的多通道表面肌电信号进行异常通道校正；

69、s4，针对异常通道校正后的多通道表面肌电信号进行特征提取，包括采用滑动窗口策略来对多通道表面肌电信号进行分段，对于每个分段，从该分段提取均方根和波形长度，并将提取得到的多个分段的特征根据各个通道的电极空间布局构建特征张量作为得到的目标域静默语音肌电数据，将目标域静默语音肌电数据输入肌电数据语音识别模型，从而获得目标域的个体在发出静默语音时所对应的音节。

70、本发明还提供一种半监督解耦多阶段肌电语音识别系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述半监督解耦多阶段肌电语音识别方法。

71、和现有技术相比，本发明主要可起到下述有益效果：本发明方法包括采用包含三个阶段的半监督解耦肌电语音识别训练以获得肌电数据语音识别模型：第一阶段，利用源域的有声语音肌电数据和静默语音肌电数据两种模态的数据样本预训练双分支解耦生成器，学习能够分离语音模式信息与肌电信号中个体差异的解耦表示，第二阶段，保留双分支解耦生成器中的模式分支，对模式分支进行半监督微调以实现有声语音肌电数据模态从源域到目标域的适配；第三阶段，进行进一步半监督微调以实现目标域的有声语音肌电数据模态到静默语音肌电数据模态的适配以获得肌电数据语音识别模型，从而特征解耦进行基于多通道表面肌电信号的语音识别半监督训练，实现了从有声发音到无声发音的跨模态迁移，将这种模式表示适配到目标受试者的发声模态中，将适配后的表示与无声发音对齐。本发明通过上述三个阶段的半监督解耦肌电语音识别训练，能够有效缓解肌电语音识别中个体差异的影响，显著提升肌电语音识别时数据分布各异的个体识别准确率。