一种动态窗口边界修补和多尺度特征提取的语音情感识别方法

本发明涉及语音情感识别领域，具体涉及一种动态窗口边界修补和多尺度特征提取的语音情感识别方法。

背景技术：

1、随着电信网络、智能终端和人工智能技术的快速发展，人机语音交互已广泛应用于电信客服、智能语音助手、线上心理咨询、智能机器人等场景。在这些场景中，仅仅“听懂说了什么”已经远远不够，系统还需要“听懂他说话时的情绪状态”，尤其是其中那些不易察觉的微情绪与经过刻意隐藏、伪装的情绪。

2、尽管基于深度学习的语音情感识别技术已取得显著进展，但在处理真实场景中高度非平稳、多粒度且声学环境复杂的语音信号时，现有方法仍面临若干亟待解决的关键科学与技术挑战。

3、现有的模型主要面临以下问题：（1）语音情绪线索具有多尺度特性。短时情绪变化可能集中于局部高能区域，而长时情绪趋势则可能分布在更宽的时间范围内。单一尺度的特征提取方式难以同时捕获短时、中时、长时以及频率方向上的互补情绪线索。（2）固定窗口或普通局部窗口注意力难以适应不同语音样本中情绪片段长度不一致的问题。固定窗口可能在无情感片段或静音片段上产生冗余计算，也可能切断跨窗口分布的情绪线索。（3）现有动态窗口建模方法虽然能够根据语音内容显著性自适应划分窗口，但动态窗口本质上仍是一种硬切分操作。当情绪信息跨越相邻窗口时，窗口边界处的 token容易出现上下文割裂、表征不稳定和特征失真问题，从而影响模型对情绪过渡区域的判别能力。（4）部分基于大规模预训练语音模型的方法虽然具有较强表示能力，但模型参数量和推理开销较大，难以部署在对实时性和轻量化有要求的实际应用场景中。

技术实现思路

1、鉴于此，本技术提供一种基于多尺度特征提取和动态窗口边界修补的语音情感识别方法，解决现有语音情感识别方法中存在的多尺度情绪特征提取不足、动态窗口边界上下文割裂、边界 token 表征失真以及模型部署开销较高等问题。

2、为达到上述目的，本发明的技术方案如下：

3、一种动态窗口边界修补和多尺度特征提取的语音情感识别方法，包括如下步骤：

4、s1：对输入的语音信号进行预处理，提取梅尔频率倒谱系数mfcc特征，将所述mfcc特征通过线性投影映射到统一表示空间，然后经由多尺度前端、深度卷积与宏观时序建模提取共享声学特征；

5、s2：将所述共享声学特征输入全局上下文建模分支，提取语句级的情绪语义；

6、s3：将所述共享声学特征输入动态窗口建模分支，获得局部—全局协同特征；

7、s4：根据动态窗口的起止位置构造边界掩码，对所述边界掩码指示的边界tokens进行潜空间扩散修补，非边界的token作为上下文保持不变；

8、s5：将所述全局上下文建模分支和动态窗口边界修补分支的预测结果进行门控融合；

9、s6：根据s5得到的融合结果输出最终语音情感分类结果。

10、进一步地，本发明的步骤s1中，所述多尺度前端通过四个并行的深度可分离卷积分支提取多尺度特征，四个分支分别用于捕获短期的局部时频模式、中期的时间变化、长期的情感趋势和沿频率维度的判别线索；将四个分支的输出沿通道维度进行串联，并通过卷积进行融合；然后通过多个二维卷积层和最大池化操作提取高级的局部时频表示；再通过空间通道注意力模块增强显著的时间区域、频带和判别性通道，产生共享特征表示。

11、进一步地，本发明的步骤s2中，所述全局上下文建模分支将所述共享特征平坦化为空间令牌维度，然后通过门控mlp进行全局特征变换。

12、进一步地，本发明的步骤s3和s4中，动态窗口建模分支包括边界引导的动态窗口划分、窗口内局部注意力、窗口间全局注意力以及边界潜空间扩散修复；其中，动态窗口划分根据停机分数自适应地生成可变长度的窗口；窗口内局部注意力捕获每个窗口内的细粒度情感模式；窗口间全局注意力建模不同窗口之间的长距离依赖关系；边界潜空间扩散修复选择性地对边界标记进行去噪和特征恢复。

13、进一步地，本发明的动态窗口划分阶段，模型根据停顿得分识别高置信度的边界位置，并据此构建令牌到窗口的赋值矩阵；基于该赋值矩阵生成局部注意力掩码，允许每个token在同一动态窗口内主要与token进行交互；然后模型引入特征重要度过滤机制，获取前一网络模块计算出的特征标记重要度得分，提取所有重要度得分的中位数作为动态阈值，将特征标记按时间顺序自适应地分组为强情感关联窗口和弱情感关联窗口。

14、进一步地，本发明的特征标记重要度得分通过以下方式计算：基于标记到窗口的分配关系生成局部注意力掩码，在掩码约束下，利用transformer多头注意力模块中获得的注意力权重计算每个特征标记的重要度得分，计算公式为：

15、；

16、其中，表示计算得到的特征标记重要度得分，表示多头注意力机制中注意力头的总数量，表示来自第s个注意力头的注意力权重，表示输入序列的长度，即所述平均注意力矩阵的单边维度大小，模型将该矩阵沿着序列长度维度进行累加降维，表示归一化指数函数，用于将累加后的权重值映射到区间，转化为概率分布形式。

17、进一步地，本发明在窗口内局部注意力阶段，模型在每个动态窗口内进行局部多头自注意力；在窗口间全局注意力阶段，模型根据局部注意力分数对局部token特征进行加权聚合，形成窗口级别的表示，再应用全局窗口注意力获得窗口级别的上下文和窗口注意力分数；最后，将局部令牌特征与全局上下文进行融合，使得每个令牌既包含窗口内局部信息又包含窗口间全局信息。

18、进一步地，本发明的步骤s4中，所述潜空间扩散修补包括：在训练过程中，模型对动态窗口边界令牌添加高斯噪声，前向扩散过程表述为：

19、；

20、其中，为噪声调度参数， 表示原始边界潜在特征，表示第步噪声注入后的特征，表示高斯噪声；随后，条件去噪器以带噪的边界特征、非边界上下文、边界掩膜、停止分数和时间步长为条件，预测边界区域中的噪声成分并逐步恢复其潜在表示；将修复后的边界令牌合并回完整的令牌序列，非边界令牌保留其原始表示；最后，对修复后的令牌特征进行归一化和平均池化，输入到分类头中得到分支的预测logit。

21、进一步地，本发明的步骤s5中，所述门控融合通过可学习的参数生成融合权重，计算两个分支产生的logits的加权和，自适应地平衡全局语义信息和局部边界增强信息的贡献。

22、进一步地，本发明的预处理包括：将语音采样率统一设置为16khz，对语音波形执行峰值归一化处理，将语音长度统一调整为2秒，对超过2秒的语音采用随机裁剪，对不足2秒的语音采用零填充补全，然后提取mfcc声学表征。

23、本发明的有益效果是：有效地缓解了语音情感识别中动态窗口边界处的上下文不连续性和边界表征失真，实现了全局语义、局部显著情感线索和边界转移特征的协同表示，从而在保持低推理开销的轻量级架构的同时，弥补了传统局部窗口方法跨窗口依赖建模的不足，能够更全面地捕捉语音情感变化过程，有效增强情感过渡区域的判别能力。