基于目标关联与信号质量评分的语音情绪融合识别方法

本发明涉及语音信号处理与人工智能情感计算领域，具体为基于目标关联与信号质量评分的语音情绪融合识别方法。

背景技术：

1、现有的语音情绪识别方法包括基于单一时长声学帧提取语音特征并进行情绪分类的方法；

2、相关技术中，为了识别语音中的情绪状态，可以对数字音频流进行预处理和分帧，提取基频、能量、频谱及语速等声学特征，再利用情绪分类模型输出情绪类别；或者，结合不同时间尺度的声学帧对多个分类结果进行综合判断，以确定语音对应的情绪状态；

3、但是在语音信号存在噪声、静音、削顶或部分特征缺失的情况下，单一时间尺度的识别结果容易受到局部异常语音片段影响，而简单融合不同时间尺度的分类结果又难以区分各帧信号质量及有效关联关系，容易产生情绪误判或输出结果不稳定；因此，相关技术中的语音情绪识别方法难以兼顾识别准确性、结果稳定性和复杂语音环境下的适应能力。

技术实现思路

1、本发明的目的在于提供基于目标关联与信号质量评分的语音情绪融合识别方法，避免局部异常语音片段对识别结果产生影响，且更易兼顾复杂语音环境下的识别准确性和结果稳定性。

2、本发明的目的可以通过以下技术方案实现：

3、基于目标关联与信号质量评分的语音情绪融合识别方法，包括：采集数字音频流，对数字音频流预处理后形成短时、中时和长时声学帧；

4、根据短时声学帧的功率、信噪比和过零率确定有效语音帧，并基于最近15至60s的有效语音帧建立包括基频基准和能量峰率基准的声学基准；

5、针对各时长声学帧提取包括相对基频偏移和相对语速偏移的情绪声学特征，生成与特征位置对应的缺失特征掩码并计算帧级信号质量评分；

6、将情绪声学特征、缺失特征掩码及用于区分短时、中时和长时声学帧的时长标识输入情绪分类模型，得到预设情绪类别集合上的概率分布；

7、将短时声学帧中概率最大的情绪类别确定为主要情绪类别，并根据连续短时声学帧的主要情绪类别、对应概率和帧级信号质量评分确定候选情绪片段；

8、在候选情绪片段起点时间前后预设时间容差内选取中时声学帧和长时声学帧分别作为中时关联帧和长时关联帧，将候选情绪片段内对应的短时声学帧作为短时关联帧，按照帧级信号质量评分对短时、中时和长时关联帧的情绪概率进行加权融合，得到各情绪类别的关联得分；

9、当同一情绪类别的关联得分连续超过预设确认阈值并持续达到预设确认时长时，输出包括时间、情绪标签、置信度、相对基频偏移和相对语速偏移的情绪识别结果。

10、可选地，预处理包括去直流偏置和预加重；

11、数字音频流第个采样点记为，从0开始计数，去直流偏置采用长度为预设采样点数的滑动窗口，初始阶段采用已获得采样点数量作为均值分母，去直流偏置后的信号记为；

12、预加重后的信号为：

13、

14、其中，为0.95至0.98，当时令；

15、短时声学帧的帧长为20至40ms、帧移为8至12ms，中时声学帧的帧长为120至250ms、帧移为40至80ms，长时声学帧的帧长为1500至3000ms、帧移为400至700ms。

16、可选地，对第个短时声学帧进行端点检测， 帧功率为对应的短时声学帧采样点平方均值，过零率为：

17、

18、其中，为相邻采样点符号变化次数，为采样点数量；令初始噪声功率不小于预设正数；当大于预设信噪比阈值且时令语音活动标记，否则令，预设信噪比阈值的单位为db；

19、当时按照更新噪声功率，当时保持，其中为第k个短时声学帧对应的噪声功率，为0.90至0.995；将的短时声学帧确定为有效语音帧。

20、可选地，声学基准在当前处理时刻之前最近15至60s的时间窗口内计算；

21、基频检测算法输出范围为0至1的基频检测置信度，置信度大于或等于预设阈值的基频样本确定为有效基频样本，并将有效基频样本的下四分位数确定为基频基准；

22、有效基频样本数量小于预设数量时沿用上一有效基频基准，无上一有效基频基准时标记为缺失；

23、将时间窗口内的有效语音划分为10ms子帧，基于子帧对数能量序列检测有效能量峰， 有效能量峰为同时大于前一相邻子帧和后一相邻子帧且大于或等于预设能量阈值的局部极大值，首尾子帧不作为局部极大值；

24、相邻峰间隔小于80ms的峰合并为一个能量峰，并按照确定能量峰率基准，其中为合并后的有效能量峰数量，为有效语音累计时长；

25、持续无效语音帧超过300ms确定为静音，静音后首个有效语音帧为新语音段起点，新语音段开始后沿用上一有效声学基准，并按时间窗口随新获得的有效语音滑动更新。

26、可选地，情绪声学特征针对短时、中时和长时声学帧分别提取，包括第1至第阶倒谱系数、有效基频样本均值、有效基频样本标准差、对数能量均值、能量变化率、相对基频偏移、相对语速偏移和嗓音周期变化量，其中为12至40的预设正整数；

27、能量变化率为相邻10ms子帧对数能量差值绝对值的平均值；有效声门周期由连续有效基频样本换算得到，嗓音周期变化量为相邻有效声门周期时长差值绝对值的平均值与有效声门周期平均时长的比值；对第种时长的第帧，为短时、中时或长时，相对基频偏移为：

28、

29、相对语速偏移为：

30、

31、其中，为第种时长的第i帧的有效基频样本均值，为对应时长声学帧的结束时刻，为对应时长声学帧内有效能量峰数量与有效语音时长的比值；当缺失或不大于第一预设正数时，将相对基频偏移标记为缺失；当缺失或不大于第二预设正数时，将相对语速偏移标记为缺失；

32、有效基频样本数量小于预设数量时，将有效基频样本均值、有效基频样本标准差和相对基频偏移标记为缺失；

33、有效声门周期数量小于预设数量时，将嗓音周期变化量标记为缺失；缺失特征掩码的各位置与情绪声学特征的各特征位置一一对应。

34、可选地，在每个短时、中时和长时声学帧内部划分非重叠的10ms子帧用于帧级信号质量评分计算，末尾不足10ms的部分丢弃且不改变各声学帧的帧移；对第种时长的第帧，帧级信号质量评分为：

35、

36、其中，为信噪比得分，为韵律完整度得分，为声学一致性得分；

37、

38、其中，为帧内信号功率与噪声功率之比对应的db值，和分别为预设信噪比下限和上限且；

39、

40、其中，为子帧总数，为满足语音活动条件的有效语音子帧数量，为基频检测置信度达到预设阈值的子帧数量。

41、可选地，针对同一声学帧内具有有效基频样本的相邻子帧，分别计算基频变化量和谱倾斜变化量，变化量为当前子帧数值减去前一子帧数值；

42、谱倾斜为预设分界频率以下低频能量与预设分界频率以上高频能量的比值，预设分界频率为800hz至1500hz，当高频能量不大于第三预设正数时采用第三预设正数作为分母；

43、根据两种变化量序列计算皮尔逊相关系数，当有效变化样本数量不小于3且任一变化量序列方差不为零时，按照确定声学一致性得分，否则将设置为0.4；

44、当帧内绝对采样幅值不小于满量程幅值预设比例的采样点数量与采样点总数的比值不小于预设饱和比例时，将更新为。

45、可选地， 将每个短时声学帧中概率最大的情绪类别确定为对应短时声学帧的主要情绪类别；

46、当连续5个短时声学帧的主要情绪类别相同、 平均帧级信号质量评分大于或等于0.6且主要情绪类别的平均概率大于或等于0.5时，生成候选情绪片段；

47、以候选情绪片段起点时间为基准，在前后预设时间容差内分别查找中时和长时声学帧，为50至200ms，每种时长存在多个候选帧时选取距离最近者，距离相同时选取帧级信号质量评分最高者；

48、对候选情绪片段内每个短时帧生成一个短时输出点，将对应的短时声学帧作为短时关联帧，并与选取的中时、长时关联帧组成对应短时输出点的关联帧集合，存在的关联帧时长类型集合记为；

49、对第个短时输出点，按照计算情绪类别的关联得分，其中为第种时长关联帧对情绪类别的概率，为对应关联帧序号；不存在关联帧的时长类型不参与求和，分母为零时不生成对应的短时输出点。

50、可选地，将每个短时输出点中关联得分最大的情绪类别确定为对应短时输出点的情绪类别；

51、当连续短时输出点的情绪类别相同、各短时输出点中对应情绪类别的关联得分均大于或等于0.5，且由首个短时输出点对应短时帧的起始时间至末个短时输出点对应短时帧的结束时间的连续时长不小于300ms时，将对应区间确认为情绪片段，未生成短时输出点的短时帧中断连续；

52、确认情绪类别记为，确认区间内对应类别关联得分的算术平均值记为；对确认区间内最终纳入关联且去重后的短时、中时和长时帧计算关联平均质量评分：

53、

54、其中，为去重后的关联帧数量，为第个关联帧的帧级信号质量评分，并将确定为置信度；

55、以音频流起始时刻为起点划分左闭右开的500ms时间网格，同一网格内存在多个确认情绪片段时输出置信度最高者，不存在确认情绪片段时不输出；

56、相对基频偏移和相对语速偏移分别对确认情绪片段内非缺失的短时声学帧对应特征按照帧级信号质量评分进行归一化加权平均，全部缺失时将对应输出标记为缺失。

57、本发明的有益效果：

58、1、本发明中的语音情绪融合识别方法，对数字音频流进行去直流偏置、预加重和多时长分帧处理，并分别形成短时、中时和长时声学帧，能够从不同时间尺度提取语音情绪信息，使情绪识别同时兼顾局部语音变化和预设时间范围内的整体表现，避免单一时长声学帧难以反映完整情绪状态的问题，提高复杂语音场景下的情绪识别适应能力；

59、2、本发明中的语音情绪融合识别方法，根据短时声学帧的功率、信噪比和过零率确定有效语音帧，并按照语音活动状态更新噪声功率，能够区分语音与噪声、静音等非语音数据；同时基于近期有效语音帧建立基频基准和能量峰率基准，仅使用当前处理时刻之前已经完成有效性确认的数据进行基准更新，能够减少噪声、静音和异常数据对基准计算的影响，使相对基频偏移和相对语速偏移具有稳定且明确的比较基准；

60、3、本发明中的语音情绪融合识别方法，针对各时长声学帧提取包括相对基频偏移和相对语速偏移的情绪声学特征，并为每个特征位置生成缺失特征掩码，结合基频检测置信度、有效语音子帧比例、声学一致性、信噪比和削顶情况计算帧级信号质量评分，能够区分有效特征、缺失特征和异常特征，避免将异常值直接输入情绪分类模型；在特征缺失时通过占位值保持输入维度，并同步保留缺失标记，使分类模型能够识别特征的可靠程度，提高存在噪声、基频缺失、部分数据不可用或音频削顶时的识别稳定性。