一种基于自监督学习的语音情感识别方法和计算机设备与流程

技术特征：
1.一种基于自监督学习的语音情感识别方法，其特征在于，包括以下步骤：基于无标注语音样本集合训练得到语音自监督学习模型；所述语音自监督学习模型用于输出所述无标注语音样本对应的通用语音特征；基于包含语音情感标签的训练样本集合，构建并训练得到包括所述语音自监督学习模型的语音情感识别模型；将待进行情感识别的语音输入所述语音情感识别模型，利用所述语音情感识别模型识别得到对应的情感类别。2.根据权利要求1所述的语音情感识别方法，其特征在于，所述语音自监督学习模型包括特征编码器、量化模块、掩蔽模块和上下文网络；所述特征编码器用于根据输入的所述无标注语音样本获取所述无标注语音样本的隐层语音表示；所述量化模块用于根据所述隐层语音表示，通过乘积量化得到量化隐层语音表示；所述掩蔽模块用于对特征编码器获取到的所述隐层语音表示进行随机时间步掩蔽，得到掩蔽结果；所述上下文网络用于根据所述掩蔽结果，利用自注意力机制，得到包括每个时间步的序列表征的所述无标注语音样本的整体序列表征；训练所述语音自监督学习模型时，基于所述量化隐层语音表示和整体序列表征进行损失迭代更新。3.根据权利要求2所述的语音情感识别方法，其特征在于，所述基于所述量化隐层语音表示和整体序列表征进行损失迭代更新，包括：构建包含干扰项和所述量化隐层语音表示的量化候选表示集合；根据掩蔽时间步t的所述序列表征c
t
，基于所述量化候选表示集合对时间步t所对应的量化隐层语音表示q
t
进行预测；基于所述序列表征c
t
和量化候选表示集合中的量化候选表示的对比误差进行损失迭代更新，得到所述语音自监督学习模型。4.根据权利要求3所述的语音情感识别方法，其特征在于，所述干扰项为k个，k个所述干扰项为在当前输入的无标注语音的除时间步t以外的时间步中均匀取样的k个时间步所对应的所述序列表征；其中，k为大于1的整数。5.根据权利要求3所述的语音情感识别方法，其特征在于，所述对比误差表示为：其中，sim(a,b)＝a
t
b/‖a‖‖b‖表示上下文表示和量化隐层语音表示之间的余弦相似性，a代表c
t
，b代表q
t
；为量化候选表示集合；c
t
为上下文网络输出的时间步t对应的序列表征；q
t
为时间步t的量化隐层语音表示。6.根据权利要求2所述的语音情感识别方法，其特征在于，所述通过乘积量化得到量化隐层语音表示，包括：将所述特征编码器输出的每个时间步的隐层语音表示分为n组子向量，n为大于1的整数，对每组子向量进行聚类，得到n个码本；从时间步t的n个码本中各随机选择一个中心点进行拼接，得到时间步t的量化隐层语音表示q
t
。
7.根据权利要求2所述的语音情感识别方法，其特征在于，所述对所述隐层语音表示进行随机掩蔽，包括：随机选择时间步t作为起始索引，将所述起始索引及随后的m个连续时间步替换为静音，m为大于1的整数，得到时间步t的掩蔽结果；按照预先设定的比例对所述隐层语音表示进行随机掩蔽，得到输入的无标注语音的掩蔽结果。8.根据权利要求1所述的语音情感识别方法，其特征在于，所述语音情感识别模型还包括softmax层，用于接收所述语音自监督学习模型输出的所述通用语音特征，进行情感多分类任务，输出待识别语音对应的情感类别。9.根据权利要求1所述的语音情感识别方法，其特征在于，所述包含标注标签的训练样本集合采用ravdess数据集，包含冷静、快乐、悲伤、愤怒、恐惧、厌恶和惊讶七个情感类型。10.一种计算机设备，其特征在于，包括至少一个处理器，以及至少一个与所述处理器通信连接的存储器；所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-9任一项所述的语音情感识别方法。

技术总结
本发明涉及一种基于自监督学习的语音情感识别方法和计算机设备，属于语音识别技术领域；本发明的语音情感识别方法包括以下步骤：基于无标注语音样本集合训练得到语音自监督学习模型；所述语音自监督学习模型用于输出所述无标注语音样本对应的通用语音特征；基于包含语音情感标签的训练样本集合，构建并训练得到包括所述语音自监督学习模型的语音情感识别模型；将待进行情感识别的语音输入所述语音情感识别模型，利用所述语音情感识别模型识别得到对应的情感类别。解决了现有技术中语音情感识别方法高度依赖大规模、高质量带情感标注数据集，受训练样本质量影响，识别准确性和泛化性不高的问题。化性不高的问题。化性不高的问题。


技术研发人员：杨群领 冯少辉 张建业
受保护的技术使用者：北京中科智加科技有限公司
技术研发日：2022.05.18
技术公布日：2022/8/22