语音处理方法、装置、电子设备和存储介质与流程

本技术属于计算机，尤其涉及一种语音处理方法、装置、电子设备和存储介质。

背景技术：

1、随着智能家电的普及，智能冰箱作为其中的重要组成部分，逐渐融入到人们的日常生活中。智能冰箱通常配备语音识别与自然语言处理功能，能够通过语音控制冰箱的各项操作，如温度调节、食材管理、购买建议等，显著提升了操作便捷性。然而，在实际应用中，冰箱常部署于厨房等复杂声学环境，在多人交谈或复杂噪声环境中，智能冰箱的语音识别与自然语言处理的精度和准确率常常受到干扰，导致识别错误或响应不准确，影响用户体验。

技术实现思路

1、本技术提出一种语音处理方法、装置、电子设备和存储介质，以解决相关技术中存在的在多人交谈或复杂噪声环境中，智能冰箱的语音识别与自然语言处理的精度和准确率常常受到干扰，导致识别错误或响应不准确，影响用户体验的问题。

2、第一方面，本技术提供了一种语音处理方法，该方法包括：

3、获取多通道语音数据；

4、对所述多通道语音数据进行预处理，得到n个用户的多通道语音特征，n为大于等于1的正整数；

5、将所述n个用户的多通道语音特征输入至多通道语音编码模型，得到所述n个用户的多通道语音编码特征，所述多通道语音编码模型用于基于卷积网络和多头自注意力机制生成多通道语音编码特征；

6、对所述n个用户的多通道语音编码特征进行真伪检测，得到n个用户的语音真伪检测结果；

7、将语音真伪检测结果为真的用户的多通道语音编码特征输入至多通道语音解码模型，得到语音识别结果，所述多通道语音解码模型用于基于卷积网络和多头自注意力机制将所述多通道语音编码特征从高维空间映射到低维空间；

8、输出所述语音识别结果。

9、本技术实施例提供的语音处理方法，通过对多通道语音数据进行预处理，得到n个用户的多通道语音特征，将n个用户的多通道语音特征输入至多通道语音编码模型，得到n个用户的多通道语音编码特征，实现了多个用户的多通道语音编码特征的提取，对n个用户的多通道语音编码特征进行真伪检测，实现了语音真伪检测，并将语音真伪检测结果为真的用户的多通道语音编码特征输入至多通道语音解码模型，通过多通道语音解码模型得到语音识别结果，然后输出语音识别结果，通过融合多通道语音编码模型和多通道语音解码模型，提高了多人多通道语音检测的准确率和有效性。

10、根据本技术的一个实施例，所述获取多通道语音数据，包括：

11、从人机交互接口、问答系统、对话系统、语音助手、智能体、终端、多个麦克风阵列中的至少之一获取所述多通道语音数据；

12、或者，获取视频数据，提取所述视频数据中的语音数据，得到所述多通道语音数据。

13、在本技术实施例中，通过对来自不同通道的实时、准实时、离线和/或历史的带有语音的视频数据进行处理，得到多通道语音数据，可以有效解决垂直领域信息交互与获取、人机交互、多轮问答、对话系统等应用一体化服务技术的弊端。

14、根据本技术的一个实施例，所述对所述多通道语音数据进行预处理，得到n个用户的多通道语音特征，包括：

15、对所述多通道语音数据进行有效时长处理、噪声消除处理和混响过滤处理，得到经过预处理的多通道语音数据；

16、将所述经过预处理的多通道语音数据输入至带掩码的多通道多尺寸深度神经网络模型进行特征提取，得到n个用户的多通道语音特征。

17、在本技术实施例中，通过对多通道语音数据进行有效时长处理、噪声消除处理和混响过滤处理，可以避免对非语音段的误判(如突发噪声干扰)，使后续深度学习模型更专注于语音段的时频特征提取，提升语音识别性能，消除语音畸变，适用于多人交谈或复杂噪声环境场景。采用带掩码的多通道多尺寸深度神经网络模型进行语音特征提取，可以提高多通道预测或训练的鲁棒性，有利于多通道语音数据的声学信号提取和局部特征获取，从而有效提升特征提取的效率和模型的性能。

18、根据本技术的一个实施例，所述多通道语音编码模型包括n个conformer多通道编码块，所述将所述n个用户的多通道语音特征输入至多通道语音编码模型，得到所述n个用户的多通道语音编码特征，包括：

19、将各个用户的多通道语音特征分别输入相应的conformer多通道编码块，得到各个用户对应的多通道语音编码特征。

20、根据本技术的一个实施例，所述conformer多通道编码块包括：第一卷积网络模块、第一前馈网络模块、第一多头自注意力模块、第二卷积网络模块和前馈层归一化模块；

21、所述将各个用户的多通道语音特征分别输入相应的conformer多通道编码块，得到各个用户对应的多通道语音编码特征，包括：

22、针对任一用户的多通道语音特征，均执行以下步骤：

23、将当前用户的多通道语音特征输入到所述第一卷积网络模块进行特征提取，得到当前用户对应的第一语音编码特征；

24、将所述第一语音编码特征输入到所述第一前馈网络模块进行非线性处理，得到第二语音编码特征；

25、将所述第二语音编码特征输入到所述第一多头自注意力模块进行特征增强处理，得到第三语音编码特征；

26、将所述第三语音编码特征输入到所述第二卷积网络模块进行特征提取，得到第四语音编码特征；

27、将所述第四语音编码特征输入到所述前馈层归一化模块进行非线性处理和归一化，得到所述各个用户对应的多通道语音编码特征。

28、在本技术实施例中，通过包括第一卷积网络模块、第一前馈网络模块、第一多头自注意力模块、第二卷积网络模块和前馈层归一化模块的conformer多通道编码块，对n个用户的多通道语音特征进行特征编码，可以实现多通道语音编码特征的有效提取。

29、根据本技术的一个实施例，所述对所述n个用户的多通道语音编码特征进行真伪检测，得到n个用户的语音真伪检测结果，得到真伪检测结果，包括：

30、对各个用户的多通道语音编码特征进行向量化，得到各个用户的多通道语音特征向量；

31、将所述各个用户的多通道语音特征向量分别输入至语音真伪检测器，得到所述各个用户的分类得分；

32、在所述分类得分在预设得分范围的情况下，确定所述真伪检测结果为真；或者，在所述分类得分不在预设得分范围的情况下，确定所述真伪检测结果为假。

33、在本技术实施例中，通过对多通道语音编码特征进行真伪检测，实现了对语音欺骗的识别，可以提高对多人多通道语音进行处理的性能。

34、根据本技术的一个实施例，所述多通道语音解码模型包括：transformer多通道解码块，所述将语音真伪检测结果为真的用户的多通道语音编码特征输入至多通道语音解码模型，得到语音识别结果，包括：

35、将语音真伪检测结果为真的用户的多通道语音编码特征输入至所述transformer多通道解码块，得到语音识别结果。

36、根据本技术的一个实施例，所述transformer多通道解码块，包括：卷积模块、卷积自注意力模块、第二多头自注意力模块、第二前馈网络模块和输出模块；

37、所述将语音真伪检测结果为真的用户的多通道语音编码特征输入至所述transformer多通道解码块，得到语音识别结果，包括：

38、将所述语音真伪检测结果为真的用户的多通道语音编码特征输入至所述卷积模块进行局部特征提取，得到所述用户对应的第一语音解码特征；

39、将所述第一语音解码特征输入至卷积自注意力模块进行高层特征提取和融合处理，得到第二语音解码特征；

40、将所述第二语音解码特征输入至所述第二多头自注意力模块进行特征增强处理，得到第三语音解码特征；

41、将所述第三语音解码特征输入至第二前馈网络模块进行非线性变换处理，得到第四语音解码特征；

42、将所述第四语音解码特征输入至所述输出模块进行文本预测和攻击判别处理，得到所述语音识别结果。

43、在本技术实施例中，通过将语音真伪检测结果为真的用户的多通道语音编码特征输入至包括卷积模块、卷积自注意力模块、第二多头自注意力模块、第二前馈网络模块和输出模块的transformer多通道解码块，提高了对多人多通道语音的识别准确性。

44、根据本技术的一个实施例，所述将所述第四语音解码特征输入至所述输出模块进行文本预测和攻击判别处理，得到所述语音识别结果，包括：

45、对所述第四语音解码进行向量化，得到所述第四语音解码对应的语音特征向量序列；

46、基于所述语音特征向量序列，生成第一文本；

47、其中，在生成所述第一文本的过程中进行攻击判别，得到所述语音识别结果，所述语音识别结果中包含攻击判别标签。

48、在本技术实施例中，在得到第四语音解码特征后，进行文本预测和攻击判别，能够实现对语音对抗攻击的判别，可以提高模型进行语音识别时的抗干扰能力。

49、根据本技术的一个实施例，所述输出所述语音识别结果，包括：

50、对所述语音识别结果进行目标格式转化，输出转化后的语音识别结果；

51、其中，所述目标格式包括以下至少之一：语音输出格式、视频输出格式、文本输出格式、文本生成图格式。

52、在本技术实施例中，通过对语音识别结果进行目标格式转化，可以提升语音处理方法的适用性和用户体验感。

53、第二方面，本技术提供了一种语音处理装置，该装置包括：

54、获取单元，用于获取多通道语音数据；

55、预处理单元，用于对所述多通道语音数据进行预处理，得到n个用户的多通道语音特征；

56、编码单元，用于将所述n个用户的多通道语音特征输入至多通道语音编码模型，得到所述n个用户的多通道语音编码特征，所述多通道语音编码模型用于基于卷积网络和多头自注意力机制生成多通道语音编码特征；

57、真伪检测单元，用于对所述n个用户的多通道语音编码特征进行真伪检测，得到n个用户的语音真伪检测结果；

58、解码单元，用于在所述n个用户的语音真伪检测结果均为真的情况下，将所述n个用户的多通道语音编码特征输入至多通道语音解码模型，得到语音识别结果，所述多通道语音解码模型用于基于卷积网络和多头自注意力机制将所述多通道语音编码特征从高维空间映射到低维空间；

59、输出单元，用于输出所述语音识别结果。

60、第三方面，本技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的语音处理方法。

61、第四方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的语音处理方法。

62、第五方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的语音处理方法。

63、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的语音处理方法。

64、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。