多方言语音识别方法、装置、设备、介质和产品与流程

本申请涉及音视频领域，尤其涉及一种多方言语音识别方法、装置、设备、介质和产品。

背景技术：

1、随着银行业服务的数字化转型和普惠金融的深入推进，银行客户群体的地域分布日益广泛，不同地区用户的方言语音交互需求也日益突出。

2、在现有银行等语音服务场景中，通常采用固定的标准化语音识别流程实现多口音、多语种语音处理。

3、然而，由于方言在发音规则、语调模式、词汇结构等方面与标准普通话存在显著差异，现有语音识别方案在处理不同方言的语音时往往面临识别准确率低的问题。

技术实现思路

1、本申请提供一种多方言语音识别方法、装置、设备、介质和产品，用以解决现有语音识别方案在处理不同方言的语音时往往面临识别准确率低的技术问题。

2、第一方面，本申请提供一种多方言语音识别方法，包括：

3、获取用户输入的方言语音信号，并对方言语音信号进行特征提取，得到对应的实时语音特征集合；

4、将实时语音特征集合输入方言识别模型的类型识别分支，得到方言语音信号的方言类型；

5、基于方言类型，匹配方言识别模型的方言识别分支对应的目标模型参数，并调用目标模型参数对方言识别分支进行更新；

6、将实时语音特征集合输入更新后的方言识别分支，得到方言语音信号的方言识别结果。

7、第二方面，本申请提供一种多方言语音识别装置，包括：

8、获取模块，用于获取历史多方言语音信号。

9、处理模块，用于基于历史多方言语音信号，生成不同方言类型对应的语音特征集合。

10、处理模块，还用于对多个语音特征集合进行特征提取，分别得到方言通用特征和不同方言类型对应的方言区别特征。

11、处理模块，还用于基于方言通用特征和不同方言类型对应的方言区别特征，对混合声学模型进行分层训练，得到方言识别模型。

12、获取模块，还用于获取用户输入的方言语音信号。

13、处理模块，还用于将方言语音信号输入方言识别模型中，得到方言语音信号的方言识别结果。

14、第三方面，本申请实施例提供一种电子设备，包括：存储器，处理器；

15、存储器存储计算机执行指令；

16、处理器执行存储器存储的计算机执行指令，使得处理器执行如上第一方面和/或第一方面各种可能的实施方式。

17、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

18、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

19、本申请提供的多方言语音识别方法，通过获取历史多方言语音信号，并基于历史多方言语音信号，生成不同方言类型对应的语音特征集合；对多个语音特征集合进行特征提取，分别得到方言通用特征和不同方言类型对应的方言区别特征，并基于方言通用特征和不同方言类型对应的方言区别特征，对混合声学模型进行分层训练，得到方言识别模型；获取用户输入的方言语音信号，并对方言语音信号进行特征提取，得到对应的实时语音特征集合；将实时语音特征集合输入方言识别模型的类型识别分支，得到方言语音信号的方言类型，基于方言类型，匹配方言识别分支对应的通用模型参数和区别模型参数；确定方言语音信号的方言复杂度特征，并基于方言语音信号的方言复杂度特征，确定通用模型参数和区别模型参数的参数共享比例；基于参数共享比例、通用模型参数和区别模型参数，确定方言识别分支对应的目标模型参数，并调用目标模型参数对方言识别分支进行更新；将实时语音特征集合输入更新后的方言识别分支，得到方言语音信号的方言识别结果。该方法通过混合声学模型与迁移学习的协同优化，使模型能够适配不同方言的声学特征差异，有效提升多方言语音识别的准确率；不仅显著提升了多方言语音识别的泛化能力和复杂场景下的识别稳定性，还提升了服务效率与客户满意度。

1.一种多方言语音识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述获取用户输入的方言语音信号之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述历史多方言语音信号，生成不同方言类型对应的语音特征集合，包括：

4.根据权利要求3所述的方法，其特征在于，所述对多个所述语音特征集合进行特征提取，分别得到方言通用特征和不同方言类型对应的方言区别特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述对多个所述语音特征集合进行特征提取，分别得到方言通用特征和不同方言类型对应的方言区别特征，包括：

6.根据权利要求2所述的方法，其特征在于，所述基于所述方言通用特征和所述不同方言类型对应的方言区别特征，对混合声学模型进行分层训练，得到方言识别模型，包括：

7.根据权利要求6所述的方法，其特征在于，在基于所述方言类型、所述方言通用特征和不同方言的所述方言区别特征，对混合声学模型进行训练，得到类型识别分支之后，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述方言类型，匹配所述方言识别分支对应的目标模型参数，包括：

9.一种多方言语音识别装置，包括：

10.一种电子设备，其特征在于，包括：存储器，处理器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法。