语音识别方法及相关装置、设备和存储介质与流程

本申请涉及语音识别，特别是涉及一种语音识别方法及相关装置、设备和存储介质。

背景技术：

1、随着人工智能技术的快速发展，语音识别技术已经取得显著进步，成为人机交互的重要方式。

2、当前主流的语音识别系统通常依赖于大规模通用训练数据，虽然能够保证在通用场景下的识别效果，但在面对用户的个性化表达时往往表现不佳。对此问题，现有技术引入热词机制，允许用户导入常用词、专业术语等特定词汇进行特殊处理。但是这种方式的个性化程度有限，仅能处理预先定义的少量词汇，无法动态适应用户不断变化的语言习惯和使用场景。有鉴于此，如何提升语音识别的准确性以及动态适应性，成为亟待解决的问题。

技术实现思路

1、本申请主要解决的技术问题是提供一种语音识别方法及相关装置、设备和存储介质，能够提升语音识别的准确性以及动态适应性。

2、为了解决上述技术问题，本申请第一方面提供了一种语音识别方法，包括：响应于待识别的语音信号，基于语音信号的声学特征进行特征编码，得到语音信号的第一声纹特征和第一语义特征，并从各个候选对象的记忆数据中，分别提取各个候选对象的第二声纹特征；其中，记忆数据包括与对象画像相关的第一数据和与交互对话相关的第二数据；基于第一声纹特征分别与各个第二声纹特征之间的相似度，选择候选对象作为目标对象，并基于第一语义特征进行特征转换，得到适配于大语言模型的输入数据；基于输入数据在目标对象的第二数据中进行检索，得到参考数据；基于目标对象的第一数据、参考数据和输入数据，构造第一提示指令；其中，第一提示指令用于指示大语言模型参考目标对象的第一数据和参考数据，将输入数据处理为语音识别文本；获取大语言模型响应第一提示指令而输出的目标识别文本。

3、为了解决上述技术问题，本申请第二方面提供了一种语音识别装置，包括：编码提取模块、选择转换模块、记忆检索模块、指令构造模块和文本获取模块，编码提取模块，用于响应于待识别的语音信号，基于语音信号的声学特征进行特征编码，得到语音信号的第一声纹特征和第一语义特征，并从各个候选对象的记忆数据中，分别提取各个候选对象的第二声纹特征；其中，记忆数据包括与对象画像相关的第一数据和与交互对话相关的第二数据；选择转换模块，用于基于第一声纹特征分别与各个第二声纹特征之间的相似度，选择候选对象作为目标对象，并基于第一语义特征进行特征转换，得到适配于大语言模型的输入数据；记忆检索模块，用于基于输入数据在目标对象的第二数据中进行检索，得到参考数据；指令构造模块，用于基于目标对象的第一数据、参考数据和输入数据，构造第一提示指令；其中，第一提示指令用于指示大语言模型参考目标对象的第一数据和参考数据，将输入数据处理为语音识别文本；文本获取模块，用于获取大语言模型响应第一提示指令而输出的目标识别文本。

4、为了解决上述技术问题，本申请第三方面提供了一种计算机设备，至少包括彼此耦接的存储器与处理器，存储器中至少存储有程序指令，处理器用于执行程序指令以实现上述第一方面的语音识别方法。

5、为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的语音识别方法。

6、上述方案，响应于待识别的语音信号，基于语音信号的声学特征进行特征编码，得到语音信号的第一声纹特征和第一语义特征，并从各个候选对象的记忆数据中，分别提取各个候选对象的第二声纹特征，且记忆数据包括与对象画像相关的第一数据和与交互对话相关的第二数据，再基于第一声纹特征分别与各个第二声纹特征之间的相似度，选择候选对象作为目标对象，并基于第一语义特征进行特征转换，得到适配于大语言模型的输入数据，从而基于输入数据在目标对象的第二数据中进行检索，得到参考数据，并基于目标对象的第一数据、参考数据和输入数据，构造第一提示指令，且第一提示指令用于指示大语言模型参考目标对象的第一数据和参考数据，将输入数据处理为语音识别文本，进而获取大语言模型响应第一提示指令而输出的目标识别文本，一方面通过提取语音信号的第一声纹特征并与各个候选对象的第二声纹特征进行匹配，以据此选择候选对象作为目标对象，再根据目标对象的记忆数据指导后续语音识别流程，能够在众多候选对象中根据记忆数据中的声纹特征尽可能准确地选择出语音信号所属的目标对象，有助于后续根据其记忆数据辅助语音识别流程时提升语音识别的准确性，另一方面由于记忆数据分为与对象画像相关的第一数据和与交互对话相关的第二数据，即第一数据相对稳定，第二数据更为动态，结合两方面数据辅助后续语音识别流程，能够在静态和动态的记忆信息辅助之下尽可能地提升语音识别的准确性，又一方面在选择候选对象作为目标对象之后由于进一步在目标对象的第二数据中进行检索，有助于从目标对象更为动态的记忆信息中提取出本次识别的相关数据作为参考数据，再据此结合第一数据进行语音识别有助于提升语音识别对于用户动态变化的适应性。故此，能够提升语音识别的准确性以及动态适应性。

1.一种语音识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述输入数据包括特征维度适配于所述大语言模型的第二语义特征和所述第一语义特征经过初步解码得到的初始识别文本，所述基于所述输入数据在所述目标对象的第二数据中进行检索，得到参考数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述第二数据包括若干轮历史对话和基于所述历史对话所构建的知识图谱，所述基于所述第二语义特征和所述初始识别文本分别在所述第二数据中进行检索，得到若干第一语料以及各个所述第一语料的第一置信度，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一数据包括所述候选对象的基础信息和个性化词汇库，在所述基于所述目标对象的第一数据、所述参考数据和所述输入数据，构造第一提示指令之前，还包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述语音信号的声学特征进行特征编码，得到所述语音信号的第一声纹特征和第一语义特征，包括：

6.根据权利要求1所述的方法，其特征在于，在所述获取所述大语言模型响应所述第一提示指令而输出的目标识别文本之后，还包括：

7.根据权利要求6所述的方法，其特征在于，所述识别所述目标识别文本所属的目标会话轮次，包括：

8.根据权利要求6所述的方法，其特征在于，所述第一数据包括词汇修正记录、语言风格统计和使用场景偏好，所述第二数据包括若干轮历史对话、基于所述历史对话所构建的知识图谱和识别纠错记录，所述基于所述目标识别文本进行信息提取，得到所述目标会话轮次的记忆信息，包括：

9.根据权利要求6所述的方法，其特征在于，所述基于所述目标会话轮次的记忆信息，对所述目标对象的记忆数据进行更新，包括：

10.根据权利要求6所述的方法，其特征在于，所述对所述目标对象更新之后的记忆数据进行整理与压缩，包括：

11.根据权利要求1所述的方法，其特征在于，在所述大语言模型响应所述第一提示指令的处理过程中，还包括：

12.一种语音识别装置，其特征在于，包括：

13.一种计算机设备，其特征在于，至少包括相互耦接的存储器与处理器，所述存储器中至少存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至11任一项所述的语音识别方法。

14.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至11任一项所述的语音识别方法。