基于能力引导的级联语音对话系统的训练方法及系统与流程

本发明涉及智能语音领域，尤其涉及一种基于能力引导的级联语音对话系统的训练方法、系统、电子设备和存储介质。

背景技术：

1、级联语音对话系统通常将语音交互拆解为三个功能模块：感知与理解模块将声学观测映射为内容表征；决策制定模块解析该内容并确定回复；响应生成模块将回复转换为声学信号输出。简单的说，上述三个功能模块通常由asr（automatic speech recognition，自动语音识别）、语言模型以及tts（text-to-speech，文本转语音）实现。在具体实现上，使用包括机器语音链及其后续联合自动语音识别与语音合成训练方法、利用未配对语音和文本进行半监督训练的方法、speechain等在线合成与筛选工具链，以及将自动语音识别、语言模型和语音合成级联组成语音对话系统的模块化方案。

2、这些技术利用自动语音识别和语音合成近似互逆的语音-文本接口：对只有语音的数据，由识别模块生成伪文本并训练合成模块；对只有文本的数据，由合成模块生成语音并训练识别模块，进行教师-学生的训练。部分方法在训练前一次性生成伪数据，或按预设顺序交替更新两个模块；模块化语音对话系统则主要负责在推理时串联各模块，并不针对模块能力差异动态安排训练方向。

3、在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

4、1、教师-学生方向和更新顺序通常预先固定，当不同语言、领域或声学条件下两模块强弱发生变化时，弱模块可能把错误传给另一模块；2、一次性构造的伪标签或合成语音在后续训练中保持不变，不能反映模型能力更新；3、缺少统一的跨模块可懂度评估、针对不同路线的筛选机制及更新过程中的原能力保持约束，容易引入低质量监督或导致能力偏移。

5、总的来说，上述缺陷主要由固定的双向或交替训练策略、静态伪数据构造方式以及仅依赖单模块置信度的筛选机制导致。现有方案没有先在同一领域探针上比较识别模块对真实语音的识别误差与合成模块生成语音的可懂度误差，也没有据此选择“较强模块作为教师、更新其对应弱模块”；同时，教师检查点和筛选结果不随训练周期刷新，且通常缺少相对于原始模型的双侧蒸馏约束。

技术实现思路

1、为了至少解决现有技术中模型训练的错误传递、一次性的数据不能反映模型能力更新以及容易引入低质量监督、导致能力偏移的问题。

2、第一方面，本发明实施例提供一种基于能力引导的级联语音对话系统的训练方法，包括：

3、确定级联语音对话系统内识别模块与合成模块的领域划分能力先验，基于所述能力先验中的优势能力引导出所述识别模块与所述合成模块之间的路由规则；

4、基于所述路由规则构造教师-学生模型的理解优势引导路线或生成优势引导路线，生成不同路线下的训练样本；

5、利用所述训练样本对所述学生模型进行在线策略蒸馏的监督迭代训练，在每一次训练参数更新后，发布下一轮训练的检查点，并保持优化器与学习率状态并进入下一循环迭代训练，得到训练后的识别模块与合成模块。

6、第二方面，本发明实施例提供一种基于能力引导的级联语音对话系统的训练智能体系统，包括：

7、优势先验引导模块，用于确定级联语音对话系统内识别模块与合成模块的领域划分能力先验，基于所述能力先验中的优势能力引导出所述识别模块与所述合成模块之间的路由规则；

8、迭代在线优化训练模块，用于基于所述路由规则构造教师-学生模型的理解优势引导路线或生成优势引导路线，生成不同路线下的训练样本，利用所述训练样本对所述学生模型进行在线策略蒸馏的监督迭代训练，在每一次训练参数更新后，发布下一轮训练的检查点，并保持优化器与学习率状态并进入下一循环迭代训练，得到训练后的识别模块与合成模块。

9、第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于能力引导的级联语音对话系统的训练方法的步骤。

10、第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的基于能力引导的级联语音对话系统的训练方法的步骤。

11、第五方面，本发明实施例提供一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本发明任一实施例的基于能力引导的级联语音对话系统的训练方法的步骤。

12、本发明实施例的有益效果在于：本方法根据领域能力差异选择更可靠的教师方向，减少低质量伪监督；通过逐周期重构和筛选，使后续训练数据随模型检查点更新；通过同策略蒸馏约束降低更新模块偏离原始能力的风险。

1.一种基于能力引导的级联语音对话系统的训练方法，包括：

2.根据权利要求1所述的方法，其中，所述确定级联语音对话系统内识别模块与合成模块的领域划分能力先验，基于所述能力先验确定所述识别模块与所述合成模块之间的路由规则包括：

3.根据权利要求2所述的方法，其中，所述路由规则包括：

4.根据权利要求3所述的方法，其中，所述基于所述路由规则构造教师-学生模型的理解优势引导路线或生成优势引导路线，生成不同路线下的训练样本包括：

5.根据权利要求3所述的方法，其中，所述基于所述路由规则构造教师-学生模型的理解优势引导路线或生成优势引导路线，生成不同路线下的训练样本还包括：

6.根据权利要求1所述的方法，其中，所述利用所述训练样本对所述学生模型进行在线策略蒸馏的监督迭代训练包括：

7.一种基于能力引导的级联语音对话系统的训练系统，包括：

8.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。