对话控制方法、模型训练方法、对话系统及计算设备与流程

本说明书实施例涉及人工智能，特别涉及一种对话控制方法、模型训练方法、对话系统及计算设备。

背景技术：

1、随着人工智能和人机语音交互技术的发展，智能对话系统在各类应用场景中得到了广泛普及。

2、目前，对话系统通常采用级联式的语音识别与决策控制模块，或采用多模态模型进行端到端的话轮控制，其中，级联式架构通过串行衔接语音识别与决策控制，将识别结果作为决策依据，以支撑对话轮次的有序流转；多模态模型则通过统一处理音频与文本等多模态输入，实现对话状态的端到端判定与切换，两者均旨在保障对话交互的连贯性与响应及时性。

3、然而，级联架构存在语音识别的串行延迟，且高噪背景人声下的语音识别错误会向决策层传导，而采用多模态模型进行高频直调时，由于交互控制需在线高频调用（如每200ms 一拍），直接调用会带来难以承受的算力成本。

4、因此，如何在实现端到端话轮状态切换的同时，有效降低高频调用的算力成本，成为亟待解决的问题。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种对话控制方法。本说明书一个或者多个实施例同时涉及一种模型训练方法，一种对话系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种对话控制方法，包括：

3、响应于接收到目标对话的当前播报轮的音频片段，获取目标对话的固定前缀，其中，固定前缀的键值缓存已预先写入；

4、基于固定前缀和音频片段，构建当前播报轮的模型输入，模型输入包括文本词元和音频词元；

5、调用多模态模型，基于固定前缀的键值缓存对模型输入进行增量前向计算，在任一决策读点处读取该决策读点对应的预测分数，其中，决策读点为该拍末位音频词元的位置；

6、基于预测分数，从预设动作集中确定目标动作；

7、基于目标动作，执行当前播报轮的话轮状态切换。

8、根据本说明书实施例的第二方面，提供了一种模型训练方法，包括：

9、获取目标对话的样本固定前缀、样本音频片段以及样本音频片段对应的帧级决策标签；

10、基于样本固定前缀和样本音频片段，构建样本模型输入；

11、调用多模态模型，基于样本固定前缀的键值缓存对样本模型输入进行前向计算，在任一决策读点处读取该决策读点对应的预测分数；

12、基于预测分数，从预设动作集中确定训练动作；

13、基于训练动作和帧级决策标签，确定决策损失；

14、基于决策损失，对多模态模型进行训练，获得训练完成的多模态模型，训练完成的多模态模型用于执行上述对话控制方法。

15、根据本说明书实施例的第三方面，提供了一种对话系统，包括在线推理模块，在线推理模块包括：

16、前缀获取单元，用于响应于接收到目标对话的当前播报轮的音频片段，获取目标对话的固定前缀，其中，固定前缀的键值缓存已预先写入；

17、输入构建单元，用于基于固定前缀和音频片段，构建当前播报轮的模型输入；

18、模型调用单元，用于调用多模态模型，基于固定前缀的键值缓存对模型输入进行增量前向计算，在任一决策读点处读取该决策读点对应的预测分数，其中，决策读点为该拍末位音频词元的位置；

19、动作确定单元，用于基于预测分数，从预设动作集中确定目标动作；

20、状态切换单元，用于基于目标动作，执行当前播报轮的话轮状态切换。

21、根据本说明书实施例的第四方面，提供了一种计算设备，包括：

22、存储器和处理器；

23、存储器用于存储计算机程序/指令，处理器用于执行计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

24、根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

25、根据本说明书实施例的第六方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

26、本说明书一个实施例中，通过预先写入目标对话的固定前缀并复用其键值缓存，在接收到当前播报轮的音频片段时，仅需基于该缓存对由固定前缀和音频片段构建的模型输入进行增量前向计算，避免了每拍调用时从头计算全部前缀所带来的重复算力消耗，从而有效降低了多模态模型高频直调的算力成本。通过选取当前播报轮的末位音频词元的位置作为决策读点读取预测分数，使得模型在完整感知该拍音频信息后才输出决策，切断了级联架构中语音识别串行延迟及高噪背景下识别错误向决策层的传导路径。基于预测分数从预设动作集中确定目标动作并执行话轮状态切换，实现了端到端的话轮控制，在保障交互连贯性与响应及时性的同时，兼顾了计算效率与决策准确性。

1.一种对话控制方法，包括：

2.根据权利要求1所述的方法，在所述获取所述目标对话的固定前缀之前，还包括：

3.根据权利要求2所述的方法，所述基于系统提示、历史对话文本和预设话轮控制标记，构建所述目标对话的固定前缀，包括：

4.根据权利要求1所述的方法，在所述基于所述固定前缀和所述音频片段，构建所述当前播报轮的模型输入之前，还包括：

5.根据权利要求4所述的方法，所述拼接所述固定前缀、所述音频片段、所述已播报文本和所述参考音频，获得所述当前播报轮的模型输入，包括：

6.根据权利要求1所述的方法，所述调用多模态模型，基于所述固定前缀的键值缓存对所述模型输入进行增量前向计算，在任一决策读点处读取该决策读点对应的预测分数，包括：

7.根据权利要求6所述的方法，所述在交互性格和所述当前播报轮的话轮状态的约束下，在任一决策读点处读取该决策读点对应的预测分数，包括：

8.根据权利要求6所述的方法，还包括：

9.根据权利要求1所述的方法，还包括：

10.根据权利要求1至9中任一项所述的方法，所述基于所述预测分数，从预设动作集中确定目标动作，包括：

11.根据权利要求10所述的方法，所述当前播报轮的话轮状态包括收听态和播报态，所述当前播报轮的话轮状态的预设动作集包括预设收听态动作集和预设播报态动作集；

12.根据权利要求10所述的方法，所述预设动作集包含于统一决策词表，所述统一决策词表包括继续收听动作、接管动作、轻声承接动作、主动打断动作、继续播报动作和停止播报动作；

13.根据权利要求11所述的方法，所述基于所述目标动作，执行所述当前播报轮的话轮状态切换，包括：

14.根据权利要求1所述的方法，在所述基于所述固定前缀和所述音频片段，构建所述当前播报轮的模型输入之前，还包括：

15.根据权利要求14所述的方法，在所述基于所述音频片段，判断是否满足模型调用门控之后，还包括：

16.根据权利要求14所述的方法，所述基于所述音频片段，判断是否满足模型调用门控，包括：

17.一种模型训练方法，包括：

18.根据权利要求17所述的方法，获取目标对话的样本固定前缀，包括：

19.根据权利要求17所述的方法，获取样本音频片段以及所述样本音频片段对应的帧级决策标签，包括：

20.根据权利要求19所述的方法，所述对所述训练序列进行决策回灌校验，对所述决策标签轨道进行标签正确性校验，包括：

21.根据权利要求17所述的方法，在所述基于所述样本固定前缀和所述样本音频片段，构建样本模型输入之前，还包括：

22.根据权利要求17所述的方法，统一决策词表包括所述预设动作集中的各动作分别对应的决策字，所述决策字用于表示所述预设动作集中的动作；所述基于所述训练动作和所述帧级决策标签，确定决策损失，包括：

23.根据权利要求17所述的方法，所述样本模型输入中不含有决策字，所述决策字属于统一决策词表，用于表示预设动作集中的动作；

24.根据权利要求17所述的方法，所述样本模型输入包含历史决策字，所述历史决策字为上一决策读点确定的目标动作对应的决策字，所述历史决策字被插入至所述样本模型输入中，作为模型输入流的一部分参与后续位置的注意力计算；

25.根据权利要求17所述的方法，在所述基于所述样本固定前缀和所述样本音频片段，构建样本模型输入之前，还包括：

26.一种对话系统，包括在线推理模块，所述在线推理模块包括：

27.一种计算设备，包括：

28.一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至25任一项所述方法的步骤。

29.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至25任一项所述方法的步骤。