语音交互方法、语音交互模型的训练方法、设备及存储介质与流程

本申请涉及人工智能，具体涉及一种语音交互方法、语音交互模型的训练方法、设备及存储介质。

背景技术：

1、随着人工智能（artificial intelligence，ai）技术的快速发展，基于ai的语音交互正变得日益自然和流畅，语音交互功能被越来越多地应用于智能音箱、可穿戴设备、车载终端等各类智能设备，并对交互的实时性、准确性、隐私性和个性化提出了更高要求。

2、目前，语音交互的实现方式主要分为两类。一类是多模型级联方案，由多个独立模型串联组成处理链路，例如将语音识别、语义理解（如情绪识别、意图识别）、回复生成、语音合成等环节交由多个独立模型依次处理。另一类是云端的应用程序编程接口（applicationprogramming interface，api）调用方案，由端侧设备采集用户语音并转写为文本后，通过网络调用云端模型完成语义理解与回复生成，再将结果返回给端侧设备进行播放。

3、然而，多模型级联方案存在任一环节出现的处理误差会逐级传递并累积、且需要同时加载多个模型导致内存与算力占用大等问题；云端api调用方案存在响应延迟高、数据安全等问题。因此，亟需一种有效的方案以解决上述问题。

技术实现思路

1、本申请实施例提供一种语音交互方法、语音交互模型的训练方法、设备及存储介质，用以在单一模型内的同一次推理过程中完成针对语音信号的语义理解与回复生成，减少多环节处理带来的误差累积，降低交互延迟与设备资源占用。

2、第一方面，本申请实施例提供一种语音交互方法，应用于终端设备，所述终端设备上部署有端到端的语音交互模型，所述方法包括：获取语音信号；通过所述语音交互模型的语音编码部分，将所述语音信号编码为嵌入序列，所述嵌入序列与所述语音交互模型的解码部分所处理的文本表示空间对齐；通过所述解码部分，在同一次推理过程中，对所述嵌入序列进行语义理解，并基于语义理解结果联合生成回复文本以及结构化标签信息，所述结构化标签信息以机器可读的结构承载多种信息标签；根据所述回复文本生成回复语音并进行播放，并根据所述结构化标签信息中的信息标签触发对应的交互响应操作。

3、第二方面，本申请实施例提供一种语音交互模型的训练方法，待训练的初始模型包括语音编码部分和解码部分，所述方法包括：根据多种信息标签分别对应的提示信息，生成携带信息标签的多个样本查询信息；根据所述样本查询信息，生成样本回复文本；根据所述样本查询信息携带的信息标签，构建以机器可读结构承载所述信息标签的样本结构化标签信息；将所述样本回复文本与所述样本结构化标签信息共同作为所述样本查询信息对应的标注数据；将所述样本查询信息输入所述初始模型的解码部分，由所述解码部分联合输出预测回复文本和预测结构化标签信息，作为预测数据；根据所述预测数据与所述标注数据之间的损失，对所述解码部分进行权重更新，以得到端到端的语音交互模型，所述语音交互模型用于在同一次推理过程中联合输出回复文本与结构化标签信息。

4、第三方面，本申请实施例还提供一种语音交互装置，应用于终端设备，所述终端设备上部署有端到端的语音交互模型，所述装置包括：获取模块，用于获取语音信号；编码模块，用于通过所述语音交互模型的语音编码部分，将所述语音信号编码为嵌入序列，所述嵌入序列与所述语音交互模型的解码部分所处理的文本表示空间对齐；生成模块，用于通过所述解码部分，在同一次推理过程中，对所述嵌入序列进行语义理解，并基于语义理解结果联合生成回复文本以及结构化标签信息，所述结构化标签信息以机器可读的结构承载多种信息标签；交互模块，用于根据所述回复文本生成回复语音并进行播放，并根据所述结构化标签信息中的信息标签触发对应的交互响应操作。

5、第四方面，本申请实施例还提供一种语音交互模型的训练装置，待训练的初始模型包括语音编码部分和解码部分，所述装置包括：第一生成模块，用于根据多种信息标签分别对应的提示信息，生成携带信息标签的多个样本查询信息；第二生成模块，用于根据所述样本查询信息，生成样本回复文本；构建模块，用于根据所述样本查询信息携带的信息标签，构建以机器可读结构承载所述信息标签的样本结构化标签信息；标注模块，用于将所述样本回复文本与所述样本结构化标签信息共同作为所述样本查询信息对应的标注数据；训练模块，用于将所述样本查询信息输入所述初始模型的解码部分，由所述解码部分联合输出预测回复文本和预测结构化标签信息，作为预测数据；更新模块，用于根据所述预测数据与所述标注数据之间的损失，对所述解码部分进行权重更新，以得到端到端的语音交互模型，所述语音交互模型用于在同一次推理过程中联合输出回复文本与结构化标签信息。

6、第五方面，本申请实施例还提供一种电子设备，包括处理器与存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本申请实施例提供的语音交互方法，或者实现本申请实施例提供的语音交互模型的训练方法。

7、第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现本申请实施例提供的语音交互方法，或者实现本申请实施例提供的语音交互模型的训练方法。

8、第七方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现本申请实施例提供的语音交互方法，或者实现本申请实施例提供的语音交互模型的训练方法。

9、本申请实施例提供的技术方案，采用端到端的语音交互模型，利用语音编码部分将语音信号编码为与文本表示空间对齐的嵌入序列，由端到端的语音交互模型的解码部分在同一次推理过程中对嵌入序列进行语义理解，并基于语义理解结果联合生成回复文本与承载多种信息标签的结构化标签信息，使针对语音信号的语义理解与回复生成在单一模型内的一次推理过程中完成，避免了多个独立模型串联处理时误差逐级累积与上下文割裂的问题，语音中的信息标签得以保留并直接作用于回复生成，信息标签与回复内容天然一致；同时，终端设备无需同时加载多个模型，降低了内存与算力占用，配合端侧本地执行，缩短了交互响应延迟，语音数据无需上传，减少了数据传输带来的数据安全压力。

10、进一步可选地，通过在自回归解码过程中引入第一解码约束与第二解码约束的切换机制，解码部分在同一次推理过程中先在第一解码约束下生成自然语言形态的回复文本，在检测到预设约束切换触发信息后切换至第二解码约束、在受限的候选词元范围内生成结构化标签信息，既保证了回复文本表达的自然流畅，又保证了结构化标签信息格式的合法可解析，避免了自然语言内容对结构化内容的污染。

11、进一步可选地，在模型训练过程中，以样本回复文本与样本结构化标签信息共同构成的标注数据对解码部分进行权重更新，使模型在学习对话能力的同时学会联合输出回复文本和承载信息标签的结构化标签信息，为模型在推理过程中的联合生成提供了能力基础。

1.一种语音交互方法，其特征在于，应用于终端设备，所述终端设备上部署有端到端的语音交互模型，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多种信息标签包括情绪标签、意图标签与指令标签中的至少两种；所述情绪标签表征发出所述语音信号的对象的情绪状态，所述意图标签表征所述语音信号对应的交互意图，所述指令标签指示待执行的设备控制操作。

3.根据权利要求2所述的方法，其特征在于，所述根据所述结构化标签信息中的信息标签触发对应的交互响应操作，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过所述解码部分，在同一次推理过程中，对所述嵌入序列进行语义理解，并基于语义理解结果联合生成回复文本以及结构化标签信息，包括：

5.根据权利要求4所述的方法，其特征在于，在生成所述回复文本的过程中，检测预设约束切换触发信息，包括以下至少一种：

6.根据权利要求5所述的方法，其特征在于，基于所述当前隐藏状态确定语义完整性评分，包括：

7.根据权利要求5所述的方法，其特征在于，基于所述当前隐藏状态确定标签生成切换概率，包括：

8.根据权利要求4所述的方法，其特征在于，所述解码部分维护有输出阶段状态机，所述从所述第一解码约束切换为第二解码约束，包括：

9.根据权利要求4所述的方法，其特征在于，所述基于所述当前隐藏状态和所述第二解码约束，生成所述结构化标签信息的下一个词元，包括：

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述结构化标签信息按照统一的预设格式组织，所述回复文本与所述结构化标签信息共同构成所述解码部分在所述同一次推理过程中的单一输出序列。

11.根据权利要求1至9中任一项所述的方法，其特征在于，所述语音交互模型包括主干网络以及插入所述主干网络的低秩适配器，所述主干网络包括所述语音编码部分和原始解码部分，所述解码部分包括所述原始解码部分和所述低秩适配器；所述低秩适配器用于承载预设角色信息与结构化标签信息的输出格式，所述预设角色信息用于约束所述回复文本的表达风格、音色和人物背景中的至少一种。

12.根据权利要求11所述的方法，其特征在于，通过所述解码部分，在同一次推理过程中，对所述嵌入序列进行语义理解，并基于语义理解结果联合生成回复文本以及结构化标签信息，包括：

13.根据权利要求12所述的方法，其特征在于，所述原始解码部分的权重以第一量化格式存储于所述终端设备，所述语音编码部分的权重以第一浮点格式存储于所述终端设备；所述低秩适配器的权重以第二浮点格式独立存储，不与以所述第一量化格式存储的所述原始解码部分的权重合并。

14.根据权利要求13所述的方法，其特征在于，还包括：在所述自回归解码过程中，将以所述第一量化格式存储的所述原始解码部分的权重反量化至所述第一浮点格式参与前向计算。

15.根据权利要求11所述的方法，其特征在于，所述终端设备存储与多种预设角色信息分别对应的多个低秩适配器；所述方法还包括：

16.一种语音交互模型的训练方法，其特征在于，待训练的初始模型包括语音编码部分和解码部分，所述方法包括：

17.根据权利要求16所述的方法，其特征在于，所述根据多种信息标签分别对应的提示信息，生成携带信息标签的多个样本查询信息，包括：

18.根据权利要求16所述的方法，其特征在于，所述根据所述样本查询信息，生成样本回复文本，包括：

19.根据权利要求16所述的方法，其特征在于，所述样本结构化标签信息按照统一的预设格式组织，所述样本回复文本与所述样本结构化标签信息共同构成单一输出序列，所述单一输出序列作为所述标注数据。

20.根据权利要求16所述的方法，其特征在于，所述初始模型包括主干网络以及插入所述主干网络的低秩适配器，所述主干网络包括所述语音编码部分和原始解码部分，所述解码部分包括所述原始解码部分和所述低秩适配器；所述低秩适配器用于承载预设角色信息与结构化标签信息的输出格式，所述预设角色信息用于约束回复文本的表达风格、音色和人物背景中的至少一种；

21.根据权利要求20所述的方法，其特征在于，所述语音编码部分的权重以第一浮点格式存储，所述原始解码部分的权重以第一量化格式存储，所述低秩适配器的权重以第二浮点格式独立存储，不与以所述第一量化格式存储的所述原始解码部分的权重合并；

22.根据权利要求20或21所述的方法，其特征在于，所述低秩适配器插入所述解码部分的注意力层与前馈网络层。

23.一种语音交互装置，其特征在于，应用于终端设备，所述终端设备上部署有端到端的语音交互模型，所述装置包括：

24.一种语音交互模型的训练装置，其特征在于，待训练的初始模型包括语音编码部分和解码部分，所述装置包括：

25.一种电子设备，其特征在于，包括处理器与存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至15中任一项所述的语音交互方法，或者实现如权利要求16至22中任一项所述的训练方法。

26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至15中任一项所述的语音交互方法，或者实现如权利要求16至22中任一项所述的训练方法。

27.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至15中任一项所述的语音交互方法，或者实现如权利要求16至22中任一项所述的训练方法。