用于确定对话意图的技术的制作方法

本申请涉及人工智能（ai）的，更具体地，涉及通常被称为数字代理、数字助理、虚拟代理、虚拟助理和聊天机器人的自动化代理或助理。更具体地，本申请涉及利用大语言模型（llm）来推断口语的对话意图的高级对话接口的开发和实现。

背景技术：

1、以诸如siri®、amazon alexa®、google assistant®等广泛认可的平台为例的自动化代理或助理，代表了在人机交互中的重大进步。这些自动化代理或助理被设计用于理解和响应自然的、口语化的语言，使得用户能够以对话方式与技术进行交互。不同于依赖文本输入（例如来自键盘、触摸屏界面或类似输入设备）的传统接口，这些自动化代理和助理接收可听输入，并且利用复杂的自然语言处理（nlp）算法和语音识别技术来解读用户指令和查询，并且提供相关响应。该类型的接口产生的一个显著优点在于其是免提的——即，个人无需使用他或她的双手提供输入和控制即可与自动化代理进行交互。

2、这些自动化代理和助理的发展一直受到各种技术进步以及对获取信息、执行任务并且控制各种设备和服务的直观且高效方式的日益增长的需求所推动。通过集成基于语音和音频的命令接口，这些自动化代理和助理为用户提供了无缝的免提体验，使得他们能够在各种情境下轻松地与技术互动，包括智能手机、智能音箱、头戴式计算设备、用于汽车的信息娱乐接口以及其他设备。

技术实现思路

1.一种用于处理口语语言以确定用户与自动化代理交互的意图的系统，所述系统包括：

2.根据权利要求1所述的系统，其中，所述自动化代理是领域特定的自动化代理，并且所述操作还包括提供与所述结构化提示不同的系统提示作为所述llm的输入，所述系统提示针对所述领域特定的自动化代理的领域为所述llm提供多样本微调示例，每个示例包括口语词汇的样本和指示特定意图或意图缺失的对应结构化输出。

3.根据权利要求2所述的系统，其中，所述操作还包括提供与所述结构化提示不同的系统提示作为所述llm的输入，所述系统提示包括指令，所述指令用于使所述llm：分析从口语词汇转换的文本流，以确定所述流内的口语词汇是针对于所述领域特定的自动化代理还是构成环境对话，以从旨在针对所述领域特定的自动化代理的所述口语词汇中提取所述用户的意图，并且以有效的javascript对象表示法（json）格式生成指示所提取的所述用户的意图的响应，而不回答所述文本流内提出的任何问题。

4.根据权利要求3所述的系统，其中，所述结构化输出为json格式，并且所述结构化输出包括针对所识别的所述用户的意图的字段，当所述推断结果为肯定时，所述字段被填充。

5.根据权利要求1所述的系统，其中，所述结构化提示还包括指令，所述指令用于使所述llm使用来自先前交互的上下文信息来纠正所述经转换的文本中的错误，并且所述操作还包括在由所述自动化代理执行行动之前，从所述llm接收经纠正的文本作为所述结构化输出的一部分。

6.根据权利要求1所述的系统，其中，所述自动化代理被集成到增强现实（ar）设备中，并且由所述自动化代理执行的所述行动包括经由在所述ar设备的ar环境内执行的应用来显示相关信息。

7.根据权利要求1所述的系统，其中，所述语音转文本转换过程包括暂停检测特征，所述暂停检测特征识别口语句子的结束，并且触发所述结构化提示到所述llm的传输。

8.根据权利要求1所述的系统，其中，所述llm被配置成利用确保以标准化格式提供所述结构化输出的函数调用能力，所述函数调用能力使得所述llm能够执行所述结构化提示内与特定任务相对应的预定义函数，所述特定任务包括纠正由于使用所述语音转文本转换过程将来自所述环境音频的捕获的口语词汇转换成文本而导致的转录错误，以及从与所述捕获的口语词汇相对应的所述文本推断用户意图。

9.根据权利要求1所述的系统，其中，所述自动化代理被集成到汽车的信息娱乐系统中，并且由所述自动化代理执行的所述行动包括接收与车辆控制功能相关的口语命令，诸如调节气候设置、设置导航目的地或激活雨刮器，并且其中，所述llm被微调以识别和处理特定于汽车操作的命令。

10.一种计算机实现的方法，用于处理口语语言以确定用户与自动化代理交互的意图，所述方法包括：

11.根据权利要求10所述的计算机实现的方法，其中，所述自动化代理是领域特定的自动化代理，并且所述方法还包括提供与所述结构化提示不同的系统提示作为所述llm的输入，所述系统提示针对所述领域特定的自动化代理的领域为所述llm提供多样本微调示例，每个示例包括口语词汇的样本和指示特定意图或意图缺失的对应结构化输出。

12.根据权利要求11所述的计算机实现的方法，其中，所述方法还包括提供与所述结构化提示不同的系统提示作为所述llm的输入，所述系统提示包括指令，所述指令用于使所述llm：分析从口语词汇转换的文本流，以确定所述流内的口语词汇是针对于所述领域特定的自动化代理还是构成环境对话，以从旨在针对所述领域特定的自动化代理的所述口语词汇中提取所述用户的意图，并且以有效的javascript对象表示法（json）格式生成指示所提取的所述用户的意图的响应，而不回答所述文本流内提出的任何问题。

13.根据权利要求12所述的计算机实现的方法，其中，所述结构化输出为json格式，并且所述结构化输出包括针对所识别的所述用户的意图的字段，当所述推断结果为肯定时，所述字段被填充。

14.根据权利要求10所述的计算机实现的方法，其中，所述结构化提示还包括指令，所述指令用于使所述llm使用来自先前交互的上下文信息来纠正所述经转换的文本中的错误，并且所述方法还包括在由所述自动化代理执行行动之前，从所述llm接收经纠正的文本作为所述结构化输出的一部分。

15.根据权利要求10所述的计算机实现的方法，其中，所述自动化代理被集成到增强现实（ar）设备中，并且由所述自动化代理执行的所述行动包括经由在所述ar设备的ar环境内执行的应用来显示相关信息。

16.根据权利要求10所述的计算机实现的方法，其中，所述语音转文本转换过程包括暂停检测特征，所述暂停检测特征识别口语句子的结束，并且触发所述结构化提示到所述llm的传输。

17.根据权利要求10所述的计算机实现的方法，其中，所述llm被配置成利用确保以标准化格式提供所述结构化输出的函数调用能力，所述函数调用能力使得所述llm能够执行所述结构化提示内与特定任务相对应的预定义函数，所述特定任务包括纠正由于使用所述语音转文本转换过程将来自所述环境音频的捕获的口语词汇转换成文本而导致的转录错误，以及从与所述捕获的口语词汇相对应的所述文本推断用户的意图。

18.根据权利要求10所述的计算机实现的方法，其中，所述自动化代理被集成到汽车的信息娱乐系统中，并且由所述自动化代理执行的所述行动包括接收与车辆控制功能相关的口语命令，诸如调节气候设置、设置导航目的地或激活雨刮器，并且其中，所述llm被微调以识别和处理特定于汽车操作的命令。

19.一种非暂态计算机可读存储介质，其存储指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行用于处理口语语言以确定用户与领域特定的自动化代理交互的意图的操作，所述操作包括：

20.根据权利要求19所述的非暂态计算机可读介质，其中，所述操作还包括提供与所述结构化提示不同的系统提示作为所述llm的输入，所述系统提示为所述llm提供多样本微调示例，每个示例包括口语词汇的样本和指示特定意图或意图缺失的对应结构化输出。