用于使用大型语言模型和检索增强生成的协作音频代理的系统和方法与流程

本公开总体上涉及人工智能技术。在特定实施例中，本公开涉及利用大型语言模型和检索增强生成的音频应用的多代理协作框架。

背景技术：

1、在不断发展的人工智能（ai）领域，包括制造、医疗保健和物流在内的各个行业类别都取得了重大进展。这些进步使得擅长管理复杂和多方面交互的系统得以创建。尽管取得了这些进展，但是ai在音频应用中的集成仍呈现持续挑战。传统的音频系统通常依赖于为特定任务定制的单一代理或模型，例如声音识别或音频分类。这些系统在其管理复杂交互的能力方面存在局限性，通常需要严格的语法或预定义的规则，这阻碍了它们在动态环境中的适应性和响应能力。

2、音频应用领域的当前解决方案主要强调个体代理系统或基于机器翻译的多语言对话系统。尽管这些方法在某些情况下可能是有效的，但它们也伴随着明显的局限性。利用自动机器翻译进行多语言交互的系统通常受到语言特定的能力的限制，无法满足在多个专业代理之间进行任务协调和协作的更广泛需求。此外，依赖于基于过去的表现选择单个代理的方法没有充分利用专业代理之间协作解决问题的潜力，从而限制了系统有效处理复杂任务的能力。

技术实现思路

1、在一个实施例中，一种用于通过聊天会话诊断设备问题的方法利用大型语言模型（llm）作为人类用户和多个专家音频模型之间的接口。该方法包括从人类用户接收音频记录，其中该音频记录与设备的潜在错误或问题相关联；执行llm以从用户获得关于音频记录的附加信息；基于音频记录和来自用户的附加输入来识别声音领域；选择专门从事（specialize）所识别的声音领域的专家音频代理，其中所述专家音频代理是多个专家音频代理中的一个，所述多个专家音频代理被配置为分析所述声音领域中的相应一个领域中的特定类型的音频特性；利用检索增强生成（rag）经由所选择的专家音频代理处理音频记录，以产生与音频记录相关联的错误或问题的可能原因相关的数据；以及执行llm以将由所选择的专家音频代理输出的错误或问题的可能原因传达给用户。

2、在一个实施例中，用于通过聊天会话诊断设备问题的计算系统利用大型语言模型（llm）作为人类用户和多个专家音频模型之间的接口。该计算系统包括被编程为从人类用户接收音频记录的一个或多个处理器，其中该音频记录与设备的潜在错误或问题相关联；执行llm以从用户获得关于音频记录的附加信息；基于音频记录和来自用户的附加输入来识别声音领域；选择专门从事所识别的声音领域的专家音频代理，其中所述专家音频代理是多个专家音频代理中的一个，所述多个专家音频代理被配置为分析所述声音领域中的相应一个领域中的特定类型的音频特性；利用检索增强生成（rag）经由所选择的专家音频代理来处理音频记录，以产生与音频记录相关联的错误或问题的可能原因相关的数据；并且执行llm以将由所选择的专家音频代理输出的错误或问题的可能原因传达给用户。

3、在一个实施例中，非暂时性计算机可读介质存储指令，当由处理器执行时，所述指令使得处理器执行一种方法，该方法包括：从人类用户接收音频记录，其中该音频记录与设备的潜在错误或问题相关联；执行llm以从用户获得关于音频记录的附加信息；基于音频记录和来自用户的附加输入来识别声音领域；选择专门从事所识别的声音领域的专家音频代理，其中所述专家音频代理是多个专家音频代理中的一个，所述多个专家音频代理被配置为分析所述声音领域中的相应一个领域中的特定类型的音频特性；利用检索增强生成（rag）经由所选择的专家音频代理处理音频记录，以产生与音频记录相关联的错误或问题的可能原因相关的数据；以及执行llm以将由所选择的专家音频代理输出的错误或问题的可能原因传达给用户。

1.一种用于通过聊天会话来诊断设备问题的方法，利用大型语言模型（llm）作为人类用户和多个专家音频模型之间的接口，该方法包括：

2.根据权利要求1所述的方法，其中，所述音频记录与设备的潜在错误或问题相关联，所述方法还包括：

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1所述的方法，其中，所述多个专家音频代理各自分别专门从事不同的功能，包括但不限于推理、操纵和分析。

5.根据权利要求1所述的方法，其中，所选择的专家音频代理包括多个所选择的专家音频代理，其中每个所选择的专家音频代理专门从事各自不同的功能。

6.根据权利要求5所述的方法，其中，处理音频记录的步骤包括在多个选择的专业音频代理之间交换信息或知识。

7.根据权利要求6所述的方法，其中，所述llm便于在多个选择的专家音频代理之间交换信息或知识。

8.根据权利要求1所述的方法，其中，经由专家音频代理对音频记录的处理涉及利用rag来访问存储的参考声音的储存库和上下文信息，从而增强代理在诊断与音频记录相关联的错误或问题的可能原因时生成更准确和上下文相关的输出的能力。

9.一种用于通过聊天会话诊断设备问题的计算系统，利用大型语言模型（llm）作为人类用户和多个专家音频模型之间的接口，该计算系统包括：

10.根据权利要求9所述的计算系统，其中，所述处理器还被编程为：

11.根据权利要求9所述的计算系统，其中，所述处理器还被编程为：

12.根据权利要求9所述的计算系统，其中，所述多个专家音频代理各自分别专门从事不同的功能，包括但不限于推理、操纵和分析。

13.根据权利要求9所述的计算系统，其中，所选择的专家音频代理包括多个所选择的专家音频代理，其中每个所选择的专家音频代理专门从事各自不同的功能。

14.根据权利要求13所述的计算系统，其中，音频记录的处理包括在多个选择的专家音频代理之间交换信息或知识。

15.根据权利要求14所述的计算系统，其中，所述llm促进在所述多个选择的专家音频代理之间交换信息或知识。

16.根据权利要求9所述的计算系统，其中，经由专家音频代理对音频记录的处理涉及利用rag来访问存储的参考声音的储存库和上下文信息，从而增强代理在诊断与音频记录相关联的错误或问题的可能原因时生成更准确和上下文相关的输出的能力。

17.一种存储指令的非暂时性计算机可读介质，当由处理器执行时，所述指令使处理器执行一种方法，该方法包括：

18.根据权利要求17所述的非暂时性计算机可读介质，其中，所选择的专家音频代理包括多个所选择的专家音频代理，其中每个所选择的专家音频代理专门从事各自不同的功能。

19.根据权利要求18所述的非暂时性计算机可读介质，其中，处理音频记录的步骤包括在所述多个选择的专家音频代理之间交换信息或知识。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述llm促进所述多个选择的专家音频代理之间的信息或知识的交换。