大语言模型任务处理方法、装置、电子设备及介质与流程

本公开涉及人工智能领域，特别是涉及一种大语言模型任务处理方法、装置、电子设备及介质。

背景技术：

1、目前，大语言模型能力持续突破，可以泛化到各领域，但在大语言模型的任务需要通过界面操控以进行处理的方面仍然没有实质进展。其原因在于：web界面由大量html/css/js/文本/图片/视频等内容组成。用户肉眼可见的仅仅是文本、图片、视频这类元素，但实际上页面的html/css/js占用了页面绝大部分的字符。对这种界面进行界面操控需要在大量无实质意义的字符中找到需要的关键字符。而大语言模型只能处理有限的上下文长度，同时由于注意力机制的局限，过长的上下文还会存在部分记忆丢失，导致回答质量下降等严重问题。

2、为了解决这个问题，一种相关技术通过正则匹配等方式对界面数据进行清洗。清洗后上下文长度变小，但清洗可能导致关键信息丢失，造成大语言模型任务处理精确性降低。另一种相关技术通过模拟元素点击实现界面中的工具组件信息和背景信息的获取。例如，在界面的html/css/js/文本/图片/视频等内容中识别到工具组件。通过实际点击该工具组件，获取该工具组件的信息和执行时的环境信息，从而为大语言模型的任务处理提供精确的工具组件信息和环境信息。而实际点击每个工具组件导致任务处理的效率低下。

技术实现思路

1、本公开实施例提供了一种大语言模型任务处理方法、装置、电子设备及介质，它能够在保持大语言模型的任务处理的效率的同时提高任务处理的准确性。

2、根据本公开的一方面，提供了一种大语言模型任务处理方法，包括：

3、响应于对目标界面的任务动作，从存储层级结构中获取所述目标界面对应的环境描述组件、和所述目标界面的工具组件信息，其中，所述存储层级结构按界面存储所述环境描述组件和所述工具组件信息，所述环境描述组件包含调用所述界面中的各个工具组件时的环境信息；

4、通过知识注入组件，向大语言模型注入所述目标界面对应的所述环境描述组件和所述工具组件信息，使得所述大语言模型根据所述环境描述组件中的所述环境信息、和所述工具组件信息生成所述任务动作对应的工具组件调用指令；

5、执行所述工具组件调用指令，以执行所述任务动作。

6、根据本公开的一方面，提供了一种大语言模型任务处理装置，包括：

7、第一获取单元，用于响应于对目标界面的任务动作，从存储层级结构中获取所述目标界面对应的环境描述组件、和所述目标界面的工具组件信息，其中，所述存储层级结构按界面存储所述环境描述组件和所述工具组件信息，所述环境描述组件包含调用所述界面中的各个工具组件时的环境信息；

8、注入单元，用于通过知识注入组件，向大语言模型注入所述目标界面对应的所述环境描述组件和所述工具组件信息，使得所述大语言模型根据所述环境描述组件中的所述环境信息、和所述工具组件信息生成所述任务动作对应的工具组件调用指令；

9、执行单元，用于执行所述工具组件调用指令，以执行所述任务动作。

10、可选地，所述大语言模型任务处理装置还包括：

11、第二获取单元，用于获取界面序列，所述界面序列包含从起始界面开始，经过一系列的控件触发而得到的连续多个界面，且所述连续多个界面包含所述目标界面；

12、第三获取单元，用于针对所述界面序列中的每个界面，获取所述界面的所述工具组件信息、和调用所述界面中的各个工具组件时的所述环境信息；

13、第一生成单元，用于基于调用所述界面中的各个工具组件时的所述环境信息，生成所述环境描述组件；

14、存储单元，用于将所述界面的所述环境描述组件和所述工具组件信息，按照所述界面在所述界面训练中的位置存储，以生成所述存储层级结构。

15、可选地，所述大语言模型任务处理装置还包括：

16、接收单元，用于接收任务指令；

17、第二生成单元，用于基于所述任务指令，生成任务规划，所述任务规划包括顺序执行的多个所述任务动作；

18、渲染单元，用于渲染所述任务动作执行后的动作执行结果，并响应于渲染最后一个所述任务动作执行后的所述动作执行结果，得到所述任务指令的执行结果。

19、可选地，所述大语言模型任务处理装置还包括：

20、第一显示单元，用于显示任务规划面板，所述任务规划面板显示多个所述指令动作执行的进度；

21、第二显示单元，用于显示工具组件调用状态面板，所述工具组件调用状态面板显示调用所述工具组件的状态；

22、所述渲染单元具体用于：显示执行结果面板，并在所述执行结果面板上渲染所述动作执行结果。

23、可选地，所述注入单元具体用于：

24、获取通用工具组件包信息，所述通用工具组件包信息为多个所述工具组件形成的组件包的信息，所述组件包被多个所述任务动作所共用；

25、通过所述知识注入组件，向所述大语言模型注入所述目标界面对应的所述环境描述组件、所述工具组件信息和所述通用工具组件包信息，使得所述大语言模型根据所述环境描述组件中的所述环境信息、所述工具组件信息、和所述通用工具组件包信息，生成所述任务动作对应的工具组件调用指令、以及通用工具组件包调用指令；

26、所述执行单元具体用于：执行所述工具组件调用指令和所述通用工具组件包调用指令，以执行所述任务动作。

27、可选地，所述大语言模型任务处理装置还包括：

28、分配单元，用于为所述通用工具组件包分配组件包标识；

29、第三生成单元，用于基于多个所述工具组件各自的环境信息，生成所述通用工具组件包的环境数据；

30、第四获取单元，用于获取所述通用工具组件包执行的动作类型；

31、第四生成单元，用于基于所述组件包标识、所述环境数据、多个所述工具组件、和所述动作类型，生成所述通用工具组件包。

32、可选地，所述注入单元具体还用于：

33、基于所述任务动作与所述工具组件信息，确定所述任务动作与所述目标界面中的各个工具组件的第一关联度；

34、基于所述第一关联度对所述工具组件信息进行过滤，得到过滤后工具组件信息；

35、基于所述任务动作与所述环境描述组件，确定所述任务动作与各个环境信息的第二关联度；

36、基于所述第二关联度对所述环境信息进行过滤，得到过滤后环境信息；

37、通过所述知识注入组件，向大语言模型注入所述过滤后工具组件信息、和所述过滤后环境信息，使得所述大语言模型根据所述过滤后工具组件信息、和所述过滤后环境信息生成所述任务动作对应的所述工具组件调用指令。

38、可选地，所述注入单元具体还用于：

39、将所述任务动作输入背景扩充模型，得到所述任务动作的第一背景描述；

40、从所述第一背景描述中提取多个第一关键词；

41、从所述工具组件信息中，获取各个工具组件的第一核心关键词；

42、针对每个工具组件，获取各个第一关键词与所述工具组件的所述第一核心关键词在知识图谱中的第一距离；

43、基于各个所述第一关键词对应的所述第一距离，确定所述任务动作与所述工具组件的所述第一关联度。

44、可选地，所述注入单元具体还用于：

45、将所述多个第一关键词输入第一注意力模型，得到各个所述第一关键词的第一注意力分数；

46、基于各个所述第一关键词对应的所述第一距离和所述第一注意力分数，确定所述任务动作与所述工具组件的所述第一关联度。

47、可选地，所述注入单元具体还用于：

48、基于所述第一关键词对应的所述第一距离，确定所述第一关键词与所述工具组件的第一子关联度，所述第一子关联度是所述第一距离的减函数；

49、以各个所述第一关键词对应的所述第一注意力分数，对各个所述第一关键词对应的所述第一子关联度进行加权和运算，得到所述任务动作与所述工具组件的所述第一关联度。

50、可选地，所述注入单元具体还用于：

51、获取所述任务动作的任务动作类型；

52、获取所述任务动作来自的任务规划，所述任务规划基于任务指令而生成，并包括顺序执行的多个所述任务动作；

53、将所述任务规划输入第二注意力模型，得到所述任务动作的第二注意力分数；

54、基于所述任务动作类型和所述第二注意力分数，确定第一阈值；

55、基于所述第一关联度与所述第一阈值的比较，对所述工具组件信息进行过滤，得到所述过滤后工具组件信息。

56、可选地，所述注入单元具体还用于：

57、将所述任务动作输入背景扩充模型，得到所述任务动作的第一背景描述；

58、从所述第一背景描述中提取多个第一关键词；

59、从所述环境描述组件中，获取各个环境信息的第二核心关键词；

60、针对每个环境信息，获取各个第一关键词与所述环境信息的所述第二核心关键词在所述知识图谱中的第二距离；

61、基于各个所述第一关键词对应的所述第二距离，确定所述任务动作与所述环境信息的所述第二关联度。

62、可选地，所述注入单元具体还用于：

63、将所述多个第一关键词输入第一注意力模型，得到各个所述第一关键词的第一注意力分数；

64、基于各个所述第一关键词对应的所述第二距离和所述第一注意力分数，确定所述任务动作与所述环境信息的所述第二关联度。

65、可选地，所述注入单元具体还用于：

66、基于所述第一关键词对应的所述第二距离，确定所述第一关键词与所述环境信息的第二子关联度，所述第二子关联度是所述第二距离的减函数；

67、以各个所述第一关键词对应的所述第一注意力分数，对各个所述第一关键词对应的所述第二子关联度进行加权和运算，得到所述任务动作与所述环境信息的所述第二关联度。

68、可选地，所述注入单元具体还用于：

69、获取所述任务动作的任务动作类型；

70、获取所述任务动作来自的任务规划，所述任务规划基于任务指令而生成，并包括顺序执行的多个所述任务动作；

71、将所述任务规划输入第二注意力模型，得到所述任务动作的第二注意力分数；

72、基于所述任务动作类型和所述第二注意力分数，确定第一阈值；

73、基于所述第二关联度与所述第一阈值的比较，对所述环境信息进行过滤，得到所述过滤后环境信息。

74、根据本公开的一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的大语言模型任务处理方法。

75、根据本公开的一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的大语言模型任务处理方法。

76、根据本公开的一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器读取并执行，使得该计算机设备执行如上所述的大语言模型任务处理方法。

77、本公开实施例中，将每个界面对应的环境描述组件和工具组件信息预先存储在存储层级结构中。工具组件信息包含界面中各个工具组件的基本信息。大语言模型根据任务动作产生工具组件调用指令，是需要建立在对界面中的各个工具组件的基本信息足够了解的基础上的。环境描述组件包含调用界面中的各个工具组件时的环境信息，它是对调用工具组件的环境的描述，且规定了调用工具组件后如何对调用工具组件的结果进行整合，它也是大语言模型根据任务动作产生工具组件调用指令所必须要依赖的信息。本公开实施例将这些信息预先存储在存储层级结构中。响应于目标界面的任务动作，从存储层级结构中获取目标界面对应的环境描述组件、和目标界面的工具组件信息。然后，通过知识注入组件，向大语言模型注入环境描述组件和工具组件信息。这样，大语言模型就能根据环境描述组件中的环境信息、和工具组件信息生成工具组件调用指令，从而执行任务动作。与在大量无意义的html/css/js字符中找到需要的关键字符的方案相比，由于目标界面对应的环境描述组件和工具组件信息是有限的，解决了相关技术中大语言模型对于过长的上下文长度处理准确性下降的问题，提高了大语言模型的处理精度，极大程度地缓解了相关技术中大语言模型上下文长度有限的问题。同时，这种方式也无需实际点击每个工具组件，提高了任务处理的效率。而且，它不采用界面清洗的方式，提高了大语言模型任务处理的准确性。

78、本公开的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。