用于验证由经机器学习的模型所控制的工具的输出的自一致性度量的制作方法

摘要: 本公开总体上涉及机器学习过程和经机器学习的装置和系统。更具体地,本公开涉及用于改进由经机器学习的模型进行工具控制的性能的基础设施。背景技术:1、计算机可以接收输...
用于验证由经机器学习的模型所控制的工具的输出的自一致性度量的制作方法

本公开总体上涉及机器学习过程和经机器学习的装置和系统。更具体地,本公开涉及用于改进由经机器学习的模型进行工具控制的性能的基础设施。

背景技术:

1、计算机可以接收输入。计算机可以执行指令以使用参数化模型处理输入从而生成输出。计算机可以获得关于其在利用该模型生成输出方面的性能的反馈。计算机可以通过评估其性能来生成反馈。计算机可以从外部源接收反馈。计算机可以基于该反馈来更新该模型的参数以改进其性能。以此方式,计算机可以迭代地“学习”以生成期望的输出。所得的模型通常被称为经机器学习的模型。

技术实现思路

1、本公开的实施例的各个方面和优点将部分地在以下描述中阐述,或者可以从该描述中了解,或者可以通过对这些实施例的实践来了解。

2、在一个方面,本公开提供了第一示例方法。在一些实现方式中,该第一示例方法包括:接收用于执行任务的请求。在一些实现方式中,该第一示例方法包括:使用经机器学习的模型生成用于执行该任务的多个工具路径,其中,相应工具路径包括由经机器学习的模型生成的一个或多个工具调用,每个工具调用被配置为使对应工具执行该任务的步骤。在一些实现方式中,该第一示例方法包括:基于通过评估分别来自该多个工具路径的多个输出状态而确定的一致性度量来选择对该请求的响应。在一些实现方式中,该第一示例方法包括:返回该响应。

3、在一个方面,本公开提供了第二示例方法。在一些实现方式中,该第二示例方法包括:从客户端计算系统向服务器计算系统传输用于执行任务的请求。在一些实现方式中,该第二示例方法包括:由该客户端计算系统从该服务器计算系统接收基于对该任务的执行的响应。在一些实现方式中,该响应是使用该第一示例方法或该第二示例方法的实现方式获得的。

4、在一个方面,本公开提供了示例一个或多个非暂时性计算机可读介质,其存储有指令,这些指令可由一个或多个处理器执行以使计算系统执行操作,这些操作包括该第一示例方法或该第二示例方法的实现方式。

5、在一个方面,本公开提供了一种示例计算系统。该示例计算系统可以包括一个或多个处理器和一个或多个非暂时性计算机可读介质,该介质存储有指令,这些指令可由一个或多个处理器执行以使计算系统执行操作。这些操作可以包括第一示例方法或第二示例方法的实现方式。

6、本公开的其他示例方面涉及用于执行本文所述功能的其他系统、方法、设备、有形非暂时性计算机可读介质和装置。参考以下描述和所附权利要求,将更好地理解各种实现方式的这些和其他特征、方面和优点。并入本说明书中并且构成本说明书的一部分的附图示出了本公开的实现方式,并且连同描述一起帮助解释相关原理。

1.一种用于验证经机器学习的任务处理系统的输出的计算机实现的方法,包括:

2.根据权利要求1所述的计算机实现的方法,其中,所述经机器学习的模型是序列处理模型,所述序列处理模型被配置为接收包括一个或多个输入部分的输入,并生成包括以所述一个或多个输入部分为条件的一个或多个输出部分的输出。

3.根据任一项前述权利要求所述的计算机实现的方法,其中,使用所述经机器学习的模型生成所述多个工具路径包括:

4.根据任一项前述权利要求所述的计算机实现的方法,其中,使用所述经机器学习的模型生成所述工具调用包括:

5.根据任一项前述权利要求所述的计算机实现的方法,其中:

6.根据任一项前述权利要求所述的计算机实现的方法,包括:

7.根据任一项前述权利要求所述的计算机实现的方法,包括:

8.根据任一项前述权利要求所述的计算机实现的方法,其中,用于评估每个输出状态的质量的所述经机器学习的模型被训练为一起处理所述多个输出状态以输出优选输出状态,其中,所述响应是使用所述优选输出状态来选择的。

9.根据任一项前述权利要求所述的计算机实现的方法,其中,所述一致性度量基于使用所述多个输出状态生成的经学习的嵌入的相似性。

10.根据任一项前述权利要求所述的计算机实现的方法,其中,所述一致性度量通过使用被训练为生成指示输入之间的显著差异的输出的经机器学习的模型处理所述输出状态来确定。

11.根据任一项前述权利要求所述的计算机实现的方法,其中,所述一致性度量包括一个或多个启发式标准和一个或多个概率性标准,所述一个或多个概率性标准是使用经机器学习的模型的输出来确定的。

12.根据任一项前述权利要求所述的计算机实现的方法,包括:

13.根据任一项前述权利要求所述的计算机实现的方法,其中,所述一个或多个特征包括使用经机器学习的模型生成的至少一个潜在特征。

14.根据任一项前述权利要求所述的计算机实现的方法,包括:

15.根据任一项前述权利要求所述的计算机实现的方法,其中,从所述簇中选择所述响应包括对所述簇的成员进行评分并基于所述评分选择所述响应。

16.根据任一项前述权利要求所述的计算机实现的方法,其中,从所述簇中选择所述响应包括确定所述簇的质心并基于所述质心选择所述响应。

17.根据任一项前述权利要求所述的计算机实现的方法,其中:

18.根据任一项前述权利要求所述的计算机实现的方法,其中,发起所述第一工具调用的执行包括将所述第一工具调用传递给与对应工具相关联的执行环境中的所述对应工具。

19.根据任一项前述权利要求所述的计算机实现的方法,其中,用于生成所述工具路径的所述经机器学习的模型被配置为控制所述执行环境中的操作。

20.根据任一项前述权利要求所述的计算机实现的方法,其中,所述执行环境是指派给任务实例的虚拟机,所述任务实例包括用于生成所述工具路径的所述经机器学习的模型。

21.根据任一项前述权利要求所述的计算机实现的方法,其中,所述执行环境防止用于生成所述工具路径的所述经机器学习的模型干扰另一任务实例。

22.根据任一项前述权利要求所述的计算机实现的方法,其中,所述执行环境防止所述对应工具干扰与另一工具路径相关联的另一工具。

23.根据任一项前述权利要求所述的计算机实现的方法,其中,每个工具路径均在单独的执行环境中被执行。

24.根据任一项前述权利要求所述的计算机实现的方法,其中,所述单独的执行环境由虚拟机实例化。

25.根据任一项前述权利要求所述的计算机实现的方法,其中,所述单独的执行环境由目录树内的单独工作目录实例化。

26.根据任一项前述权利要求所述的计算机实现的方法,包括:

27.根据任一项前述权利要求所述的计算机实现的方法,包括:

28.根据任一项前述权利要求所述的计算机实现的方法,其中:

29.根据任一项前述权利要求所述的计算机实现的方法,其中:

30.根据任一项前述权利要求所述的计算机实现的方法,包括:

31.根据任一项前述权利要求所述的计算机实现的方法,包括:

32.根据任一项前述权利要求所述的计算机实现的方法,其中,所述冗余性基于识别所述至少一个工具路径的确定性结果来确定。

33.根据任一项前述权利要求所述的计算机实现的方法,其中,所述冗余性基于相似性裕度来确定。

34.根据任一项前述权利要求所述的计算机实现的方法,其中,所述相似性裕度基于与工具调用的参数值范围相关联的最小步长。

35.根据任一项前述权利要求所述的计算机实现的方法,包括:

36.根据任一项前述权利要求所述的计算机实现的方法,其中,所述失败状况基于接收到偏离期望标准的工具响应来确定。

37.根据任一项前述权利要求所述的计算机实现的方法,其中,所述失败状况基于接收到指示工具或工具调用不可操作性的错误消息来确定。

38.根据任一项前述权利要求所述的计算机实现的方法,其中,调整所述至少一个工具路径包括:

39.根据任一项前述权利要求所述的计算机实现的方法,其中,调整所述至少一个工具路径包括:

40.根据任一项前述权利要求所述的计算机实现的方法,其中,重启所述至少一个工具路径包括:

41.根据任一项前述权利要求所述的计算机实现的方法,其中,基于所述失败状况生成所述新工具调用包括:

42.根据任一项前述权利要求所述的计算机实现的方法,包括:

43.根据任一项前述权利要求所述的计算机实现的方法,包括:

44.根据任一项前述权利要求所述的计算机实现的方法,包括:

45.根据任一项前述权利要求所述的计算机实现的方法,包括:

46.根据任一项前述权利要求所述的计算机实现的方法,包括:

47.根据任一项前述权利要求所述的计算机实现的方法,包括:

48.根据任一项前述权利要求所述的计算机实现的方法,包括:

49.根据任一项前述权利要求所述的计算机实现的方法,其中,所述工具调用包括被配置用于经由命令行界面输入的文本命令。

50.根据任一项前述权利要求所述的计算机实现的方法,其中,所述工具调用包括对应用编程接口端点的请求。

51.根据任一项前述权利要求所述的计算机实现的方法,其中,所述工具调用包括通过网络对应用编程接口端点的请求。

52.根据任一项前述权利要求所述的计算机实现的方法,包括:

53.根据任一项前述权利要求所述的计算机实现的方法,包括:

54.根据任一项前述权利要求所述的计算机实现的方法,包括:

55.根据任一项前述权利要求所述的计算机实现的方法,包括:

56.根据任一项前述权利要求所述的计算机实现的方法,包括:

57.根据任一项前述权利要求所述的计算机实现的方法,包括:

58.根据任一项前述权利要求所述的计算机实现的方法,包括:

59.根据任一项前述权利要求所述的计算机实现的方法,包括:

60.一种计算机实现的方法,包括:

61.根据权利要求60所述的计算机实现的方法,其中:

62.根据权利要求60或61所述的计算机实现的方法,包括:

63.一个或多个非暂时性计算机可读介质,存储有指令,所述指令可由一个或多个处理器执行以使计算系统执行操作,所述操作包括根据前述权利要求中任一项或多项所述的方法。

64.一种计算系统,包括: