基于上下文发起生成式机器学习动作的制作方法

摘要: 背景技术:1、近年来,生成式机器学习模型在生成内容方面展现出强大能力。例如,生成式语言模型可以生成文本以总结现有文档、帮助用户起草新文档,并以很高的水平与用户进...
基于上下文发起生成式机器学习动作的制作方法

背景技术:

1、近年来,生成式机器学习模型在生成内容方面展现出强大能力。例如,生成式语言模型可以生成文本以总结现有文档、帮助用户起草新文档,并以很高的水平与用户进行自然语言对话。作为另一示例,生成式图像模型可以根据语言提示词生成逼真和/或美观的图像,并且还可以通过重新样式化现有图像和/或添加对象来修改现有图像。然而,生成式机器学习模型在广泛采用方面面临某些障碍。

技术实现思路

1、提供本 技术实现要素: 是为了以简化形式介绍若干概念。下文将在具体实施方式中进一步描述这些概念。本发明内容并非旨在标识要求保护的主题的关键特征或必要特征,也并非旨在用于限制要求保护的主题的范围。

2、本文总体涉及用于在计算设备上发起生成式机器学习动作的技术。一个示例包括一种计算机实现的方法,该方法可以包括:在与计算设备的用户交互期间,检测与由在计算设备上执行的应用程序显示的一个或多个用户界面元素有关的上下文信息。该计算机实现的方法还可以包括:至少基于与由该应用程序显示的一个或多个用户界面元素有关的上下文信息,标识一个或多个候选生成式机器学习动作。该计算机实现的方法还可以包括输出一个或多个候选生成式机器学习动作的一个或多个标识符。该计算机实现的方法还可以包括接收对所选生成式机器学习动作的所选标识符进行标识的输入。该计算机实现的方法还可以包括触发生成式机器学习模型至少基于上下文信息来执行所选生成式机器学习动作。

3、另一示例涉及一种系统,该系统包括处理器和存储指令的存储介质。指令在由处理器执行时,可以使系统:在与系统的用户交互期间,检测与由在系统上执行的应用程序显示的一个或多个用户界面元素有关的上下文信息。指令还可以使系统至少基于与由该应用程序显示的一个或多个用户界面元素有关的上下文信息来标识一个或多个候选生成式机器学习动作。指令还可以使系统输出一个或多个候选生成式机器学习动作的一个或多个标识符。指令还可以使系统接收对所选生成式机器学习动作的所选标识符进行标识的输入。指令还可以使系统触发生成式机器学习模型至少基于所述上下文信息来执行所选生成式机器学习动作。

4、另一示例包括一种存储可执行指令的计算机可读存储介质,这些可执行指令在由处理器执行时使处理器执行多个动作。这些动作可以包括:在与计算设备的用户交互期间,检测与由在计算设备上执行的应用程序显示的一个或多个用户界面元素有关的上下文信息。这些动作还可以包括:至少基于与由该应用程序显示的一个或多个用户界面元素有关的上下文信息,标识一个或多个候选生成式机器学习动作。这些动作还可以包括在计算设备上输出一个或多个候选生成式机器学习动作的一个或多个标识符。这些动作还可以包括接收对所选生成式机器学习动作的所选标识符进行标识的输入。这些动作还可以包括触发生成式机器学习模型至少基于所述上下文信息来执行所选生成式机器学习动作。

5、上述示例旨在提供快速参考以帮助读者,而并非旨在限定本文所描述概念的范围。

1.一种计算机实现的方法(300),包括:

2.根据权利要求1所述的计算机实现的方法,还包括:通过将所述上下文信息输入到特定生成式机器学习模型来标识所述一个或多个候选生成式机器学习动作。

3.根据权利要求2所述的计算机实现的方法,所述特定生成式机器学习模型是基于解码器的生成式语言模型。

4.根据权利要求2所述的计算机实现的方法,所述上下文信息包括约束信息,所述约束信息描述与所述一个或多个用户界面元素关联的一个或多个约束,所述特定生成式机器学习模型至少基于所述约束信息来标识所述一个或多个候选生成式机器学习动作。

5.根据权利要求4所述的计算机实现的方法,所述约束信息传达文本框的字符限制。

6.根据权利要求4所述的计算机实现的方法,所述约束信息传达针对电子邮件附件的附件大小限制。

7.根据权利要求4所述的计算机实现的方法,所述上下文信息包括能力信息,所述能力信息描述一个或多个可用生成式机器学习模型的能力。

8.根据权利要求7所述的计算机实现的方法,还包括:

9.根据权利要求2所述的计算机实现的方法,所述上下文信息包括任务信息,所述任务信息描述与所述用户交互关联的任务,所述特定生成式机器学习模型至少基于所述任务信息来标识所述一个或多个候选生成式机器学习动作。

10.根据权利要求9所述的计算机实现的方法,所述任务信息与所述计算设备上显示的、与所述任务关联的文本或图像有关。

11.根据权利要求2所述的计算机实现的方法,还包括:

12.根据权利要求1所述的计算机实现的方法,还包括:通过将一个或多个规则应用于所述上下文信息来标识所述一个或多个候选生成式机器学习动作。

13.根据权利要求1所述的计算机实现的方法,还包括:

14.一种系统(700,710),包括:

15.根据权利要求14所述的系统,其中所述指令在由所述处理器执行时使所述系统:

16.根据权利要求14所述的系统,所述一个或多个候选生成式机器学习动作包括由生成式语言模型基于所述上下文信息来生成文本。

17.根据权利要求14所述的系统,所述一个或多个候选生成式机器学习动作包括由生成式图像模型基于所述上下文信息来生成图像或视频。

18.根据权利要求14所述的系统,其中所述指令在由所述处理器执行时使所述系统:

19.根据权利要求14所述的系统,其中所述指令在由所述处理器执行时使所述系统:

20.一种计算机可读存储介质(702),其存储指令,所述指令在由处理设备执行时,使所述处理设备执行动作,包括: