响应于满足基于机器学习的条件自动执行计算机动作的制作方法

响应于满足基于机器学习的条件自动执行计算机动作


背景技术：

1.已经提出了用于响应于满足基于规则的条件而自动执行计算机动作的各种技术。例如，已经提出了用于在满足一个或多个基于规则的条件时将发送到第一电子邮件地址的电子邮件自动转发到另外的电子邮件地址的技术。例如，(多个)基于规则的条件能够包括：电子邮件是从特定电子邮件地址发送的，电子邮件是从特定电子邮件域发送的，电子邮件主题包括某些(多个)词项和/或(多个)其他基于规则的条件。
2.响应于满足(多个)基于规则的条件而自动执行计算机动作能够减少(或消除)客户端装置处的执行计算机动作将另外需要的(多个)用户输入。进一步地，自动执行能够节省各种客户端装置资源，否则在客户端装置处提供这类(多个)用户输入将导致客户端装置的显示器和/或(多个)其他组件被激活和/或处于更高功率状态。
3.然而，基于规则的条件单独地能够存在各种缺点。作为一个示例，基于规则的条件必须经由大量用户输入来手动地定义，这能够需要与客户端装置的延长交互以及客户端装置的各种资源的对应延长使用。
4.作为另一示例，基于规则的条件通常能够被太狭窄地定义，这能够导致触发不足——或者能够被太宽泛地定义，这能够导致过度触发。触发不足能够导致(多个)对应自动动作在其应该被执行的许多情况下未被执行，从而导致在那些情况下仍需要提供(多个)用户输入(以及由此产生的客户端装置资源的利用)。过度触发能够导致对应动作在许多其不应被执行的情况下被执行，从而导致在那些情况下不必要地使用计算和/或网络资源。
5.此外，触发不足和过度触发能够导致手动地重新定义基于规则的条件，以试图减轻触发不足或过度触发。与定义基于规则的条件一样，重新定义基于规则的条件同样能够导致客户端装置的(多个)组件被激活和/或处于较高功率状态达到延长持续时间。


技术实现要素：

6.本文中公开的实施方式涉及响应于满足一个或多个基于机器学习(ml)的条件(本文中也称为“基于ml的条件”)而自动地执行一个或多个计算机动作。基于ml的条件是基于预测输出(例如，概率值、值向量)的分析确定满足或不满足的条件，该预测输出是基于使用基于ml的条件的ml模型处理对应数据而生成的。能够生成并利用各种基于ml的条件和对应ml模型。例如，第一基于ml的条件能够是“与动作项电子通信”，并且对应第一ml模型能够被用于处理电子通信的特征以生成指示电子通信是否“具有动作项”的输出。同样，例如，第二基于ml的条件能够是“需要立即关注的电子通信”，并且对应第二ml模型能够被用于处理电子通信的特征以生成指示电子通信是否“需要立即关注”的输出。本文中提供了关于示例ml模型及其训练的另外的细节。
7.一些实施方式涉及确定在自动化界面中渲染哪些基于ml的条件和/或如何在自动化界面中渲染这些基于ml的条件。自动化界面是能够经由其提供(多个)用户输入以定义(多个)计算机动作和(多个)动作条件(例如，(多个)基于ml的条件和可选地(多个)基于规则的条件)的界面，当满足所述动作条件时，导致(多个)计算机动作的自动执行。如本文中
所使用，自动化界面涵盖工作流界面。确定渲染哪些基于ml的条件和/或如何渲染这些基于ml的条件的实施方式能够导致定义(多个)计算机动作的动作条件所需要的用户输入数量减少(甚至不需要用户输入)。那些实施方式能够另外或替代地导致定义(多个)动作条件的交互的持续时间缩短，这能够减少被用于与自动化界面交互的客户端装置的(多个)组件处于激活和/或在更高功率状态处于激活的持续时间。
8.一些实施方式另外或替代地涉及训练机器学习模型，其被用于基于(例如，仅基于或微调基于)特定于用户和/或特定于组织的训练数据来评估基于ml的条件是否已经出现。当训练后的机器学习模型被用于确定是否为用户和/或组织执行(多个)计算机动作时，那些实施方式能够减轻(或消除)出现过度触发和/或触发不足。那些实施方式能够另外或替代地减轻与过度触发和/或触发不足相关联的计算和/或网络效率低下。
9.在涉及确定在自动化界面中渲染哪些基于ml的条件和/或如何渲染它们的实施方式中的一些实施方式中，至少部分地基于已经由用户经由自动化界面定义的一个或多个计算机动作来进行(多个)确定。换句话说，能够在自动化界面中针对不同的(多个)计算机动作渲染不同的(多个)基于ml的条件和/或能够针对不同的(多个)计算机动作以不同方式呈现(多个)基于ml的条件。
10.例如，当在自动化界面中仅已经定义了第一计算机动作时：第一基于ml的条件能够被呈现指示其比第二基于ml的条件更相关的内容和/或显示特性；第一基于ml的条件能够被预选择，而第二基于ml的条件不能；和/或能够呈现第一基于ml的条件而不呈现第二基于ml的条件。另一方面，当自动化界面中仅已经定义了第二计算机动作时：第二基于ml的条件能够被呈现指示其比第一基于ml的条件更相关的内容和/或显示特性；第二基于ml的条件能够被预选择，而第一基于ml的条件不能；和/或能够呈现第二基于ml的条件而不呈现第一基于ml的条件。
11.更一般地，更可能适用于所定义的(多个)计算机动作的(多个)基于ml的条件能够以其能够被更快地选择和/或能够利用更少的用户输入(甚至没有用户输入)被选择的方式而被呈现。这些技术优势能够对于可以利用语义描述符(例如，“具有动作项的电子邮件”)描述的基于ml的条件特别有影响，没有本文中公开的技术的情况下，该语义描述符对于用户查明它们对基于ml的条件要被自动地执行的计算机动作的适用性能够是困难的。因此，本文中公开的实施方式能够帮助在用户与自动化界面交互期间将用户引导到更相关的基于ml的条件，同时可选地仍然为用户提供对所选择的(多个)基于ml的条件的最终控制。
12.如上文所提及的，在确定渲染哪些基于ml的条件和/或如何渲染它们时，该(多个)确定能够至少部分基于已经由用户经由自动化界面定义的一个或多个计算机动作。在那些实施方式中的一些实施方式中，基于针对(多个)基于ml的条件中的每一个的对应度量来进行(多个)确定，其中度量中的每一个特定于基于ml的条件和(多个)计算机动作。针对(多个)计算机动作的基于ml的条件的度量能够在选择(多个)计算机动作之前或响应于选择(多个)计算机动作被确定。
13.例如，针对每个基于ml的条件，能够基于由用户定义的(多个)自动计算机动作生成至少一个对应度量。例如，在生成针对给定基于ml的条件的度量时，能够标识(多个)计算机动作的过去出现，其中该过去出现是用户发起的，而不是自动执行的。过去出现能够是用户的过去出现或用户组(例如，用户的雇主的用户，包括用户)的过去出现。针对给定基于ml
的条件，能够使用给定ml模型处理过去出现中的每一个的对应数据，以基于对应数据生成对应预测值。任何能够基于预测值的函数来确定针对给定ml模型的度量。然后能够使用对应度量来确定是否和/或如何呈现基于ml的条件的指示。例如，度量能够被用于呈现、突出显示或自动选择针对(多个)动作的“良好”(基于度量)基于ml的条件和/或淡化/抑制“坏”(基于度量)(多个)基于ml的条件。
14.作为一个特定示例，假设由用户经由自动化界面提供(多个)用户输入，以定义以下计算机动作：“将电子邮件转发到jon@exampleurl.com”(例如，用户的行政助理的电子邮件地址)；以及“移动到
‘
动作项’文件夹”。(多个)用户输入能够通过自由形式的输入和/或来自预先形成的计算机动作(例如，来自下拉列表、单选按钮等)的选择来定义(多个)计算机动作。进一步假设基于ml的条件：(1)“具有动作项的电子邮件”；(2)“需要立即关注的电子邮件”；(3)“具有客户问题的电子邮件”；(4)“具有积极情绪的电子邮件”。基于ml的条件中的每一个能够包括对应训练的ml模型，该ml模型被用于处理电子邮件的特征并生成指示是否满足对应基于ml的条件的输出。能够标识过去电子邮件的子集(例如，提供输入的用户和/或其他用户)：转发到“行政助理”(例如，转发到jon@exampleurl.com或如果已知这个关系，则转发到“行政助理”)；并且移动到
‘
动作项’文件夹。电子邮件(例如，其特征)能够各自使用基于ml的条件的ml模型而被处理以确定：90％满足基于ml的条件(1)，并且小于10％满足基于ml的条件(2)-(4)。因此，基于ml的条件(1)能够是：最突出地呈现的作为建议的条件；自动选择作为条件(需要用户确认)；和/或呈现指示“90％”。另外或替代地，基于ml的条件(2)-(4)能够被抑制或不那么突出地被呈现，或者具有基于ml的条件可能“不好”的指示(例如，具有其相应百分比的指示)。如将从前面的特定示例理解的，对于其他所选择的(多个)自动计算机动作，度量将不同——引起针对那些(多个)其他计算机动作的不同建议/显示。此外，确定被选择的针对(多个)计算机动作的度量的处理能够被预执行或者能够响应于选择而被执行。
15.如上文所提及，一些实施方式另外或替代地涉及基于(例如，仅基于，或微调的基于)特定于用户和/或特定于组织的训练数据，针对基于ml的条件来训练ml模型。作为一个示例，假设“需要立即关注的电子通信”基于ml的条件。能够通过基于用户在接收的1小时内响应的过去电子通信(特定类型或多种类型中的任一种类型)生成正训练实例并且基于那些正训练实例来为用户训练对应ml模型。另外或替代地，能够通过基于用户在接收的1小时之外响应的过去电子通信，可选地以用户在接收的1小时内还已经查看过的那些电子通信为条件生成负训练实例来为用户训练对应ml模型。因此，能够定制ml模型以标识针对给定用户而言通常快速响应的电子通信(例如，在接收的1小时内-或其他标准)。对应ml模型能够可选地基于根据另外的用户交互的类似训练实例而被预训练的模型。电子通信的类型包括，例如，电子邮件、富通信服务(rcs)消息、短消息服务(sms)消息、多媒体消息传递服务(mms)消息、超值应用(ott)聊天消息、社交网络消息、声音通信(例如，电话呼叫、语音邮件)、音频-视频通信、日历邀请等。
16.提供以上描述作为仅对本文中公开的一些实施方式的概述。那些实施方式和其他实施方式在本文中被更详细地描述。
17.各种实施方式能够包括存储指令的非暂时性计算机可读存储介质，该指令可由处理器执行以执行方法，诸如本文中描述的方法中的一个或多个方法。另外其他的各种实施
方式能够包括一种系统，其包括存储器和一个或多个硬件处理器，该硬件处理器可操作以执行存储在存储器中的指令，以执行诸如本文中描述的方法中的一个或多个方法的方法。
18.应当理解，本文中更详细描述的前述概念和另外的概念的所有组合都被认为是本文中公开的主题的一部分。例如，出现在本公开末尾的要求保护的主题的所有组合都被认为是本文中公开的主题的一部分。
附图说明
19.图1a图示了能够实施本文中公开的实施方式的示例环境。
20.图1b描绘了展示图1a的各种组件如何能够交互的一些实施方式的示例过程流程。
21.图2a、图2b、图2c和图2d各自图示了自动化界面的示例，其中自动化界面各自基于对应度量被定制，该对应度量也被图示并且各自基于经由自动化界面定义的(多个)对应计算机动作。
22.图3描绘了图示根据本文中公开的各种实施方式的示例方法的流程图。
23.图4描绘了图示根据本文中公开的各种实施方式的另一示例方法的流程图。
24.图5示意性地描绘了计算机系统的示例架构。
具体实施方式
25.图1a图示了能够实施本文中公开的实施方式的示例环境。该示例环境包括客户端装置110和自动动作系统118。自动动作系统118能够被实施在例如通过网络(未描绘)通信的一个或多个服务器中。自动动作系统118是其中能够实施本文中描述的技术和/或本文中描述的系统、组件和技术能够与其接口的系统的一个示例。尽管各种组件被图示和描述为由自动动作系统118在远离客户端装置110的一个或多个服务器中实施，但一个或多个组件能够另外或替代地被实施在客户端装置110上(全部或部分)。
26.用户能够经由客户端装置110与自动动作系统118交互。其他计算机装置能够与自动动作系统118通信，包括但不限于用户的(多个)另外的客户端装置、其他用户的另外的客户端装置和/或已与自动动作系统118的提供者合作来实施服务的一个或多个服务器。然而，为简洁起见，示例是在客户端装置110的场境中描述的。
27.客户端装置110通过网络，诸如局域网(lan)或例如互联网的广域网(wan)(一个或多个这种网络通常在117指示)，与自动动作系统118通信。客户端装置110能够是例如台式计算装置、膝上型计算装置、平板计算装置、移动电话计算装置、用户车辆的计算装置(例如，车载通信系统、车载娱乐系统、车载导航系统)、操作语音交互个人数字助理(也称为“自动助理”)的独立交互式扬声器(可选地具有显示器)或用户的可穿戴设备，其包括计算装置(例如，具有计算装置的用户的手表、具有计算装置的眼镜、可穿戴音乐播放器)。能够提供另外的和/或替代的客户端装置。
28.客户端装置110能够包括各种软件和/或硬件组件。例如，在图1中，客户端装置110包括(多个)用户界面(ui)输入装置112和(多个)输出装置113。(多个)ui输入装置112能够包括例如(多个)麦克风、触摸屏、键盘(实体或虚拟)、鼠标和/或(多个)其他ui输入装置。客户端装置110的用户能够利用(多个)ui输入装置112中的一个或多个ui输入装置来将输入提供给本文中描述的自动化界面。例如，自动化界面的元件的选择能够响应于指向元件的
触摸输入(经由触摸屏)、指向元件的鼠标或键盘选择、标识元件的语音输入(经由(多个)麦克风检测)和/或指向元件的手势输入(例如，经由(多个)视觉组件检测到的无触摸手势)。(多个)输出装置113能够包括例如触摸屏或其他显示器、(多个)扬声器和/或(多个)其他输出装置。客户端装置110的用户能够利用(多个)输出装置113中的一个或多个输出装置来消耗本文中描述的自动化界面的输出。例如，显示器能够被用于查看自动化界面的视觉组件和/或(多个)扬声器能够被用于收听自动化界面的音频组件。自动化界面能够是，例如，仅视觉的、视听的或仅音频的。
29.客户端装置110还能够执行各种软件。例如，在图1中描述的实施方式中，客户端装置110执行一个或多个应用114。(多个)应用114能够包括例如自动助理应用、网络浏览器、消息传递应用、电子邮件应用、云存储应用、视频会议应用、日历应用、聊天应用等。(多个)应用114中的一个或多个能够至少选择性地与自动动作系统118接口，例如在定义要被自动地执行的(多个)计算机动作中和定义当满足时导致(多个)计算机动作的自动执行的动作条件(例如，(多个)基于ml的条件和/或(多个)其他条件)。此外，相同和/或(多个)不同的应用114能够被用于查看计算机动作的自动执行的结果。例如，应用114的网络浏览器和/或自动助理应用能够被用于与自动动作系统118接口。作为另一示例，(多个)应用114能够包括致力于与自动动作系统118交互的自动动作应用。作为又一示例，(多个)应用114能够包括第一应用(例如，电子邮件应用)，其能够与自动动作系统118接口以定义与第一应用相关的要被自动地执行的计算机动作；第二应用(例如，聊天应用)，其能够与自动动作系统118接口以定义与第二应用相关的要被自动地执行的计算机动作等。
30.自动动作系统118包括图形用户界面(gui)引擎120、度量引擎122、过去出现引擎124、分配引擎126和自动动作引擎128。
31.gui引擎120控制经由客户端装置110的(多个)应用114中的一个应用渲染的自动化界面。该自动化界面是能够经由其来提供(多个)用户输入(例如，经由ui输入装置112的一个或多个ui输入装置)以定义(多个)计算机动作和(多个)动作条件(例如，(多个)基于ml的条件和可选地(多个)基于规则的条件)的界面，当满足时，这些条件导致计算机动作的自动执行。如本文中所描述，在各种实施方式中，gui引擎120能够确定在自动化界面中渲染哪个或哪些基于ml的条件将和/或如何在自动化界面中渲染基于机器学习的条件。
32.在其中gui引擎120确定在自动化界面中渲染哪个或哪些基于ml的条件和/或如何渲染它们的那些实施方式中的一些实施方式中，至少部分地基于由用户经由自动化界面已经定义的一个或多个计算机动作来进行(多个)确定。换句话说，gui引擎120能够使不同的(多个)基于ml的条件针对不同的(多个)计算机动作在自动化界面中被渲染和/或能够使(多个)基于ml的条件能够针对(多个)不同的计算机动作以不同方式被呈现。一般地，gui引擎120能够使可能更适用于所定义的(多个)计算机动作的(多个)基于ml的条件以能够被更快地选择和/或能够利用更少的(多个)用户输入(甚至没有用户输入)被选择的方式被呈现。
33.在其中gui引擎120至少部分地基于由用户经由自动化界面已经定义的一个或多个计算机动作来确定渲染哪个或哪些基于ml的条件和/或如何渲染它们的许多实施方式中，gui引擎120基于来自度量引擎122的度量做出(多个)确定。
34.度量引擎122能够与过去出现引擎124接口。对于能够针对经由用户界面定义的
(多个)计算机动作从过去数据数据库154中标识针对(多个)计算机动作的过去出现的数据。由过去出现引擎124标识的过去出现是都是用户发起的出现。换句话说，过去出现的计算机动作都不是自动执行的，而是响应于一个或多个手动用户输入而被执行的。过去出现能够是由用户与自动化界面接口的过去出现，或者能够是用户组(可选地包括用户)的过去出现。过去出现能够被用于本文中描述的技术中，这取决于发起过去出现的计算机动作的(多个)用户的批准。在过去出现是通过用户组的情况下，该用户组能够可选地是基于用户而选择的组，并且与自动化界面交互的用户都属于雇主的公共企业账户和/或具有(多个)其他共同特征(例如，都具有为雇主分配的相同的头衔，都具有相同的为雇主分配的工作组等)。在一些实施方式中，基于用于定义计算机动作和(多个)相关联的动作条件的自动化界面来选择用户组，该(多个)相关联的动作条件将被应用于该组的所有用户。例如，自动化界面能够包括能够为单个用户或用户组定义(多个)计算机动作和(多个)动作条件的界面元素。
35.作为运行示例，如果“使文档脱机可用”的计算机动作是针对基于云的存储环境中的自动计算机动作定义的，则过去出现引擎124能够标识基于云的存储环境中的“使文档脱机可用”的过去出现的数据。响应于(多个)用户输入执行标识过去出现中的每一个，诸如右键单击基于云的存储界面中的对应文档并在响应于右键单击而显露的菜单中选择“脱机可用”。过去出现引擎124能够标识所有过去出现的数据，或仅过去出现的子集(例如，仅50个出现或其他阈值数量)的数据。被标识的过去数据数据库154的数据能够包括各种特征并且能够取决于度量引擎122所需要的特征(下面更详细地描述)。例如，对于使文档脱机可用的动作，特征能够包括指示以下的特征：文件的创建的时间；文档的大小；查看文档的持续时间；编辑文档的持续时间；文档的标题(例如，word2vec或标题的其他嵌入)；文档的(多个)图像(例如，文档的(多个)图像的(多个)嵌入)；文档中包括的词项(例如，word2vec或文档的(多个)第一语句的其他嵌入)；存储文档的文件夹；文档类型(例如，pdf、电子表格、文字处理文档)和/或(多个)其他特征。
36.在过去出现引擎124已经标识了针对(多个)计算机动作的过去出现的数据之后，度量引擎122能够为与(多个)计算机动作相关的多个可用的基于ml的条件中的每一个生成至少一个对应度量。在一些实施方式中，在生成基于ml的条件的度量时，度量引擎122使用对应于基于ml的条件的ml模型152a-n中的一个来处理数据的每个实例以生成对应的预测输出。度量引擎122然后能够基于来自使用对应的ml模型的处理的预测输出来生成基于ml的条件的度量。例如，每个预测输出能够是概率测量(例如，0到1)，并且度量能够基于满足指示基于ml的条件被满足的阈值概率测量(例如，阈值概率测量0.7或其他概率)的预测输出的数量。例如，度量能够是基于将满足阈值概率测量的预测输出的数量除以预测输出的总数量的百分比。能够生成另外的和/或替代的度量，诸如定义所有预测输出的均值和/或中值概率测量和/或定义所有预测输出的概率测量的标准偏差(可选地排除异常值)的度量。
37.例如，并且继续工作示例，假设具有对应的ml模型152g“重要文档”的基于ml的条件。度量引擎122能够(单独地)使用ml模型152g处理过去数据1-n的实例以生成指示概率1-n的预测输出的n个单独实例。度量引擎122然后能够根据概率1-n生成至少一个度量。该度量通常指示基于过去数据1-n的对应的实例，“重要文档”的基于ml的条件将被视为满足的
频率。换句话说，度量能够提供在用户(或用户组，包括用户)手动地执行在自动化界面已被定义的计算机动作的那些情况下基于ml的条件将被视为满足的频率的指示。
38.基于使用对应于基于ml的条件中的其他条件的基于ml的模型中的其他模型来处理过去数据的实例，度量引擎122能够类似地为与计算机动作相关的基于ml的条件中的其他条件生成度量。例如，度量引擎122能够为与基于云的存储装置相关的基于ml的条件中的其他条件(例如，具有对应于基于云的存储域的适当输入参数的条件)生成度量。例如，基于ml的条件能够包括仅对应于电子邮件的某些基于ml的条件、仅对应于基于云的存储装置(其能够包括电子邮件和/或其他文档)中的文档的某些其他基于ml的条件、对应于视频会议的某些基于ml的条件和/或可适用于其他域(或甚至多个域)的某些其他基于ml的条件。
39.在度量引擎122生成度量之后，gui引擎120能够以取决于度量的方式使基于ml的条件被渲染(初始地，或更新后的渲染)。例如，gui引擎120能够使用度量来为(多个)动作呈现、突出显示或自动选择“良好”(基于度量)的基于ml的条件和/或淡化/抑制“坏”(基于度量)的基于ml的条件。同样，例如，gui引擎120能够另外或替代地提供度量的指示以及基于ml的条件。能够由gui引擎120基于度量来渲染的自动化界面的一些非限制性示例在图2a-图2d(如下所述)中图示。
40.客户端装置110的用户能够进一步经由一个或多个ui输入装置112与自动化界面交互，以选择针对动作所渲染的基于ml的条件和/或(多个)其他动作条件(例如，基于规则的条件或(多个)其他非基于ml的条件)——和/或提供指示针对经由自动化界面定义的计算机动作的(多个)用户选择(和/或自动地预选则的)条件的确认的确认用户输入。在一些实施方式中，gui引擎120能够提供使用户能够经由ui输入装置112定义多个条件的用户界面元素。在那些实施方式中的一些实施方式中，用户界面元素可以可选地使用户能够针对多个条件定义是否需要满足所有条件以使计算机动作自动执行，或者替代地是否只需要满足任何子集以导致一个或多个计算机动作自动执行。每个子集包括一个或多个动作条件。
41.响应于确认用户输入，分配引擎126能够在自动动作数据库156中分配要被自动地执行的(多个)计算机动作、(多个)计算机动作的动作条件和响应于(多个)动作条件的出现将被自动地执行计算机动作的用户(或用户组)的标识符(例如，账户标识符)。
42.在自动动作数据库156中的分配之后，自动动作引擎128能够利用适当的(多个)许可并基于自动动作数据库156中的分配来监测针对(多个)用户的(多个)条件的满足。如果自动动作引擎128确定针对(多个)用户的(多个)条件的满足，则自动动作引擎能够使(多个)计算机动作执行。例如，并且继续运行示例，假设为“使文档脱机可用”计算机动作定义了“重要文档”基于ml的条件。在这种情况下，自动动作引擎128能够使用ml模型152a-n中的对应的一个来处理(多个)用户的文档的特征，并且如果预测输出指示满足基于ml的条件，则自动地使文档脱机可用(例如，使文档被本地地下载到对应的客户端装置)。定期或不定期地响应于文档的创建、文档的修改、文档的打开、文档的关闭或响应于(多个)其他条件，文档的特征能够被处理，以确定是否满足基于ml的条件。
43.在一些实施方式中，自动动作引擎128能够与一个或多个另外的系统130接口以确定是否满足一个或多个动作条件和/或自动地执行一个或多个计算机动作。例如，对于具有“紧急电子邮件”的基于ml条件的“让我的办公室灯闪烁”的动作，自动动作引擎128能够与控制“办公室灯”的(多个)另外的系统中的一个接口以响应于确定满足基于ml的条件而使
办公室灯闪烁。
44.简要地转到图1b，图示了示例过程流程，其展示了客户端装置110和自动化动作系统118的各种组件能够如何在各种实施方式中交互的一些实施方式。
45.在图1b中，客户端装置110被用于与由gui引擎120渲染的自动化界面交互以定义一个或多个计算机动作201。计算机动作201被提供给过去出现引擎124。作为运行示例，(多个)计算机动作201能够用于视频会议域并且能够是“保存视频会议的记录副本”。
46.过去出现引擎124与过去数据数据库154接口，以标识过去出现的数据203。过去出现的数据203包括过去数据的实例，其中每个实例对应于(多个)计算机动作201的用户发起的出现。继续工作示例，过去出现的数据203能够包括用户发起的“保存视频会议的记录副本”的每个出现的实例(例如，响应于在视频会议结束时手动选择“保存记录副本”界面元素)。数据的每个实例可以包括各种特征，诸如指示以下的特征：视频会议周中的一天，视频会议的时间，视频会议的持续时间，视频会议中讨论的(多个)话题(如从记录副本和/或议程确定)，视频会议的名称和/或(多个)其他功能。过去出现的数据203被提供给度量引擎122。
47.度量引擎122接着能够使用ml模型152a-n来处理数据的实例，该模型对应于与视频会议域相关的基于ml的条件。基于针对相关ml模型152a-n中的每一个生成的预测，度量引擎122生成针对每个基于ml的条件205的至少一个度量。
48.gui引擎120接着能够渲染(初始地，或更新后的渲染)基于度量207生成(即，基于205的度量生成)的gui。例如，gui 207能够省略具有(多个)不良度量的(多个)基于ml的条件，使具有(多个)良好度量的(多个)基于ml的条件比具有(多个)更差度量的其他条件更显著地呈现和/或预选择具有(多个)良好度量的(多个)基于ml的条件。gui 207在自动化界面中被渲染并且用户能够经由客户端装置110与自动化界面交互以选择(多个)动作条件、修改(多个)预选择的动作条件和/或确认所选择的(自动地或手动地)(多个)动作条件。
49.一旦所选择的(多个)动作条件被确认，gui引擎120能够将(多个)计算机动作和(多个)动作条件209提供给分配引擎126。分配引擎126将包括(多个)计算机动作和(多个)动作条件209的条目以及可选地(多个)计算机动作和(多个)动作条件209针对其正在被定义的用户账户的标识符存储在自动动作数据库156中。
50.自动动作引擎128能够基于自动动作数据库156中的分配来监测(多个)动作条件的满足，并且如果确定满足，则使(多个)计算机动作执行。例如，并且继续运行示例，自动动作引擎128能够使用针对(多个)动作条件的基于ml的条件的ml模型来处理用户的后续视频会议的特征。如果处理生成满足阈值的预测输出，则自动动作引擎128能够确定满足基于ml的条件并且因此自动地存储视频会议的记录副本。在一些实施方式中，自动动作引擎128与一个或多个另外的系统130接口以确定是否满足一个或多个动作条件和/或自动地执行一个或多个计算机动作。
51.过去出现的数据203的确定和针对每个基于ml的条件205的度量的生成在图1b中被图示为响应于定义计算机动作201的用户输入而被执行。然而，在各种实施方式中，过去出现的数据203和/或针对每个基于ml的条件205的度量能够在定义计算机动作201的用户输入之前确定(即，抢先)。在那些实施方式中，能够为各种计算机动作预生成各种度量，并且该度量能够各自可选地特定于用户或用户组(例如，组织)。因此，在那些实施方式中，基
于度量207生成的gui能够响应于定义计算机动作201的用户输入而被更快地渲染。
52.再次转向图1a，还图示了训练数据引擎133、训练数据数据库158和训练引擎136。
53.训练数据引擎133生成训练实例，以用于包括在训练数据数据库158中，用于训练ml模型152a-n。应理解，训练实例中的每一个将仅特定于ml模型152a-n中的单个ml模型。训练数据引擎133生成用于ml模型152a-n的训练和/或用于ml模型152a-n中的一个或多个ml模型的微调/个性化(对用户或用户组)的训练实例。
54.在一些实施方式中，并且在相关联用户的许可下，训练数据引擎133基于来自过去数据数据库154的过去数据的实例而自动地生成训练数据。作为示例，假设ml模型152c中的一个正在被训练(或微调)以预测电子邮件是否满足“需要立即关注的电子邮件”的基于ml的条件。对于这种基于ml的条件，训练数据引擎133能够基于标识对应于由用户在接收的1小时内回复的过去电子邮件的过去数据而生成正训练实例。例如，每个训练实例能够包括正标签(例如，“1”)的训练实例输入和训练实例输出，训练实例输入包括此类电子邮件的特征。另外或替代地，对于这种基于ml的条件，训练数据引擎133能够基于标识对应于用户在接收的1小时之外响应的过去电子邮件的过去数据，可选地以用户在接收的1小时内也已经查看过的那些电子邮件为条件。例如，每个训练实例能够包括训练实例输入和负标签(例如，“0”)的训练实例输出，该训练实例输入包括这种电子邮件的特征。训练数据数据库158能够另外或替代地包括基于人工审查被标记的训练实例。
55.训练引擎136在训练ml模型152a-n中利用训练数据数据库158的训练实例。例如，训练引擎136能够在训练ml模型152a中利用对应于ml模型152a的训练实例，能够在训练ml模型152b中利用对应于ml模型152b的训练实例等。如本文中所描述的(例如，图4)，在一些实施方式中，训练引擎136能够基于特定于用户或组织的训练实例为用户或组织训练ml模型。例如，训练数据引擎133能够使用针对用户或组织的过去数据154为ml模型自动地生成训练实例。在那些实施方式中的一些实施方式中，ml模型能够是基于根据另外的用户的交互的类似训练实例而被预训练的ml模型，并且针对用户或组织的训练能够在预训练之后出现。在其他实施方式中，能够仅基于特定于用户或组织的训练实例来训练ml模型。训练引擎136能够存储针对用户或组织训练的ml模型以及指示用户或组织的标识符。该标识符然后能够被用于使用针对用户或组织训练的ml模型，替代针对相同的基于ml的条件的相反而被全局地训练或针对(多个)其他用户或(多个)组织训练的其他模型来处理对应数据。
56.参考图2a、图2b、图2c和图2d，图示了呈现不同自动化界面的客户端装置110的示例。自动化界面中的每一个基于对应度量，并且对应度量中的每一个也被图示出(在客户端装置110的图示上方)并且各自基于经由自动化界面定义的(多个)对应计算机动作。
57.初始地转向图2a，用户已经与自动化界面的定义动作部分281交互以将“转发到jon@exampleurl.com”的动作定义为自动电子邮件动作。在图2a的示例界面中，用户已经从下拉菜单中选择了“转发到”，该下拉菜单包括各种电子邮件相关动作的前导，例如“移动到”、“回复”、“发送通知到”等。用户已经进一步，例如，经由虚拟键盘提供了电子邮件地址“jon@exampleurl.com”。
58.过去出现引擎124(图1)能够被用于标识将对应电子邮件转发到“jon@exampleurl.com”的用户发起动作(例如，由与客户端装置110对接的用户发起)的过去数据。进一步地，度量引擎122(图1)能够基于过去数据生成被图示在图2a中的客户端装置110
上方的度量250a。通过基于动作282a的过去数据而被生成，度量250a特定于动作282a。度量250a包括：ml模型152a的度量0.5(对应于基于ml的条件“具有动作项的新电子邮件”)；ml模型152b的度量0.9(对应于基于ml的条件“需要立即关注的新电子邮件”)；ml模型152c的度量0.1(对应于基于ml的条件“具有客户问题的新电子邮件”)和ml模型152d的度量0.1(对应于基于ml的条件“具有积极情绪的新电子邮件”)。度量各自指示被转发到“jon@exampleurl.com”的过去电子邮件被认为满足对应基于ml的条件的百分比。
59.基于度量250a，(多个)基于ml的条件定义部分283被生成以包括基于ml的条件“需要立即关注的新电子邮件”的指示284ba，该指示基于其具有“最佳度量”(0.9)而最突出(被定位于基于ml的条件的“顶部”)并且基于其具有满足阈值(例如，大于0.85)的度量来预选择指示284ba。进一步地，基于度量，部分283被生成以包括基于ml的条件“具有动作项的新电子邮件”的指示284aa，该指示基于其具有“第二最佳度量”(0.5)而被定位于下一最突出处。更进一步地，基于度量，部分283被生成以包括基于ml的条件“包括客户问题的新电子邮件”的指示284ca，该指示基于其具有“第三最佳度量”(0.15)而被定位于下一最突出处。最后，基于度量，部分283被生成以包括基于ml的条件“具有积极情绪的新电子邮件”的指示284da，该指示基于其具有“最差度量”(0.1)而被定位于最不突出处。指示284ba、284aa、284ca和284da中的每一个还图示了其度量(90％、50％、15％和10％)的指示。
60.如果满足指示284ba的预选择，则用户能够利用单个选择提交界面元素288来为动作282a定义“需要立即关注的新电子邮件”的基于ml的条件。单个选择能够是，例如：在客户端装置110的触摸屏处检测到并且指向提交界面元素288的触摸输入；经由客户端装置的(多个)麦克风检测到并标识提交界面元素288的语音输入(例如，“提交”、“选择提交按钮”或“完成”的语音输入)；经由与客户端装置110配对的鼠标对提交界面元素288的选择，或指向提交界面元素288并经由客户端装置110的雷达传感器或相机传感器检测到的无触摸手势。因此，在这种情况下，没有任何用户输入即可定义基于ml的条件。相反，仅需要确认输入来选择提交界面元素288，这导致动作282a和“需要立即关注的新电子邮件”的基于ml的条件被定义。替代地，用户能够与自动化界面交互以定义另外的或替代的(多个)基于ml的条件或甚至(多个)非基于ml的条件(为简单起见未图示)。与自动化界面的交互能够通过多种输入模态中的任一者的一种或多种进行，诸如触摸、语音、手势、键盘、鼠标和/或其他输入模态。
61.接下来转到图2b，用户已经与自动化界面的定义动作部分281交互以将“移动到动作项”的动作定义为自动电子邮件动作。在图2b的示例界面中，用户已经从包括各种电子邮件相关动作的前导的下拉菜单中选择了“移动到”，并且已经例如经由虚拟键盘进一步提供了“动作项”的位置(例如，虚拟文件夹位置)。
62.过去出现引擎124(图1)能够被用于标识将对应电子邮件移动到“动作项”的用户发起动作(例如，由与客户端装置110对接的用户发起)的过去数据。进一步地，度量引擎122(图1)可以基于过去数据生成在图2b中的客户端装置110上方图示的度量250b。通过基于针对动作282b的过去数据而被生成，度量250b特定于动作282b。度量250b包括：ml模型152a的度量0.7(对应于基于ml的条件“具有动作项的新电子邮件”)；ml模型152b的度量0.5(对应于基于ml的条件“需要立即关注的新电子邮件”)；ml模型152c的度量0.2(对应于基于ml的条件“含有客户问题的新电子邮件”)和ml模型152d的度量0.1(对应于基于ml的条件“具有
积极情绪的新电子邮件”)。度量各自指示被移动到“动作项”的过去电子邮件被认为满足对应基于ml的条件的百分比。
63.基于度量250b，(多个)基于ml的条件定义部分283被生成以包括基于ml的条件“具有动作项的新电子邮件”的指示284ab，该指示基于其具有“最佳度量”(0.7)而被定位于最突出处(位于基于ml的条件的“顶部”)。然而，在图2b的示例中，指示284ba基于其度量(0.7)未能满足阈值(例如，大于0.85)而没有被预选择。进一步地，基于度量，部分283被生成以包括基于ml的条件“需要立即关注的新电子邮件”的指示284bb，该指示基于其具有“次最佳度量”(0.5)而被定位于下一最突出处。此外，基于度量，部分283被生成以包括基于ml的条件“包含客户问题的新电子邮件”的指示284cb，该指示基于其具有“第三最佳度量”(0.2)而被定位于下一最突出处。最后，基于度量，部分283被生成以包括基于ml的条件“具有积极情绪的新电子邮件”的指示284db，该指示基于其具有“最差度量”(0.1)而被定位于最不突出处。指示284ab、284bb、284cb和284db中的每一个还图示了其度量(70％、50％、20％和10％)的指示。
64.用户能够与自动化界面交互以定义(多个)基于ml的条件或甚至(多个)非基于ml的条件(为简单起见未图示)
65.接下来转到图2c，用户已经与自动化界面的定义动作部分281交互以将“与专利组共享”的动作定义为自动云存储动作。“与专利组共享”动作在自动地执行时使存储在云存储装置中的对应文档自动地与分配给“专利组”的用户账户分享(从而使对应文档可由那些用户账户查看和/或编辑)。在图2c的示例界面中，用户已经从包括各种云存储相关动作的下拉菜单中选择了动作。
66.过去出现引擎124(图1)能够被用于标识与“专利组”共享对应文档的用户发起动作(例如，由与客户端装置110对接的用户发起)的过去数据。进一步地，度量引擎122(图1)能够基于过去数据生成在图2c中的客户端装置110上方图示的度量282c。通过基于动作282c的过去数据而被生成，度量250c特定于动作282c。度量250c包括：ml模型152g的度量0.0(对应于基于ml的条件“时间敏感”)；ml模型152h的度量0.4(对应于基于ml的条件“重要文档”)；ml模型152i的度量0.9(对应于基于ml的条件“实践组相关”)。度量各自指示与“专利组”共享的过去文档中被认为满足对应基于ml的条件的百分比。
67.基于度量250c，基于ml的条件定义部分283被生成以包括基于ml的条件“实践组有关”的指示284hc，所述指示基于其具有“最佳度量”(0.9)而最为显眼。进一步地，在图2c的示例中，指示284hc基于其具有满足预选择阈值的度量(0.9)而被预选择。进一步地，基于度量，部分283被生成以包括基于ml的条件“重要文档”的指示284ic，该指示基于其具有“次最佳度量”(0.4)而被定位于下一最突出处。更进一步地，基于度量，部分283被生成以省略基于ml的条件“时间敏感”的任何指示，该指示基于其具有未能满足显示阈值(例如，阈值0.1)的度量(0.0)。
68.如果满足指示284hc的预选择，则用户能够利用单个选择提交界面元素288来为动作282c定义“需要立即关注的新电子邮件”的基于ml的条件。替代地，用户能够与自动化界面交互以定义另外的或替代的(多个)基于ml的条件或甚至(多个)非基于ml的条件(为简单起见未图示)。
69.接下来转到图2d，用户已经与自动化界面的定义动作部分281交互以将“使离线可
用”和“添加到任务列表”的动作定义为自动云存储动作。那些动作在自动地执行时使存储在云存储装置中的对应文档可脱机使用(例如，本地地下载到客户端装置)并使与文档相关的信息(例如，标题和链接)被添加到任务列表(例如，在分开的应用中)。在图2d的示例界面中，用户已经从包括各种云存储相关动作的下拉菜单中选择动作。
70.过去出现引擎124(图1)能够被用于标识使文档脱机可用并将文档添加到任务列表的用户发起动作(例如，由与客户端装置110对接的用户发起)的过去数据。进一步地，度量引擎122(图1)能够基于过去数据生成在图2d中的客户端装置110上方图示的度量282d。通过基于动作282d的过去数据而被生成，度量250d特定于动作282d。度量250d包括：ml模型152g的度量0.95(对应于基于ml的条件“时间敏感”)；ml模型152h的度量0.2(对应于基于ml的条件“重要文档”)；ml模型152i的度量0.3(对应于基于ml的条件“实践组相关”)。度量各自指示都“离线可用”并且“添加到任务列表”的过去文档中被认为满足对应基于ml的条件的百分比。
71.基于度量250d，(多个)基于ml的条件定义部分283被生成以包括基于ml的条件“实践组相关”的指示284gd，该指示基于其具有“最佳度量”(0.95)而最突出。进一步地，在图2d的示例中，指示284gd基于其具有满足预选择阈值的度量(0.95)而被预选择。进一步地，基于度量，部分283被生成以包括基于ml的条件“重要文档”和“实践组相关”的指示284hd和284id，该指示基于其具有更差度量(0.2)被定位于不那么突出处并且基于其度量未能满足预选择阈值而没有被预选择。
72.如果满足指示284gd的预选择，则用户能够利用单个选择提交界面元素288来为动作282d定义“需要立即关注的新电子邮件”的基于ml的条件。替代地，用户能够与自动化界面交互以定义另外的或替代的(多个)基于ml的条件或甚至(多个)非基于ml的条件(为简单起见未图示)。
73.图2a-图2d图示了特定基于ml的条件和计算机动作。然而，那些图仅作为示例提供，并且应当理解，本文中公开的技术能够与多种基于ml的条件和/或计算机动作结合利用。作为一个示例，“指示客户会议的新日历事件”的基于ml的条件能够导致(多个)计算机动作“在日历事件之前添加24小时提醒”和“在我的日历上安排一小时以准备事件”。作为另一示例，“与潜在新客户的聊天消息、电子邮件或语音邮件”的基于ml的条件能够包括“添加电子提醒
‘
回复潜在新客户
’”
和“添加联系信息到crm”的(多个)计算机动作。
74.现参考图3，描述了用于实施本公开的所选择的方面的示例方法300。为方便，流程图的操作是参考执行操作的系统来描述的。这个系统可以包括各种计算机系统的各种组件。例如，操作可以在客户端装置110处和/或在自动化动作系统118处被执行。此外，虽然方法300的操作以特定顺序示出，但这并不意味着限制性的。可以重新排序、省略或添加一个或多个操作。
75.在框352，系统经由自动化界面接收用户界面输入的一个或多个实例，该实例定义响应于一个或多个动作条件而被自动地执行的一个或多个计算机动作。例如，系统能够经由用户与自动化界面的交互来接收(多个)用户界面输入实例。
76.在框354，系统标识与(多个)计算机动作的过去用户发起的出现相关联的数据。例如，系统能够标识与(多个)计算机动作的过去用户发起的出现相关联的数据，该过去用户发起的出现由提供框352的用户界面输入的用户发起和/或由用户是其中的成员的组发起。
作为另一示例，系统能够标识与(多个)计算机动作的过去用户发起的出现相关联的数据，该过去用户发起的出现由用户群中的各个用户发起，其可能与用户没有任何特定关系。
77.在框356，系统为(多个)动作条件中的基于ml的条件选择ml模型。例如，系统能够选择基于ml模型用于与框352中定义的(多个)计算机动作相关的基于ml的条件(例如，与(多个)计算机动作共享域)来选择ml模型。
78.在框358，系统基于使用基于ml的条件的ml模型(来自框356)处理数据的实例(来自框354)来生成预测。例如，系统能够生成(直接或间接地)指示数据的实例将满足由ml模型表示的基于ml的条件的概率的预测。
79.在框360，系统确定是否存在更多数据要被处理。如果是，则系统返回到框358并基于数据的另一实例生成另一预测。如果不是，则系统前进到框362。
80.在框362，系统基于使用基于ml的条件的ml模型被执行的框358的迭代的预测生成针对基于ml的条件的一个或多个度量。例如，当预测是概率时，系统能够根据所生成的概率生成度量。
81.在框364，系统确定是否存在另一ml模型，该ml模型与框352中定义的(多个)计算机动作相关并且尚未在框358的(多个)迭代中使用。如果是，则系统返回到框356并选择另外的ml模型，然后基于另外的ml模型执行框358、360和362。如果不是，则系统前进到框366。
82.在框366，系统基于在框362的迭代中被确定的基于ml的条件的度量来渲染基于ml的条件。例如，系统能够使用度量来为(多个)计算机动作渲染、突出显示或自动选择“良好”(基于度量)基于ml的条件和/或淡化/抑制(多个)“坏”(基于度量)基于ml的条件。同样，例如，系统能够另外地或替代地提供度量的指示以及基于ml的条件。
83.在框368，系统响应于在自动化界面处接收的确认输入将(多个)基于ml的条件分配到框352的(多个)计算机动作。(多个)基于ml的条件能够是在接收到确认输入时选择(基于用户输入或预选择而不修改)的那些。(多个)非基于ml的条件(例如，基于规则)能够另外地或替代地经由自动化界面定义并且如果是基于ml的条件，则被分配。(多个)基于ml的条件分配给框352的(多个)计算机动作能够特定于用户或组织，并且在分配之后，能够导致响应于满足(多个)基于ml的条件而自动执行计算机动作。
84.尽管在框352与366之间图示了框354、356、358、360、362和364，但在各种实施方式中，那些框能够在框352和366之前被执行。例如，那些框能够基于来自多个用户的过去数据针对计算机动作被执行，以在框352的出现之前生成对应度量。接着，响应于框352，系统能够直接地前进到框366并在执行框366时使用该对应度量。
85.现参考图4，描述了用于实施本公开的所选择的方面的示例方法400。为方便起见，流程图的操作是参考执行操作的系统来描述的。这个系统可以包括各种计算机系统的各种组件。例如，操作可以在客户端装置110处和/或在自动化动作系统118处被执行。此外，虽然方法300的操作以特定顺序示出，但这并不意味着限制性的。可以重新排序、省略或添加一个或多个操作。
86.在框452，系统针对基于ml的条件标识指示基于ml的条件的动作的一个或多个标准。例如，如果基于ml的条件是“需要立即关注的电子邮件”，则一个或多个标准可以包括在接收电子邮件的1小时(或其他阈值)内回复电子邮件。同样，例如，如果基于ml的条件是“重要文档”，则一个或多个标准能够包括与文档交互(例如，查看和/或编辑)至少阈值次数(可
选地在持续时间上)。
87.在框454，系统基于与满足一个或多个标准的(多个)动作相关联的实例中的每一个来确定用户或组织的数据的实例。例如，如果一个或多个标准包括在接收电子邮件的1小时(或其他阈值)内回复电子邮件，则数据的每一个实例能够包括在1小时内回复的对应电子邮件的特征。同样，例如，如果一个或多个标准包括与文档交互至少阈值次数，则数据的每个实例能够包括交互至少阈值次数的对应文档的特征。
88.在框456，系统在训练针对基于ml的条件的定制的ml模型时使用正训练实例的数据的实例。例如，系统能够利用数据的实例的特征作为正训练实例的输入，并且能够分配正标签作为正训练实例的输出。系统能够基于正训练实例进一步训练定制的ml模型。定制的ml模型能够可选地是在框456的训练之前基于其他训练实例被预训练的模型，该训练实例包括并不基于来自用户或组织的数据的实例的那些。
89.在框458，系统经由自动化界面接收定义(多个)计算机动作和针对(多个)计算机动作的(多个)动作条件的用户输入，其中(多个)动作条件包括基于ml的条件。例如，能够经由本文中描述的自动化界面来提供用户输入。
90.在框460，系统使用定制的ml模型来确定是否自动地执行(多个)计算机动作。系统基于确定框458的用户界面输入来自用户或组织来使用定制的ml模型。换句话说，系统基于来自用户或组织的框458的用户界面输入并且基于定制的ml模型基于用户或组织特定训练实例被定制来使用定制的ml模型以确定是否满足基于ml的条件。系统可以响应于确定满足基于ml的条件(并且可选地基于满足一个或多个其他动作条件)而自动地执行(多个)计算机动作。
91.图5是示例计算机系统510的框图。计算机系统510通常包括至少一个处理器514，其经由总线子系统512与多个外围装置通信。这些外围装置可以包括存储子系统524，包括例如存储器子系统525和文件存储子系统526、用户界面输出装置520、用户界面输入装置522和网络接口子系统516。输入和输出装置允许用户与计算机系统510交互。网络接口子系统516提供到外部网络的界面并且被耦合到其他计算机系统中的对应界面装置。
92.用户界面输入装置522可以包括键盘、诸如鼠标、轨迹球、触摸板或图形数字化板的定点装置、扫描仪、并入显示器中的触摸屏、诸如语音识别系统的音频输入装置、麦克风和/或其他类型的输入装置。一般地，术语“输入装置”的使用旨在包括将信息输入到计算机系统510中或通信网络上的所有可能类型的装置和方式。
93.用户界面输出装置520可以包括显示子系统、打印机、传真机或诸如音频输出装置的非视觉显示器。显示子系统可以包括阴极射线管(crt)、诸如液晶显示器(lcd)的平板装置、投影装置或用于创建可见图像的一些其他机构。显示子系统还可以提供非视觉显示，诸如经由音频输出装置。一般地，术语“输出装置”的使用旨在包括将信息从计算机系统510输出到用户或另一机器或计算机系统的所有可能类型的装置和方式。
94.存储子系统524存储提供本文中描述的模块中的一些或所有模块的功能性的编程和数据结构。例如，存储子系统524可以包括执行本文中描述的方法的所选择的方面的逻辑。
95.这些软件模块通常由处理器514单独或与其他处理器组合执行。存储子系统中使用的存储器525能够包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机
存取存储器(ram)530和其中存储固定指令的只读存储器(rom)532。文件存储子系统524能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、cd-rom驱动器、光驱或可移动介质盒。实施某些实施方式的功能的模块可以由文件存储子系统524存储在存储子系统524中，或存储在可由(多个)处理器514访问的其他机器中。
96.总线子系统512提供了用于使计算机系统510的各种组件和子系统按预期彼此通信的机制。虽然总线子系统512被示意性地示出为单个总线，但是总线子系统的替代实施方式可以使用多个总线。
97.计算机系统510能够是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其他数据处理系统或计算装置。由于计算机和网络的不断变化的性质，图5中描绘的计算机系统510的描述仅旨在作为用于图示一些实施方式的目的具体示例。计算机系统510的许多其他配置可能具有比图5中描绘的计算机系统更多或更少的组件。
98.在其中本文中描述的系统收集关于用户的个人信息或可能使用个人信息的情况下，用户可以被提供机会来控制程序或功能是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户偏好或用户当前地理位置的信息)，或者控制是否和/或如何从可能与用户更相关的内容服务器接收内容。同样，在存储或使用某些数据之前，该数据可以以一种或多种方式被处理，使得个人身份信息被移除。例如，用户的身份可以被处理，使得不能够确定用户的个人身份信息，或者可以在获得地理位置信息的地方概括用户的地理位置(例如，城市、邮政编码(zip code)或州级别)，使得不能够确定用户的特定地理位置。因此，用户可以控制如何收集和/或使用关于用户的信息。
99.在一些实施方式中，提供了一种方法，包括接收指向自动化界面的用户界面输入的(多个)实例，其中用户界面输入的(多个)实例定义响应于满足经由自动化界面定义的一个或多个动作条件而要被自动地执行的一个或多个计算机动作。该方法进一步包括标识与一个或多个计算机动作的多个过去出现相关联的对应数据。多个过去出现能够可选地是用户发起的并且被非自动地执行。该方法进一步包括基于对应数据生成针对多个基于机器学习的条件中的每一个的对应度量。对应度量各自指示基于对应数据多个基于机器学习的条件中的对应基于机器学习的条件将被视为满足的频率。该方法进一步包括使多个基于机器学习的条件中的给定基于机器学习的条件的标识符在自动化界面处被渲染。使给定基于机器学习的条件的标识符被渲染基于针对给定基于机器学习的条件的对应度量，和/或标识符的内容和/或显示特性基于针对给定基于机器学习的条件的对应度量。该方法进一步包括响应于接收确认将给定基于机器学习的条件分配给一个或多个计算机动作的另一用户界面输入：在一个或多个计算机可读介质中将给定基于机器学习的条件分配作为动作条件中的一个。
100.本文中公开的技术的这些和其他实施方式能够可选地包括以下特征中的一个或多个特征。
101.在一些实施方式中，标识符的内容基于对应度量，并且该内容包括对应度量的视觉显示。
102.在一些实施方式中，标识符的显示特性基于对应度量，并且显示特性包括在自动化界面中标识符的大小和/或标识符的位置。
103.在一些实施方式中，使给定基于机器学习的条件的标识符被渲染基于针对给定基于机器学习的条件的对应度量满足显示阈值。
104.在一些实施方式中，该方法进一步包括防止多个基于机器学习的条件中的另外的基于机器学习的条件的任何标识符在自动化界面处被渲染，其中该防止基于针对另外的基于机器学习的条件的对应度量。例如，该防止能够基于对应度量未能满足显示阈值和/或未能满足相对于针对其他基于机器学习的条件的度量的阈值(例如，仅具有最佳度量的n个基于机器学习的条件可以被渲染)。
105.在一些实施方式中，该方法进一步包括基于针对给定基于机器学习的条件的对应度量，在自动化界面中给定基于机器学习的条件的标识符被预选择为动作条件中的一个。在那些实施方式中的一些实施方式中，确认将给定基于机器学习的条件分配给一个或多个计算机动作的另一用户界面输入是在没有改变给定基于机器学习的条件的预选择的其他用户界面输入的情况下出现的另外的界面元件的选择。使给定基于机器学习的条件的标识符被预选择能够基于对应度量满足预选择阈值和/或满足相对于针对其他基于机器学习的条件的度量的阈值(例如，基于该度量是所有度量中最佳的)。
106.在一些实施方式中，基于对应数据生成针对给定基于机器学习的条件的对应度量包括：使用针对基于机器学习的条件的给定机器学习模型处理对应数据以生成多个对应值；以及基于该多个对应值生成度量。在那些实施方式中的一些实施方式中，多个对应值是概率，并且生成度量包括根据概率生成度量。
107.在一些实施方式中，该方法进一步包括接收定义一个或多个基于规则的条件的另外的用户界面输入，并且响应于另一用户界面输入而在一个或多个计算机可读介质中分配一个或多个基于规则的条件作为另外的动作条件，该动作条件的满足导致一个或多个计算机动作的自动执行。在那些实施方式中，确认将给定基于机器学习的条件分配给一个或多个计算机动作的另一用户界面输入还确认一个或多个基于规则的条件的分配。在那些实施方式的一些版本中，一个或多个基于规则的条件和给定基于机器学习的条件被分配为都需要被满足以导致一个或多个计算机动作的自动执行。在那些实施方式的一些其他版本中，给定基于机器学习的条件在单独被满足的情况下导致一个或多个计算机动作的自动执行。
108.在一些实施方式中，标识对应数据包括基于对应数据是针对提供用户界面输入的用户或者针对用户是其经验证的成员的组织来标识对应数据。
109.在一些实施方式中，一个或多个动作包括修改对应内容、将该对应内容传输给除了用户之外的一个或多个接收者和/或使对应内容的推送通知被呈现给用户。在那些实施方式的一些版本中，该对应内容是对应电子通信。例如，对应电子通信能够是电子邮件、聊天消息或语音邮件(例如，其转录)。在一些另外的或替代版本中，该方法进一步包括在分配给定基于机器学习的条件作为动作条件中的一个之后：接收对应内容的给定内容；确定满足给定基于机器学习的条件；以及基于确定满足给定基于机器学习的条件而自动地执行一个或多个动作。确定满足给定基于机器学习的条件能够包括使用针对给定基于机器学习的条件的给定机器学习模型来处理给定内容的特征以生成值，并且基于该值确定满足给定基于机器学习的条件。
110.在一些实施方式中，标识与一个或多个计算机动作的多个过去出现相关联的对应数据以及基于对应数据生成对应度量均出现在接收用户界面输入的一个或多个实例之前。
111.在一些实施方式中，提供了一种方法，包括：针对给定基于机器学习的条件，标识针对指示基于机器学习的条件的动作的一个或多个标准；基于与满足一个或多个标准的一个或多个对应计算机动作相关联的数据的实例中的每一个确定用户或组织的数据的对应实例；以及使用特定于用户或组织的数据的对应实例和正标签作为训练针对基于机器学习的条件的定制的机器学习模型中的正训练实例。该方法进一步包括在训练定制的机器学习模型之后，(1)接收指向自动化界面的用户界面输入的一个或多个实例，其中用户界面输入的一个或多个实例定义响应于满足一个或多个动作条件而将被自动地执行的一个或多个计算机动作，并且一个或多个动作条件包括基于机器学习的条件；以及(2)基于来自用户或组织的另外的用户的用户界面输入的一个或多个实例，并且基于被包括在所定义的一个或多个动作条件中的基于机器学习的条件：使用定制的机器学习模型来确定一个或多个动作条件是否被满足以确定是否自动地执行一个或多个计算机动作。
112.本文中公开的技术的这些和其他实施方式能够可选地包括以下特征中的一个或多个特征。
113.在一些实施方式中，该方法进一步包括在接收用户界面输入的一个或多个实例之前：针对给定基于机器学习的条件，标识针对不指示基于机器学习的条件的动作的一个或多个负标准；基于与满足一个或多个负标准的一个或多个对应计算机动作相关联的数据的实例中的每一个确定用户或组织的对应负数据的实例；以及使用对应负数据的实例和负标签作为训练定制的机器学习模型中的负训练实例。
114.在一些实施方式中，一个或多个标准包括在阈值持续时间内响应电子通信。
115.在一些实施方式中，提供了一种方法，其包括接收指向自动化界面的用户界面输入的一个或多个实例。用户界面输入的一个或多个实例定义响应于经由自动化界面被定义的一个或多个动作条件的满足而被自动地执行的一个或多个计算机动作。该方法进一步包括使多个基于机器学习的条件中的给定基于机器学习的条件的标识符在自动化界面处被渲染。使给定基于机器学习的条件的标识符被渲染基于一个或多个计算机动作，和/或标识符的内容和/或显示特性基于一个或多个计算机动作。该方法进一步包括响应于接收确认将给定基于机器学习的条件分配给一个或多个计算机动作的另一用户界面输入：在一个或多个计算机可读介质中将给定基于机器学习的条件分配作为动作条件中的一个。
116.本文中公开的技术的这些和其他实施方式能够可选地包括以下特征中的一个或多个特征。
117.在一些实施方式中，该方法进一步包括标识与一个或多个计算机动作的多个过去出现相关联的对应数据；以及基于对应数据生成针对基于机器学习的条件中的每一个的对应度量。在那些实施方式中，使给定基于机器学习的条件的标识符基于一个或多个计算机动作被渲染基于针对给定基于机器学习的条件的对应度量和/或标识符的内容和/或显示特性基于一个或多个计算机动作，其基于内容和/或显示特性基于针对给定基于机器学习的条件的对应度量。在那些实施方式中的一些实施方式中，过去出现是用户发起的并且被非自动执行的和/或对应度量各自指示基于对应数据多个基于机器学习的条件中的对应基于机器学习的条件将被视为满足的频率。
118.在一些实施方式中，在接收定义一个或多个计算机动作的用户界面输入的一个或多个实例之前，给定基于机器学习的条件的标识符最初以初始内容和/或显示特性在自动
化界面处被渲染。在那些实施方式中的一些实施方式中，使标识符被渲染包括使标识符以内容和/或显示特性被渲染，并且内容和/或显示特性不同于初始内容和/或显示特性。