用于在计算机屏幕上显示的实时变形界面的制作方法

用于在计算机屏幕上显示的实时变形界面
1.相关申请的交叉引用
2.本技术要求于2019年9月4日提交的美国临时申请第62/895,944号以及于2020年6月12日提交的美国临时申请第63/038,604号的权益，所有上述申请都通过引用整体并入本文。


背景技术：

3.诸如智能扬声器和人工智能程序之类的计算机助手越来越流行，并且在各种面向用户的系统中使用。计算机化系统通常可以实现为使得整个过程自动化，而无需系统的人类用户对该过程有任何了解。例如，计算机可以完成一组任务，而无需为用户在屏幕上显示内容。然而，许多用户更喜欢接收关于计算机化过程的反馈，并且如果需要用户在特定步骤提供反馈，则用户了解一组任务的状态可能是有用的或有必要的。
4.另外，用户希望辅助系统尽可能快地响应。然而，如果系统在从用户接收到一整套指令之前对用户作出响应，则系统可能会执行对用户不适用的任务，或者可能没有接收到足够的信息来将内容显示到屏幕上以供用户查看。因此，包括例如实时显示自动化任务的进度并且具有响应于附加输入来调整显示的能力的系统将是有益的。
附图说明
5.图1是根据示例实施方式的用于变形界面系统的系统架构的高级框图。
6.图2是根据示例实施方式的变形界面系统130的部件之间的交互的高级图。
7.图3是示出根据示例实施方式的示例nlp信号的框图。
8.图4a是示出根据示例实施方式的根据用户输入生成界面的过程的流程图。
9.图4b是示出根据示例实施方式的在接收到附加用户输入时使界面变形的过程的流程图。
10.图5a示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第一布局。
11.图5b示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第二布局。
12.图5c示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第三布局。
13.图5d示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第四布局。
14.图5e示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第五布局。
15.图5f示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第六布局。
16.图5g示出了根据示例实施方式的对航班预订意图的执行的电子邮件确认。
17.图6a示出了根据示例实施方式的与披萨订购意图相关联的用户输入的第一部分的接收。
18.图6b示出了根据示例实施方式的针对与订购披萨相关联的界面显示的布局。
19.图6c示出了根据示例实施方式的针对与购买披萨t恤相关联的界面显示的布局。
20.图6d示出了根据示例实施方式的可以与t恤购买意图相关联的附加示例界面。
21.图7是示出根据示例实施方式的能够从机器可读介质读取指令并且在一个或更多个处理器中执行指令的示例机器的部件的框图。
22.附图标记后的字母(例如“105a”)指示该文本专门指代具有该特定附图标记的元件，而在文本中后面不带字母的附图标记(例如“105”)指代附图中带有该附图标记的任何或所有元件。
23.仅出于说明的目的，附图描绘了各种实施方式。本领域技术人员根据以下讨论将容易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替选实施方式。
具体实施方式
24.附图和以下描述仅通过说明的方式涉及优选的实施方式。应当注意，根据以下讨论，在不脱离所要求保护的原理的情况下，本文中公开的结构和方法的替选实施方式将被容易地认为是可以采用的可行替选方案。
25.现在将详细参考若干实施方式，这些实施方式的示例在附图中示出。注意，只要可行，相似或类似的附图标记可以在附图中使用并且可以指示相似或类似的功能。附图仅出于说明的目的而描绘了所公开的系统(或方法)的实施方式。本领域技术人员将从以下描述中容易地认识到，在不背离本文描述的原理的情况下，可以采用本文所示的结构和方法的替选实施方式。
26.配置概述
27.公开了被配置成生成并且启用在计算机屏幕上显示的用户界面的系统(和方法以及存储在非暂态计算机可读介质上的计算机程序代码)。在一个示例实施方式中，该系统可以包括用于执行计算机程序指令的一个或更多个计算机处理器以及包括所存储的可以由至少一个处理器执行的指令的非暂态计算机可读存储介质。在示例实施方式中，指令可以包括在执行时使处理器执行如下操作的指令：从第一用户设备接收包括输入串的第一输入并且基于第一用户输入来生成一组自然语言处理信号。指令还可以包括用于如下操作的指令：选择与第一用户输入匹配的用户意图，该选择基于自然语言处理信号；识别与该意图相关联的界面；以及从用户输入中提取与界面的实体相关联的一组值。实体可以是界面的变量，该变量可以被赋值。在一个示例实施方式中，指令还可以包括用于如下操作的指令：启用用户设备上的作为界面的显示，用于显示的界面包括来自该组值的值，该显示大约在接收到第一用户输入的瞬间发生。在一个示例实施方式中，可以由系统的至少一个处理器执行的指令还可以包括当由处理器执行时使处理器执行如下操作的指令：从用户设备接收包括文本串的第二用户输入，并且基于第一用户输入和第二用户输入的组合来生成更新的一组自然语言处理信号。指令还可以包括：基于更新的一组自然语言处理信号，选择与第一用户输入和第二用户输入的组合匹配的意图的指令；识别与新选择的意图相关联的第二界面
的指令；从第一用户输入和第二用户输入的组合中提取与第二界面的实体相关联的第二组值的指令；以及启用用于在用户设备上显示的第二界面的指令，该第二界面包括来自第二组值的值。
28.在各种示例实施方式中，第一用户输入和/或第二用户输入可以是语音输入。此外，第一界面和第二界面可以包括相关联的实体集，并且在各种示例实施方式中可以是相同或不同的界面。输入串可以是文本串、音频输入和/或另一种形式的用户输入。
29.示例系统配置
30.图1是根据示例实施方式的用于变形界面系统的系统架构的高级框图。图1包括变形界面系统130、网络120和客户端设备110。为清楚起见，图1中仅示出了一个客户端设备和一个变形界面系统130。系统环境的替选实施方式可以具有任意数目的客户端设备110以及多个变形界面系统130。在不同的实施方式中，由图1的各种实体执行的功能可以变化。客户端设备110和变形界面系统130可以包括计算设备的一些或所有部件(例如图7描绘的部件)和合适的操作系统。
31.在示例实施方式中，变形界面系统130响应于用户输入(例如，键入或说出的文本串)，生成(或呈现或者为了呈现而启用)用于向用户显示的用户界面。在一些实施方式中，系统还可以接收视觉输入，例如，来自客户端设备110的摄像装置或摄像装置胶卷的视觉输入，以实现在线市场上的搜索过程。变形界面系统130确定用户意图。用户意图对应于基于接收到的用户输入对用户可能想要什么的机器(例如，计算机或计算系统)预测。因此，用户意图可以是对应于接收到的用户输入和/或由接收到的用户输入描述的计算机可执行功能或请求。可执行功能可以通过以下操作来实例化：针对可以被执行并且对应于可能是预测意图的功能，生成和/或填充(例如，在呈现时)一个或更多个用户界面。
32.随着变形界面系统130接收到附加的用户输入(例如，添加到键入或说出的文本串的更多词汇)，变形界面系统130重新评估所确定的用户意图是否仍然是与用户输入最相关联的匹配。如果另一个用户意图更适合经更新的用户输入，则变形界面系统130生成并填充适用于新意图的新用户界面。即，随着变形界面系统130接收到关于什么用户意图最好地适用于输入(即哪个功能或请求最好地处理用户输入)的更多输入信息，用户界面从一个界面“变形”到另一个界面。在变形界面系统130确定多个等同可能性的意图的情况下，变形界面系统130可以向用户提示界面预览(例如，通过在客户端设备110处提供用于呈现界面预览的信息)，使得用户可以在等同可能性的意图之间进行选择，或者变形界面系统130可以基于已存储用户偏好(例如，基于过去用户与系统的交互所学习的用户偏好)来自动选择意图。
33.用户可以经由客户端设备110输入用户输入，例如键入的文本或说出的语音输入。客户端设备110可以是例如智能电话、平板、笔记本计算机、膝上型计算机、台式计算机和智能手表的任何个人或移动计算设备以及例如电视、视频游戏机、电视盒和接收器的任何家庭娱乐设备。客户端设备110可以例如以用户界面的形式将从变形界面系统130接收到的信息呈现给用户。在一些实施方式中，变形界面系统130可以从与客户端设备110相同的机器存储和执行。
34.客户端设备110可以经由网络120与变形界面系统130通信。网络120可以包括采用有线或无线通信链路的局域网和广域网的任何组合。在一些实施方式中，可以对网络120的
全部或部分通信进行加密。
35.变形界面系统130包括各种模块和数据存储以确定意图和/或生成界面。变形界面系统130包括自然语言处理(nlp)流水线135、意图识别模块140、实体识别模块145、意图模型存储150、界面存储155和实体识别模型存储160。未示出例如web服务器、网络接口、安全功能、负荷平衡器、故障转移服务器、管理和网络操作控制台等计算机部件，以免混淆系统架构的细节。此外，变形界面系统130可以包含比图1所示的更多、更少或不同的部件，并且本文中描述的部件的功能可以与本文中的描述不同地分布。注意，流水线和模块可以被实施为程序代码(例如，软件或固件)、硬件(例如，专用集成电路(asic)、现场可编程门阵列(fpga)、控制器、处理器)或其组合。
36.nlp流水线135接收例如文本或音频形式的用户输入，并且生成变形界面系统130可以用于意图识别以及用于提取实体的nlp信号。在一些实施方式中，nlp流水线135执行标记化、词性标注、词干提取、词形还原、停用词识别、依赖解析、实体提取、分块、语义角色标记和共指消解。在一个实施方式中，nlp流水线的输入是例如完整或部分完整的句子或短语的形式的一个或更多个词汇的集合。在一个实施方式中，nlp流水线135产生输入词汇集的注释版本。在另一个实施方式中，nlp流水线135构建或查找数字表示或特征嵌入，以供诸如意图识别模块140或实体识别模块145之类的下游模块立即使用，下游模块可以使用神经网络。例如，nlp流水线135的输入可以是部分句子，并且输出可以是带有关于部分句子的伴随元数据的部分句子。
37.意图识别模块140基于从用户(经由客户端设备110)接收的输入来识别用户的意图可能是什么。特别地，意图识别模块140预测变形界面系统130可以执行的可用意图(即，功能)。可用意图对应于构成用户输入的一组词汇。用户输入可以与一个或更多个预定义意图匹配。为了便于讨论，系统是在词汇的上下文中描述的。然而，要注意的是，本文中描述的原理也可以应用于任何一组信号，这些信号可以包括声音动作(例如，语音命令或音频音调)、视频流(例如，在环境计算场景中)以及其他潜在形式的信息输入。在不同的实施方式中，意图识别模块140可以使用各种机器学习模型来确定可以与用户输入相关联的意图。为了便于描述，系统将在有监督机器学习的背景下进行描述。然而，要注意的是，本文所述的原理也以可适用于半监督和无监督系统。
38.在一个示例实施方式中，意图识别模块140可以使用文本分类来预测与用户输入最可能对应的意图。在该示例实施方式中，可以使用输入串的标记示例来训练文本分类模型。例如，变形界面系统130可以存储标记的示例输入串。该标记使每个示例输入串与可用意图之一相关联。训练数据可以包括词汇、部分句子、部分短语、完整句子和完整短语形式的示例输入串。分类模型也可以被训练，以使用由nlp流水线135产生的各种自然语言处理信号，并且训练数据可以另外包括自然语言处理信号。分类模型还可以利用来自实体识别模块145的信号，例如使用由实体识别模块145识别的“航空公司”实体来确定意图或功能是“预订航班”。因此，训练分类模型，以例如使用语义相似度预测一组可用意图中的哪一个最有可能对应于给定的用户输入串，即从每个动作的示例查询集中确定最接近的匹配查询。
39.在另一个示例实施方式中，意图识别模块140可以使用计算用户输入与跨可用意图集的示例输入集之间的语义相似度得分的模型。即，意图识别模块140不是仅基于已标记训练数据来训练模型以直接预测适用的意图，而是还可以在确定与给定的用户输入最匹配
的意图时将用户输入与一些或所有先前接收到的用户输入串进行比较。例如，变形界面系统130可以存储过去匹配的意图和输入串的记录，并且如果意图识别模块140确定当前用户输入串与已存储的先前用户输入串相同，或者具有与已存储的先前用户输入串相同的句子结构或者具有与已存储的先前用户输入串相关的nlp信号，则对于当前用户输入串，意图识别模块140可以预测相同意图。除了与正确匹配的过去用户输入串进行比较之外，还可以将用户输入与通过基于语义规则的方法和生成式深度学习算法二者创建的计算机生成串进行比较。
40.在另一个示例实施方式中，意图识别模块140可以利用基于更简单的规则的方法来推断用户输入串的最可能意图。这可以包括正则表达式匹配，即识别输入串中某些预定义的句法和语法模式以确定用户的意图。这还可以包括：利用来自nlp流水线130的信号(例如依赖解析、组成解析、分块和/或语义角色标记)，以找到查询的动词、主语、谓词等，并且将它们与来自已存储知识库的数据进行匹配。例如，如果用户的输入是“给我买香蕉”，则意图识别模块140可以确定词汇“香蕉”是查询的直接对象，并且从知识库中获取与其词条“香蕉”的匹配以了解“香蕉”是一种食物或成分——这例如可以指示与购买食品杂货的意图匹配。
41.在一些示例实施方式中，变形界面系统130包括意图模型存储150。意图模型存储150可以存储用于计算机模型的程序代码，该计算机模型由意图识别模块140训练和应用以预测最可能与给定的用户输入串相关的意图。在一些实施方式中，已标记训练数据以及先前匹配的意图和用户输入的记录可以被存储在意图模型存储150中。意图模型存储150还可以存储可用意图的列表，所述可用意图是变形界面系统的任务130可以响应于用户输入而为用户执行的任务。意图模型存储150还可以存储不可用意图的列表，所述不可用意图是以下任务：变形界面系统130当前无法执行但已被识别为独立于可用意图的任务。此外，意图模型存储150可以存储由用户构建的定制意图，其仅对这些用户可用。例如，用户输入串“打开设备”可能不在全局可用意图的列表中，但用户可能已经创建了这个意图以供他们自己使用，并且意图逻辑将被存储在意图模型存储150中。
42.在一个实施方式中，界面存储155存储用于可以由变形界面系统130执行的每个可用意图的用户界面的程序代码。由界面存储155存储的界面可以包括用于在客户端设备110上显示界面的布局、用于执行意图的指令、以及与填充布局和执行意图相关联的实体的列表。在各种实施方式中，用户界面可以是已经针对每个潜在意图定制的界面。在其他实施方式中，界面存储155可以包含用于由用户设计的定制意图的定制界面，并且仅供这些用户使用。
43.实体识别模块145预测与给定用户输入相关联的一组实体值。实体值可以用于执行与用户输入匹配的意图。在各种实施方式中，实体识别模块145接受用户输入串、来自nlp流水线135的相关联的nlp信号、以及来自意图匹配模块140的已匹配意图作为输入。实体识别模块145还可以访问界面存储155以使用与作为输入的已匹配意图相关联的界面，从而获得变形界面系统130执行该意图所需的实体值的列表。实体识别模块145可以应用经训练的计算机模型来从用户输入串中提取一组值并且使提取的值与匹配意图的实体相关联。在一个实施方式中，实体识别模块145首先从输入串中提取高级实体值，然后提取详细的实体值。例如，实体识别模块145可以应用确定用户输入串包括标题的模型，并且可以应用不同
的模型来预测标题是电影标题、书名等。在一个实施方式中，由实体识别模块145应用的一个或更多个计算机模型是分类器或序列标记器，其在包括具有已标记实体值的示例用户输入串的示例训练数据上训练。这些分类器或序列标记器可以使用多个目标(语言建模、自动编码等)对来自互联网的大量非结构化、未标记的文本信息进行进一步训练，以结合真实世界的知识以及对句法、语法和语义的理解。
44.在其他示例实施方式中，实体识别模块145可以应用基于规则的方法从用户输入串中提取一组值，例如针对正则表达式模式进行匹配。这又可以帮助实体识别模块145对提取由用户设计的新的定制意图的值的快速定制。
45.由实体识别模块145应用的模型和训练数据可以被存储在实体识别模型存储160中。实体识别模型存储160还可以包括用于训练由实体识别模块145使用的计算机模型的已标记训练数据。
46.在一些实施方式中，实体识别模块145和意图识别模块140可以是相同的系统。即，实体识别模块145和意图识别模块140可以被配置成联合意图和实体识别系统，使得两个系统可以协作地作出更准确的决策。
47.变形界面系统示例
48.图2是根据示例实施方式的变形界面系统130的部件之间的交互的高级图。变形界面系统130接收用户查询210。用户查询可以是例如键入文本或语音音频形式的由用户表达的完整的句子或概念，或者部分句子或短语。在接收作为音频文件或音频流的输入的实施方式中，可以使用自动语音识别或其他类型的语音模型来产生表示输入的输入串，例如，表示为文本。当用户仍在提供输入时，变形界面系统130可以通过显示界面来开始响应于用户。因此，在一些情况下，由变形界面系统130接收的用户查询210可能只是用户输入的第一部分，例如，一个词汇或一组词汇。
49.用户查询210作为输入被提供给nlp流水线135，nlp流水线135分析用户查询210并且输出对应的nlp信号220。nlp信号220和用户查询210被提供给意图识别模块140。意图识别模块140输出预测的用户意图230。即，意图识别模块140预测用户正在请求或打算执行什么意图。预测的意图230或功能、nlp信号220、以及用户查询210被提供给实体识别模块145，实体识别模块145生成与预测的意图相关联的提取实体值240。变形界面系统130可以使用关于预测的用户意图的预测意图信息250、已提取实体240和附加生成的元数据来启用对与对应于用户意图的系统预测相关的用户界面的显示(在计算设备例如客户端设备的屏幕上)，并且用已提取实体值填充用户界面的字段。因此，要生成和启用(或提供)以在客户端设备上显示的界面可以有利地开始基本上实时地改变。
50.在一些实施方式中，变形界面系统130的部件可以被配置成以不同于图2的示例中所示的方式进行交互。在一个实施方式中，变形界面系统可以被配置成包括意图识别模块140与实体识别模块145之间的反馈回路。例如，意图识别模块140可以向实体识别模块145提供关于预测的意图的信息，实体识别模块145可以使用关于预测的意图的信息作为输入来识别用户查询210中的实体和潜在的实体类型，并且关于识别的实体的信息可以被提供回意图识别模块140以用于重新生成应与用户的查询210相关联的意图的预测。在一些实施方式中，实体识别模块145可以分析nlp信号或用户输入并且预测与用户输入相关联的实体，然后，除了输入和nlp信号之外，还将预测的实体和实体类型提供给意图识别模块140。
在这种情况下，意图识别模块140然后可以使用预测的实体信息来预测与用户输入相关联的意图类型。意图识别模块140与实体识别模块145之间的反馈回路也可以存在于本实施方式中(即，意图识别模块140可以将预测的意图信息发送回实体识别模块145以改进关于实体的现有预测或添加到关于实体的现有预测)。在实体识别模块145在意图识别模块140之前接收输入数据的一些实施方式中，意图识别模块140可以将由实体识别模块145提供的提取的实体过滤成与预测的意图对应的实体。
51.在其他示例实施方式中，一个模块可以被配置成执行意图识别模块140和实体识别模块145二者的功能。例如，可以训练模型以执行意图识别和实体识别二者。在另一个示例实施方式中，变形界面系统130可以包括与每个意图类型(即，每个域)的实体识别相关联的子模型。即，变形界面系统130可以存储不同的实体识别模型，以用于确定与每个潜在意图类型相关联的实体值，并且可以使用迁移学习，以基于过去的实体识别模型的集合来自动创建新的潜在意图类型的模型。例如，如果意图识别模块140预测订购披萨的意图，则实体识别模块145然后可以访问和使用被训练以识别与订购食物的意图相关联的实体的实体识别模型。在另一个示例实施方式中，意图识别模块140可以被配置成分层模型的形式，其中，第一模型推断更高级别的域(例如，“食物”)，该域的子模型然后推断用户在该预测域内的特定意图(例如，用户是否愿意预订餐桌、订购外卖、搜索食谱等)。
52.在另一个示例实施方式中，变形界面系统可以不包括nlp流水线135。在这样的实施方式中，意图识别模块140和实体识别模块145被训练成直接基于用户查询210来预测意图和确定实体。
53.图3是示出根据示例实施方式的示例nlp信号的详细框图。nlp流水线135可以包括标记化、词性(pos)标注、文本分块、语义角色标记(srl)和共指消解功能，用于从用户输入串生成各种nlp信号。一些其他示例nlp信号包括词形还原、词干提取、依赖解析、实体提取和停用词识别。在各种实施方式中，nlp信号的不同组合可以用在nlp流水线135中，并且可以以各种顺序确定信号。例如，在另一个示例实施方式中，nlp流水线135可以按照标记化、词干提取、词形还原、停用词识别、依赖解析、实体提取、分块、srl、然后是共指消解的顺序来确定nlp信号。
54.图4a是示出根据示例实施方式的从用户输入生成界面的示例过程的流程图。变形界面系统130接收405用户输入的第一部分。用户输入的第一部分可以是例如句子开头的一个或更多个词汇，并且可以由变形界面系统130以包括文本或语音输入在内的多种输入形式接收。变形界面系统130基于接收到的用户输入的第一部分来生成410自然语言处理信号。nlp流水线135可以使用各种包括标记化、词性(pos)标注、依赖解析、实体提取、词干提取、词形还原、停用词识别、文本分块、语义角色标记和共指消解的分析技术来生成自然语言处理信号。
55.变形界面系统130选择420与用户输入的第一部分匹配的意图。在一些实施方式中，意图识别模块140应用经训练的计算机模型来预测哪个意图最适用于对用户输入的第一部分作出响应。即，意图识别模块140选择接收到的用户输入所暗示的意图。
56.变形界面系统130从用户输入的第一部分提取425与预测的意图相关联的实体值。在一个实施方式中，实体识别模块145应用经训练的计算机模型，从接收到的用户输入中提取相关值。在一些实施方式中，变形界面系统130被配置成包括反馈回路，使得关于所提取
实体的信息作为附加输入被发送到意图识别模块140。在一些实施方式中，这还可以包括自动再训练和自我改进循环。变形界面系统130获得430与所选择的意图相关联的界面。在一些实施方式中，在提取与意图相关联的实体的过程中使用所选择的界面。例如，与意图相关联的界面可以包括与该特定意图相关的值的输入字段，并且实体识别模块145可以使用关于输入字段的信息来识别来自用户输入的值。提取的与所选意图相关联的实体值用于填充435界面。在一些实施方式中，例如如果到目前为止接收的用户输入的部分仅包括完成界面布局中包括的输入字段所需的信息中的一些信息，则可以仅部分地填充界面。例如，在用户在提供包括“给我预订航班”的输入之后暂停的情况下，变形界面系统130可以突出显示日历并且向用户提示诸如“你想什么时候搭乘飞机？”的查询，以接收更多用户输入以进一步填充用户界面。变形界面系统130例如经由客户端设备110向用户显示440所填充的界面。
57.在一些实施方式中，当多个意图具有相似或等同的适用于用户输入的第一部分的预测可能性时，变形界面系统130可以选择420多于一个的适用意图。例如，用户输入的第一部分可以是“给我点咖啡”，并且变形界面系统130可以确定购买一袋咖啡豆的意图与从咖啡馆点一杯咖啡的意图是等同的可能适用的响应。即，变形界面系统130可以确定用户的意图是饮料配送和食品杂货订购的可能性相同。在这种情况下，变形界面系统130可以提取425与具有等同可能性的两个或更多个意图相关联的实体值，并且可以获得430与多个可能的意图相关联的预览界面，用提取的与意图相关联的实体值填充435预览界面，并且提供用于在客户端设备110处向用户显示440的填充的预览界面。在这样的实施方式中，变形界面系统可以等待来自用户的输入，在继续分析另外的用户输入之前在多个可能的意图之一之间进行选择。在一些实施方式中，该变形界面系统130可以存储关于用户对所提供的用户输入的预览界面的选择的信息，以便将来，该系统可以基于该用户输入的模式增加用户选择特定意图的可能性。因此，随着用户偏好和输入模式被存储，在与变形界面系统130交互的一些历史之后，可以向用户呈现较少的意图预览。
58.图4b是示出根据示例实施方式的在接收到附加用户输入时使界面变形的过程的流程图。一旦接收到用于分析的用户输入的一部分，变形界面系统130就可以启用(或提供)用于在客户端设备110处显示的界面。启用(或提供)用于在客户端设备110处显示的界面可以包括：为客户端设备110的操作系统提供代码、命令和/或数据，以显示与由变形界面系统130定义的变形结构和/或意图对应的用户界面。当接收到附加的用户输入时，变形界面系统130重复地重新评估所选择的意图是否仍然是正在增长的用户输入串的最佳匹配。如果变形界面系统确定130相同的意图仍然适用，则可以从增强的用户输入中提取附加的实体值。然而，如果变形界面系统确定130：给定附加的用户输入，不同的意图更适用，则系统将启用(或提供)针对不同的更适用的意图用户界面的变化(例如，“变形”)的显示。在(例如，客户端设备110的)屏幕上，视觉上的变化可以是例如逐渐视觉转变到用户界面的完全刷新。此外，变形界面系统可以启用用户界面以在随着时间的推移添加用户输入时改变任意次数。
59.特别地，在用户输入的第一部分被接收并被分析之后(如图4a中描述的)，随着接收到用户输入的附加部分，变形界面系统130继续分析用户输入的增长串(如图4b所示)。变形界面系统130接收445用户输入的附加部分。例如，用户输入的第一部分可能是句子的第一个词汇，并且图4b的过程可以响应于接收到用户输入句子中的第二个词汇而开始。
60.变形界面系统130基于先前接收的用户输入的部分与用户输入的附加部分的组合生成450自然语言处理信号。例如，由意图匹配模块140选择455与用户输入的组合匹配的意图。
61.变形界面系统130确定460匹配的意图是否与最近匹配的意图相同或者匹配的意图是否是新意图。新意图可以是与和当前在客户端设备110处显示的界面相关联的意图不同的意图。
62.如果意图是相同的意图，则变形界面系统130从先前的用户输入与当前(即，最近的)用户输入的组合中提取465与该意图相关联的附加实体值。用与意图相关联的附加实体值填充470界面。
63.如果该意图与和用户输入的先前集合匹配的先前意图不是相同的意图，则变形界面系统130从用户输入的组合中提取475与新意图相关联的实体值。例如，从界面存储155获得480与新意图相关联的界面。使用提取的与新意图相关联的实体值填充485所获得的界面。
64.无论是与之前相同的界面还是新获得的界面，变形界面系统130启用(或提供)例如经由客户端设备110向用户显示490所填充的界面。每当由变形界面系统130接收445用户输入的附加部分时，可以重复图4b所示的过程。
65.下面的图5a至图5g示出了根据实施方式的在接收到附加用户输入时执行意图的界面的示例。在一个实施方式中，界面是呈现用于在计算设备(例如，诸如智能电话、平板、膝上型计算机或台式计算机的客户端设备110)的屏幕上显示的用户界面。图5a至图5g示出了其中例如经由客户端设备110接收的用户输入已经与预订航班的一般意图(即，功能或用户请求)匹配的示例。响应于附加用户输入的接收，确定所显示的界面随着与所选界面相关联的附加实体值而变形和变化的布局。然而，在图5a至图5g的示例中，变形界面系统130没有确定新的意图更好地匹配用户输入，并且显示的布局相应地保持与航班预订界面相关联。
66.图5a示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第一布局。变形界面系统130基于已接收的用户输入530a，选择与航班预订相关联的界面500。在图5a至图5e的图中，与所选界面500相关联的显示布局被示出在图的左侧，并且两种可能类型的用户输入530的表示被示出在图的右侧。在各种实施方式中，用户设备上的实际显示可以表现为界面500的布局、界面500与用户输入布局之间的交替、示出界面500的一部分和用户输入530条目的一部分的分屏的显示布局、或者其他显示方案。在一个示例实施方式中，例如，当响应于新的用户输入530而更新界面500时，如附图左侧所示的显示开始变形，以示出下一个布局或界面。例如，图5a左侧的用户界面500变形为图5b左侧的用户界面500的布局。这种界面变形可以发生在每个相继的用户界面之间，例如作为相继的图5a至图5g和图6a至图6d中描述的界面500之间的转变。图5a中所示的用户输入530的示例类型包括语音输入510和打字输入520。
67.在图5a的示例中，变形界面系统130接收包括文本串“给我预订航班”的初始用户输入530a。变形界面系统130确定用户输入530a最有可能与预订航班的意图相关联，并且航班预订界面500相应地近似瞬时地被显示。界面500可以包括小部件540。小部件可以是界面布局的一部分，小部件显示或收集与和界面相关联的实体相关的信息。在一些情况下，小部
件540可以是输入字段(例如，文本字段、复选框或其他数据输入格式)。界面500可以显示小部件540，小部件540可以填充有由实体识别模块145确定的实体值。在各种实施方式中，界面500甚至可以在实体识别模块145已确定用于填充输入字段的值之前显示与界面500相关联的实体的一些或全部小部件540。例如，图5a包括小部件540a，小部件540a包括用于输入航班预订的目的地值的空间。图540b类似地包括出发和返回日期小部件540b和小部件540c，小部件540b包括用于输入航班预订日期值的空间，小部件540c指示乘客数目，实体识别模块145已经针对这些小部件预测了“1名乘客，经济舱”的值”将是最可能的输入值，并且这些值相应地表现为填充在小部件540c中。
68.图5b示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第二布局。在图5b中，用户输入530b包括附加信息。特别地，用户已经添加了更多输入，使得用户输入530b现在包括“给我预订从旧金山出发的航班”。变形界面系统130确定所选意图仍应是航班预订，并且识别附加实体值信息以进一步填充界面500中的小部件540。相应地，用户界面500从图5a的布局变形为图5b所示的布局。例如，图5b所示的界面500包括在小部件540a中针对航班始发地信息输入的始发地“旧金山”。在一些实施方式中，将界面从一种布局变形到另一种布局可以包括动画的显示，例如布局的区段的移动扩展，该布局的区段可以例如在从用户输入中提取到新实体信息时使用来自用户输入的新接收的信息进一步填充。
69.图5c示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第三布局。在图5c中，用户输入530c还包括更多附加信息。特别地，用户已经添加输入，使得用户输入530c包括“给我预订从旧金山到洛杉矶的航班”。变形界面系统130确定所选意图仍应是航班预订。变形界面系统130识别用于进一步填充界面500中的小部件540的附加实体值信息，包括例如小部件540a的目的地字段中的目的地“洛杉矶”。因此，用户界面500从图5b所示的布局变形为图5c所示的布局。
70.图5d示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第四布局。在图5d中，用户输入530d包括附加信息。特别地，用户添加了更多输入，使得用户输入530d现在包括“给我预订4月22日从旧金山到洛杉矶的航班”。变形界面系统130确定所选择的意图仍应是航班预订，并且提取附加实体值信息以进一步填充界面500。相应地，用户界面500从图5c所示的布局变形为图5d所示的布局。例如，图5d示出了扩展小部件540d，该扩展小部件540d示出了关于用户请求的航班的出发日期信息，并且选择了4月22日。
71.图5e示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第五布局。当变形界面系统130确定与所选意图相关联的实体值已全部被提取并应用于该意图时，该意图可以执行，以向用户生成响应。然后，界面500的布局可以包括响应的显示。例如，当实体识别模块145识别了与预订航班所需的所有实体相关联的值时，意图执行，并且呈现界面500的布局，界面500识别满足用户输入530中指定的标准的可能航班。例如，用户界面500从图5d所示的布局变形为图5e所示的布局。然后，用户可以从呈现的选项(例如，从与指定标准下的可能航班匹配的小部件540e、540f、540g、540h和540i)中选择航班。
72.图5f示出了根据示例实施方式的针对与航班预订意图相关联的界面显示的第六布局。在图5f的示例中，界面500显示所选择的航班信息，以便用户可以在提交订单以购买航班之前确认数据。在一些实施方式中，变形界面系统130可以使用各种个性化技术来确定
与用户相关的实体的值。在一个实施方式中，变形界面系统130可以存储用户简档信息以用于执行意图。例如，变形界面系统130可以存储用户名、信用卡号、家庭和工作地点等。例如，在图5f中，在小部件540j和540k处的预订用户和信用卡信息由变形界面系统130填写，而该信息未被包括在用户输入530中。在一些实施方式中，用户变形界面系统130可以例如使用声纹验证用户的身份，以确定是否自动包含用户信息，或者是否需要附加的用户输入。在一些实施方式中，变形界面系统130可以使用可以预测用户更可能使用的布局部分和实体值的训练模型来添加或移除界面布局的部分，并且预填充实体作为布局中的输入，例如，用户的特定信用卡输入可以使用几周后发生变化，以反映用户最新的常规操作。
73.图5g示出了显示在屏幕上的用户界面的一部分。根据示例实施方式，这里的用户界面部分是对执行航班预订意图的电子邮件确认。图5g的示例描绘了用户接收到的确认用户购买了航班的电子邮件550。对于某些意图，此类电子邮件确认可以不被包括在意图执行的一部分中。
74.以下图6a至图6d示出了根据实施方式的在接收到附加用户输入时执行意图的界面的示例。图6a至图6d示出了用户输入530e已经与订购披萨的意图匹配的示例。所显示的界面的布局随着响应于附加用户输入的接收确定与所选界面相关联的附加实体值而变形和变化。在图6a至图6d的示例中，变形界面系统130在接收和分析附加用户输入时确定新意图比最初选择的意图更好地匹配用户输入，并且相应地，所显示的界面布局从披萨订购界面变形为衬衫订购界面。
75.图6a示出了根据示例实施方式的与披萨订购意图相关联的用户输入的第一部分的接收。变形界面系统130基于已接收的用户输入530e选择与披萨订购相关联的界面500。在图6a的特定示例中，变形界面系统130接收初始用户输入530e，该初始用户输入530e包括文本串(在520上)“我想订购披萨”或者与“我想订购披萨”对应的语音输入(在510上)。变形界面系统130确定用户输入530e最有可能与订购披萨的意图相关联，并且界面500开始转换(例如变形)以相应地显示披萨订购布局(如界面500上的图形示例501所示)。
76.图6b示出了根据示例实施方式的在从图6a转变到图6b时针对与订购披萨相关联的界面显示的布局。如图5a所示，界面500可以包括小部件540，小部件540可以填充有由实体识别模块145确定的实体值。例如，图6b包括小部件540l，该小部件540l包括用于输入披萨餐厅的空间。附加信息也可以开始出现在变形的画面上，例如，披萨的价格以及披萨从指定餐厅的交付时间。在图6b的示例中，实体识别模块145已经预测了用户可能想要从其订购的披萨餐厅，并且在用户界面500的小部件540中输入关于餐厅的信息。
77.图6c示出了根据示例实施方式，随着接收到更多用户输入530f并且界面继续从图6a变形，针对与购买披萨t恤相关联的界面显示的布局。在图6c中，用户输入530f包括附加信息。特别地，用户已经添加输入，使得用户输入530f现在包括“我想订购披萨t恤”。意图匹配模块140分析附加的用户输入并且确定先前选择的披萨订购意图不再是最适用的意图，并且新的最相关联的意图是衬衫订购意图。变形界面系统130选择适用于衬衫购买意图的界面500，并且将客户端设备110处的显示变形，以显示与所选意图相关联的布局。例如，图6c的界面500不是显示披萨餐厅建议，而是现在显示可供购买的一系列以披萨为主题的t恤。即，当用户继续提供附加的输入信息时，用户界面500从图6d所示的显示披萨订购的界面变形为图6c所示的显示披萨t恤购买选项的界面。与示例衬衫购买意图相关联的小部件
540m可以包括用户然后可以选择购买的披萨t恤的图片。
78.图6d示出了根据示例实施方式的可以与t恤购买意图相关联的附加示例界面。例如，一旦变形界面系统130确定执行该意图所需的所有实体值都可用，则该过程可以由用户接管。在图6d的示例中，用户可以选择一系列披萨主题t恤之一(如界面500a所示)，用户可以查看关于所选项目的附加信息(如界面500b所示)，并且用户可以确认订单细节并且对披萨t恤下订单。
79.图5a至图5g以及图6a至图6d的示例有利地反映了随着接收到的用户输入逐渐扩充附加信息而快速变化的(例如，变形的)用户界面，这些用户界面通过基本上(或几乎)同时的刷新而改变。与常规系统不同，这里用户无需通过潜在推荐进行解析，当用户提供用户输入时常规系统呈现给用户潜在推荐。此外，与常规系统不同，用户不需要等待用户输入的完全选择来开始查看在与增强的输入串对应的时刻(例如，当前提供的)显示什么用户界面以供呈现。此外，与常规系统不同，被启用以在计算设备的屏幕上显示的用户界面几乎瞬间(或立即)开始反映部分输入，并且随着附加措辞被上下文地添加到用户输入而迅速演变以反映当前输入，并且以与完整用户输入对应的适当最终用户界面而结束。即，针对在文本输入tx0 tx1处的显示而启用的用户界面基本上立即从针对原始用户输入tx0的显示而启用的用户界面更新。
80.示例计算系统
81.图7是示出根据示例实施方式的能够从机器可读介质读取指令并且在一个或更多个处理器(或控制器)中执行该指令的示例机器的部件的框图。具体地，图7示出了计算机系统700的示例形式的变形界面系统130的图解表示。计算机系统700可以用于执行指令724(例如程序代码或软件)以使机器执行任一个或更多个本文描述的方法(或过程)。在替选实施方式中，机器作为单独设备或连接至其他机器的连接(例如联网)设备操作。在联网部署中，机器可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。
82.机器可以是：服务器计算机、客户端计算机、个人计算机(pc)、平板pc、机顶盒(stb)、智能手机、物联网(iot)设备、网络路由器、交换机或网桥、或能够执行指定该机器要采取的动作的指令724(顺序地或以其他方式)的任何机器。此外，虽然仅示出了单个机器，但术语“机器”还应被视为包括单独地或联合地执行指令724以执行本文所讨论的任一种或更多种方法的任何机器集合。
83.示例计算机系统700包括一个或更多个处理单元(通常为处理器702)。处理器702是例如：中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、控制器、状态机、一个或更多个专用集成电路(asic)、一个或更多个射频集成电路(rfic)或这些的任意组合。处理器执行计算系统700的操作系统。计算机系统700还包括主存储器704。计算机系统可以包括存储单元716。处理器702、存储器704和存储单元716经由总线708通信。
84.另外，计算机系统706可以包括静态存储器706、图形显示器710(例如用于驱动等离子体显示板(pdp)、液晶显示器(lcd)或投影仪)。计算机系统700还可以包括字母数字输入设备712(例如键盘)、光标控制设备714(例如，鼠标、轨迹球、操纵杆、运动传感器或其他指向工具)、信号生成设备718(例如扬声器)以及网络接口设备720，它们也被配置成经由总线708通信。
85.存储单元716包括机器可读介质722，在该机器可读介质722上存储体现任一个或更多个本文描述的方法或功能的指令724(例如软件)。例如，指令724可以包括用于实现nlp流水线135、功能匹配模块140和/或实体识别模块145的功能的指令。指令724还可以在其由计算机系统700执行期间完全地或至少部分地驻留在主存储器704内或处理器702内(例如在处理器的高速缓冲存储器内)，主存储器704和处理器702也构成机器可读介质。指令724可以经由网络接口设备720在诸如网路120的网络726上发送或接收。此外，对于客户端设备(或用户设备)，接收到的指令可以是来自服务器系统的指令，该指令启用客户端设备上的功能。例如，用户界面将如何被显示可以包括：接收关于应该如何启用(例如，呈现)用户界面的代码，以基于该代码如何适当地与客户端设备的操作系统交互来进行显示。
86.虽然机器可读介质722在示例实施方式中被示出为单个介质，但是术语“机器可读介质”应当被认为包括能够存储指令724的单个介质或多个介质(例如，集中式数据库或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应当被视为包括能够存储用于由机器执行并且使得机器执行本文中公开的方法中的任何一个或更多个方法的指令724的任何介质。术语“机器可读介质”包括但不限于固态存储器、光学介质和磁介质形式的数据储存库。
87.附加的注意事项
88.已经出于说明的目的而呈现了实施方式的以上描述；其并不意在是穷举的或将专利权利限制为所公开的精确形式。相关领域的技术人员可以理解的是，根据上面的公开内容，许多修改和变型是可能的。
89.本说明书的一些部分根据对信息的操作的算法和符号表示来描述实施方式。数据处理领域的技术人员通常使用这些算法描述和表示来将他们的工作的实质有效地传达给本领域的其他技术人员。这些操作尽管在功能上、计算上或逻辑上被描述，但是这些操作应该被理解为由计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，有时还可以方便地将操作的这些布置称为模块。可以以软件、固件、硬件或其任何组合来体现所描述的操作及其相关联的模块。
90.可以利用一个或更多个硬件模块或软件模块单独地或与其他设备组合地执行或实现本文中描述的任何步骤、操作或处理。在一个实施方式中，利用包括计算机可读介质的计算机程序产品来实现软件模块，该计算机可读介质包含计算机程序代码，该计算机程序代码可以由一个或更多个计算机处理器运行，以执行所描述的任何或所有步骤、操作或过程。
91.实施方式还可以涉及用于执行本文的操作的装置。该装置可以针对所需目的而专门被构建以及/或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的计算设备。这样的计算机程序可以被存储在非暂态有形计算机可读存储介质中，或者可以被存储在可以耦接至计算机系统总线的适合于存储电子指令的任何类型的介质中。例如，耦接到存储计算机程序的数据存储设备的计算设备可以对应于专用计算设备。此外，本说明书中提到的任何计算系统可以包括单个处理器或者可以是采用多个处理器设计以提高计算能力的架构。
92.实施方式还可以涉及通过本文描述的计算过程产生的产品。这样的产品可以包括从计算过程产生的信息，其中所述信息被存储在非暂态有形计算机可读存储介质上并且可
以包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。
93.最后，主要出于可读性和指导目的而选择了在本说明书中使用的语言，并且在本说明书中使用的语言可能没有被选择来描绘或限制本发明的主题。因此，专利权利的范围并不旨在由该详细描述来限定，而是由此处的基于申请而公布的任何权利要求来限定。因此，实施方式的公开内容旨在是说明性的而非限制在所附权利要求书中阐述的专利权利的范围。