处理依赖序列的操作的系统和方法与流程

处理依赖序列的操作的系统和方法
1.分案说明
2.本技术属于申请日为2017年8月31日的中国发明专利申请201780001427.5的分案申请。
3.相关申请的交叉引用
4.本技术要求于2016年12月30日提交并且标题为“sequence dependent operation processing of packet based data message transmissions”的美国专利申请号15/395,682的权益和优先权，其全部内容出于所有目的通过引用并入本文。
技术领域
5.本发明涉及在基于分组的数据消息传输的依赖序列的操作处理。


背景技术：

6.计算设备间网络流量数据的基于分组或其他方式的过度网络传输会阻止计算设备正确处理网络流量数据、完成与网络流量数据相关的操作或者及时对网络流量数据作出响应。如果响应的计算设备处于或超过其处理能力，则网络流量数据的过度网络传输还会使数据路由复杂化或者降低响应质量，这可能导致低效的带宽利用。对应于内容项对象的网络传输的控制会因大量内容项对象能够启动计算设备之间网络业务数据的网络传输而变得复杂。


技术实现要素：

7.至少一个方面针对一种在语音激活的基于数据分组的计算机网络环境中优化依赖序列的操作的处理的系统。由数据处理系统执行的自然语言处理器组件能够接收数据分组。所述数据分组能够包括由客户端计算设备的传感器检测到的输入音频信号。所述自然语言处理器组件能够解析所述输入音频信号以识别请求和与所述请求相对应的触发关键词。预测组件能够基于所述触发关键词和所述请求来确定线程。所述线程能够包括第一动作、所述第一动作之后的第二动作以及所述第二动作之后的第三动作。所述预测组件能够在所述第一动作和所述第二动作中的至少一个的发生之前向所述数据处理系统的内容选择器组件提供所述第三动作的指示。基于所述第三动作和由所述自然语言处理器识别的触发关键词，所述内容选择器组件能够经由实时内容选择过程来选择内容项。由所述数据处理系统执行的音频信号生成器组件能够生成包括所述内容项的输出信号。所述数据处理系统的接口能够在所述第一动作和所述第二动作中的至少一个的发生之前传送包括由所述音频信号生成器组件生成的输出信号的数据分组，以使由所述客户端计算设备执行的音频驱动器组件驱动所述客户端计算设备的扬声器生成与所述输出信号相对应的声波。
8.至少一个方面针对一种在语音激活的基于数据分组的计算机网络环境中调用依赖序列的操作的动作的方法。所述方法包括通过数据处理系统执行的自然语言处理器组件，接收包括由客户端计算设备的传感器检测到的输入音频信号的数据分组；所述方法包
括通过所述自然语言处理器组件基于所述输入音频信号来识别请求和与所述请求相对应的触发关键词。所述方法包括通过预测组件基于所述触发关键词和所述请求来确定线程。所述线程能够包括第一动作、所述第一动作之后的第二动作以及所述第二动作之后的第三动作。所述方法能够包括通过所述预测组件，在所述第一动作和所述第二动作中的至少一个的发生之前向所述数据处理系统的内容选择器组件提供所述第三动作的指示。所述方法能够包括通过所述内容选择器组件基于所述第三动作和由所述自然语言处理器识别的触发关键词，经由实时内容选择过程来选择内容项。所述方法能够包括通过由所述数据处理系统执行的音频信号生成器组件，获得包括所述内容项的输出信号。所述方法能够包括经由所述数据处理系统的接口，在所述第一动作和所述第二动作中的至少一个发生之前传送包括由所述音频信号生成器组件获得的输出信号的数据分组以使由所述客户端计算设备和第二客户端计算设备中的至少一个执行的音频驱动器组件驱动所述客户端计算设备的扬声器，以生成与所述输出信号相对应的声波。
9.至少一个方面针对一种存储指令的计算机可读存储介质，所述指令当由一个或多个数据处理器执行时使得所述一个或多个数据处理器执行操作，以在语音激活的基于数据分组的计算机网络环境中选择依赖序列的操作。所述操作能够通过数据处理系统执行的自然语言处理器组件，接收包括由客户端计算设备的传感器检测到的输入音频信号的数据分组。所述操作能够通过所述自然语言处理器组件，基于所述输入音频信号来识别请求和与所述请求相对应的触发关键词。所述操作能够通过预测组件基于所述触发关键词和所述请求来选择线程。所述线程能够包括第一动作、所述第一动作之后的第二动作以及所述第二动作之后的第三动作。所述操作能够通过所述预测组件，在所述第一动作和所述第二动作中的至少一个的发生之前向所述数据处理系统的内容选择器组件提供所述第三动作的指示。所述操作能够通过所述内容选择器组件，基于所述第三动作和由所述自然语言处理器识别的触发关键词，经由实时内容选择过程来选择内容项。所述操作能够通过由所述数据处理系统执行的音频信号生成器组件，生成包括所述内容项的输出信号。所述操作能够经由所述数据处理系统的接口，在所述第一动作和所述第二动作中的至少一个的发生之前传送包括由所述音频信号生成器组件生成的输出信号的数据分组，以使由所述客户端计算设备执行的音频驱动器组件驱动所述客户端计算设备的扬声器生成与所述输出信号相对应的声波。
10.下面详细讨论这些和其他方面以及实施方式。上文的信息和下文的具体描述包括各个方面和实施方式的说明性示例，并且提供用于理解所要求保护的方面和实施方式的性质和特点的概述或构架。附图提供对各个方面和各种实施方式的说明和进一步理解，并且被并入本说明书且构成本说明书的一部分。
附图说明
11.附图并无意于按比例绘制。在各图中相同的附图标号和标记指示相同的元素。为清楚起见，在每个图中可以并不标注每个组件。在图中：
12.图1描绘出在语音激活的计算机网络环境中优化依赖序列的操作的处理的系统；
13.图2描绘出包括依赖序列的动作的线程的功能图；
14.图3描绘出在语音激活的基于数据分组的计算机网络环境中调用依赖序列的操作
的动作的方法；以及
15.图4是图示出可以用来实现本文所述和所示的系统和方法的元素的计算机系统的总体架构的框图。
具体实施方式
16.下面更详细地描述有关在语音激活的计算机网络环境中优化对依赖序列的操作的处理的方法、装置和系统的各种概念及其实施方式。上文介绍并且下文将更详细讨论的各种概念可以通过若干方式中的任何一种来实现。
17.本公开的系统和方法大体上涉及一种数据处理系统，其经由语音激活的计算机网络环境中基于数据分组的传输来优化或动态地调整处理依赖序列的操作的顺序。所述数据处理系统能够例如通过从多个依赖序列的操作中异步地、失序地或者动态地选择操作而提高通过一个或多个计算机网络的数据分组传输的效率和有效性。与所选择的操作相对应的基于数据分组或者其他协议的信号能够通过计算机网络而在多个计算设备之间路由。所述数据处理系统能够暂时性或者永久性跳过依赖序列的操作的集合的初始操作，并且能够改为转到与稍后或最后操作相对应的操作。通过绕过与多个依赖序列的操作中的前期操作相对应的基于分组或者其他协议的数据传输，并且改为直接转到操作序列中的后期操作的基于分组的数据传输，所述数据处理系统能够减少、延迟或者消除与前期操作相关联的数据处理。这就会节省处理功率和诸如存储器的其他计算资源，减少数据处理系统的电力消耗，以及降低的经由计算机网络的数据传输会减少数据处理系统的带宽要求和使用。
18.本文所述的系统和方法能够包括接收输入音频查询的数据处理系统。从输入音频查询中，数据处理系统能够识别请求和与该请求相对应的触发关键词。基于触发关键词或请求，数据处理系统能够确定指示多个依赖序列的操作的线程。例如，线程能够包括第一动作、该第一动作之后的第二动作以及该第二动作之后的第三动作。在本示例中，作为依赖序列的操作的线程中的最后一个动作的第三动作能够被数据处理系统使用于在第一动作发生之前和第二动作发生之前选择内容项。这能够在执行基于第一动作或者第二动作的数据处理操作中的至少一些之前或者执行这些操作便完成。绕过这些处理操作，与没有绕过的情况相比，使用更少的数据处理和更少的电力使用就能够选择第三动作的内容项。
19.内容项能够包括输出信号。数据处理系统能够通过经由计算机网络的基于分组或者其他协议的数据消息传输向客户端计算设备提供包括输出信号的内容项。输出信号能够使得客户端计算设备的音频驱动器组件生成能够从客户端计算设备输出的声波，例如，音频输出。音频输出与第三(例如，时间上最后或最新的)动作相对应，并且能够在第一动作发生之前或者第二动作发生之前从客户端计算设备输出。绕过第一动作和第二动作(或者绕过选择和提供与这些动作相对应的内容项)而在第一和第二依赖序列的动作发生之前首先选择和发送与第三动作相对应内容项，结果是比不绕过情况更少的数据处理操作、更少的存储器使用率和更少的网络带宽利用。
20.图1描绘出在语音激活的基于数据分组(或者其他协议)的计算机网络环境中优化依赖序列的操作的处理的示例系统100。系统100能够包括至少一个数据处理系统105。数据处理系统105能够包括具有至少一个处理器的至少一个服务器。例如，数据处理系统105能够包括位于至少一个数据中心或者服务器群(server farm)中的多个服务器。数据处理系
统105能够从音频输入信号中确定请求以及与该请求相关联的触发关键词。基于请求和触发关键词，数据处理系统105能够确定或者选择包括多个依赖序列的操作的线程，并且能够以不匹配相关操作的序列的顺序选择内容项(以及启动如本文所述的其他动作)，例如，作为语音激活的通信或规划系统的一部分。内容项能够包括当被呈现时提供音频输出或者声波的一个或多个音频文件。除音频内容之外或者替代音频内容，内容项还能够包括其他内容(例如，文本、视频或者图像内容)。例如，内容项能够包括不包括音频文件以及不呈现音频输出的文本或者图像文件或者其组合。
21.数据处理系统105能够包括多个逻辑分组的服务器并且促进分布式计算技术。服务器的逻辑组可以被称为数据中心、服务器群或者机群(machine farm)。服务器能够在地理上分散。数据中心或者机群可以作为单个实体来管理，或者所述机群能够包括多个机群。每个机群内的服务器能够是异构的-服务器或机器中的一个或多个能够根据一种或多种类型的操作系统平台来操作。数据处理系统105能够包括存储在一个或多个高密度机架系统中的数据中心中的服务器以及例如位于企业数据中心中的相关联的存储系统。通过这种方式具有统一服务器的数据处理系统105能够通过在本地化高性能网络上定位服务器和高性能存储系统来提高系统易管理性、数据安全性、系统的物理安全性和系统性能。将包括服务器和存储系统的数据处理系统105组件的全部或一些组件集中化并且将它们与先进的系统管理工具相耦合允许更有效地使用服务器资源，这会节省功率和处理需求并且减少带宽占用。
22.数据处理系统105能够包括至少一个自然语言处理器(nlp)组件110、至少一个接口115、至少一个预测组件120、至少一个内容选择器组件125、至少一个音频信号生成器组件130、至少一个直接动作应用编程接口(api)135、至少一个会话处理机(handler)组件140以及至少一个数据存储库145。nlp组件110、接口115、预测组件120、内容选择器组件125、音频信号生成器组件130、直接动作api 135和会话处理机组件140能够各自包括至少一个处理单元、服务器、虚拟服务器、电路、引擎、代理、电器或者其他逻辑设备，诸如配置成经由至少一个计算机网络165与数据存储库145以及与其他计算设备(例如，客户端计算设备150、内容提供者计算设备155或服务提供者计算设备160)进行通信的可编程逻辑阵列。网络165能够包括诸如互联网、局域网、广域网、城域网或者其他域网、内联网、卫星网络的计算机网络、诸如语音或者数据移动电话通信网络的其他计算机网络及其组合。
23.网络165能够包括或者构成显示网络，例如，互联网上与内容放置或者搜索引擎结果系统相关联或者有资格包括第三方内容项作为内容项放置活动的一部分的可用信息资源的子集。网络165能够供数据处理系统105用来访问能够由客户端计算设备150呈现、输出、呈现或者显示的信息资源，诸如web页面、web站点、域名或者统一资源定位符。例如，经由网络165，客户端计算设备150的用户能够访问由内容提供者计算设备155或者服务提供者计算设备160提供的信息或者数据。
24.网络165能够例如包括点对点网络、广播网络、广域网络、局域网络、电信网络、数据通信网络、计算机网络、atm(异步传输模式)网络、sonet(同步光学网络)网络、sdh(同步数字体系)网络、无线网络或者有线网络以及其组合。网络165能够包括无线链路，诸如红外信道或者卫星频带。网络165的拓扑结构可以包括总线、星形或者环形网络拓扑结构。网络165能够包括使用用于移动设备之间通信的任一协议或者任何协议的移动电话网络，所述
协议包括高级移动电话协议(“amps”)、时分多址(“tdma”)、码分多址(“cdma”)、全球移动通信系统(“gsm”)、通用分组无线电服务(“gprs”)或者通用移动通信系统(“umts”)。可以经由不同的协议传送不同类型的数据，或者可以经由不同的协议传送相同类型的数据。
25.客户端计算设备150、内容提供者计算设备155和服务提供者计算设备160能够各自包括至少一个逻辑设备，诸如具有处理器的计算设备，以经由网络165彼此通信或者与数据处理系统105进行通信。客户端计算设备150、内容提供者计算设备155和服务提供者计算设备160能够各自包括至少一个服务器、处理器或存储器或者位于至少一个数据中心中的多个计算资源或服务器。客户端计算设备150、内容提供者计算设备155和服务提供者计算设备160能够各自包括至少一个计算设备，诸如桌面型计算机、膝上型计算机、平板型计算机、个人数字助理、智能电话、便携式计算机、服务器、瘦客户端计算机、虚拟服务器或者其他计算设备。
26.客户端计算设备150能够包括至少一个传感器151、至少一个转换器152、至少一个音频驱动器153以及至少一个扬声器154。传感器151能够包括麦克风或者音频输入传感器。转换器152能够将音频输入转换成电子信号。音频驱动器153能够包括由客户端计算设备150的一个或多个处理器执行的脚本或者程序，用以控制传感器151、转换器152或者音频驱动器153以及客户端计算设备150的其他组件以处理音频输入或者提供音频输出。扬声器154能够发射音频输出信号。
27.客户端计算设备150能够与终端用户相关联，该终端用户将语音查询作为音频输入录入到客户端计算设备150(经由传感器151)，并且接收从扬声器154输出的能够从数据处理系统105(或者内容提供者计算设备155或服务提供者计算设备160)向客户端计算设备150提供的计算机生成的语音形式的音频输出。计算机生成的语音能够包括来自真人的录音或者计算机生成的语言。
28.内容提供者计算设备155能够提供基于音频的内容项，以供客户端计算设备150作为音频输出内容项显示。内容项能够包括对货物或者服务的报价，诸如基于语音的消息，该消息表述：“would you like me to order you a taxi(需要我帮您订辆出租车吗)”？例如，内容提供者计算设备155能够包括存储器，用以存储能够响应于基于语音的查询而提供的一系列音频内容项。内容提供者计算设备155还能够将基于音频的内容项(或者其他内容项)提供给数据处理系统105，其中能够将它们存储在数据存储库145中。数据处理系统105能够选择音频内容项并且将音频内容项提供给客户端计算设备150(或者指令内容提供者计算设备155来提供)。基于音频的内容项能够仅为音频或者能够与文本、图像或视频数据组合。
29.服务提供者计算设备160能够包括至少一个服务提供者自然语言处理器(nlp)组件161以及至少一个服务提供者接口162。服务提供者nlp组件161(或者诸如服务提供者计算设备160的直接动作api的其他组件)能够与客户端计算设备150(经由数据处理系统105或者绕过数据处理系统105)接合，以创建客户端计算设备150与服务提供者计算设备160之间的来回实时基于语音或音频的对话(例如，会话)。例如，服务提供者接口162能够向数据处理系统105的直接动作api 135接收或者提供数据消息。服务提供者计算设备160和内容提供者计算设备155能够与相同实体相关联。例如，内容提供者计算设备155能够为汽车共享服务创建、存储或者制作可用的内容项，并且服务提供者计算设备160能够与客户端计算
设备150建立会话，以安排交付汽车共享服务的出租车或者汽车来接走客户端计算设备150的终端用户。经由直接动作api 135、nlp组件110或者其他组件，数据处理系统105还能够与客户端计算设备建立会话(包括或绕过服务提供者计算设备160)以例如安排交付汽车共享服务的出租车或者汽车。
30.数据存储库145能够包括一个或多个本地数据库或者分布式数据库并且能够包括数据库管理系统。数据存储库145能够包括计算机数据存储区或者存储器并且能够存储一个或多个参数146、一个或多个策略147、内容数据148或者模板149以及其他数据。参数146、策略147和模板149能够包括诸如与客户端计算设备150与数据处理系统105(或者服务提供者计算设备160)之间的基于语音的会话有关的规则的信息。内容数据148能够包括用于音频输出或者相关联的元数据的内容项以及能够作为与客户端计算设备150的一个或多个通信会话的一部分的输入音频消息。
31.系统100能够在语音激活的数据分组(或者其他协议)环境中优化依赖序列的操作的处理。例如，数据处理系统105能够包括语音激活辅助服务，语音命令设备，智能个人助理，知识导航器，事件规划或其他辅助程序的一部分。数据处理系统105能够提供用于从客户端计算设备150中显示的音频输出的一个或多个实例，以完成有关该输入音频信号的任务。这些任务能够例如包括与服务提供者计算设备160或者其他第三方计算设备进行通信以进行晚餐预订或者购买电影票。例如，终端用户能够向客户端计算设备150录入输入音频信号：“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”。
32.依赖序列的操作能够包括按已知的、建议的、要求的或者特定的顺序发生的数个动作。例如，从家庭到电影院、然后回家能够包括三个依赖序列的操作或者动作。在本示例中，第一动作包括从家到电影院。第二动作包括在影院里看电影。第三动作包括从影院回家。在本示例中，序列中的第二动作(看电影)是在第一动作(出去吃晚餐)之后并且取决于该第一动作，并且第三动作(回家)是在第一动作和第二动作之后并且取决于这两个动作。第三动作能够被认为是在第二动作之后并且取决于该第二动作，因为已经表达出有意这样做，数据处理系统105预测终端用户在回家之前还会在影院中看电影。
33.数据处理系统105能够包括安装在客户端计算设备150处的应用、脚本或者程序，诸如app，用以将输入音频信号通信到数据处理系统105的接口115并且驱动客户端计算设备的组件呈现输出音频信号。数据处理系统105能够接收包括或者识别音频输入信号的数据分组或者其他信号。例如，数据处理系统105能够执行或者运行nlp组件110，以接收音频输入信号。
34.nlp组件110能够通过将输入信号与所存储的代表性音频波形集合(例如，在数据存储库145中)进行比较并且选取最接近的匹配而将音频输入信号转换成辨别的文本。代表性波形是在大量用户之间生成并且能够用语音样本来增强。在音频信号被转换成辨识的文本之后，nlp组件110能够将文本与例如经由在用户之间训练或者通过手动设定与数据处理系统105能够提供的动作相关联的词语进行匹配。
35.音频输入信号能够由客户端计算设备的传感器151(例如，麦克风)来检测。经由转换器152、音频驱动器153或者其他组件，客户端计算设备150能够将音频输入信号提供给数据处理系统105(例如，经由网络165)，其中该音频输入信号能够被接收(例如，通过接口
115)并且被提供给nlp组件110或者被存储在数据存储库145中作为内容数据148。
36.nlp组件110能够获得输入音频信号。从输入音频信号中，nlp组件110能够识别至少一个请求或者与该请求相对应的至少一个触发关键词。请求能够指示输入音频信号的意图或者主题。触发关键词能够指示可能采取的动作的类型。例如，nlp组件110能够解析输入音频信号以识别晚上离开家去参加晚餐和电影的至少一个请求。触发关键词能够包括至少一个词语、短语、词根或部分词或者指示要采取的动作的派生词。例如，输入音频信号中的关键词“go(去)”或者“to go to(要去)”能够指示需要交通。在本示例中，输入音频信号(或者所识别的请求)并未直接表达对交通的意图，然而触发关键词指示交通是对由请求指示的至少一个其他动作的辅助动作。
37.预测组件120(或者数据处理系统105的其他机制)能够基于请求或者触发关键词来确定与输入音频信号相关联的至少一个线程。线程能够指示依赖序列的操作的集合，例如一系列动作。线程能够包括任何两个或者两个以上动作，诸如第一动作、第二动作和第三动作。例如，输入音频信号“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”能够包括表示有兴趣参见晚餐和电影的至少一个请求以及表示需要交通工具的至少一个触发关键词，例如“go(去)”。预测组件120能够识别具有至少三个动作的线程，诸如晚餐动作(第一动作)、电影动作(第二动作)和交通工具回家动作(第三动作)。在本示例中，从请求或者触发关键词中，预测组件120预测、评估或以其他方式确定三个动作。线程能够包括其他动作，诸如最初乘交通到晚餐动作。
38.数据处理系统105或者其组件(诸如预测组件120)能够确定线程的动作是依赖序列的操作。例如，预测组件能够确定看电影的第二动作是在吃晚餐的第一动作之后，并且从电影院回家的第三动作是在看电影的第二动作之后。预测组件120能够访问数据存储库145中的参数146或者策略147，以确定或以其他方式评估依赖序列的动作的顺序。例如，参数146或者策略147能够指示交通动作(例如，乘出租车回家)会发生在事件动作(例如，看电影)之后。
39.内容选择器组件125能够获得线程的动作中的任何一个的指示。例如，预测组件120能够直接或者间接(例如，经由数据存储库145)向内容选择器组件125提供第三(或者任何其他)动作的指示。内容选择器组件125能够从数据存储库145获得该信息，其中该信息能够被存储为内容数据148的一部分。第三动作的指示能够向内容选择器组件125通知需要交通工具从电影院的位置到由客户端计算设备150确定或者指示的位置，诸如骑车到最终目的地。
40.内容选择器组件125能够在至少一个早期动作发生之前获得线程中后期动作的指示。例如，内容选择器组件125能够影院中播放电影(第二动作)之前或者在将输入音频信号输入客户端计算设备150的人在餐厅吃晚餐(第一动作)之前接收第三动作的指示(例如，需要从电影院乘车)。内容选择器组件125能够在线程的至少一个动作完成之前获得线程的至少一个动作的指示。
41.从由内容选择器组件125接收的信息中，例如，依赖序列的线程中的至少一个在前动作发生之前的第三动作的指示，内容选择器组件125能够识别至少一个内容项。内容项能够响应于或者与第三动作相关。例如，响应于指示交通工具需要的第三动作，内容项能够包括提供汽车共享公司的服务的音频消息。内容选择器组件125能够例如从内容数据148中查
询数据存储库145来选择或以其他方式识别内容项。内容选择器组件125还能够从内容提供者计算设备155选择内容项。例如，响应于从数据处理系统105接收的查询，内容提供者计算设备155能够向数据处理系统105(或者其组件)提供内容项，以供客户端计算设备150最终输出。
42.音频信号生成器组件130能够生成或其他方式获得包括响应于第三动作的内容项的输出信号。例如，数据处理系统105能够执行音频信号生成器组件以生成或者创建对应于内容项的输出信号。数据处理系统105的接口115能够提供经由计算机网络165向客户端计算设备150传送包括输出信号的一个或多个数据分组。接口115能够被设计、配置、构建或者操作成例如使用数据分组来接收和传送信息。接口115能够使用诸如网络协议的一个或多个协议来接收和传送信息。接口115能够包括硬件接口、软件接口、有线接口或者无线接口。接口115能够促进将数据从一种格式转换或者格式化成另一种格式。例如，接口115能够包括应用编程接口，其包括用于诸如系统100的软件组件的各种组件之间通信的定义。
43.例如，数据处理系统105能够从数据储存库145或者从音频信号生成器组件130向客户端计算设备150提供输出信号。数据处理系统105还能够经由数据分组传输指令内容提供者计算设备155或者服务提供者计算设备160向客户端计算设备150提供输出信号。输出信号能够获得、生成、转换成或者作为一个或多个数据分组(或者其他通信协议)从数据处理系统105(或者其他计算设备)传送到客户端计算设备150。
44.在本示例中，内容选择器组件125跳到依赖序列的操作的集合中的较后(例如，第三)动作，以在与第三动作相对应的活动发生之前(并且在即时需要之前)选择第三动作的内容项。通过跳到排序较后的动作，数据处理系统105无需处理有关第一动作或者第二动作的信息来选择这些动作的内容项。这样就能减少如果在选择第三动作的内容项之前还选择(第一动作的)内容项或者(第二动作的)内容项相关联的数据传输中所需的处理器利用、功耗和带宽。
45.作为实时内容选择过程的一部分，内容选择器组件125能够选择(随后或稍后的)第三动作的内容项。例如，内容项能够被提供给客户端计算设备，以便直接响应于输入音频信号以对话方式作为音频输出传输。用于识别内容项并且将内容项提供给客户端计算设备150的实时内容选择过程能够在输入音频信号时间的一分钟或更短时间内发生，并且被认为是实时。
46.例如由经由接口115和计算机网络165传送到客户端计算设备150、由音频信号生成器组件130获得或者生成的对应于内容项的输出信号能够使得客户端计算设备150执行音频驱动器153以驱动扬声器154来生成对应于输出信号的声波。声波能够包括第三动作的内容项的词语或者与其相对应的词语。与内容项相对应的输出信号还能够包括在作为输入音频信号源的客户端计算设备150或者不同的客户端计算设备150(例如，可佩戴设备计算设备)上作为在无音频元素的情况下能够呈现的文本或者图像消息呈现的非音频内容项。
47.声波能够在第一动作或者第二动作发生之前从客户端计算设备150输出。例如，声波能够包括音频输出“would you like a taxi waiting for you after the movie？(您想要出租车在电影之后等您吗？)”。在本示例中，数据处理系统105获得例如“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”的输入音频信号。从该信息中，nlp组件110识别至少一个请求或者至少一个触发关键
词，并且预测组件120使用该请求或者触发关键词来识别至少一个线程。线程包括一系列依赖序列的动作，例如，第一晚餐动作、第二电影动作和第三交通回家动作。预测组件120能够确定(例如，至少以阈置信水平，诸如75％置信)这些动作将按序列顺序发生，其中客户端计算设备150的终端用户首先会吃晚餐，然后在晚餐之后去看电影，然后在晚餐之后从电影院回家或者离开电影院。内容选择器组件125能够例如绕过与第一动作和第二动作的内容项选择相关联的处理，而是首先选择第三动作的内容项，例如，汽车共享服务的内容项，用来安排在电影院的接人位置的交通。数据处理系统105或者其组件(诸如音频信号生成器组件130)能够向客户端计算设备150提供第三动作的内容项。声波能够在第一动作发生之后和第二动作发生之前，例如，在线程中的在先动作之间，从客户端计算设备150输出。
48.第三项的内容项能够在第一动作或者第二动作已经发生之前至少部分地呈现为来自客户端计算设备150的音频输出。例如，包括第三动作的内容项的输出信号能够呈现为人类或者自动语音，其表述“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”。数据处理系统105能够在有序的动作序列中在先动作中的一个、一个以上或者全部发生之前，接收对第三动作的内容项的响应。例如，数据处理系统105能够在终端用户已去晚餐之前或者在终端用户已观看电影之前，例如经由接口115提供用于呈现的内容项并且接收响应。数据处理系统105能够提供输出信号，该输出信号包括对“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”的输入音频信号作出直接或者实时响应的内容项，以便作为数据处理系统105与客户端计算设备150之间的通信会话的一部分的经由计算机网络165的基于分组的数据传输具有实时人与人对话的流畅和感觉。该基于分组的数据传输通信会话还能够包括内容提供者计算设备155或者服务提供者计算设备160。
49.内容选择器组件125能够在选择序列中的任何在先动作的任何内容项之前，在依赖序列的动作集中选择响应于的第三(或者任何非第一)动作而提供的内容项。这避免了需要处理对应于在先动作的数据中的至少一些，这与如果按照与动作序列的顺序相匹配的顺序来选择内容项相比，在减少处理操作数目的情况下就能使得第三内容项被选择。例如，在选择第三动作的内容项之后，可以或可以不选择在先(例如，第一和第二)动作的内容项。
50.内容选择器组件125能够基于指示与相同线程的一个或多个请求的主题不同的主题的线程的至少一个触发关键词来选择内容项(例如，第三动作的内容项)。例如，响应于“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”的线程的请求能够指示晚餐请求(第一动作)的主题以及电影请求(第二动作)的主题。该主题未指示任何交通工具要求。然而，nlp组件110或者预测组件120(或者作为直接动作api 135的一部分执行的其他数据处理系统105的组件)能够识别触发关键词“go(去)”、“go to(去往)”或者“to go to(要去)”，并且能够确定至少部分地基于触发关键词的交通工具请求(第三动作)。因此，数据处理系统105能够从作为非主请求的次请求的输入音频信号或者输入音频信号的主题中推断动作。
51.数据处理系统105能够防止或者延迟传输包括内容项的输出信号。例如，接口115或者经由直接动作api 135执行的脚本能够，在触发事件之前防止传输包括与内容项的输出信号相对应的数据分组。触发事件能够包括预定时间段的期满，诸如两个小时，或者与线程中早期动作的发生相符的时间，诸如电影的预定结束时间。触发事件还能够包括由数据
处理系统105从客户端计算设备150接收的授权指示。授权指示能够起源于与线程相关联但由数据处理系统在输入音频信号、基于文本的信号或者其他不可听信号之后接收的后续音频输入，或者能够包括授权由内容项的客户端计算设备150接收的客户端计算设备150的设置的指示。
52.数据处理系统105还能够延迟传输与线程的第二动作相关联或者第二动作之后的内容项，以优化处理利用。例如，数据处理系统105能够在数据中心使用的非高峰时间或者非高峰时段之前延迟内容项传输，从而通过降低峰值带宽使用、热输出或者冷却要求而更有效地利用数据中心。基于数据中心利用率或者网络165的带宽度量或需求或包括数据处理系统105的数据中心的带宽度量或需求，数据处理系统105还能够启动与内容项相关联的转换或者其他活动，诸如预订汽车服务。
53.内容项能够与线程的动作相对应，并且内容选择器组件125能够选择线程的一个、一个以上或者全部动作的内容项。预测组件120能够识别例如“晚餐”(第一动作)、“电影”(第二动作)和“从电影位置开始交通”(第三动作)的动作的依赖序列的线程。直接动作api 135能够执行例如来自nlp组件110、预测组件120或者内容选择器组件125的程序或者脚本，以识别这些动作中的一个或多个的内容项。直接动作api 135能够执行由数据处理系统105确定的指定动作来满足终端用户的意图。根据在其输入中指定的动作，直接动作api 135能够执行代码或者对话脚本，其识别满足用户请求所需的参数。这样的代码能够例如在数据存储库145中查找附加信息，诸如家庭自动化服务的名称，或者其能够提供用于在客户端计算设备150处呈现的音频输出，以向终端用户询问问题，诸如所请求的出租车的预期目的地。直接动作api 135能够确定必要的参数并且能够将信息封装成动作数据结构，所述动作数据结构能够再被发送到诸如内容选择器组件125的另一个组件或者待满足的服务提供者计算设备160。
54.数据处理系统105的直接动作api 135能够基于请求或者触发关键词来生成线程的动作的数据结构。动作数据结构能够响应于请求而被生成。动作数据结构能够被包括在传送到服务提供者计算设备160或者由其接收的消息中。基于由nlp组件110解析的请求，直接动作api 135能够确定应向多个服务提供者计算设备160中的哪一个发送消息。例如，如果输入音频信号包括“order a taxi(预订出租车)”，则nlp组件110能够识别触发词“order(预订)”和对出租车的请求。直接动作api 135能够将请求封装成动作数据结构，以便作为消息发送到出租车服务的服务提供者计算设备160。消息也能够被传递到内容选择器组件125。动作数据结构能够包括用于完成请求的信息。在本示例中，信息能够包括接人位置和目的地位置。直接动作api 135能够从存储库145中检索模板149，以确定将哪些字段包括在动作数据结构中。直接动作api 135能够从存储库145中检索内容，以获得关于数据结构的字段的信息。直接动作api 135能够用该信息来填充模板中的字段，以生成数据结构。直接动作api 135还能够用来自输入音频信号的数据来填充字段。模板149能够针对服务提供者的类别而被标准化，或者能够针对特定服务提供者而被标准化。例如，乘车共享服务提供者能够使用下列标准化模板149来创建数据结构：{client_device_identifier；authentication_credentials；pick_up_location；destination_location；no_passengers；service_level}。
55.例如，响应于音频输入信号，能够提供第三动作的内容项以便在客户端计算设备
150处呈现音频响应，其表述“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”。在该呈现之后或之前，数据处理系统105能够选择或者提供内容项，例如，第一动作(晚餐)的“the italian restaurant downtown has an opening for 7pm tonight？(市中心的意大利餐厅晚上7点开门吗？)”，并且能够选择或者提供另一个内容项，例如，第二动作(电影)的“would you like tickets to the 9pm movie at the downtown theater？(您想要市中心影院晚上9点的电影票吗？)”。数据处理系统105能够响应于输入音频信号而提供(其包括指令内容提供者计算设备155提供)这些内容，以便由客户端计算设备150呈现为音频输出内容项。数据处理系统105经由接口115能够按任何顺序选择这些内容项或者将它们提供给客户端计算设备150。例如，在对应于线程的其它早期动作的内容项之前，能够首先选择或者提供第三(例如，最后)动作的内容项。
56.数据处理系统105能够接收对内容项“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”的响应。该响应能够包括输入音频信号，例如，“yes please(是的)”，其由终端用户录入到客户端计算设备150并且由数据处理系统105接收。基于该响应，直接动作api 135能够与服务提供者计算设备160(其能够与内容项相关联，诸如汽车共享公司)进行通信，以在电影结束时针对电影院的位置预订出租车或者乘坐共享车辆。数据处理系统105能够从数据存储库145或者诸如服务提供者计算设备160或内容提供者计算设备155的其他来源获得该位置或者时间信息，作为与客户端计算设备150的基于数据分组(或其他协议)的数据消息通信的一部分。能够将该预订(或者其他转换)的确认以来自数据处理系统105的输出信号的形式作为音频通信从数据处理系统105提供给客户端计算设备150，该输出信号驱动客户端计算设备150呈现音频输出，诸如“great,you will have a car waiting for you at 11pm outside the theater(好的，晚上11点会有一辆汽车在影院外等您)”。数据处理系统105经由直接动作api 135能够与服务提供者计算设备160进行通信，以确认汽车的预订。
57.数据处理系统105能够获得对内容项(“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”)的响应(例如，“yes please(是的)”)，并且能够将基于分组的数据消息路由到服务提供者npl组件161(或者服务提供者计算设备的其他组件)。该基于分组的数据消息能够使得服务提供者计算设备160产生转换，例如，令汽车在电影院外接收预约。这种转换或者确认的顺序(或者线程的任何其他动作的任何其他转换)能够发生在线程的一个或多个动作完成之前，诸如在电影结束之前，以及发生在线程的一个或多个动作完成之后，诸如在晚餐之后。
58.基于对线程中的后续动作的内容项的响应，诸如对依赖序列的线程中的最后第三动作的内容项“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”的响应“yes please(是的)”，数据处理系统105能够启动转换或者动作。这能够发生在终端用户开始与线程相关联的任何活动之前，例如，在晚餐之前或者在电影结束之前。数据处理系统105的处理器能够调用直接动作api 135来执行生成通过汽车共享服务预订汽车的脚本。直接动作api 135能够从数据存储库145获得内容数据148(或者参数146或策略147)以及从客户端计算设备150获得终端用户同意接收的数据，以确定位置、时间、用户账户、逻辑或者其他信息，以便从汽车共享服务预约汽车。使用直接动作api 135，数据处理系统105还能够与服务提供者计算设备160进行通信，以完成转换，在本示例中是
进行汽车共享接人预约。
59.直接动作api 135能够在由数据处理系统105接收到与线程相关联的第一输入音频信号(例如，“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”)的时间段内的任何时间启动对话或者活动来完成线程的动作，直到完成线程中的动作之一之后的阈值时间段为止(例如，直到观看电影的第二动作结束之后的15分钟为止)。数据处理系统110还能够基于其他因素来确定该时间段的结束，诸如终端用户已经完成线程的动作的指示，例如，终端用户已经回家或者不再位于电影院。数据处理系统105还能够从客户端计算设备150获得线程被取消或休眠或者终端用户已经取消或完成线程的动作的指示(经由网络165传送的数据消息)。
60.基于线程的其他动作的完成或者完成时间，直接动作api 135能够启动转换或者活动来完成线程的动作。例如，数据处理系统105能够在线程中的在先动作结尾的阈时间段内直接地或者通过与服务提供者计算设备160通信来预订货物或者服务(汽车共享接人)。在电影(第二动作)的预定或者实际结尾之前或者之后的5分钟(或者其他时间段)内，数据处理系统105能够确认或者预订汽车共享服务来派车在电影院接取终端用户(后续的第三动作)。在该时间段期间未从终端用户计算设备150接收到的输入的情况下，或者响应于在该时间段期间从终端用户计算设备150接收到的提示，会发生这一过程。
61.直接动作api 135能够以任何顺序启动与线程的依赖序列的操作相关联的转换或者其他活动。例如，直接动作api 135(或者其他数据处理系统105的组件)能够在启动与序列中的早期线程相对应的活动之前(例如，在进行晚餐预约之前或者在预订电影票之前)，启动与最终动作相对应的活动(例如，三个动作线程中的第三动作，诸如预订出租车)。在本示例中，数据处理系统105在启动后期(例如，第三)动作的活动之后启动早期(例如，第二)动作的活动。
62.内容选择器组件125能够识别、选择或者获得由多个内容选择过程产生的多个内容项。内容选择过程能够是实时的，例如，作为涉及线程的数据处理系统105与客户端计算设备150之间的相同对话、通信会话或者一系列通信会话的一部分。对话能够包括彼此间隔例如几小时或者几天时段的异步通信。对话或者通信会话能够从接收到第一输入音频信号起持续一段时间，直到线程的最终动作的预计或者已知的结尾，由数据处理系统105接收线程终止的指示。这能够被称为线程的活跃时间段。例如，针对具有三个动作(例如，晚餐、电影和交通回家)的线程，内容选择器组件125能够针对每个动作选择至少一个内容项。内容项选择器组件125能够针对每个动作运行或者获得来自不同内容选择过程的结果。在内容选择过程中，内容提供者计算设备150能够设置供内容选择器组件125选择的内容项。针对具有至少三个动作的线程，内容项选择器组件能够经由第一内容选择过程来选择或以其他方式识别第一内容项，经由第二内容选择过程来选择或者以其他方式识别第二动作的第二内容项，以及经由第三内容选择过程来选择或者以其他方式识别第三动作的第三内容项。提供这些内容项以便由客户端计算设备150在活跃时间段期间呈现的数据处理系统105能够被认为是实时操作。在本示例中，内容选择过程与呈现内容项实时发生。
63.数据处理系统105能够取消与内容项相关联的动作。例如，在预订汽车服务之后，终端用户可以观看电影，但随后决定步行回家，或者在电影之后去吃甜品，而非坐汽车回家。作为数据处理系统105的一部分，在客户端计算设备150处执行的app或者其他程序能够
接收“cancel my ride home(取消我的乘车回家)”的输入音频信号。nlp组件110能够接收该输入音频信号，例如，作为一个或多个基于分组的数据消息，并且能够确定该输入音频信号与预先存在的线程(例如，晚餐、电影、交通回家)相关并且是相同对话或者通信的一部分。例如，nlp组件110(或者其他数据处理系统105的组件)能够从数据存储库145的内容数据148中评估时间数据、位置数据和预先存在的线程数据，诸如线程的过去、现在或者排程的动作，以确定输入音频信号与预先存在的线程相关。例如，基于请求“乘车”或者触发关键词“取消”，nlp组件110能够确定输入音频信号“cancel my ride home(取消我的乘车回家)”与对应于预先存在的线程的第三动作的内容项
““
would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”相关。直接动作api 135(或者其他组件)能够使得数据处理系统105经由接口115与服务提供者计算设备160进行通信，以取消出租车或者汽车共享服务派车在电影结尾后在电影院外等待终端用户的预订。
64.nlp组件135能够接收基于数据分组或者其他协议的消息，以在线程的任何动作完成之前或之后取消线程的动作。nlp组件135能够从客户端计算设备150接收(或者从数据存储库145获得)数据消息(传入音频信号)，以在由线程的早期动作触发的时间间隔内取消线程的动作。例如，在具有晚餐、电影、交通三个动作的依赖序列的线程中，数据处理系统105能够在电影结尾的5分钟(或者其他时间段)内接收交通取消数据消息。数据处理系统105能够提示确认与线程的动作有关的产品或者服务。例如，在第一动作与第二动作之间的时间段(例如，在晚餐之后和电影之前)，数据处理系统105能够向客户端计算设备150传送数据消息，该数据消息当在客户端计算设备150处呈现时输出音频或者短信，表述“just confirming that you still want a car waiting for you after the movie(请确认，您仍想要汽车在电影后等您吗)”。数据处理系统105能够接收响应，例如，“yes,confirmed(是，确认)”或者“no,cancel the car(否，取消汽车)”。直接动作api 135能够执行脚本以处理该信息，并且能够与服务提供者计算设备160进行通信以指示确认或者取消。
65.图2描绘出具有包括第一动作205、第二动作210和第三动作215的依赖序列的动作的线程200的功能图。线程200能够由数据处理系统105的组件来确定，诸如预测组件120。数据处理系统105能够在时间t-0(t-zero)经由接口115接收输入音频信号，例如作为数据分组。数据处理系统105能够确定时间t-0是线程200的活跃时间段220的起点。
66.基于从输入音频信号(例如，“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”)获得的请求或者触发关键词，预测组件能够识别多个依赖序列的动作，诸如第一动作205(例如，晚餐)、第二动作210(例如，电影)和第三动作215(例如，在电影后乘车回家)，其被预测以该顺序发生，并且至少一个动作取决于至少一个在先动作发生。例如，第三动作215(从电影院乘车回家)取决于第二动作(终端用户到达电影院观看电影)的发生。
67.数据处理系统105和诸如内容选择器组件125和接口115的组件能够提供用于在线程200的活跃时间段220期间由客户端计算设备150作为音频输出呈现的内容项。例如，在时间段t-1期间，即从活跃时间段220起点到第一动作205开始(例如，晚餐预约时间)的时间段，针对第三动作215，数据处理系统105能够选择并且提供内容项(例如，“would you like a ride home from the movie theater？(您想从电影院乘车回家吗？)”)。数据处理系统105能够在活跃时间段220期间的任何时间选择或者提供与任何动作相关联的任何内容项。
例如，在时间段t-1或者活跃时间段220的任何其他时间段期间，能够提供(第三动作215的)第一内容项或者第三动作210的不同内容项(例如，电影推荐或者购买电影票的报价)。数据处理系统105还能够确定内容项已经超时，并且不会在活跃时间段的一部分t1期间为它们提供任何进一步的呈现。例如，在由数据处理系统105确定第二动作210(例如，在时间t-4的电影)已经开始之后，数据处理系统105能够确定不提供第一动作205(例如，在时间t-2的晚餐)的内容项。在本示例中，能够在时间t-1(第一动作205之前)和第一动作205与第二动作210之间的时间t-3之间向客户端计算设备提供第一动作205的内容项。
68.在时间t-1到t-6期间，甚至在时间t-7期间，例如，数据处理系统105确定电影结束但终端用户选择向数据处理系统105指示终端用户晚上留在外面之后的时段，仍然能够提供第三动作215(例如，乘车回家)的至少一个内容项。在第二动作210与第三动作215之间的时间段t-5期间，或者在活跃时间段220的任何其他时间段期间，诸如t-6(在第三动作215期间)或者t-7(在第三动作215之后)，数据处理系统105能够提供有关第三动作215的内容项，以重复销售或者提示确认动作，诸如确认车辆共享服务的预约汽车。
69.图3描绘出在诸如系统100的语音激活的基于数据分组的计算机网络环境中调用依赖序列的操作的动作的方法300。所述方法能够接收数据分组(act 305)。例如，数据处理系统105能够执行、启动或者调用nlp组件110，以经由网络从客户端计算设备150接收基于分组或者其他协议的传输。数据分组能够包括或者对应于由传感器151检测到的输入音频信号，诸如终端用户对智能手机说“ok,i would like to go to go dinner and then a movie tonight(好，我今晚想去吃晚餐，然后看电影)”。
70.方法300能够从输入音频信号中识别至少一个请求或者至少一个触发关键词(act 310)。例如，nlp组件110能够解析输入音频信号，以识别请求(“dinner(晚餐)”或者“movie(电影)”)以及对应于或者相关于该请求的触发关键词“go(去)”、“go to(去往)”或者“to go to(要去)”。基于请求或者触发关键词，方法300能够确定至少一个线程(act 315)。线程能够包括数据处理系统100确定会以设定顺序发生的一系列依赖序列的动作，诸如线程200，其中在时间t-2发生的第一动作之后，在时间t-4发生第二动作210，并且在第二动作210之后和第一动作205之后，在时间t-6发生第三动作215。
71.方法300能够向内容选择器组件125提供第三动作的指示(act320)。例如，内容选择器组件125能够在第一动作205发生之前(在时间t-2之前)或者在第二动作210发生之前(在时间t-4之前)接收第三动作215的指示。响应于第三动作的指示，或者基于请求和触发关键词，内容选择器组件能够选择对应于第三动作的至少一个内容项(act 325)。方法300能够生成对应于内容项的至少一个输出信号(act 330)，并且能够将该输出信号提供给向客户端计算设备150(act 335)。例如，接口115能够将包括输出信号的数据分组从数据处理系统105传送到客户端计算设备150。数据处理系统105能够在数据处理系统105检测到发生诸如时间段t1至t7中的一个期满的条件或者从客户端计算设备150接收到授权之前延迟或者防止数据分组的传输。
72.输出信号能够使得客户端计算设备150(例如，能够使得在客户端计算设备150处驻存和执行的数据处理系统105的app或者其他组件)驱动扬声器154来生成对应于输出信号(和内容项)的声波。所述来自客户端计算设备150的内容项的音频输出能够发生在第一动作205发生之前(例如，在时间t2之前)或者在第二动作210发生之前(例如，在时间t-4之
前)。方法300能够从客户端计算设备150接收对内容项的响应(act 340)。例如，数据处理系统105能够接收从输入到客户端计算设备的音频输入中生成的响应信号(act 340)，该音频输入请求启动或者采取动作，诸如预约出租车或者购买活动票的请求。直接动作api 135能够调用程序来采取或者启动所请求的动作。该动作能够由直接动作api基于接收到响应信号(act 340)以及诸如动作完成时间的其他因素来启动，例如，在时间t-4与时间t-5之间交界处的第二动作210的结束时间。也能够取消动作。例如，在接收到响应信号(act 340)之后，数据处理系统105能够由于线程的动作的取消或者终止、线程变化或者由数据处理系统105接收到来自客户端计算设备150的取消请求而取消动作。
73.图4是示例计算机系统400的框图。计算机系统或者计算设备400能够包括或者被使用于实现系统100或者其组件，诸如数据处理系统105。计算系统400包括用于通信信息的总线405或者其他通信组件以及用于处理信息的耦合到总线405的处理器410或者处理电路。计算系统400还能够包括用于处理信息的耦合到总线的一个或多个处理器410或者处理电路。计算系统400还包括用于存储信息的耦合到总线405的主存储器415，诸如随机存取存储器(ram)或者其他动态存储设备，以及由处理器410执行的指令。主存储器415能够是或者包括数据储存库145。主存储器415还能够被使用于在由处理器410执行指令期间存储位置信息、临时变量或者其他中间信息。计算系统400可以进一步包括耦合到总线405的只读存储器(rom)420或者其他静态存储设备，其用于存储用于处理器410的静态信息和指令。诸如固态设备、磁盘或者光盘的存储设备425能够被耦合到总线405，以持久性存储信息和指令。存储设备425能够包括数据存储库145或者作为其一部分。
74.计算系统400可以经由总线405而被耦合到显示器435，诸如液晶显示器或者有源矩阵显示器，用于向用户显示信息。诸如包括字母数字和其他键的键盘的输入设备430可以被耦合到总线405，用于将信息和命令选择通信到处理器410。输入设备430能够包括触摸屏显示器435。输入设备430还能够包括诸如鼠标、轨迹球或者光标方向键的光标控制器，用于将方向信息和命令选择通信到处理器410以及用于控制显示器435上的光标移动。例如，显示器435能够作为数据处理系统105、客户端计算设备150或者图1的其他组件的一部分。
75.本文所述的过程、系统和方法能够由计算系统400响应于处理器410执行主存储器415中所包含的指令的布置来实现。这样的指令能够从诸如存储设备425的另一个计算机可读介质读入主存储器415。执行主存储器415中所包含的指令的布置促使计算系统400执行本文所述的说明性过程。也可以采用多处理布置中的一个或多个处理器来执行主存储器415中所包含的指令。硬连线电路能够以取代软件指令或者与软件指令组合的方式与本文所述的系统和方法连用。本文所述的系统和方法并不限于硬件电路和软件的任何特定组合。
76.虽然在图4中已描述示例计算系统，但本说明书中所述的包括操作的主题，能够以其他类型的数字电路，或者计算机软件、固件或硬件，包括本说明书中所公开的结构及其结构等价物，或者其中一个或多个的组合来实现。
77.在本文所讨论的系统采集有关用户的个人信息或者可以使用个人信息的情况下，用户可能有机会控制程序或者功能是否可以采集个人信息(例如，有关用户的社交网络、社交动作或活动、用户的偏好或者用户的位置的信息)，或者控制是否或如何从内容服务器或者其他数据处理系统接收可能与用户更相关的内容。此外，在存储或者使用某些数据之前，
可以通过一种或多种方式将其匿名化，以便在生成参数时删除个人可识别信息。例如，用户的身份可以被匿名化，以便不会针对用户来确定个人可识别信息，或者用户的地理位置可以被泛化到获得位置信息的位置(诸如城市、邮政编码或者州级)，以便用户的特定位置不会被确定。因此，用户可以控制如何采集有关他或她的信息并且供内容服务器使用。
78.本说明书中所述的主题和操作能够以数字电子电路，或者计算机软件、固件或硬件，包括本说明书中所公开的结构及其结构等价物，或者其中一个或多个的组合来实现。本说明书中所述的主题能够被实现为一个或多个计算机程序，例如，在一个或多个计算机存储介质上编码的计算机程序指令的一个或多个电路，用于由数据处理装置执行或者控制其操作。替选地或附加地，程序指令能够被编码在人工生成的传播信号上，例如，机器生成的电子、光学或者电磁信号，该信号被生成以编码用于传输至适当的接收器装置的信息，以便由数据处理装置执行。计算机存储介质能够是计算机可读的存储设备、计算机可读的存储衬底、随机或串行存取存储器阵列或设备或者其中一个或多个的组合，或者包括在其中。虽然计算机存储介质并非传播信号，但计算机存储介质能够是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也能够是一个或多个单独的组件或介质(例如，多个cd、磁盘或者其他存储设备)，或者包括在其中。在本说明书中所述的操作能够被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或者从其他来源接收的数据执行的操作。
79.术语“数据处理系统”、“计算设备”、“组件”或者“数据处理装置”包含各种用于处理数据的装置、设备和机器，例如，包括可编程处理器、计算机、片上系统或者以上的多个或组合。所述装置能够包括专用逻辑电路，例如fpga(现场可编程门阵列)或者asic(专用集成电路)。所述装置除硬件之外还能够包括为考虑中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或者其中一个或多个的组合的代码。所述装置和执行环境能够实现各种不同计算模型的基础设施，诸如web服务、分布式计算以及网格计算基础设施。直接动作api 135、内容选择器组件125、预测组件120或者nlp组件110以及其他数据处理系统105组件能够包括或者共享一个或多个数据处理装置、系统、计算设备或者处理器。
80.计算机程序(也称为程序、软件、软件应用、app、脚本或者代码)能够以任何形式的编程语言来编写，包括编译或解释语言、声明性或过程语言，并且能够以任何形式来部署，包括部署为独立程序或者模块、组件、子例程、对象或者适于在计算环境中使用的其他单元。计算机程序能够对应于文件系统中的文件。计算机程序能够被存储于保存其他程序或者数据(例如存储成标记语言文档的一个或多个脚本)的文件的一部分中、专用于考虑中的程序的单个文件中或者多个协同文件(例如存储一个或多个模块、子程序或者代码的多个部分)中。计算机程序能够被部署成在一个计算机上或者在位于一个地点或者分布于多个地点并且通过通信网络而互联的多个计算机上来执行。
81.本说明书中所述的过程和逻辑流程能够由执行一个或多个计算机程序的一个或多个可编程处理器(例如，数据处理系统105的组件)来执行，以通过对输入数据进行操作并且生成输出来执行动作。所述过程和逻辑流程也能够通过专用逻辑电路来执行，并且所述装置也能够被实现为专用逻辑电路，例如，fpga(现场可编程门阵列)或者asic(专用集成电路)。适于存储计算机程序指令和数据的设备包括所有形式的非易失存储器、介质和存储器
设备，例如包括例如eprom、eeprom和闪存设备的半导体存储器设备、例如内置硬盘或可移动磁盘的磁盘、磁光盘以及cd rom和dvd-rom磁盘。处理器和存储器能够增加或结合专用逻辑电路。
82.本文所述的主题能够在包括例如作为数据服务器的后端组件、包括例如应用服务器的中间件组件、包括例如具有用户能够借以与本说明书中所述主题的实施方式相交互的图形用户界面或者web浏览器的客户端计算机的前端组件或者一个或多个这样的后端、中间件或前端组件的组合的计算系统中实现。系统的组件能够通过数字数据通信的任何形式或者介质来互联，例如，通信网络。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互联网(例如，互联网)以及点对点网络(例如，ad-hoc点对点网络)。
83.诸如系统100或者系统400的计算系统能够包括客户端和服务器。客户端与服务器一般彼此远离，并且通常通过通信网络(例如，网络165)进行交互。客户端与服务器的关系借助在相应计算上运行并且彼此具有客户端-服务器关系的计算机程序来实现。在一些实施方式中，服务器将数据(例如，表示内容项的数据分组)传送至客户端设备(例如，目的是向与客户端设备进行交互的用户显示数据并且从该用户接收用户输入)。在客户端设备处生成的数据(例如，用户交互的结果)能够在服务器处从客户端设备接收(例如，由数据处理系统105从计算设备150或者内容提供者计算设备155或服务提供者计算设备160接收)。
84.虽然在图中以特定顺序来描绘操作，但无需以所示的特定顺序或者依序执行这样的操作，并且无需执行全部所图示的操作。本文所述的动作能够以不同的顺序来执行。
85.各种系统组件的分离并非在所有实施方式中都需要分离，并且所述程序组件能够被包括在单个硬件或者软件产品中。例如，nlp组件110、内容选择器组件125或者预测组件120能够是单个组件、app或程序，或者具有一个或多个处理电路的逻辑设备，或者数据处理系统105的一个或多个服务器的一部分。
86.现已描述一些说明性实施方式，但显然以上仅通过示例方式呈现说明性，而非旨在限制性。具体地，虽然本文提出的许多示例涉及方法动作或者系统元素的具体组合，但那些动作和那些元素可以通过其他方式组合来实现相同的目标。结合一种实施方式所讨论的动作、元素和特征并非旨在排除在其他实施方式中起类似作用。
87.本文所用的用语和术语是出于描述目的，而不应被视为限制目的。本文使用“包含”、“包括”、“具有”、“含有”、“涉及”、“特征是”、“特征在于”及其变型意在涵盖其后列举的项、其等价物和附加项以及仅由其后列举的项组成的替选实施方式。在一种实施方式中，本文所述的系统和方法由所述元素、动作或者组件中的一个、一个以上的每种组合或者全部组成。
88.对本文以单数形式提及的系统和方法的实施方式或者元素或动作的任何引用也可以涵盖包括多个这些元素的实施方式，并且对本文任何实施方式或者元素或动作的以复数形式的任何引用也可以涵盖仅包括单个元素的实施方式。以单数形式或者复数形式引用并非旨在将目前公开的系统或方法、其组件、动作或元素限制为单个或多个配置。引用基于任何信息、动作或元素的任何动作或元素可以包括动作或元素至少部分基于任何信息、动作或元素的实施方式。
89.本文所公开的任何实施方式可以与任何其他实施方式或实施例组合，并且引用“一种实施方式”、“一些实施方式”、“一个实施方式”等并非必然相互排斥，而旨在表示结合
实施方式所述的特定特征、结构或特性可以被包括在至少一个实施方式或实施例中。本文使用的这些术语并非必然全部涉及相同的实施方式。任何实施方式均可以通过与本文所公开的方面和实施方式一致的任何方式，包含性或排他性地与任何其他实施方式组合。
90.引用“或者”可以被解释为包含性，这样使用“或者”所述的任何术语可以指示单个、一个以上和全部所述术语中的任何一个。例如，引用“a”和“b”中的至少一个能够仅包含“a”、仅包含“b”以及包含“a”和“b”两者。结合“包括”或其他开放性术语使用的这类引用能够包括附加项。
91.在附图、具体描述或任何权利要求中的技术特征后面带附图标记的情况下，已包括附图标记来提高对附图、具体描述和权利要求的理解性。因此，是否存在附图标记对于任何权利要求元素的范围没有任何限制性影响。
92.在不脱离本发明的特征情况下，本文所述的系统和方法可以体现成其他具体形式。例如，数据处理系统105能够部分基于来自线程200的动作序列中的前一动作的数据来选择后续动作(例如，第三动作215)的内容项，诸如来自第二动作210的指示第二动作210完成或者即将开始的数据。前述实施方式仅为说明性，而非旨在限制所述的系统和方法。因此，本文所述的系统和方法的范围由所附权利要求而非前文描述来指示，并且在权利要求的等价含义和范围内的变化包含于其中。