基于多种数据类型的特征融合的模型训练系统及方法与流程

基于多种数据类型的特征融合的模型训练系统及方法


背景技术：

1.本公开总体上涉及基于多种模态的数据的模型训练。一些内容项可以包括多件内容，例如图像和文本。但是，图像和文本都属于不同的数据模态。可以基于来自数据模态的数据来训练对多个数据模态的内容项进行分类的模型。
2.用于训练分类模型的一些训练方法可以假设跨多个模态的数据点被直接链接(例如，视频的字幕或实验室报告的临床注释)以利用零次(zero-shot)学习。替代地，某些训练方法可以在同一嵌入空间中共同训练多种类型的内容数据(例如，图像、视频、html5、应用数据等)。这些训练方法需要存在大量标记的多媒体数据(例如，图像和/或视频数据)，或者通过与其他内容类型的接近而隐式标记的多媒体。可能无法获得该大量数据，尤其是在基于图像的内容的情况下，可能需要大量的用户查看和手动分类。此外，基于视频的内容可能花费大量的用户检查时间来进行分类，并且因此增加的成本。


技术实现要素：

3.通常，可以以包括以下方法的方法来实现本说明书中描述的主题的一个创新方面：通过一个或多个处理电路，接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，其中，第一数据类型为文本数据，并且第二数据类型为图像数据或视频数据中的至少一个。该方法包括通过一个或多个处理电路识别多个第一数据元素中的每个的第一特征，以及通过一个或多个处理电路识别多个第二数据元素中的每个的第二特征。该方法包括通过一个或多个处理电路，通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征；通过一个或多个处理电路基于共同特征以及第一特征和第二特征的至少一部分训练模型，并基于模型对内容项进行分类，其中，内容项包括内容文本和内容图像或内容视频中的至少一个。在一些实施例中，内容项包括与视频数据特征(而不是文本特征，或者除了文本特征之外)融合的图像数据特征。
4.通常，可以在包括一个或多个存储设备的系统中找到本说明书中描述的主题的另一方面，该存储设备被配置为在其上存储指令，指令在由一个或多个处理器执行时，使一个或多个处理器：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，识别多个第一数据元素中的每个的第一特征，并识别多个第二数据元素中的每个的第二特征。指令一个或多个处理器通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征以及基于共同特征以及第一特征和第二特征的至少一部分训练模型。
5.通常，可以在一个或多个计算机可读存储介质中实现本说明书中描述的主题的另一方面，该计算机可读存储介质被配置为在其上存储指令，指令在由一个或多个处理器执行时，使该一个或多个处理器：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，识别多个第一数据元素中的每个的第一特征，并识别多个第二数据元
素中的每个的第二特征。指令一个或多个处理器通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征以及基于共同特征以及第一特征和第二特征的至少一部分训练模型。
附图说明
6.本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。
7.图1是根据说明性实施方式的包括模型管理器和合并功能的分析系统的框图，该模型管理器和合并功能实现用于模型训练的多种数据类型的特征合并。
8.图2是根据说明性实施方式更详细地示出的图1的模型管理器的框图。
9.图3是根据说明性实施方式的示出生成用于训练模型的训练数据的图1的合并功能的框图。
10.图4是根据说明性实施方式的示出生成用如图3所示训练的模型来推断分类的合并特征的图1的合并功能的框图。
11.图5是根据说明性实施方式的用图1的合并功能生成的合并特征训练图1的模型的过程的流程图。
12.图6是根据说明性实施方式的用图1的模型生成模型输出的过程的流程图，其中合并功能将合并特征提供给模型。
13.图7是根据说明性实施方式的计算系统的框图。
具体实施方式
14.总体上参考附图，提供了可用于机器学习(ml)分类器的各种说明性系统和方法，机器学习(ml)分类器用于对包括例如，图像、文本、音频、视频、html5数据、应用数据等的多个内容类型的内容项进行分类。例如，内容项可能包括产品的文本描述以及产品的视频或图像。此外，本公开更具体地涉及当一种内容类型的标记的训练数据比另一内容类型的标记数据多时，例如，当标记的文本数据比图像数据和/或视频数据多时，训练分类器。尽管可能有大量的基于文本的训练数据可用，但是获取图像和/或视频训练数据可能很困难，因为这可能需要人手动查看图像和/或视频。
15.在这一点上，当对于另一种内容类型(例如，图像或视频)没有大量训练数据时，可以利用一种内容类型(例如，文本)的标记数据来开发针对包括多种内容类型的内容项的分类器。本文描述的系统被配置为针对包括多种内容类型的内容项目快速建立分类器，而无需为每种内容类型收集大量的人工标记的训练数据。
16.本系统和方法利用由不同域(替代地被称为数据类型或模态)的数据形成的共同特征空间。可以将系统配置为在训练的早期阶段合并来自不同域的功能。系统可以使用合并特征来训练对包括多个内容类型的内容项进行分类的联合模型。特征可以从多种内容类型中提取并合并以形成共同特征空间。该合并可以被称为“早期融合”，因为特征是在机器学习训练流水线中早期进行了合并。系统可以进一步利用仅文本和仅图像特征，未被组合的特征分别对于文本或图像是独特的。经过早期融合训练的分类器优于仅基于文本数据或
仅基于图像数据训练的模型。
17.系统可以被配置为通过从图像和文本两者中获取数据以建立分类器模型来训练分类器模型。系统可以被配置为从不同的内容类型中提取共同功能。这些共同特征可以是纯文本(例如，图像上的叠加文本，从视频上的语音识别派生的文本等)、分类特征或使用机器学习模型计算出的数字特征。图1-6示出了用早期融合训练的分类器模型的训练和推论。
18.系统可以被配置为从内容提供者接收内容项，并且可以被配置为应用用早期融合训练的训练分类器来对内容项进行分类。在一些实施例中，分类器模型的输出可以确定是否应将内容项服务给用户，从用户处扣留或者对内容项在哪些用户或网站上进行了限制。
19.用于训练分类器模型的数据可以是用于服务于最终用户的内容项数据，而可以基于搜索数据来训练用于从内容项数据中提取特征的模型。用于从内容项中提取特征的训练模型的语料库大小可以比用于训练分类器模型的内容项的总数大一个或多个数量级。内容项语料库虽然较小，但可能很重要，因为内容项语料库属于训练分类器所针对的领域，也就是说，它们是真实的内容项。此外，这些内容项可以具有由人工审阅者分配的分类标签(例如，策略标签)。所示的模型只能在图像和文本内容上训练。可以通过对搜索数据进行训练的模型来提取馈送给策略分类模型的功能。早期融合对于需求对来自具有共享(或部分共享)功能集的多个域中的数据进行分类的任何任务很有用。
20.现在参考图1，根据说明性实施方式示出了分析系统120和相关环境100的框图。一个或多个用户设备104可以被用户使用以执行各种动作和/或访问各种类型的内容，其中一些可以通过网络102(例如，互联网、lan、wan等)来提供。本文中使用的“用户”或“实体”可以是指单独的操作用户设备104，经由用户设备104等与资源或内容项进行交互。用户设备104可以用于访问网站(例如，使用互联网浏览器)、媒体文件和/或任何其他类型的内容。内容管理系统108可以被配置为选择要显示给资源(例如，网页、应用等)内的用户的内容，并通过网络102向用户设备104提供内容项以在资源内显示。内容管理系统108从中选择项目的内容可以由一个或多个内容提供商使用一个或多个内容提供商设备106经由网络102来提供。
21.在一些实施方式中，内容管理系统108可以从内容提供商中选择内容项以在用户设备104上显示。在这样的实施方式中，内容管理系统108可以确定要在一个或多个资源(例如网页、应用等)内容界面中发布的内容。内容管理系统108可以被配置为在第三方内容提供商当中进行内容拍卖，以确定哪个第三方内容将被提供给用户设备104。拍卖获胜者可以基于出价金额和质量得分来确定(即，对用户设备104的用户单击内容的可能性的度量)。在一些实施方式中，内容管理系统108允许内容提供者创建内容活动。活动可以包括任意数量的参数，诸如最低和最高出价金额、目标出价金额和/或一个或多个预算金额(例如每日预算、每周预算、总预算等)。
22.分析系统120可以包括一个或多个处理器(例如，任何共同或专用处理器)，并且可以包括和/或可操作地耦合到一个或多个临时和/或非临时存储介质和/或存储设备(例如，任何计算机可读存储介质，例如磁存储、光存储、闪存、ram等)。在各种实施方式中，分析系统120和内容管理系统108可以被实现为单独的系统或被集成在单个系统内(例如，内容管理系统108可以被配置为合并分析系统120的一些或全部功能/能力)。
23.分析系统120可以可通信地且可操作地耦合到分析数据库126。分析系统120可以
被配置为在分析数据库126中查询信息并将信息存储在分析数据库126中。在各种实施方式中，分析数据库126包括各种临时和/或非临时存储介质。存储介质可以包括但不限于磁存储、光存储、闪存、ram等。分析数据库126和/或分析系统120可以使用各种api来执行数据库功能(即，管理存储在数据库126中的数据)。这些api可以是但不限于sql、odbc、jdbc等。
24.分析系统120可以被配置为经由网络102与环境100中所示的任何设备或系统进行通信。分析系统120可以被配置为从网络102接收信息。该信息可以包括浏览历史、cookie日志、电视广告数据、印刷出版物广告数据、广播广告数据和/或在线广告活动数据。分析系统120可以被配置为接收和/或收集用户设备104在网络102上具有的交互。
25.分析系统120可以被配置为发送与它确定，生成或适合内容提供商设备106的各种度量或模型有关的信息和/或通知。这可以允许内容提供商设备106之一的用户审查分析系统120确定的各种度量或模型。此外，分析系统120可以使用各种度量来识别与用户联系的适当时间或花费在各种媒体渠道(例如，电视广告、互联网广告、广播广告等)上的适当金额(例如，最佳混合媒体花费)。分析系统120可以使消息被发送到内容管理系统108和/或内容提供者设备106，该消息指示内容管理系统108应在特定时间与特定用户和/或带有某些参数的内容活动联系。这可以使内容管理系统108相应地管理内容拍卖和/或识别各种系统负载。
26.分析系统120可以包括一个或多个模块(即，可由处理器执行的计算机可读指令)和/或电路(即，asic、处理器存储器组合、逻辑电路等)，其被配置为执行分析系统120的各种功能。在一些实施方式中，模块可以是或包括模型管理器122和合并功能124。模型管理器122可以被配置为基于训练数据132来训练存储在分析数据库126中的模型128。训练数据132包括第一数据类型134和第二数据类型136的数据。第一数据类型134和第二数据类型136可以各自是图像数据、文本数据、视频数据、音频数据等之一。在一些实施例中，第一数据类型134和第二数据类型136是单独的数据类型，例如，第一数据类型134是图像数据，第二数据类型136是文本数据。在一些实施例中，第一数据类型134和第二数据类型136是相同的数据类型，但是从单独的数据源接收，例如，从产品制造商接收的图像和从销售产品的网站接收的第二图像。
27.在一些实施例中，模型管理器122被配置为执行早期融合。模型管理器122可以被配置为合并多个数据模态的特征以创建用于训练模型128的单个共同特征空间。可以将由多个数据模态共享的特征合并为单个特征。数据可以是来自文本帖子的原始文本的数据，从图像数据点或视频得出的标题，音频数据和/或任何其他数据。此外，特定于某些数据模态的特征可以被应用到模型128而不是被组合(例如，图像特定的嵌入将不会出现在文本数据中)。在一些实施例中，可以联合训练数据模态和标签源。
28.模型管理器122可以被配置为将特征提取模型130应用于训练数据132，以提取第一数据类型134和第二数据类型136的特征。合并功能可以被配置为在第一数据类型134和第二数据类型136之间识别共同特征并且合并共同特征以生成合并特征。模型管理器122可以被配置为将第一数据类型134和第二数据类型136的合并特征和/或独特特征应用于训练数据以训练模型128。
29.用训练的模型128，模型管理器122可以被配置为对内容项138进行分类。内容项138包括不同数据类型，第一数据类型140和第二数据类型142的数据。第一数据类型140和
第二数据类型142可以各自是图像数据、文本数据、视频数据、音频数据等之一。模型管理器122可以被配置为将特征提取模型130应用于内容项138，以从第一数据类型140和第二数据类型142提取特征。
30.内容项138可以与内容项112相同或相似。在一些实施例中，内容提供商设备106和/或用户设备104可以将内容项138提供给分析系统120以用于服务于用户。然而，在可以将内容项138添加到内容数据库110以提供给用户之前，分析系统120可以确定用于内容项138的策略分类。该策略分类可以识别用于内容项138的限制性信息。限制性信息可以识别内容项138应服务于哪些类型的用户，内容项138应服务于何种类型的网页和/或任何其他限制性信息。
31.合并功能124可以被配置为合并由特征提取模型130提取的共同特征以生成合并特征。模型管理器122可以将第一数据类型140的独特特征、第二数据类型142的独特特征以及合并特征应用于模型128，以生成内容项138的分类。将内容项138应用于模型128的结果可以是内容项138的分类。策略分类可以是用于为内容项138服务的规则的指示。规则可以指示可以为内容项138服务的某些类型的用户或网页。
32.在一些实施例中，模型128是神经网络。该神经网络可以是递归神经网络、卷积神经网络、长期短期记忆神经网络、门控递归单元神经网络、自动编码器神经网络、变异自动编码器神经网络和/或任何其他类型或神经网络类型的组合。在一些实施例中，模型128是非线性支持向量机、随机森林、梯度提升树、决策树、贝叶斯网络、隐马尔可夫模型和/或任何其他类型的模型。
33.特征提取模型130可以是从训练数据132和/或内容项138中提取特征的各种类型的模型。例如，特征提取模型130可以是语音识别模型、图像嵌入模型、视频嵌入模型、对象识别模型、光学字符识别(ocr)和/或任何其他类型的特征识别模型。模型管理器122可以在训练数据132上训练特征提取模型130。
34.现在参考图2，根据说明性实施方式更详细地示出了图1的模型管理器122。模型管理器122接收训练数据132。模型管理器122可以被配置为基于训练数据132来训练模型128。此外，模型管理器122接收内容项138。模型管理器122可以使模型128为内容项138生成分类218其中基于训练数据132对模型128进行训练。
35.模型管理器122包括特征提取管理器214。特征提取管理器214可以被配置为提取第一数据元素202、第二数据元素204、第一数据类型140和/或第二数据类型142的特征。在一些实施例中，特征提取管理器214可以识别第一数据元素202和第二数据元素204之间的共同特征。在一些实施例中，特征提取管理器214可以识别第一数据类型140和第二数据类型142之间的共同特征。
36.此外，特征提取管理器214可以从训练数据132和/或内容项138中提取独特特征。独特特征可以是仅出现在第一数据元素202或第二数据元素204或第一数据类型140或第二数据类型142中的一个中的特征。在这方面，可以将仅以一种数据类型出现而没有另一种数据类型出现的特征应用于模型训练器216，以训练模型128或替代地应用于模型128以用于推断分类218。
37.特征提取管理器214可以被配置为比较从第一数据元素202和第二数据元素204提取的特征，以确定任何特征是否表示相同特征，即，是否是共同特征。例如，特征提取管理器
214可以在高尔夫设备的内容项中提取表示高尔夫球杆的文本特征。提取管理器214可以从内容项目的图像中提取图像特征，例如，内容项可以包括高尔夫设备的各种图像，例如，高尔夫球杆、高尔夫球、高尔夫手套。特征提取管理器214可以识别高尔夫球杆、高尔夫球和/或高尔夫手套的图像特征。特征提取管理器214可以被配置为识别共同特征，即，高尔夫球杆的基于图像的特征和高尔夫球杆的文本特征，并且将共同特征提供给合并功能124以生成合并特征。
38.特征提取管理器214可以被配置为训练从训练数据132和/或内容项138中提取特征的特征提取模型(例如，特征提取模型130)。例如，特征提取管理器214可以包括对象特征提取模型，例如从图像中提取特征的卷积神经网络，识别音频特征的音频处理模型，从图像中提取字符的光学字符识别模型，从文本数据中识别文本特征的文本处理特征等。可以由特征提取管理器214基于特征提取训练数据212来训练模型。
39.合并功能124可以被配置为合并特征提取管理器214所识别的共同特征。合并功能124可以组合共同特征。例如，每个特征可以具有与特征相关联的度量或其他值。例如，对于高尔夫球杆特征，度量可以指示所识别的高尔夫球杆是高尔夫球杆的可能性。合并功能124可以通过应用数学运算来组合与每个共同特征相关联的度量。例如，该运算可以包括求和、减法、乘法、求平均值、确定中位数等。合并功能的输出可以是通过应用数学运算输出的度量。
40.模型管理器122包括模型训练器216。模型训练器216可以被配置为基于从合并功能124接收到的合并特征和/或特征提取管理器214提取的独特特征来训练模型128。模型训练器216可以被配置为执行梯度下降、共轭梯度、牛顿法、准牛顿、莱文贝格马夸特等。在一些实施例中，训练数据132包括针对第一数据元素202和/或第二数据元素204中的每个的策略分类。基于分类以及第一数据元素202和第二数据元素204，模型训练器216可以训练模型128。
41.用训练的模型128，模型管理器122可以将内容项138应用于模型128以生成分类218。特征提取管理器214可以被配置为从第一数据类型140和第二数据类型142提取共同特征。此外，合并功能124可以合并共同特征，并将合并特征应用于模型128以推断策略分类218。此外，特征提取管理器214可以从第一数据类型140和第二数据类型142中提取独特特征，并将独特特征应用于模型128以生成策略分类218。
42.现在参考图3，根据说明性实施方式示出了合并功能的系统300，其生成用于训练模型的训练数据。系统300包括基于图像的内容项302和基于文本的内容项304。模型管理器122可以生成训练数据306，并基于训练数据306来训练模型128。模型管理器122可以被配置为从基于图像的内容项302提取仅图像的特征308和从基于文本的内容项304提取仅文本的特征314。仅图像的特征308可以是仅出现在基于图像的内容项302中而不出现在基于文本的内容项304中的特征。
43.例如，仅图像的特征308可以是在基于图像的内容项302中使用的颜色，在基于图像的内容项302中出现的某些形状或对象和/或没有在基于文本的内容项302中出现的任何其他信息的指示。仅文本的特征314可以是产品价格、一起出售的产品数量、产品使用指示或在基于图像的内容项302中未指示的其他产品细节的指示。此外，模型管理器122可以从基于图像的内容项302和基于文本的内容项304中提取共同特征310和312。
44.合并功能124可以合并共同特征310和312以生成合并特征316。可以将合并特征316包括在训练数据306中以训练模型128。可以从共同特征310和312生成合并特征316。例如，对于基于图像的内容项302的共同特征和基于文本的内容项304的共同特征，合并功能124可以将数学运算应用于与每个内容项相关联的值。值可以是在数据中识别的特征的置信度或概率。例如，如果高尔夫球杆特征与来自基于图像的内容项的0.9概率相关联并且高尔夫球杆特征与来自基于文本的内容项的0.5概率相关联，则合并功能124可以将数学运算应用于概率以为高尔夫球杆生成合并功能。例如，合并功能124可以将两个概率值取平均值以生成0.7的概率。
45.基于由仅图像特征308、合并特征316和仅文本特征314形成的训练数据306，可以将模型管理器122配置为训练模型128。更具体地，模型训练器216可以基于训练数据306来训练模型128。通过如图3所示训练模型128，可以如图4所示确定推论。
46.现在参考图4，根据说明性实施方式，系统400包括合并功能124，该合并功能124生成合并特征以用于用如图3所示训练的模型来推断分类。内容项402被应用于模型128。内容项402可以与内容项138相同或相似。内容项402包括基于图像的信息404和基于文本的信息406。在一些实施例中，基于图像的信息404包括产品的一个或多个图像或视频信息。在一些实施例中，基于文本的信息406包括产品的文本描述。仅图像特征408、共同特征410、共同特征412和/或仅文本特征414可以与仅图像特征308、共同特征310、共同特征312和仅文本特征314相似。
47.特征提取管理器214可以被配置为提取仅图像特征408、共同特征410、共同特征412和/或仅文本特征414。共同特征410和412可以被应用于合并功能124。合并功能124可以组合共同特征410和412以生成合并特征416。可以将仅图像特征408、合并特征416和仅文本特征414应用于模型128以生成分类418。分类418可以是内容项402的分类。分类418可以是用于向用户提供内容项402的策略。
48.现在参考图5，其是根据说明性实施方式的用由图1的合并功能生成的合并特征训练模型的过程500的流程图的框图。在一些实施例中，过程500由模型管理器122执行。在一些实施例中，过程500由计算机系统700执行。在一些实施例中，如本文所述的任何计算系统可以被配置为执行过程500。
49.在步骤502中，模型管理器122接收第一数据类型的第一数据元素和第二数据类型的第二数据元素。在一些实施例中，第一数据元素和第二数据元素是训练数据132。第一数据类型和第二数据类型可以各自是至少图像数据、视频数据、文本数据、音频数据等中的一个的不同数据类型。
50.在步骤504中，模型管理器122识别第一数据元素的每个的第一特征。在一些实施例中，模型管理器122将特征提取管理器214应用于步骤502的第一数据元素，以生成第一数据元素的共同特征和独特特征。在步骤506中，模型管理器122识别第二数据元素的每个的第二特征。在一些实施例中，模型管理器122将特征提取管理器214应用于步骤502的第二数据元素，以生成第二数据元素的共同特征和独特特征。
51.在步骤508中，模型管理器122通过将第一数据元素的第一特征的第一特征与第二数据元素的第二特征的第二特征进行组合来生成合并特征。第一特征和第二特征可以表示共同特征。合并功能124可以合并共同特征以生成合并特征。在一些实施例中，合并功能124
可以在共同特征上应用数学运算，诸如加法、平均、取中值、减法等，以生成合并特征。
52.在步骤510中，模型管理器122基于第一数据元素和第二数据元素的合并特征和独特特征来训练模型。例如，模型管理器122可以基于训练数据306来训练模型128。在一些实施例中，模型训练器216被配置为执行训练。
53.现在参考图6，其是根据说明性实施方式的利用模型生成模型输出的过程的流程图的框图，其中合并功能向模型提供合并特征。在一些实施例中，过程600由模型管理器122执行。在一些实施例中，过程600由计算机系统700执行。在一些实施例中，如本文所述的任何计算系统可以被配置为执行过程600。
54.在步骤602中，模型管理器122接收数据元素，该数据元素包括第一数据类型的第一数据元素和第二数据类型的第二数据元素。数据元素可以是包括基于图像的信息404和基于文本的信息406的内容项402。
55.在步骤604中，模型管理器122提取第一数据元素的一个或多个第一特征和第二数据元素的一个或多个第二特征。第一特征和第二特征可以是共同特征，并且可以由特征提取管理器213提取。在步骤608中，模型管理器122可以通过将一个或多个特征与一个或多个第二特征进行组合来生成一个或多个合并特征。在一些实施例中，合并功能124可以接收一个或多个第一特征和一个或多个第二特征，并且将特征合并以生成合并特征。例如，在一些实施例中，模型管理器122可以将合并功能124应用于合并共同特征以生成合并特征。
56.在步骤608中，模型管理器122可以提取第一数据元素的一个或多个独特第一特征以及第二数据元素的一个或多个独特第二特征。在一些实施例中，独特特征各自出现在第一数据元素和第二数据元素中的一个中，而不出现在另一个数据元素中，并且是不共同的。在步骤610中，模型管理器122可以通过输入在步骤606中确定的一个或多个合并特征和步骤608的独特特征来生成模型输出。在一些实施例中，模型管理器122将共同特征和独特特征应用于模型128以生成策略分类218。
57.现在参考图7，示出了计算机系统700，该计算机系统700可以用于例如实现示例性用户设备104、示例性内容管理系统108、示例性内容提供商设备106、示例性分析系统150和/或本公开中描述的各种其他示例性系统。计算系统700包括总线705或用于通信信息的其他通信组件，以及耦合到总线705以用于处理信息的处理器710。计算系统700还包括主存储器715，诸如随机存取存储器(ram)或其他动态存储设备，其被耦合到总线705以用于存储信息，以及将由处理器710执行的指令。主存储器715也可以是用于在处理器710执行指令期间存储位置信息、临时变量或其他中间信息。计算系统700还可以包括只读存储器(rom)720或耦合到总线705以用于存储静态信息和用于处理器710的指令的其他静态存储设备。诸如固态设备、磁盘或光盘的存储设备725被耦合到总线705，用于持久地存储信息和指令。
58.计算系统700可以经由总线705被耦合到显示器735，诸如液晶显示器或有源矩阵显示器，以向用户显示信息。输入设备730，诸如包括字母数字和其他键的键盘，可以被耦合到总线705，用于向处理器710通信信息和命令选择。在另一实施方式中，输入设备730具有触摸屏显示器735。输入设备730可以包括光标控件，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择通信给处理器710，并控制显示器735上的光标移动。
59.在一些实施方式中，计算系统700可以包括通信适配器740，诸如网络适配器。通信适配器740可以被耦合到总线705，并且可以被配置为使得能够与计算或通信网络745和/或
其他计算系统进行通信。在各种说明性实施方式中，可以使用通信适配器740，诸如有线的(例如，经由以太网)、无线的(例如，经由wifi、蓝牙等)、预配置的、ad-hoc、lan、wan等来实现任何类型的网络配置。
60.根据各种实施方式，响应于处理器710执行包含在主存储器715中的指令的布置，计算系统700可以实现完成本文描述的说明性实施方式的过程。这些指令可以从诸如存储设备725的另一计算机可读介质被读入主存储器715中。主存储器715中包含的指令布置的执行使计算系统700执行本文所述的说明性过程。也可以采用多处理布置中的一个或多个处理器来执行包含在主存储器715中的指令。在替代实施方式中，可以使用硬连线电路代替软件指令或与软件指令组合来实施示例性实施方式。因此，实施方式不限于硬件电路和软件的任何特定组合。
61.尽管在图7中描述了示例处理系统，但是可以使用其他类型的数字电子电路或在包括本说明书中公开的结构及其等同结构的计算机软件、固件或硬件或其一种或多种的组合中来执行本说明书中所描述的主题和功能操作的实施方式。
62.本说明书中描述的主题和操作的实施方式可以使用数字电子电路或在包含在有形介质上体现的包括本说明书中公开的结构及其等同结构的计算机软件、固件或硬件或其一种或多种的组合中来执行。本说明书中描述的主题的实施方式可以被实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其被编码在一个或多个计算机存储介质上以通过数据处理装置执行或控制数据处理装置的操作。替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，其被生成以对信息进行编码以传输到合适的接收器装置以由数据处理装置执行。计算机可读存储介质可以是或被包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或它们中的一个或多个的组合中。此外，尽管计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独的组件或介质(例如，多个cd、磁盘或其他存储设备)或包含在一个或多个单独的组件或介质中。因此，计算机存储介质是有形的和非暂时性的。
63.本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收到的数据执行的操作。
64.术语“数据处理装置”或“计算设备”涵盖用于处理数据的各种装置、设备和机器，例如，包括可编程处理器、计算机、片上系统或上述的多个或组合。该装置可以包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。
65.计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用包括编译或解释语言、声明性或过程语言的任何形式的编程语言编写，并且可以被部署为任何形式，包括作为独立程序或适合在计算环境中使用的模块、组件、子例程、对象或其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件或多
个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。可以将计算机程序部署为在一个计算机上执行，或者在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
66.本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行动作。处理和逻辑流程也可以由例如fpga(现场可编程门阵列)或asic(专用集成电路)的专用逻辑电路执行，并且装置也可以实现为例如fpga(现场可编程门阵列)或asic(专用集成电路)的专用逻辑电路。
67.通过示例的方式，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合以从一个或多个用于存储数据的大容量存储设备(例如，磁、磁光盘或光盘)接收数据或将数据传输到一个或多个大容量存储设备或两者。但是，计算机不必具有此类设备。此外，计算机可以被嵌入到另一设备，例如，移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏机、全球定位系统(gps)接收器或便携式存储设备(例如，共同串行总线(usb)闪存驱动器)等中。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，包括通过示例的方式半导体存储设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及cd-rom和dvd-rom磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
68.为了提供与用户的交互，可以使用具有例如crt(阴极射线管)或lcd(液晶显示器)监视器的显示设备的计算机来执行本说明书中描述的主题的实施方式，该显示设备用于向用户显示信息以及键盘和例如鼠标或轨迹球的指示设备，用户可通过该键盘和指示设备向计算机提供输入。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户进行交互；例如，通过响应于网页浏览器接收到的请求，将网页发送到用户客户端设备上的网页浏览器。
69.本说明书中描述的主题的实施方式可以使用包括例如作为数据服务器的后端组件或者包括例如应用服务器的中间件组件或者包括例如具有图形用户界面或网络浏览器的客户端计算机，用户可以通过该网络浏览器与本说明书中描述的主题的实施方式进行交互的前端组件或者一个或多个此类后端、中间件或前端组件的任意组合的计算系统来执行。系统的组件可以通过例如通信网络的数字数据通信的任何形式或介质互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、网络间(例如互联网)和点对点网络(例如ad hoc对等网络)。
70.计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。在一些实施方式中，服务器将数据(例如，html页面)发送到客户端设备(例如，出于向与客户端设备交互的用户显示数据和从其接收用户输入
的目的)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。
71.在一些说明性实施方式中，本文公开的特征可以在智能电视模块(或连接的电视模块、混合电视模块等)上实现，该智能电视模块可以包括配置为将互联网连接与更传统的电视节目源(例如，通过电缆、卫星、空中或其他信号接收)集成的处理电路。智能电视模块可以物理地合并到电视机中，或者可以包括单独的设备，诸如机顶盒、蓝光或其他数字媒体播放器、游戏机、酒店电视系统以及其他配套设备。智能电视模块可以被配置为允许观众搜索和查找网络上、本地有线电视频道上、卫星电视频道上或存储在本地硬盘上的视频、电影、照片和其他内容。机顶盒(stb)或机顶单元(stu)可以包括信息应用设备，其可以包含调谐器并连接到电视机和外部信号源，将信号转换为内容，然后显示在电视屏幕或其他显示设备上。智能电视模块可以被配置为提供主屏幕或顶级屏幕，其包括用于多个不同应用的图标，诸如网络浏览器和多个流媒体服务(例如，netflix、vudu、hulu等)、连接的电缆或卫星媒体源，其他网络“频道”等。智能电视模块可以进一步被配置为向用户提供电子节目指南。智能电视模块的配套应用可以在移动计算设备上运行，以向用户提供有关可用节目的附加信息，以允许用户控制智能电视模块等。在替代实施方式中，在膝上型计算机或其他个人计算机、智能电话、其他移动电话、掌上计算机、平板电脑或其他计算设备上可以实现特征。
72.尽管本说明书包含许多具体的实现细节，但是这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是对特定发明的特定实施方式所特有的特征的描述。在本说明书中在单独的实施方式的上下文中描述的某些特征也可以组合或在单个实施方式中实施。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中分别地或以任何合适的子组合来执行。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此声称，但是在某些情况下，可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以涉及子组合或子组合的变体。替代地，关于特定标题描述的特征可以相对于在其他标题下描述的说明性实施方式和/或与之结合使用。标题，如果提供，仅出于可读性目的而包括在内，不应解释为限制针对此类标题提供的任何功能。
73.类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实施方式中的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以被一起集成在单个软件产品中或打包成体现在有形媒体上的多个软件产品。
74.因此，已经描述了本主题的特定实施方式。其他实施方式在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。另外，附图中描绘的过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。