识别来自机器翻译模型的建议中最合适的语法建议的系统和方法与流程

1.本公开的各方面和实施方式涉及识别来自机器翻译模型的建议中的最合适的语法建议。


背景技术：

2.语法错误校正系统用于校正平台用户提供的句子中存在的语法错误。语法错误校正系统可以识别候选编辑集合以替换用户提供的句子中的词或短语。在一些实例中，候选编辑建议来自机器翻译模型，其识别句子中词或短语的合适替换集合(例如，用户可能接受的句子的替换词或短语)。


技术实现要素：

3.以下概述是本公开的简化概述，以便提供对本公开的一些方面的基本理解。该概述不是本公开内容的广泛概述。其既不旨在识别本公开的关键或重要要素，也不旨在描绘本公开的特定实施方式的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为稍后呈现的更详细描述的前奏。
4.在一些实施方式中，公开了一种系统和方法，用于基于候选编辑集合中的每个编辑的语法准确性来选择对句子的推荐编辑。在实施方式中，为句子获得候选编辑集合。候选编辑与其在句子中的周围词之间的依赖关系(即句法和/或语义关系)作为输入提供给机器学习模型，以预测最有可能在语法上对句子正确的候选编辑。根据候选编辑与其周围词之间的关系，机器学习模型从句子中的候选编辑集合中输出分数，其指示每个候选编辑的语法准确性。选择具有最高分数的候选编辑作为句子的推荐语法校正。
5.在一些实施方式中，公开了一种系统和方法，用于训练机器学习模型以确定对文档内容的建议编辑的准确性。在实施方式中，为机器学习模型生成训练数据。为了生成训练数据，识别被校正的句子。在校正的句子中被编辑词替换的词也被识别。生成的训练输入包括编辑词、原始词以及编辑词、原始词和句子中其他词之间的依赖关系。根据编辑词与一个或多个第二词中的每一个之间的依赖关系，ml模型输出包括校正后的句子中的编辑词在语法上是否准确的指示。训练数据被提供给机器学习模型，以预测给定句子的编辑在语法上的准确程度。
附图说明
6.本公开的各方面和实施方式将从下面给出的详细描述以及本公开的各个方面和实施方式的附图中得到更充分的理解，然而，这不应被视为将本公开限制为特定的方面或实施方式，但仅用于解释和理解。
7.图1示出根据本公开的实施方式的示例系统架构。
8.图2是根据本公开的实施方式的语法错误校正引擎的框图。
9.图3是示出根据本公开的实施方式的语法检测引擎的框图。
10.图4a示出根据本公开的实施方式的用户提供的句子。
11.图4b示出根据本公开的实施方式的句子的语法属性数据结构。
12.图5描绘了根据本公开的实施方式从机器翻译模型重新评估语法建议的方法的流程图。
13.图6描绘了根据本公开的实施方式的用于训练用于从机器翻译模型重新评估语法建议的机器学习模型的方法的流程图。
14.图7是示出根据本公开的实施方式的示例性计算机系统的框图。
具体实施方式
15.本公开的各方面涉及识别所有候选编辑中最有可能的以改进句子的语法正确性。语法错误校正系统经常用于校正由平台(例如，文档编辑平台、电子邮件(e-mail)平台、电子消息传递平台等)的用户提供的句子中存在的语法错误。
16.语法错误校正系统可以使用机器翻译(mt)模型(例如，统计mt模型、神经mt模型等)，这些模型的参数是从短语分析中导出的，以完成从一种语言到另一种语言的翻译。语法错误校正系统可以使用mt模型来识别候选的语法相关编辑集合，以替换用户提供的句子中的词或短语。在一些实例中，mt模型可以通过识别与特定词相关联的一个或多个预定义(例如，先前记录的)候选编辑来识别句子的特定词的语法相关候选编辑集合。mt引擎可以基于用户将接受编辑作为用户提供的句子的推荐编辑的可能性来进一步识别候选编辑集合。在一些实例中，mt模型可以基于用户提供的句子中候选编辑的直接上下文来确定用户接受编辑的可能性。语法错误校正系统还可以包括语言模型。对于由mt引擎识别的候选编辑集合中的每一个，语言模型可以确定特定候选编辑在平台(电子文档文件、电子邮件文件等)的文件中使用的可能性或概率。
17.通常，语法错误校正系统通过从候选编辑集合中确定具有最高用户接受可能性并且在平台的文件中最频繁使用的特定编辑来提出推荐编辑的建议。如上所述，用户接受的可能性是基于用户提供的句子中的候选编辑的直接上下文，而不是用户提供的句子中的候选编辑全局上下文(即，根据整个句子的词或短语的上下文)。因此，与集合中的其他候选编辑相比，特定候选编辑可以与用户接受的最高可能性相关联，即使在给定候选编辑的全局上下文的情况下特定候选编辑在语法上不准确。通过向用户提供的句子推荐语法不准确的编辑，传统的语法错误校正系统无法改进用户提供的句子的语法，从而降低了语法错误校正的整体有效性。
18.在一些实例中，候选编辑集合可以包括最初在用户句子中提供的词或短语。包含原始词或短语的候选编辑在语法上可能是准确的，但是在平台的文件中可能不经常使用。结果，即使用户提供的句子在没有推荐编辑的情况下在语法上是准确的，传统的语法错误校正系统也可以从候选编辑集合中选择不同的候选编辑作为对用户提供的句子的推荐编辑。通过对已经语法准确的用户提供的句子提供不必要的推荐编辑，对平台的用户体验可能是负面的(例如，用户可能会因为平台正在向语法准确的句子提供推荐而烦恼)。此外，语法错误校正系统浪费了大量的计算资源，增加了语法错误校正系统以及平台的整体延迟，从而对整体系统效率产生负面影响。
19.本公开的实施方式通过提供一种机器学习模型来解决上述和其他缺陷，该模型根据候选编辑中的每个的语法准确性，从用户提供的句子的mt模型重新评估候选编辑。响应于用户向平台(例如，文档编辑平台、电子邮件平台等)提供句子，可以识别用户提供的句子的特定词并且可以(例如，从用于检查用户提供的句子的语法准确性的mt模型)获得该词的候选编辑集合。处理设备可以识别与用户提供的句子和候选编辑集合中的每一个相关联的一个或多个语法属性。例如，处理设备可以识别候选编辑集合中的每一个与用户提供的句子中的两个或更多个附加词(围绕每个候选编辑词)之间的依赖关系(例如，句法依赖关系、语义依赖关系等)。可以识别候选编辑中的每个与两个或更多个周围词中的至少一个之间的依赖关系，而不考虑对应的周围词与编辑词的接近度(即，通过使用整个句子的词，并且仅紧接在原始词之后和之前的词或来自同一短语的词)。处理设备可以将依赖关系和候选编辑集合中的每一个作为输入提供给经过训练以确定每个候选编辑的语法准确性的机器学习模型。处理设备可以从训练的机器学习模型接收一个或多个输出，其中一个或多个输出中的每一个指示用户提供的句子中的每个候选编辑的语法准确性。处理设备可以基于候选编辑集合中的每一个的语法准确性来选择候选编辑作为推荐编辑。
20.可以使用为先前校正的句子收集的训练数据来训练机器学习模型。在一些实施例中，先前校正的句子可以是由公认的语言权威(例如，专业语言学家)校正的句子。在其他或类似的实施例中，先前校正的句子可以是先前提供给平台并使用语法错误校正系统校正的用户提供的句子。训练数据可以包括训练输入和相关的目标输出。训练输入可以使用在校正的句子中编辑的原始词以及各自与编辑词具有依赖关系的附加词来生成，其中可以识别这些附加词而不考虑它们与对应的编辑词的接近度。根据编辑词与附加词中的每一个之间的依赖关系，可以基于每个已校正句子中的编辑词在语法上是否准确的指示为相关联的训练输入生成目标输出。
21.因此，本公开的各方面重新评估来自机器翻译模型的语法建议以确保仅将在整个句子的上下文中语法正确的编辑提供给平台的用户。通过基于句子中要编辑的原始词和句子的两个或更多个附加词之间的依赖关系确定语法准确性，其中识别附加词而不考虑它们与原始词的接近度，基于句子的全局上下文而不是直接上下文可以选择候选编辑以推荐给用户。通过基于句子的全局上下文选择要推荐给用户的候选编辑，改进了平台提供的推荐编辑的整体准确性，从而提高了语法错误校正系统的整体有效性。
22.此外，通过使用词与句子的其他词的依赖关系(即，句法和/或语义关系)来确定候选编辑的准确性，减少了在选择推荐编辑时特定候选编辑的使用频率的权重。结果，即使原始词在平台文件中不经常使用，也不建议对已经语法准确的句子的该原始词进行编辑，从而减少不必要的建议数量和浪费的计算资源量。结果，提高了语法错误校正系统的整体质量。此外，语法错误校正系统的整体等待时间减少并且整体系统效率提高。
23.图1示出根据本公开的实施方式的示例系统架构100。系统架构100(这里也称为“系统”)包括客户端设备102a-n、数据存储110、平台120和一个或多个服务器机器130-150，每个都连接到网络104。
24.在实施方式中，网络104可以包括公共网络(例如，因特网)、专用网络(例如，局域网(lan)或广域网(wan))、有线网络(例如，以太网)、无线网络(例如，802.11网络或wi-fi网络)、蜂窝网络(例如，长期演进(lte)网络)、路由器、集线器、交换机、服务器计算机和/或它
们的组合。
25.在一些实施方式中，数据存储110是能够存储内容项以及用于标记、组织和索引内容项的数据结构的持久存储。数据存储110可以由一个或多个存储设备托管，诸如主存储器、基于磁或光存储的磁盘、磁带或硬盘驱动器、nas、san等。在一些实施方式中，数据存储110可以是网络附接的文件服务器，而在其他实施例中，数据存储110可以是一些其他类型的持久性存储，诸如面向对象的数据库、关系数据库等，其可以是由平台120或经由网络104耦合到平台120的一个或多个不同机器托管。
26.客户端设备102a-n可以各自包括计算设备，诸如个人计算机(pc)、膝上型计算机、移动电话、智能电话、平板计算机、上网本计算机、联网电视等。在一些实施方式中，客户端设备102a-n也可以称为“用户设备”。每个客户端设备可以包括内容查看器。在一些实施方式中，内容查看器可以是为用户提供用户界面(ui)以查看、创建或编辑文件121——诸如电子文档文件、电子消息文件(例如，电子邮件文件)、图像文件、视频文件等——的内容的应用。例如，内容查看器可以是可以访问、检索、呈现和/或导航由网络服务器服务的文件121的网络浏览器。内容查看器可以向用户呈现、显示和/或展现文件121的内容。在一个示例中，内容查看器可以是允许用户查看、编辑和/或创建数字内容项(例如，电子文档、电子消息、数字视频项、数字图像、电子书等)的单独应用(例如，移动应用或app)。在一些实施方式中，内容查看器可以是电子文档平台应用，供用户在平台120上生成、编辑和/或上传电子文档的内容。在其他或类似实施方式中，内容查看器可以是电子消息传递平台应用(例如，电子邮件应用)，供用户经由平台120生成和发送消息。因此，内容查看器可以由平台120提供给客户端设备102a-102n。
27.在一些实施方式中，平台120和/或服务器机器130-150可以是一个或多个计算设备(诸如机架式服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板计算机、台式计算机等)、数据存储(例如，硬盘、存储器、数据库)、网络、软件组件和/或可用于向用户提供对文件121(例如，电子文档、电子邮件消息等)的访问和/或将文件121提供给用户的硬件组件。例如，平台120可以是电子文档平台。电子文档平台可以允许用户创建、编辑(例如，与其他用户协作)、访问或与其他用户共享存储在数据存储110处的电子文档。在另一示例中，平台120可以是电子消息传递平台(例如，电子邮件平台)。电子消息传递平台可以允许用户创建、编辑或访问发送给电子消息传递平台的其他用户或电子消息传递平台之外的客户端设备的用户的电子消息(例如，电子邮件)。平台120还可以包括网站(例如，网页)或应用后端软件，其可以用于向用户提供对文件121的访问。
28.在本公开的实施方式中，“用户”可以被表示为单个个体。然而，本公开的其他实施方式涵盖“用户”是由用户和/或自动源集合控制的实体。例如，在社交网络中联合为社区的个人用户集合可以被视为“用户”。在另一示例中，自动消费者可以是平台120的自动摄取管道，诸如主题频道。
29.如前所述，平台120可以允许用户经由内容查看器的用户界面来创建或编辑文件121(例如，电子文档文件、电子邮件文件等)。每个用户创建的文件121可以被存储在数据存储110处。在一个示例中，用户可以经由用户界面提供要包括在文件121中的一个或多个句子。在一些实例中，用户提供的句子可以包括导致句子语法不准确的一个或多个错误。如果句子的词或短语在给定词或短语的全局上下文的情况下导致句子违反句子的特定语言(例
如英语)的一个或多个语法规则，则该句子在语法上不准确。例如，用户可以提供句子“i walk to the store and bought milk(我步行到商店买牛奶)”，而不是提供句子“i walked to the store and bought milk(我走到商店买牛奶)”或“i walk to the store and buy milk(我走到商店买牛奶)”。在这个示例中，在给定用户提供的句子的上下文的情况下，句子中的词“walk”和“bought”一起导致句子在语法上不准确。
30.在一些实施方式中，推荐系统可以被配置为识别导致句子在语法上不准确的句子的词或短语，并且推荐对句子的编辑122以使句子在语法上变得准确(即，句子满足特定语言的一个或多个语法规则)。推荐的编辑122可以是向用户提供编辑建议的指示符(例如，界面组件、电子消息、推荐馈送等)，该建议可以使用户提供的句子在语法上是正确的。推荐系统可以至少包括语法检测引擎310、训练数据生成器131、训练引擎141、机器学习模型160和语法错误校正引擎151。在一些实施方式中，推荐的编辑122可以基于训练的机器学习模型——诸如机器学习模型160a-n——的输出。
31.服务器机器130可以包括能够生成训练数据(例如，训练输入集合和目标输出集合)以训练ml模型160a-n的训练集合生成器131。可以基于先前已通过一个或多个编辑校正的句子生成训练数据。在一些实施方式中，一个或多个先前校正的句子可以是由公认的语言权威(例如，专业语言学家)先前校正的句子。例如，数据存储110可以存储(例如，在数据结构中)包括由专业语言学家校正的一个或多个语法错误的句子。数据存储110还可以存储句子的一个或多个词的指示，该句子是根据一个或多个语法规则编辑的。例如，数据存储110可以存储包括在句子中的原始词的指示和由公认的语言权威提供的原始词的编辑形式(即，编辑词)，这导致句子在语法上变得正确。
32.在其他或类似实施例中，可以基于先前校正的用户提供的句子来生成训练数据。例如，根据先前描述的实施例，用户可以向平台120提供句子。平台120可以向用户的客户端设备102a-n提供句子的词的推荐的编辑122，其中客户端设备102a-n通过用户界面向用户呈现推荐的编辑122。用户可以例如通过选择用户界面的用户界面元素来接受或拒绝推荐的编辑122。客户端设备102a-n可以向平台120发送接受或拒绝的指示。响应于接收到该指示，平台120可以将句子、推荐的编辑122和接受或拒绝的指示存储在数据存储110处。
33.训练数据生成器131可以通过识别与存储在数据存储110处的先前校正的句子对应的数据来生成训练数据集合。训练数据集合可以包括训练输入和基于所识别数据的目标输出的子集。在一些实施例中，训练数据生成器131可以使用语法检测引擎310获得每个先前校正的句子的一个或多个语法属性。将参考图3提供关于语法检测引擎310的进一步细节。在一些实施方式中，训练输入的每个子集可以包括在原始句子被校正之前的原始句子的一部分、对先前校正的句子所做的导致该句子在语法上正确的编辑，以及先前校正的句子和/或校正的句子的一个或多个语法属性。目标输出的每个子集可以包括与对先前校正的句子的编辑在语法上是否准确有关的数据。在一些实施方式中，如果公认的语言权威将编辑提供给先前校正的句子，则确定编辑在语法上是准确的。在其他或类似实施方式中，根据先前描述的实施例，如果提供先前校正的句子的用户接受对句子的推荐的编辑122，则确定该编辑在语法上是准确的。本文提供了关于生成训练数据的进一步细节。
34.服务器机器140可以包括训练引擎141。训练引擎141可以使用来自训练集生成器131的训练数据来训练机器学习模型160a-n。机器学习模型160a-n可以指的是模型工件，其
是由训练引擎141使用包括训练输入和对应目标输出(各个训练输入的正确答案)的训练数据创建。训练引擎141可以在训练数据中找到将训练输入映射到目标输出(要预测的答案)的模式，并提供捕捉这些模式的机器学习模型160a-n。机器学习模型160a-n可以由例如单级线性或非线性操作(例如，支持向量机(svm)或可以是深度网络，即由多级非线性操作组成的机器学习模型)组成。深度网络的示例是具有一个或多个隐藏层的神经网络，并且这种机器学习模型可以通过例如根据向后传播学习算法等调整神经网络权重来进行训练。为方便起见，本公开的其余部分将实施方式称为神经网络，尽管一些实施方式代替神经网络或除神经网络之外可能采用svm或其他类型的学习机器。一方面，训练集合由服务器机器130托管的训练集合生成器131获得。在一些实施例中，机器学习模型160可以是关于图2描述的编辑准确性模型。
35.服务器150包括语法错误校正引擎151，其将用户提供的句子的一部分作为输入提供给第一训练的机器学习模型160a-n以获得一个或多个输出。第一模型(例如，mt模型)可以用于确定用户提供的句子的一个或多个部分的候选编辑集合。对于每个候选编辑，第一模型还可用于确定用户将接受对用户提供的句子的候选编辑的可能性。可以将候选编辑集合中的每一个提供给第二机器学习模型(例如，编辑准确性模型)。与用户提供的句子和每个候选编辑相关联的一个或多个语法属性可以作为输入提供给第二机器学习模型。第二机器学习模型可以为用户提供的句子的候选编辑集合中的每一个提供指示语法准确性的一个或多个输出。语法错误校正引擎151可以基于候选编辑集合中的每一个的语法准确性，从用户提供的句子的候选编辑集合中选择候选编辑以作为推荐的编辑122提供给用户。例如，语法错误校正引擎151可以选择与候选编辑集合的每个其他候选编辑的语法准确性相比具有最高语法准确性的候选编辑，以作为推荐编辑提供给用户。参考图2提供关于语法错误校正引擎151的进一步细节。
36.应当注意，在一些其他实施方式中，服务器机器130、140和150或平台120的功能可以由较少数量的机器提供。例如，在一些实施方式中，服务器机器130和140可以被集成到单个机器中，而在其他实施方式中，服务器机器130、140和150可以被集成到多个机器中。此外，在一些实施方式中，服务器机器130、140和150中的一个或多个可以集成到平台120中。
37.通常，如果合适，在实施方式中描述为由平台120或服务器机器130、140、150执行的功能也可以在其他实施方式中在客户端设备102a-n上执行。此外，归属于特定组件的功能可以由不同或多个组件一起操作来执行。平台120或服务器机器130、140、150也可以作为通过适当的应用程序编程接口提供给其他系统或设备的服务来访问，因此不限于在网站中使用。
38.尽管根据平台120和提供对平台120上的文件121的访问来讨论本公开的实施方式，但是实施方式通常也可以应用于被配置为校正用户提供的句子的任何类型的语法错误校正系统。本公开的实施方式不限于向用户提供对电子文档或电子消息的访问的平台。
39.在此处讨论的系统收集关于用户的个人信息或可以利用个人信息的情况下，可以向用户提供控制平台120是否收集用户信息(例如，关于用户的社交网络、社交行为或活动、职业、用户的偏好或用户的当前位置的信息)的机会，或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。此外，在存储或使用某些数据之前，可能以一种或多种方式对其进行处理，从而删除个人身份信息。例如，用户的身份可能被处理，从而无法确定用户
的个人身份信息，或者用户的地理位置可能在获得位置信息的情况下被概括(例如城市、邮政编码或州级别)，从而无法确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并由平台120使用。
40.图2是根据本公开的实施方式的语法错误校正引擎的框图。在一些实施例中，语法错误校正引擎可以是图1的语法错误校正引擎151。如前所述，语法错误校正引擎151可以为平台120的用户经由客户端设备102提供的句子的一个或多个部分确定推荐的编辑122。例如，用户可以提供句子400，如图4a所示(即“below lists aristotle’s dependencies and briefly explains their need.(下面列出了亚里士多德的依赖关系并简要解释了它们的需求。)”)。应当注意，这里描述的一些实施例针对向用户提供的句子的词提供推荐的编辑。然而，语法错误校正引擎151可以为用户提供的句子的任何部分提供推荐的编辑122，包括词、多个词、短语等。
41.语法错误校正引擎151可以包括候选编辑引擎210和编辑准确性引擎220。候选编辑引擎210可以被配置为识别一个或多个候选编辑集合，这些候选编辑可以被推荐为对用户提供的句子的一部分的编辑。如前所述，用户可以经由客户端设备102向平台120提供句子。候选编辑引擎210可以解析用户提供的句子以识别句子的一个或多个词或短语。根据先前的示例，候选编辑引擎210可以识别句子400的词“explains(解释)”。识别的词或短语中的每一个可以被提供给编辑生成模型212。在一些实施例中，编辑生成模型212可以是mt模型(例如，统计mt模型、神经mt模型等)。
42.编辑生成模型212是被配置为针对特定词或短语识别候选编辑集合的模型，每个候选编辑可以应用于用户提供的句子中的特定词或短语。在一些实施例中，编辑生成模型212可以是训练的机器学习模型，其被配置为接收来自用户提供的句子的特定词或词集合作为输入，并提供候选编辑集合作为输出，该候选编辑可以应用于特定的词或词集合。编辑生成模型212还可以提供呈现有候选编辑集合中的每一个的用户将接受特定候选编辑作为用户提供的句子的推荐的编辑122的可能性的指示作为附加输出。
43.在一些实施例中，编辑生成模型212可以基于与特定词或短语相关联的候选编辑的预定义集合来识别候选编辑的集合。在一些实施例中，候选编辑集合中的每一个可以对应于句子的词的潜在校正形式。根据先前的示例，候选编辑引擎210可以从句子400中识别词“explains”并且将词“explains”提供给编辑生成模型212。编辑生成模型212可以识别(例如，使用查找表或其他合适的数据结构或数据库)与词“explains”相关联的候选预定义候选编辑集合。例如，编辑生成模型212可以提供候选编辑的集合作为输出，包括“explain(解释)”、“explains(解释)”、“explained(解释)”、“explainer(解释器)”等。编辑生成模型212还可以确定，对于候选编辑集合中的每一个，用户将接受该编辑作为用户提供的句子的推荐的编辑122的可能性。在一些实施例中，编辑生成模型212可以基于特定词的直接上下文(即，根据直接围绕特定词的词的特定词的上下文)来确定用户接受的可能性。在其他或类似实施例中，编辑生成模型212可以基于与候选编辑相关联的历史数据来确定用户接受的可能性。例如，编辑生成模型212可以基于历史数据来确定用户接受的可能性，该历史数据指示先前已经接受或拒绝了针对句子中的特定词的特定候选编辑的用户数量。
44.仅出于说明目的，编辑生成模型212可以确定包括词“explain”的第一候选编辑与最高可能性相关联，包括词“explains”的第二候选编辑与第二高可能性相关联，包括词“explained”的第三候选编辑与第三高可能性相关联，并且包括词“explainer”的第四候选编辑与最低可能性相关联。在一些实施例中，编辑生成模型212可以提供用户接受候选编辑作为用户提供的句子的推荐的编辑122的可能性的指示作为附加输出。例如，编辑生成模型212可以为候选编辑集合中的每一个提供指示用户接受候选编辑的可能性的用户接受评级或用户接受分数(例如，第一候选编辑的最高评级，第二候选编辑的第二高评级，第三候选编辑的第三高评级和第四候选编辑的最低评级)。
45.在一些实施例中，候选编辑引擎210可以将由编辑生成模型212识别的候选编辑集合中的每一个提供给语言频率模型214。语言频率模型214可以被配置为确定在特定的文件集合中使用特定的词或短语的使用频率(例如，电子文档平台的所有电子文档、电子消息传递平台的所有电子邮件文件等)。使用频率可以对应于特定词或短语在特定文件集合中使用或出现的实例数量。在一些实施例中，语言频率模型214可以是训练的机器学习模型，其被配置为接收特定词或短语作为输入(例如，形成候选编辑)并提供指示特定的词或短语的使用频率作为输出。例如，语言频率模型214可以为候选编辑集合中的每一个提供指示对应候选编辑的使用频率的使用频率评级或使用频率分数。
46.编辑准确性引擎220可以被配置为确定由编辑生成模型212识别的候选编辑集合中的每一个的语法准确性。编辑准确性引擎220可以包括语法检测引擎310和编辑准确性模型224。语法检测引擎310可以被配置为检测与用户提供的句子的语法对应的一个或多个属性。例如，语法检测引擎310可以检测用户提供的句子的识别词(例如，“explains”)和用户提供的句子的一个或多个附加词之间的依赖关系(例如，语义关系、句法关系等)。参考图3提供了关于语法检测引擎310的进一步细节。
47.编辑准确性引擎220可以基于编辑准确性模型224提供的输出确定候选编辑集合中的每一个的语法准确性。编辑准确性模型224可以被配置为接收从用户提供的句子识别的词、与识别的词相对应的候选编辑集合，以及与由语法检测引擎310识别的用户提供的句子的语法相对应的一个或多个属性作为输入。例如，编辑准确性模型224可以接收识别的词“explains”、至少包括“explain”、“explains”、“explained”、“explainer”的候选编辑集合和在识别的词“explains”和用户提供的句子的一个或多个附加词之间的依赖关系(例如，句法依赖关系、语义依赖关系等)作为输入。编辑准确性模型224可以根据一个或多个语法属性(例如，所识别的词和一个或多个附加词之间的句法依赖关系和/或语义依赖关系)确定用户提供的句子中的候选编辑集合的每个候选编辑的语法准确性，并提供每个候选编辑的语法准确性的指示作为输出。例如，编辑准确性模型224可以为候选编辑集合中的每一个提供指示对应候选编辑的语法准确性的准确性等级或准确性分数。
48.响应于编辑准确性引擎220确定候选编辑集合中的每一个的语法准确性，语法错误校正引擎151可以为用户提供的句子选择推荐的编辑122。在一些实施例中，语法错误校正引擎151可以基于候选编辑集合中的每一个的准确性等级或分数来选择推荐的编辑122。例如，语法错误校正引擎151可以选择与最高准确性等级或分数相关联的候选编辑作为用户提供的句子的推荐的编辑122。在其他或类似实施例中，语法错误校正引擎151可以基于候选编辑集合中的每一个的准确性等级或分数以及用户接受等级(或分数)或根据先前描述的实施例分别由编辑生成模型212和语言频率模型214确定的候选编辑集合中的每一个的使用频率评级(或分数)中的至少一个来选择推荐的编辑122。例如，语法错误校正引擎
151可以针对候选编辑集合中的每一个，基于准确性评级以及用户接受度评级和使用频率评级或对应候选编辑中的至少一个来确定总体评级。语法错误校正引擎151可以选择具有最高总体评级的候选编辑作为用户提供的句子的推荐的编辑122。
49.在一些实施例中，语法错误校正引擎151可以在选择推荐的编辑122之前确定从候选编辑集合中移除一个或多个候选编辑。例如，语法错误校正引擎151可以确定候选编辑集合中的每一个的语法准确性是否满足语法准确性标准。在一些实施例中，语法准确性可以响应于语法准确性满足(即，满足或超过)语法准确性阈值的确定而满足语法准确性标准。如果一个或多个特定候选编辑不满足语法准确性标准，则语法错误校正引擎151可以从候选编辑集合中移除特定候选编辑。根据先前描述的实施例，语法错误校正引擎151可以从候选编辑的剩余集合中选择推荐的编辑122。在一些实例中，候选编辑集合中没有候选编辑与满足语法准确性标准的语法准确性相关联。在这种实例中，语法错误校正引擎151可以提供不对用户提供的句子进行推荐的编辑122的建议(即，用户提供的句子中原始提供的词在语法上是准确的)。
50.图3是示出根据本公开的实施方式的语法检测引擎310的框图。在一些实施例中，语法检测引擎310可以对应于图1和/或图2的语法检测引擎310。如图3所示，语法检测引擎310可以是包括耦合到数据存储350的处理设备300的计算装置的组件。在一些实施例中，数据存储350可以被包括在图1的数据存储110中。处理设备300可以被配置为执行语法检测引擎310。处理设备300可以对应于图1的服务器机器130、140或150、平台120或客户端设备102。数据存储350可以是对应于易失性存储器704和/或非易失性存储器706的存储器的一部分，如关于图7所描述的。
51.语法检测引擎310可以被配置为检测对应于句子352的语法的一个或多个属性。在一些实施例中，句子352可以是由平台120的用户提供的句子，诸如图4a的句子400。在其他或类似的实施例中，句子352可以是先前校正的句子，诸如用于训练机器学习模型(例如，编辑准确性模型224)的先前校正的句子，如关于图1所描述的。
52.语法检测引擎310可以包括依赖模块312、词性(pos)模块314、特征模块316、上下文模块318、流利度模块320和频率模块322。语法检测引擎310的每个模块可以被配置为检测对应于句子352的语法的一个或多个不同属性。语法检测引擎310可以被配置为将与一个或多个检测到的属性中的每一个相关联的数据存储为语法属性356。在一些实施例中，语法属性356可以存储在数据结构中，诸如图4b所示的数据结构450。数据结构450可以包括一个或多个条目，每个条目与诸如句子400的句子的特定词相关联。根据本文描述的实施例，虽然只有词“explains”被包括在数据结构450的条目中，但是数据结构450可以包括对应于句子的每个词的条目。
53.依赖模块312可以被配置为识别句子352的词和句子352的一个或多个附加词之间的依赖关系(即，句法和/或语义关系)。依赖关系是指特定句子的父依赖词和子依赖词之间的关系。父依赖词和子依赖词共享至少一个或多个句法属性(即，基于句子句法的词的形式或结构)或一个或多个语义属性(即，基于句子含义的词的形式或结构)。父依赖词基于一个或多个共享句法和/或语义属性至少控制子依赖词的形式或结构。对于句子的特定词，依赖模块312可以识别与特定词相关联的父依赖词和/或子依赖词。在一些实施例中，子依赖词可以是围绕(即，紧邻)父依赖词的词。在其他或类似的实施例中，子依赖词可以是不围绕
(即，不紧邻)父依赖词的词。在本公开的实施例中，无论子依赖词与父依赖词的接近度如何，都可以为父依赖词识别子依赖词。
54.参考图4的句子400，句子400的第一词可以是“explains”。在一个示例中，“explains”可以是与父依赖词“lists(列出)”的第一依赖关系的子依赖词。作为第一依赖关系的结果，至少给定句子400的句法或含义的词“lists”至少控制句子400中的词“explains”的形式或结构。在另一示例中，“explains”可以是与子依赖词“need(需要)”的第二依赖关系的父依赖词。作为第二依赖关系的结果，词“explains”至少控制句子400中的词“need”的形式或结构。
55.在一些实施例中，依赖模块312可以生成指示依赖关系内的依赖状态(例如，父或子)的依赖标签。如图4a所示，依赖模块312可以根据第一依赖关系为词“lists”生成父依赖标签402a，并且根据第二依赖关系为词“explains”生成父依赖标签402b。类似地，依赖模块312可以根据第一依赖关系为词“explains”生成子依赖标签404a，并且根据第二依赖关系为词“need”生成子依赖标签404b。语法检测引擎310可以将依赖模块312生成的每个依赖标签作为语法属性356存储在数据存储350处。在一些实施例中，语法检测引擎310可以将每个依赖标签存储在对应词的数据结构450的特定条目中，如图4b所示。
56.在一些实施例中，依赖模块312还可以生成父依赖词和子依赖词之间的指针，其指示父依赖词和子依赖词之间的依赖关系。如图所示。如图4所示，依赖模块312可以根据第一依赖关系在父依赖词“lists”和子依赖词“explains”之间生成第一指针。根据第二依赖关系，依赖模块312还可以在父依赖词“explains”和子依赖词“need”之间生成第二指针。语法检测引擎310可以将依赖模块312生成的每个指针作为语法属性356存储在数据存储350处。语法检测引擎310可以将每个指针存储在用于对应词的数据结构450的特定条目中，如图4b所示。
57.在一些实施例中，依赖模块312还可以确定父依赖词和子依赖词之间的依赖关系的语法准确性。依赖模块312可以通过确定与依赖关系相关联的一个或多个语法句法和/或语义规则得到满足来确定依赖关系的语法准确性。依赖模块312可以将依赖关系是否准确的指示存储为语法属性356。例如，依赖模块312可以将依赖关系在语法上准确的指示存储在对应词的数据结构450的特定条目中，如图4b所示。
58.pos模块314可以被配置为识别与句子352的每个词相关联的词性。词的词性是指特定类别的词(例如，名词、动词、形容词、等)，根据与该词相关联的句法属性，为该词分配该词性。对于句子352的每个词，pos模块314可以确定与对应词相关联的句法属性，并根据句法属性为对应词生成pos标签。如图4所示，根据所确定的句法属性，pos模块314可以确定与词“lists”相关联的句法属性，并生成指示词“lists”是动词的第一pos标签408a。类似地，根据为“explains”和“need”确定的句法属性，pos模块314可以生成指示词“explains”是动词的第二pos标签408b，以及指示词“need”是名词的第三pos标签408c。语法检测引擎310可以将与依赖模块314生成的特定词相关联的每个pos标签作为语法属性356存储在数据存储350处。在一些实施例中，语法检测引擎310可以将每个pos标签存储在对应词的数据结构450的特定条目中，如图4b所示。
59.特征模块316可以被配置为检测与句子352的每个词相关联的一个或多个附加语法特征。例如，特征模块316可以被配置为检测与特定词相关联的性别、语法数字、时态等。
对于句子352的每个词，特征模块316可以确定与对应词相关联的一个或多个语法特征并且为对应词生成特征标签。如图4a所示，特征模块316可以确定与词“lists”相关联的一个或多个语法特征并生成指示词“lists”是复数的第一特征标签410a。类似地，特征模块316可以生成指示词“explains”是单数的第二特征标签410b，以及指示词“need要”是单数的第三特征标签410c。虽然图4a示出了每个词“lists”、“explains”和“need要”的单个特征标签，但应该注意，特征模块316可以为句子的每个词生成任意数量的特征标签(例如，指示性别、时态等)。语法检测引擎310可以将与依赖模块314生成的特定词相关联的每个特征标签作为语法属性356存储在数据存储350处。在一些实施例中，语法检测引擎310可以将每个特征标签存储在对应词的数据结构450的特定条目中，如图4b所示。
60.上下文模块318可以被配置为根据一个或多个附加词与特定词直接接近度来确定句子352的特定词的上下文。根据直接围绕特定词的一个或多个词，上下文可以是指特定词的含义。例如，如图4a所示，词“explains”的上下文可以根据词“briefly(简要)”和“their(他们的)”来确定，它们直接围绕词“explains”。上下文模块318可以通过确定句子352是否满足与语义上下文相关联的一个或多个语法规则来确定词集合的上下文在语法上是准确的。在一些实施例中，上下文模块318可以基于与句子352的一个或多个词相关联的词性标签或特征标签来确定上下文在语法上是否准确。语法检测引擎310可以将词的上下文在语法上是否准确的指示作为语法属性356存储在数据存储350处。在一些实施例中，语法检测引擎310可以将根据上下文该句子在语法上准确的指示存储在对应词的数据结构450的特定条目中，如图4b所示。
61.流利度模块320可以被配置为检测包括特定词的句子352的流利度。句子352的流利度可以是指句子352的普遍接受的措辞。流利度模块320可以将句子352的特定措辞与包括在特定文件集合(例如，文档编辑平台的文件集合、电子邮件平台的文件集合等)中的其他句子进行比较来确定使句子352包含特定词的措辞是否流利。根据特定词，语法检测引擎310可以在数据存储350处将句子352的流利度(即，句子352是流利的还是不流利的)的指示存储为语法属性356。在一些实施例中，语法检测引擎310可以根据特定词将句子352的流利性的指示存储在特定词的数据结构450的特定条目中，如图4b所示。
62.频率模块322可以被配置为确定词或词集合与句子352的一个或多个附加词组合使用的频率。在一些实施例中，可以基于词和一个或多个附加词之间的依赖关系来确定附加词。例如，关于句子400，频率模块322可以确定与“lists”和“need”结合使用的词“explains”的使用频率。频率模块322可以确定特定词或短语的使用频率，该特定词或短语包括特定文件集合(例如，文档编辑平台的文档集合、电子邮件平台的文档集合等)中的特定词。使用频率可以对应于特定词或短语被使用或出现在特定文件集合中的实例数量。在一些实例中，频率模块322可以根据先前描述的实施例(即，根据关于图2的语言频率模型214描述的实施例)确定使用频率。语法检测引擎310可以将句子352的特定词的使用频率存储为在数据存储350处存储的语法属性356。在一些实施例中，语法检测引擎310可以将特定词的使用频率存储在特定词的数据结构450的特定条目中，如图4b所示。
63.如上所述，语法检测引擎310可以检测句子的一个或多个词的先前提供的语法属性(例如，句子400或关于图1描述的先前校正的句子)。在一些实施例中，语法检测引擎310可以进一步检测不包括在句子352中的一个或多个编辑词的先前提供的语法属性。在一些
实施例中，编辑词可以包括关于图2描述的候选编辑的每个词。在其他或类似的实施例中，编辑词可以包括一个或多个词，用于替换先前校正的句子中的词。语法检测引擎310可以将针对每个编辑词检测到的属性存储为在数据存储350处存储的语法属性356。在一些实施例中，语法检测引擎310可以将编辑词354的检测到的属性存储在用于特定编辑词354的数据结构450的特定条目中。如图4b所示，语法检测引擎310可以检测句子400中的词“explains”的一个或多个语法属性，并将属性存储在数据结构450中的词“explains”的条目中。语法检测引擎310还可以检测词“explains”(即，“explain”、“explained”和“explainer”，如关于图2所述)的每个候选编辑的一个或多个语法属性，并将每个检测到的语法属性存储在数据结构450中的每个候选编辑的条目中。
64.在一些实施例中，语法检测引擎310可以检测句子352和/或编辑词354的一个或多个附加语法属性。例如，语法检测引擎310可以选择句子352的一个或多个词并确定句子352中的所选的词的一个或多个替代组合。根据先前描述的实施例，语法检测引擎310然后可以确定与所选词的替代组合相关联的一个或多个语法属性，并将语法属性存储在数据存储350中。在另一示例中，语法检测引擎310可以确定句子352的词和编辑词354之间的相似性(例如，结构相似性、上下文相似性等)。根据先前描述的实施例，语法检测引擎310可以将相似性的指示作为语法属性存储在数据存储350中。
65.返回参考图1，训练数据生成器131可以使用语法检测引擎310来生成用于训练机器学习模型的训练数据，诸如编辑准确性模型224。如前所述，训练数据生成器131可以使用存储在数据存储110处的先前校正的句子生成训练数据来训练编辑准确性模型224。在一些实例中，先前校正的句子可以由公认的语言权威(例如，专业语言学家)提供。根据先前描述的实施例，训练数据生成器131可以获得先前校正的句子的一个或多个语法属性。训练集合生成器131可以生成训练输入的第一子集，其可以包括在原始句子被校正之前的原始句子的一部分、对先前校正的句子进行的编辑、以及先前校正的句子的一个或多个语法属性(例如，被校正部分中的词与两个或更多个周围词之间的依赖关系)。训练输入的第一子集的目标输出的第一子集可以包括对先前校正的句子进行的编辑在语法上是准确的指示(即，因为编辑是由公认的语言权威进行的)。根据先前描述的实施例，可以提供训练输入的第一子集和目标输出的第一子集来训练编辑准确性模型224。
66.在一些实施例中，训练数据生成器131可以将原始的、未校正的句子提供给候选编辑引擎210。在一些实例中，编辑生成模型212可以为原始的、未校正的句子提供候选编辑集合。候选编辑集合的第一候选编辑可以对应于公认语言权威对句子进行的编辑，而至少第二候选编辑不同于公认语言权威对句子进行的编辑。根据先前描述的实施例，训练数据生成器131可以获得与原始句子和候选编辑集合的第二候选编辑相关联的一个或多个语法属性。训练数据生成器131可以根据第二候选编辑生成训练输入的第二子集，包括原始的、未校正的句子先前的部分、候选编辑集合的第二候选编辑、以及先前校正的句子的一个或多个语法属性。训练数据生成器131可以为训练输入的第二子集生成目标输出的第二子集，其包括第二候选编辑在语法上不准确以校正经校正的句子(即，因为编辑不是由公认的语言权威进行的)。根据先前描述的实施例，可以提供训练输入的第一子集和目标输出的第一子集来训练编辑准确性模型224。
67.如前所述，训练数据生成器131可以使用语法检测引擎310来基于先前校正的用户
提供的句子生成训练数据。根据先前描述的实施例，训练数据生成器131可以基于先前校正的用户提供的句子来生成训练数据。
68.返回参考图2，编辑准确性引擎220可以使用语法检测引擎310来检测与如候选编辑引擎210所识别的用户提供的句子的词相关联的一个或多个语法属性，以及如由编辑生成模型212所识别的候选编辑集合中的每一个。编辑准确性引擎220可以提供用户提供的句子的词、检测到的与用户提供的句子的词相关联的一个或多个语法属性、候选编辑集合中的每一个、以及与候选编辑集合中的每一个相关联的一个或多个语法属性作为编辑准确性模型224的输入。如前所述，编辑准确性模型224可以根据与用户提供的词和候选编辑相关联的一个或多个语法属性提供来自该候选编辑集合的每个候选编辑的语法准确性作为输出。
69.图5描绘了根据本公开的实施方式的从机器翻译模型重新评估语法建议的方法500的流程图。图6描绘了根据本公开的实施方式的用于训练用于从机器翻译模型重新评估语法建议的机器学习模型的方法600的流程图。方法500和600可以由处理逻辑来执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如，在处理设备上运行的指令)或其组合。在一个实施方式中，方法500和600的一些或所有操作可以由图1的系统100的一个或多个组件执行。
70.现在参考图5，在框510处，处理设备获得句子的词的候选编辑集合。该句子可以是由平台120的用户提供的句子，如关于图1所描述的。在一些实施例中，候选编辑集合中的每一个都可以包括编辑词。处理设备可以根据先前描述的实施例从图2的候选编辑引擎210获得候选集合。例如，处理设备可以提供句子的词作为对编辑生成模型(例如，编辑生成模型212)的输入。编辑生成模型可以被配置为针对给定词识别给定词的一个或多个潜在的校正形式。处理设备可以从编辑生成模型获得该词的候选编辑集合作为一个或多个第二输出。该候选编辑集合中的每一个的编辑词可以对应于该词的潜在校正形式。在框520处，处理设备在句子中识别与编辑词具有语义依赖关系和句法依赖关系两个或更多个周围词。在一些实施例中，处理设备识别两个或更多个周围词中的至少一个，而不考虑对应的周围词与第一词的接近度。处理设备可以使用语法检测引擎，诸如关于图3描述的语法检测引擎310，识别与编辑词具有依赖关系的两个或更多个周围词。在一些实施例中，处理设备可以通过至少基于句子的语义确定编辑词和周围词集合中的每一个具有共享的语义特性并且至少基于句子的句法确定编辑词和周围词集合中的每一个具有共享的句法特性来识别具有语义依赖关系和句法依赖关系的周围词集合。
71.在一些实施例中，处理设备可以识别与编辑词和/或句子相关联的其他语法属性。例如，处理设备可以识别句子中每个词的词性标识符。在另一示例中，处理设备可以识别编辑词与句子的一个或多个附加词之间的上下文关系。在这样的示例中，一个或多个附加词中的每一个是基于对应附加词与句子中的编辑词的直接接近度来识别的。
72.在框530处，处理设备提供第一词与周围词中的每一个之间的语义依赖关系和句法依赖关系以及候选编辑集合作为训练机器学习模型的输入。在一些实施例中，训练机器学习模型可以是语法准确性预测模型，诸如图2的编辑准确性模型224。在一些实施例中，处理设备可以提供与编辑词和/或句子相关联的一个或多个附加语法属性作为对训练机器学习模型的附加输入。例如，处理设备可以将句子的每个词的词性标识符提供给训练机器学
习模型。在另一示例中，处理设备可以将编辑词与一个或多个附加词之间的上下文关系提供给训练机器学习模型。
73.在框540处，处理设备从训练机器学习模型获得一个或多个输出，该输出指示来自候选编辑集合的每个候选编辑的语法准确性。在一些实施例中，根据编辑词与周围词中的一个或多个之间的语义依赖关系和句法依赖关系，来自训练机器学习模型的一个或多个输出指示每个候选编辑的语法准确性。
74.在框550处，处理设备基于来自候选编辑集合的每个候选编辑的所指示的语法准确性从候选编辑集合选择候选编辑。在一些实施例中，处理设备可以将句子的编辑词的候选编辑集合中的每一个提供给语言频率模型，诸如语言频率模型214。处理设备可以从语言频率模型获得一个或多个第三输出，其指示候选编辑集合中的每一个的编辑词在特定文件集合中使用的频率。在这样的实施例中，处理设备可以基于候选编辑集合中的每一个的每个编辑字在特定文件集合中使用的频率从候选编辑集合中选择候选编辑。
75.在一些实施例中，处理设备可以从候选编辑集合中移除一个或多个候选编辑。例如，处理设备可以确定来自候选编辑集合的每个候选编辑的指示语法准确性是否满足语法准确性标准。响应于确定一个或多个特定候选编辑的对应语法准确性不满足语法准确性标准，处理设备可以从候选编辑集合中移除一个或多个特定候选编辑。
76.如上所述，图6描绘了根据本公开的实施方式的用于训练机器学习模型以基于候选编辑集合中的每一个的语法准确性来为用户提供的句子选择推荐编辑的方法600的流程图。
77.在框610处，处理设备生成机器学习模型的训练数据。机器学习模型可以是语法准确性预测模型，诸如图2的编辑准确性模型224。在一些实施例中，处理设备根据在方法600的框512-518处执行的操作为机器学习模型生成训练数据。
78.在框612处，处理设备识别被校正的句子和用校正的句子中的编辑词替换的词。在一些实施例中，处理设备可以从语言权威实体(例如，专业语言学家)提供的先前校正的句子集合中识别句子。在其他或类似的实施例中，处理设备可以从先前的用户提供的句子中识别句子(即，到平台120)。
79.在框614处，处理设备识别各自与编辑词具有语义依赖关系和句法依赖关系的两个或更多个周围词。在一些实施例中，识别两个或更多个周围词中的至少一个，而不考虑对应的周围词与编辑词的接近度。根据关于图3描述的实施例，处理设备可以识别两个或更多个周围词。例如，处理设备可以通过至少基于句子的语义确定编辑词和周围词集合中的每一个将具有共享的语义属性并且至少基于句子的句法确定编辑词和周围词集合中的每一个将具有共享的句法属性来识别具有语义依赖关系和句法依赖关系的周围词集合。
80.在一些实施例中，处理设备可以识别与编辑词和/或句子相关联的其他语法属性。例如，处理设备可以识别句子中每个词的词性标识符。在另一示例中，处理设备可以识别编辑词与句子的一个或多个附加词之间的上下文关系。在这样的示例中，一个或多个附加词中的每一个是基于对应附加词与句子中的编辑词的直接接近度来识别的。
81.在框616处，处理设备生成第一训练输入，包括编辑词、词、以及编辑词和周围词集合中的每一个之间的语义依赖关系和句法依赖关系。在一些实施例中，生成的第一训练输入还可以包括编辑词和/或句子的一个或多个语法属性。例如，生成的第一训练输入可以包
括校正句子的每个词的词性标识符。在另一示例中，生成的第一训练输入可以包括编辑词与句子的一个或多个附加词之间的上下文关系。
82.在一些实施例中，包括编辑词和周围词集合中的每一个之间的语义依赖关系和句法依赖关系的训练输入包括编辑词和周围词集合中的每一个的依赖状态标签中的至少一个。依赖状态标签指示特定词在语义依赖关系和句法依赖关系中的状态。依赖状态标签可以进一步或替代地包括指示编辑词与周围词集合中的每一个之间的语义依赖关系和句法依赖关系的指针。
83.在框618处，处理设备生成第一训练输入的第一目标输出。根据编辑词与一个或多个周围词中的每一个之间的语义依赖关系和句法依赖关系，目标输出可以包括校正句子中的编辑词在语法上是否准确的指示。
84.在框620处，处理设备提供训练数据以在(i)包括第一训练输入的训练输入集合和(ii)包括第一目标输出的目标输出集合上训练机器学习模型。在一些实施例中，训练输入集合中的每个训练输入被映射到目标输出集合中的目标输出。
85.图7是示出根据本公开的实施方式的示例性计算机系统700的框图。计算机系统700可以是图1中的服务器机器130或平台120。机器可以在端点服务器网络环境中以服务器或端点机器的身份运行，或在对等(或分布式)网络环境中作为对等机器运行。该机器可以是电视、个人计算机(pc)、平板电脑、机顶盒(stb)、个人数字助理(pda)、蜂窝电话、网络设备、服务器、网络路由器、交换机或桥接器，或能够执行指定该机器要采取的动作的指令(顺序或其他)集合的任何机器。此外，虽然仅示出了单个机器，但术语“机器”也应理解为包括单独或联合执行指令集合(或多个集合)以执行本文讨论的任何一种或多种方法的机器的任何集合。
86.示例计算机系统700包括处理设备(处理器)702、主存储器704(例如，只读存储器(rom)、闪存、诸如同步dram(sdram)的动态随机存取存储器(dram)、双倍数据速率(ddr sdram)或dram(rdram)等)、静态存储器706(例如，闪存、静态随机存取存储器(sram)等)和数据存储设备718，它们经由总线740彼此通信。
87.处理器(处理设备)702代表一个或多个通用处理设备，诸如微处理器、中央处理单元等。更具体地，处理器702可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器，或实现其他指令集的处理器或实现指令集组合的处理器。处理器802也可以是一个或多个专用处理设备，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器等。处理器702被配置为执行指令705(例如，用于预测频道节目收视率)以便执行本文所讨论的操作。
88.计算机系统700还可以包括网络接口设备708。计算机系统800还可以包括视频显示单元710(例如，液晶显示器(lcd)或阴极射线管(crt))、输入设备712(例如，键盘和字母数字键盘、运动感应输入设备、触摸屏)、光标控制设备714(例如，鼠标)和信号生成设备720(例如，扬声器)。
89.数据存储设备718可以包括非暂时性机器可读存储介质724(也是计算机可读存储介质)，在其上存储有一组或多组指令705(例如，用于校正用户提供的句子中的一个或多个语法错误)，其体现本文所述的任何一个或多个方法或功能。指令还可以在由计算机系统700执行期间完全或至少部分地驻留在主存储器704内和/或处理器702内，主存储器704和
处理器702也构成机器可读存储介质。指令还可以经由网络接口设备708在网络730上发送或接收。
90.在一个实施方式中，指令705包括用于预测频道节目收视率的指令。尽管计算机可读存储介质724(机器可读存储介质)在示例性实施方式中被示为单个介质，但术语“计算机可读存储介质”和“机器可读存储介质”应被理解为包括存储一个或多个指令集合的单个介质或多个介质(例如，集合中式或分布式数据库，和/或相关的缓存和服务器)。术语“计算机可读存储介质”和“机器可读存储介质”还应理解为包括能够存储、编码或携带由机器执行的指令集合并且使机器执行本公开的任何一种或多种方法的任何介质。因此，术语“计算机可读存储介质”和“机器可读存储介质”应理解为包括但不限于固态存储器、光介质和磁介质。
91.在整个本说明书中对“一个实施方式”或“实施方式”的引用意味着结合该实施方式描述的特定特征、结构或特性被包括在至少一个实施方式中。因此，短语“在一个实施方式中”或“在实施方式中”在整个本说明书的各个地方的出现可以但不一定指代相同的实施方式，这取决于环境。此外，特定特征、结构或特性可以在一个或多个实施方式中以任何合适的方式组合。
92.在详细描述或权利要求中使用术语“包括”、“包含”、“具有”、“含有”、其变体和其他类似词语的范围内，这些术语旨在包括以类似于作为开放过渡词的术语“包括”的方式，不排除任何附加或其他元素。
93.如在本技术中使用的，术语“组件”、“模块”、“系统”等通常旨在指代计算机相关实体，硬件(例如，电路)、软件、硬件和软件的组合，或与具有一个或多个特定功能的操作机器相关的实体。例如，组件可以是但不限于在处理器(例如，数字信号处理器)上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。作为说明，在控制器上运行的应用和控制器都可以是组件。一个或多个组件可驻留在进程和/或执行的线程内，并且组件可位于一个计算机上和/或分布在两个或更多个计算机之间。此外，“设备”可以以专门设计的硬件形式出现；通过在其上执行使硬件能够执行特定功能(例如，生成兴趣点和/或描述符)的软件而专门化的通用硬件；计算机可读介质上的软件；或其组合。
94.前述系统、电路、模块等已经关于若干组件和/或块之间的交互进行了描述。可以理解，这样的系统、电路、组件、块等可以包括那些组件或指定的子组件、指定的组件或子组件中的一些、和/或附加组件，并且根据上述的各种排列和组合子组件也可以实现为与其他组件通信耦合的组件，而不是包含在父组件中(分层)。另外，应该注意，一个或多个组件可以组合成提供聚合功能的单个组件或分成几个单独的子组件，并且可以提供任何一个或多个中间层，诸如管理层，以通信耦合到这些子组件，以提供集成的功能。本文所述的任何组件还可以与本文未具体描述但本领域技术人员已知的一个或多个其他组件相互作用。
95.此外，词“示例”或“示例性”在本文中用于表示充当示例、实例或说明。在此描述为“示例性”的任何方面或设计不一定被解释为优于或优于其他方面或设计。相反，使用“示例”或“示例”这些词旨在以具体的方式呈现概念。如在本技术中使用的，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明，或从上下文中清楚，“x采用a或b”旨在表示任何自然包含性排列。也就是说，如果x采用a；x采用b；或x同时采用a和b，则“x采用a或b”在上述实例中的任何一个下均成立。此外，本技术和所附权利要求中使用的冠
词“一”和“一个”通常应解释为表示“一个或多个”，除非另有说明或从上下文中清楚地指向单数形式。
96.最后，这里描述的实现包括描述用户和/或用户活动的数据的收集。在一种实施方式中，仅在用户同意收集此数据时才收集此类数据。在一些实施方式中，提示用户明确地允许数据收集。此外，用户可以选择加入或退出参与此类数据收集活动。在一种实施方式中，收集的数据在执行任何分析以获得任何统计模式之前被匿名化，从而不能从收集的数据中确定用户的身份。