使用搜索日志训练的意图编码器
背景技术：
：：1.各种计算机实现的系统采用经机器训练的模型来解释用户的输入查询和其他语言学表达。例如，搜索引擎可以采用一个或多个经机器训练的模型来解释用户经由网络浏览器输入的搜索查询。类似地，聊天机器人可以采用一个或多个经机器训练的模型来解释用户以口头或基于文本的形式输入的问题和命令。2.虽然系统提供方已经开发了越来越复杂的经机器训练的模型，但是这些模型有时可能产生不令人满意的结果。无法向用户提供相关结果的系统(诸如信息检索引擎)可能会使用户感到沮丧。关于与实现系统的服务器相关联的资源，以及用户用来与系统交互的用户设备两者，它还使计算资源的使用效率低下。技术实现要素：3.本文描述了一种计算机实现的技术，其接收用户提交的输入表达(inputexpression)，该输入表达具有达成某个目标的意图。然后，该技术使用经机器训练的意图编码器组件将输入表达映射成输入表达意图向量(ieiv)。ieiv对应于与输入表达相关联的意图在连续意图向量空间内的分布式表示。然后，技术利用意图向量来促进某个下游应用任务，诸如从搜索引擎检索信息。4.根据一个说明性方面，训练系统部分地通过从由搜索引擎产生的搜索日志来制定训练示例来训练意图编码器组件。训练示例包括正例和负例。每个正例描述了引起对相同文档(即相同url)的选择的一对先前查询。每个负例描述了没有引起对相同文档的选择的一对先前查询。通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，该技术生成经机器训练的模型，以供意图编码器组件使用。5.根据另一说明性方面，应用可以使用邻居搜索组件来找到关于输入表达的一个或多个相关表达，每个相关表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)。6.根据另一说明性方面，意图编码器包括：经机器训练的词项(term)嵌入组件和经机器训练的混合编码器组件。词项嵌入组件针对输入表达的每个词项生成词项向量。它这样做是基于对词项作为整体的考虑和对组成该词项的个体字符的考虑。混合编码器组件包括顺序编码器，顺序编码器基于由词项嵌入组件生成的词项向量，来生成与表达相关联的意图向量。7.以上概述的技术可以在各种类型的系统、设备、组件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制品等中得到体现。8.提供本
发明内容来以简化形式介绍一些概念；这些概念将在以下具体实施方式中进一步被描述。本
发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。附图说明9.图1示出了一个说明性计算环境，该计算环境使用意图编码器组件将输入查询(或任何其他种类的语言学表达)映射成意图向量。然后，计算环境处理意图向量来产生一些特定于应用的输出结果。10.图2示出了意图向量空间的简化描绘，图1的意图编码器组件将输入查询映射到该意图向量空间。11.图3示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来检索对输入查询的回答。12.图4示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来检索与输入查询相关的文档标识符。13.图5示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来向用户提供查询建议。14.图6示出了另一信息检索应用，该信息检索应用依赖于特征生成组件来生成描述用户输入查询的特征向量，该特征向量的一部分是基于与输入查询相关联的意图向量。15.图7示出了一个信息检索应用，该信息检索应用分析用户在搜索会话期间提交的查询的序列和与其相关联的意图向量。16.图8是描述关于多个不同搜索会话，在相同搜索会话中所提交的查询对之中的相似性的图。17.图9和图10一起示出了图1的经机器训练的意图编码器组件的一个实现。18.图11示出了可以用于训练图1的意图编码器组件的训练系统。19.图12是描述用于使用图1的意图编码器组件来促进信息的检索的一个过程的流程图。20.图13是描述用于训练图1的意图编码器组件的一个过程的流程图。21.图14示出了可以被用来实现前述附图中所示的特征的任何方面的说明性类型的计算设备。22.贯穿公开内容和附图使用相同的附图标记来指代相似的组件和特征。系列100附图标记指代最初在图1中发现的特征，系列200附图标记指代最初在图2中发现的特征，系列300附图标记指代最初在图3发现的特征，等等。具体实施方式23.本公开内容组织如下。a节描述了用于训练和应用意图编码器组件的说明性计算环境。它还描述了意图编码器组件自身的说明性架构。b节阐述了说明性方法，该说明性方法解释了a节的计算环境的操作。以及c节描述了可以被用来实现a节和b节中描述的特征的任何方面的说明性计算功能。24.作为引文，术语“硬件逻辑电路装置”至少部分地对应于执行存储器中存储的机器可读指令的一个或多个硬件处理器(例如，cpu、gpu等)，和/或使用固定和/或可编程逻辑门的任务特定的合集来执行操作的一个或多个其他硬件逻辑组件(例如，fpga)。c节提供了关于硬件逻辑电路装置的一个实现的附加信息。术语“组件”或“引擎”中的每个术语指代硬件逻辑电路装置中执行特定功能的一部分。25.在一种情况下，所图示的将图中的各个部分分离成不同的单元可以反映出在实际实现中对对应不同的物理和有形部分的使用。备选地或附加地，附图中图示的任何单个部分可以由多个实际物理部分来实现。备选地或附加地，附图中任何两个或更多个分离的部分的描绘可以反映由单个实际物理部分执行的不同功能。26.其他附图以流程图形式描述了概念。以这种形式，某些操作被描述为构成以一定次序执行的不同框。这样的实现是说明性而非限制性的。本文描述的某些框可以被分组在一起并且在单个操作中被执行，某些框可以被分解为多个组件框，并且某些框可以以与本文所示次序不同的次序(包括执行框的并行方式)来被执行。在一个实现中，流程图中示出的与处理相关功能有关的框可以由c节中描述的硬件逻辑电路装置来实现，该硬件逻辑电路装置转而可以由包括任务特定逻辑门合集的一个或多个硬件处理器和/或其他逻辑组件来实现。27.关于术语，短语“被配置成”涵盖用于执行所标识的操作的各种物理和有形机构。机构可以被配置成使用c节的硬件逻辑电路装置来执行操作。术语“逻辑”同样涵盖用于执行任务的各种物理和有形机构。例如，流程图中图示的每个处理相关操作对应于用于执行该操作的逻辑组件。逻辑组件可以使用c节的硬件逻辑电路装置来执行其操作。当逻辑组件由计算装备来实现时，无论采用哪种实现，逻辑组件都表示作为计算系统物理部分的电组件。28.本文描述的任何存储资源或存储资源的任何组合都可以被视为计算机可读介质。在许多情况下，计算机可读介质表示某种形式的物理和有形实体。术语计算机可读介质还涵盖例如经由物理管道和/或空气或其他无线介质等发射或接收的传播信号。但是，特定术语“计算机可读存储介质”明确地排除了传播信号本身，同时包括所有其他形式的计算机可读介质。29.以下说明可以将一个或多个特征标识为“可选的”。该类型的陈述不应当被解释为对可能被视为可选的特征的详尽指示。即，其他特征可以被视为可选的，但是在本文中未明确标识。此外，对单个实体的任何描述不旨在排除使用多个这样的实体。类似地，对多个实体的描述并不旨在排除单个实体的使用。此外，尽管描述可以将某些特征解释为执行所标识的功能或实现所标识的机制的备选方式，但是特征还可以以任何组合来组合在一起。最后，术语“示例性”或“说明性”指代潜在的许多实现之中的一个实现。30.a.说明性计算环境31.a.1.计算环境的概述32.如上所述，系统提供方已经开发了越来越复杂的经机器训练的模型。但是这些模型有时可能产生不令人满意的结果。例如，输入查询的含义可能取决于输入查询中词项的次序。例如，提交查询“horseracing(马赛)”的用户希望获取与提交输入查询“racinghorse(赛马)”的用户所获取的信息不同的信息。因此，使用词袋(bag‑of‑words)范式来处理这些查询的模型可能产生不令人满意的结果。33.其他模型通过将用户的查询映射成语义向量空间中的语义向量来处理用户的查询。这些类型的模型通常对查询中的词项的排序更有弹性。但是这些模型可能仍然无法准确解决用户提交查询的原因。例如，用户可以提交一个查询，内容为“哈佛工作室公寓”，目标是为即将到来的学年在马萨诸塞州波士顿的哈佛大学找到公寓。经机器训练的模型可能确定该查询在语义上接近短语“康奈尔工作室公寓”。作为响应，该模型可能输出关于在康奈尔大学附近的公寓的信息。但用户的真正意图不是研究由大学提供的住房的一般主题，而是执行在马萨诸塞州波士顿找到公寓的具体任务。为了解决该问题，信息检索系统可以使用定制意图分类模型，来关于已知用户意图的预定义分类法将用户意图分类。但是开发和维护这些种类的模型是劳动密集的。此外，对于未被这些模型的预定义意图分类法涵盖的意图，这些模型可能表现不佳。34.本具体实施方式提供了针对上述挑战以及其他挑战的技术解决方案。35.图1示出了一个说明性计算环境102，该说明性计算环境102使用意图编码器组件104将输入语言学表达映射成意图向量，意图向量也被称为输入表达意图向量(ieiv)。语言学表达可以对应于由一个或多个搜索词项、自然语言问题、自然语言命令等组成的搜索字符串。然而，为了促进说明，本具体实施方式将在查询q1被提交给搜索引擎、虚拟助手、聊天机器人等的上下文中说明意图编码器组件104的操作。在该上下文中，意图编码器组件将查询q1映射成意图向量iq1。36.意图向量iq1对应于与输入查询q1相关联的意图的分布式表示。意图向量被称为“分布式表示”，因为意图是使用与意图向量的相应k个维度相关联的多个输出值来表达的。例如，假设用户输入第一查询q1，内容为“西雅图足球队”。用户可以已经提交了该查询，目标是确定在西雅图地区比赛的足球队的名称。由意图编码器组件104产生的意图向量iq1使用与其相应维度相关联的值集合来表达该意图，该值集合转而由神经网络的多个神经元产生(将在下面的a.3小节中被描述)。由这些相同神经元产生的不同的值集合传达不同的意图。37.每个意图向量位于连续k维向量空间内，在本文中被称为意图向量空间。意图编码器组件104被训练，使得其将具有相似意图的查询映射到意图向量空间的相同区域。例如，假设用户输入第二查询，具有与第一查询相同的意图，内容为“哪个足球队在西雅图”。另外假设，许多其他用户之前已经提交了类似的查询以找到在西雅图比赛的足球队的名称。在该情况下，意图编码器组件104会将第二查询映射到与第一查询(“西雅图足球队”)的区域相似的意图向量空间区域，即使这两个查询具有显著程度的词法差异。38.现在考虑用户输入第三查询“亚特兰大足球队”的情况。该查询在词法和语义上与第一查询(“西雅图足球队”)相关。但是用户可能以与第一查询稍有不同的意图输入第三查询。在第一查询中，用户希望确定以西雅图为主场的足球队的名称，而在第三查询中，用户希望确定在佐治亚州亚特兰大比赛的足球队的名称。因此，与第二查询的意图向量相比，可以预期意图编码器组件104针对该第三查询生成离第一查询的意图向量更远的意图向量。该示例突出了意图向量空间的原理特性；其目的主要是表达查询意图之中的关系，而不是查询语义之中的关系。可能的情况是，按意图相关的两个查询在语义上也相关。但是训练意图编码器组件104的驱动力是意图，而不是语义。任何表现出的语义相似性都是偶然的。39.用户可以使用与用户设备106相关联的任何种类的输入设备来输入查询，诸如键输入设备、结合语音识别组件的麦克风等。用户设备106自身可以对应于任何类型的用户计算设备，诸如台式计算设备、膝上型计算设备、任何类型的手持计算设备(诸如智能手机、平板型计算设备等)、游戏机、可穿戴计算设备、混合现实设备等。40.在图1所示的示例中，用户设备106经由计算机网络110与意图处理功能108交互。意图处理功能108通常指代计算环境102的产生和使用意图向量的部分。计算机网络110可以对应于广域网(诸如互联网)、局域网、一个或多个点对点链路等。意图处理功能108自身可以由在一个或多个位置处所提供的一个或多个服务器来实现。在另一实现中，用户设备106实现意图处理功能108的一个或多个方面。41.意图编码器组件104基于由训练系统114产生的经机器训练的模型112来操作。a.3小节描述了意图编码器组件104的一种说明性架构。a.4小节描述了由训练系统114采用以用于产生经机器训练的模型112的一种说明性策略。作为概括，训练系统114从由搜索引擎产生的搜索日志挑选训练示例，并且将训练示例存储在数据存储库116中。训练示例包括正例(positiveexample)和负例(negativeexample)。每个正例描述了两者都引起对相同文档(例如，相同url)的选择的一对先前查询。每个负例描述了没有引起对相同文档的选择的一对先前查询。更通俗地说，训练系统114从由搜索引擎维护的共同点击数据来挖掘训练示例。每个正例描述了一个或多个场合，其中两个不同的查询引起至少一个用户“点击”相同的一个或多个文档。每个负例描述了没有引起用户点击相同的一个或多个文档的两个查询。训练系统114通过迭代地减少在意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加在意图向量空间中与负例相关联的意图向量之间的距离，来产生经机器训练的模型112。如将在a.4小节中描述的，训练系统114可选地通过基于附加的手动标记的训练示例执行训练，来精化(refine)经机器训练的模型112。计算环境102可以使用任何类型的一个或多个计算设备来实现训练系统114。42.计算环境102的一些实现还包括邻居搜索组件118。当被调用时，邻居搜索组件118在给定意图向量(其用作搜索键，诸如与输入查询iq1相关联的意图向量)的指定距离内，找到任何邻居查询意图向量(neiv)。邻居搜索组件118可以使用余弦相似性或某个其他距离指标，来确定意图向量空间中两个意图向量之间的距离。任意两个向量(a，b)之间的余弦相似性被定义为(a·b)/(||a||||b||)。43.在一些实现中，邻居搜索组件118可以使用近似最近邻(ann)技术，来找到在给定种子意图的规定半径内的意图。ann技术的示例包括：各种局部敏感哈希(lsh)技术；各种树分区技术；各种基于邻域的技术，等等。例如，一种基于树的技术使用k均值聚类将意图向量划分为连续较小的区域。该技术将这些聚类表示为分层树。邻居搜索组件118通过从树的根节点到其叶节点遍历该树，来找到最接近给定种子意图向量(例如，iq1)的那些意图向量。一种基于邻域的技术(分层可导航小世界(hnsw)算法)在一系列层级中组织意图向量。从上到下，这些层级具有长度依次变小的链路(在意图向量之间)。邻居搜索组件118通过从上到下遍历这些层级，来找到最接近给定种子意图向量的那些意图向量。邻居搜索组件118在由邻居搜索组件118在前一层(如果有)中标识的意图向量处开始其在每个层级上的搜索。这些示例作为说明而非限制被引用；给定指定种子意图向量，邻居搜索组件118可以应用任何ann技术来定位相邻意图向量。关于应用于一般数据集的ann的一般主题的背景信息可以在wenli等人的“approximatenearestneighborsearchonhighdimensiondata–experiments,analyses,andimprovement”，arxiv：1610.02455v1[cs.db]，2016年10月08日，26页中找到。[0044]为了执行其操作，邻居搜索组件118依赖于数据存储库120中提供的索引。该索引提供在意图向量空间中组织意图向量的数据结构。例如，关于一种基于树的技术，索引表示聚类的分层树，该分层树可以由邻居搜索组件118迭代遍历。[0045]意图消耗组件122表示依赖于由意图编码器组件104(和/或由邻居搜索组件118)生成的意图向量来执行一些特定于应用的任务的任何特定于应用的功能。a.2小节(下文)描述了意图消耗组件的五个示例，其使用意图向量来促进信息检索操作，以提供信息检索结果。但意图消耗应用的范围不限于信息检索的领域。例如，情绪分析组件可以基于多个因素来确定与用户话语相关联的情绪，包括用户话语的意图，如由意图编码器组件104计算的意图向量所表达的。计算环境102可以在信息检索以外的某些上下文中利用该情绪分析模型。[0046]在许多情况下，意图消耗组件122提供对多个输入项(包括由意图编码器组件104提供的意图向量信息)操作的一个或多个经机器训练的模型。在这个意义上，可以说这些下游经机器训练的模型在由意图编码器组件104执行的分析“之上”操作。[0047]输出生成组件124基于由意图消耗组件122执行的分析，来向用户提供某个输出结果。仅举一个示例，假设意图消耗组件122利用邻居搜索组件118来找到表达与用户的当前查询意图相同的意图的查询集合。输出生成组件124可以生成用户界面呈现，该用户界面呈现以建议的形式向用户呈现这些查询。用户可以使用这些建议作为制定他或她的下一个查询的指南。注意，输出生成组件124可以是意图消耗应用122内部或外部的组件。[0048]图2示出了意图向量空间202的简化描绘，图1的意图编码器组件104将输入查询映射到该意图向量空间202。(空间的描述被简化，因为空间具有k个维度，而图2仅使用两个维度来表示它。)假设用户的输入查询再次被表示为q1，并且其对应的意图向量为iq1，意图向量也被称为输入表达意图向量(ieiv)。进一步假设，邻居搜索组件118标识了在意图向量的规定距离内的意图向量iq1的集合，包括iq1a，iq1b，...，iq1g(下标“q1i”指示意图向量是与查询q1相关联的意图向量的邻居i)。相邻意图向量转而分别与查询q1a，q1b，...，q1g相关联。更一般地，与相邻查询相关联的每个相邻意图在本文中被称为邻居表达意图向量(neiv)。每个neiv和意图向量iq1(ieiv)之间的距离d表示这两个向量之间的相似性。意图消耗应用可以使用任何指标来计算该距离，诸如余弦相似性。[0049]在一些应用中，意图向量空间的第一区域204包含表达与意图向量iq1相同意图的意图向量，具有一些特定于应用的容忍度。在许多情况下，在该空间204中的意图向量对应于作为q1的释义的查询。这些相邻查询中的一些相邻查询在词法上也可能类似于q1。第二区域206(其应当被理解为排除第一区域204)包含表达与意图向量iq1相关的意图、但比第一区域204中的意图向量相关更少的意图向量。第三区域208包含可以被认为表达与意图向量iq1无关的意图的向量。在找到关于q1的相邻查询中，不同应用可以从不同区域提取。例如，查询建议应用可以提供从区域206挖掘的查询建议。它可以排除从区域204拉取的查询，因为这些查询可能表示对种子查询q1的微不足道的修改。[0050]作为a.1小节的总结，相对于用于分析语言学表达的其他种类的经机器训练工具，计算环境102提供了各种技术优势。例如，相对于其他经机器训练的工具，计算环境102通过准确地建模用户在执行搜索时尝试达成的目标，来改进由信息检索引擎提供的搜索结果的质量。这有助于良好的用户体验。另外注意，在不使用意图类别的预定义分类法的情况下，意图编码器组件104评估输入表达底层的意图。这允许意图编码器组件104动态演进以捕获新意图，只要这些新意图在其训练数据中被展示。[0051]计算环境102还提供了用于检索信息的有效率的技术。这是因为计算环境102快速评估用户的真实意图，允许其快速向用户提供相关搜索结果。这转而可以减少用户在搜索会话中执行的搜索次数。减少会话中的搜索次数从而减少了回答用户问题所需的计算资源。[0052]在以下小节中阐述了计算环境102的附加优点。[0053]a2.说明性信息检索应用[0054]图3示出了第一信息检索(ir)应用302，其中ir引擎304使用图1的意图编码器组件104来检索对被表达为问题的输入查询q1的回答。例如，ir引擎304可以对应于搜索引擎的处理来自用户的查询的部分，这些查询被具体制定为问题，诸如“埃菲尔铁塔的高度是多少？”或者ir引擎304可以对应于支持虚拟助手或专用聊天机器人等的功能。[0055]在一个实现中，假设ir引擎304基于数据存储库306中所提供的预先生成的问题和回答对来提供对问题的回答。即，ir引擎304在数据存储库306中找到最好地匹配输入问题的问题，并且提供与该匹配问题相关联的回答。在其他情况下，ir引擎304可以依赖于其他逻辑来回答问题。例如，ir引擎304可以使用生成式经机器训练的模型来将问题映射成回答，而无需使用明确的预先生成的问题和回答的集合。然而，这种生成式模型是基于先前的问题和回答的大型语料库而被训练的。[0056]图3的ir引擎304可以以不同的方式操作。在一种仅说明性的操作方式中，假设ir引擎304接收来自用户的查询q1。它还接收来自意图编码器组件104的意图向量iq1，意图向量iq1描述了输入查询q1的意图。然后，假设ir引擎304尝试将查询与数据存储库306中先前已回答的问题中的一个问题匹配。ir引擎304可以以各种方式执行该任务。在一种情况下，ir引擎304将与输入查询相关联的意图向量(iq1)和与数据存储库306中的每个问题相关联的意图向量(其中该意图向量可以以离线方式被提前计算和存储)之间的距离相比较。然后它选择具有最接近当前意图向量iq1的意图的问题，但仅在该最近距离低于规定的匹配阈值的情况下。[0057]在另一种情况下，ir引擎304可以基于多个因素(诸如基于词法的特征、语义特征、基于意图的特征和/或其他特征)，将每个候选问题(与输入查询q1相关地)评分。例如，ir引擎304可以将作为这些不同因素的加权和的得分分配给每个候选问题。ir引擎304然后选择具有最高得分的候选问题，再次假定最高得分满足规定的相关性阈值。(下面参考图6提供了关于该后一种操作模式的附加信息。)[0058]无论使用什么匹配算法，假设ir引擎304发现用户的输入问题q1不以规定的置信度匹配数据存储库306中的任何问题。在该情况下，ir引擎304可以咨询邻居搜索组件118，以找到相邻查询的集合(q1a，q1b，...，q1n)，该集合具有在与当前查询q1相关联的意图向量iq1的规定距离内的意图向量(iq1a，iq1b，...，iq1n)。然后，ir引擎304从数据存储库306检索与最近相邻查询相关联的回答。(假定数据存储库306存储对相邻查询中的每个相邻查询的回答，因为之前已经在一个或多个场合遇到过它们。)然后输出生成组件124将检索到的回答提供给用户。在另一实现中，ir引擎304可以从数据存储库306检索到(与多个相邻查询相关联的)多个回答，并且输出生成组件124可以提供那多个回答。[0059]更一般地，注意，第一ir应用302提供了一种解决尾查询或更一般地尾表达的方式。尾查询是ir引擎304之前从未遇到过或在先前场合很少遇到的查询。第一ir应用302通过使用意图编码器组件104来确定输入查询q1的意图向量iq1、并且然后找到表达与当前输入查询的意图相同或相似的意图的一个或多个其他查询来执行该任务。如果没有该规定，ir应用302将无法为用户的问题提供有用的回答。[0060]图4示出了第二ir应用402，该第二ir应用402应用与(图3的)第一ir应用302相同的原理，但是将该原理应用于从数据存储库检索信息项(例如，文档)。即，ir引擎404接收来自用户的搜索查询q1。它还从意图编码器组件104接收与该查询相关联的意图向量iq1。ir引擎404然后可以与(数据存储库406中的)搜索索引交互，以找到与输入查询q1匹配的信息项。爬取组件(未示出)可以基于其对被存储在一个或多个数据存储库408中的信息项(例如，文档)的周期性探索来编译搜索索引。例如，数据存储库408可以表示由广域网(诸如互联网)提供的分布式信息资源。假设搜索索引存储了关于它所表示的每个文档的各种信息，诸如它的url，以及它的词法、语义和基于意图的特征等。[0061]ir引擎404可以使用任何算法来将用户的当前查询与索引中的信息相比较。例如，类似于上面针对图3所解释的情况，ir引擎404可以通过将与当前查询q1相关联的意图向量iq1和与每个候选信息项相关联的意图向量(其被提前存储在搜索索引中)相比较，来标识匹配的信息项。然后，它可以选择在意图向量空间中最接近当前查询的信息项的集合。或者，ir引擎404可以应用多个因素，来将当前输入查询与候选信息项相比较。例如，ir引擎404可以基于各种词法、语义、基于意图的特征和/或其他特征的加权总和，来生成针对每个候选信息项的得分，并且然后选取具有最高得分的信息项的集合。(下面参考图6提供了关于后一种操作的模式的附加信息。)[0062]然而，假设ir引擎404发现它无法找到以规定的置信度匹配当前查询的任何信息项。作为响应，ir引擎404再次咨询邻居搜索组件128，以找到表达与当前输入查询的意图相同的意图的查询。然后，它使用这些查询中的一个或多个查询，来从搜索索引检索匹配的信息标识符的集合。例如，ir引擎404可以使用排名靠前的相邻查询作为代理用户查询，并且检索与该代理用户查询相关的信息项的标识符(例如，url)。[0063]与第一ir应用302一样，第二ir应用402基于邻居搜索组件118标识已知的相邻查询的假设而工作，这意味着这些查询在先前搜索中已经被遇到超过规定次数。第二ir应用402还假设：搜索索引存储可以由邻居搜索组件118标识的每个相邻查询的稳健元数据。出于该原因，ir引擎404可以基于由邻居搜索组件118标识的相邻查询，来生成高置信度的搜索结果。在另一实现中，邻居搜索组件118可以存储关于之前在先前搜索中已经遇到每个相邻查询的频率的信息。ir引擎404可以通过对它分配给每个相邻查询的置信度进行加权，来利用该频率信息。[0064]然后，输出生成组件124例如通过生成和呈现搜索结果片段的列表，来生成向用户通知匹配的信息项的用户界面呈现。每个搜索结果片段示出与匹配的信息项相关联的标题、url和代表性文本(和/或图像内容)。用户可以通过选择其对应的搜索结果片段来检索信息项，例如通过“点击”片段。[0065]总之，与第一ir应用302一样，第二ir应用402可以有效地处理用户的尾查询提交，该尾查询对应于ir引擎404之前没有遇到过，或者在之前的场合很少遇到的查询。[0066]图5示出了表示第二ir应用402的变型的第三ir应用502。在该情况下，ir引擎504通过(数据存储库506中的)搜索索引再次解决用户的输入查询。再次，爬取组件(未示出)通过周期性探索数据存储库508中的信息项来维护搜索索引。进一步假设，当ir引擎504发现它不能以先决的置信度回答用户的当前查询时，它咨询邻居搜索组件118。[0067]代替(或附加于)基于相邻查询来搜索搜索索引，ir引擎504将相邻查询中的一个或多个相邻查询发送到由输出生成组件124提供的建议生成组件510。然后，建议生成组件510将这些相邻查询中的一个或多个相邻查询作为查询建议提供给用户。例如，对于输入查询“派克街活动停车”，建议生成组件510可以生成查询建议“西雅图会议中心附近的停车场”或“派克街会议停车”等。在一个实现中，建议生成组件510可以在浏览器界面页面中的查询输入框下方呈现这些建议中的一个或多个建议。用户可以通过点击它或将它在输入框中重新键入来激活查询建议。[0068]图6示出了第四ir应用602，第四ir应用602使用意图编码器组件104的基于意图的分析作为更全面搜索算法内的仅一个输入信号。在该情况下，ir引擎604使用特征生成组件606来产生描述输入查询q1的特征向量。特征向量包括描述查询q1的特征的组合。特征向量的至少一些维度具体描述了查询的意图相关方面，诸如意图向量iq1，以及(可选地)与输入查询的相邻查询(q1a，q1b，...，q1n)相关联的意图向量(iq1a，iq1b，...，iq1n)。特征向量的其他一些维度可以描述输入查询的词法和语义特征。特征向量的又一些维度可以描述基于环境的特征，诸如提交查询的时间、提交查询的地点、提交查询的用户的特性等。特征生成组件606可以以各种方式编译特征向量，诸如通过连结其各种分量特征的数字表示。然后，搜索组件608可以检查(数据存储库610中的)搜索索引，以找到与输入查询匹配的信息项的集合，如由其特征向量表示的。再次，爬取应用(未示出)通过周期性探索数据存储库612中的信息项来维护搜索索引。[0069]在一些实现中，搜索组件608可以使用一个或多个经机器训练的模型614来执行其搜索。例如，搜索组件608可以使用深度神经网络(dnn)将特征向量映射成向量空间中的查询向量。这里，查询向量基于作为一个输入信号的意图向量iq1而被得出，但也可以表示查询的除意图之外的其他方面。假设搜索索引存储与候选信息项相关联的查询向量，这些查询相邻已经以离线方式类似地被计算。然后，搜索组件608可以标识信息项的集合，这些信息项具有最接近与当前查询q1相关联的查询向量的查询向量。然后，它向输出生成组件124发送与这些信息项相关联的标识符(例如，url)。然后，输出生成组件124可以生成用户界面呈现，该用户界面呈现向用户显示与匹配的信息项集合相关联的搜索结果片段集合。[0070]ir引擎504可以使用利用由意图编码器组件104提供的(多个)意图向量的许多其他策略。图6的ir应用602表示使用意图查询作为更全面检索策略内的一个因素的应用的仅一个示例。[0071]图7示出了ir应用702，该ir应用702使用图1的意图编码器组件104，通过分析用户在搜索会话期间提交的查询的序列以及与其相关联的意图向量，来协助用户检索信息。更具体地，假设用户正在进行搜索会话以解决一个或多个搜索目标。在搜索会话的过程中，假设用户在会话(t1，t2，...，tn)期间的不同相应时间处提交了一系列查询(q1，q2，...，q3)。ir引擎704依赖于意图编码器组件104来生成针对每个输入查询的意图向量，例如，以提供意图向量(iq1，iq2，...，iq3)。[0072]然后，交叉查询分析组件706可以计算会话中每对意图之间的距离。例如，交叉查询分析组件706可以计算每对直接相邻意图之间的距离，例如通过计算与查询q1和q2相关联的意图之间的距离、与查询q2和q3相关联的意图之间的距离等。交叉查询分析组件706还可以计算非直接相邻意图之间的距离，诸如通过计算与查询q1和q3相关联的意图之间的距离等。交叉查询分析组件706还可以生成描述在会话中的意图的分布的其他指标，诸如生成反映会话的平均意图的度量、与会话期间所表达的意图相关联的熵、表达相同意图的查询的数目等。总的来说，交叉查询分析组件706可以生成特征集，该特征集描述查询、与查询相关联的意图、这些意图之中的关系、意图的统计属性等。特征中的至少一些特征取决于ieiv在当前会话中的时间轨迹。换句话说，特征中的至少一些特征取决于用户提交具有不同相应意图的查询的次序。[0073]然后，交叉查询分析组件706可以解释特征集来产生分类结果。例如，交叉查询分析组件706可以提供将特征集映射到策略标识符的经机器训练的模型。策略标识符描述了用户在当前时间看似正在展示的策略，如用户提交的最后一个查询以及其之前的查询(如果有)所表明的那样。第一策略可以指示用户正在表达与搜索会话中较早展示的一个或多个先前意图相比的新意图。第二策略可以指示用户正在与单个意图相关联的意图向量空间中的区域内探索，但不一定在空间内的任何特定意图焦点内向下钻。第三策略可以指示用户尝试在意图向量空间内提取关于特定意图的更多细节。第四策略可以指示用户正在表达与先前查询相同的意图，例如，通过简单地释义先前查询。这些策略可能性作为示例而非限制地被引用。[0074]ir引擎704可以以不同方式利用其对用户当前策略的解释。在一种方法中，搜索组件708可以添加与所标识的搜索策略相关联的元数据，作为从搜索索引(在数据存储库710中被提供，其是数据存储库712中提供的信息项的反映)提取信息时要考虑的另一个特征。例如，在确定用户已经切换意图后，搜索组件708可以在检索匹配的信息标识符时有效地清除其用户先前查询的历史记录，因为搜索组件708已经得出结论，这些先前搜索与用户的当前搜索目标无关。凭借该规定，搜索组件708将防止先前查询偏置当前搜索结果。相比之下，在确定用户正在向下钻入意图的特定焦点时，搜索组件708可以要求已经被提前标记为所包含的详细信息的信息项。[0075]备选地或附加地，ir组件704可以将其分类结果发送到由输出生成组件124提供的建议生成组件714。建议生成组件714使用分类结果，来向用户给出关于他或她如何最好地进行搜索会话的建议。例如，在确定用户已经进行一次或多次尝试来释义相同意图后，建议生成组件714可以向用户提供附加查询建议，搜索组件708已经从邻居搜索组件118挖掘出这些附加查询建议。在确定用户正在特定的意图焦点内向下钻后，建议生成组件714可以提供关于用户可能希望如何缩小他或她的搜索的查询建议。例如，建议生成组件714可以邀请用户访问一个或多个数据库或其他资源，这些数据库或其他资源包含关于用户手头任务的更详细信息。建议生成组件714可以依赖不同的技术来执行这些任务，诸如通过咨询预先生成的查找表(lookuptable)，该查找表将由交叉查询分析组件706提供的分类结果映射到搜索建议，或者通过使用生成式经机器训练的模型等。[0076]图8是描述关于多个不同搜索会话，在相同搜索会话中所提交的查询对之中的相似性的图。第一曲线802反映了搜索会话中直接相邻查询之间的基于意图的相似性。第二曲线反映了非直接相邻查询对之间基于意图的相似性，其中每个这样的对由一个查询分开。第三曲线也反映了非直接相邻查询对之间基于意图的相似性，其中每个这样的对由两个查询分开。第四曲线描述了随机选择的查询之间的相似性。[0077]注意，(针对直接相邻查询的)曲线802具有双峰形状，例如通过展示两个概率峰值。后一个峰值反映了在搜索会话中第二查询关于意图与紧接在前的查询相关的那些场合。使用交叉查询分析组件706的ir应用可以显露和利用这种见解。[0078]本小节中描述的应用以说明而非限制的精神被呈现。其他ir应用可以以其他方式来利用意图向量。此外，如上所述，其他意图消耗应用可以在ir任务之外的上下文中应用意图向量。[0079]a.3.意图编码器组件的说明性架构[0080]图9和图10一起示出了图1的经机器训练的意图编码器组件104的一个实现。从高层级视角，意图编码器组件104使用词项嵌入组件902，来为输入查询q中的每个词项t生成词项向量t。在这里，输入查询对应于短语“horseracing(马赛)”，其个体词(也被称为记号(token))对应于“horse(马)”和“racing(赛)”。混合编码器组件904基于由词项嵌入组件902产生的词项向量来生成意图向量iq。图9示出了词项嵌入组件902的一个说明性实现，而图10示出了混合编码器组件904的一个说明性实现。[0081]从图8开始，词项嵌入组件902包括两个部分。第一部分906将查询q的每个词项作为整体处理，而第二部分908以字符层级的粒度对每个词项操作，例如，通过考虑其字符组合的形态。第二部分908对于很少遇到的单词的情况特别有用；在该情形中，第二部分908通过针对具有相似拼写的其他词项来判断该词项，来提取对该词项有意义的信息。[0082]关于第一部分906，词语嵌入组件910首先使用嵌入表将输入词项(这里，“马(horse)”)转换为嵌入temb。嵌入temb对应于输入词项t的向量表示。在一种情况下，词语嵌入组件910依赖于将自然语言词汇中的词项映射到向量的静态查找表。例如，在离线操作中，神经网络可以将词汇中的每个词项映射到其向量形式，从而填充查找表。在另一种情况下，训练系统114学习嵌入表作为其经机器训练的模型112的迭代生成的一部分。[0083]高速公路(highway)神经网络组件912按照下式将每个嵌入temb转换为输出向量thy：[0084][0085]这个方程提供了一个非线性投影，以及控制投影的门。投影和门分别由下面的式(2)和(3)定义：[0086][0087][0088]在式(2)和(3)中的符号和分别指代机器学习权重值。“relu”和“sigmoid”指代两个激活函数的名称。[0089]第二部分908通过使用字符嵌入组件914针对所考虑的查询中的每个词项产生字符向量c开始，即，通过针对字符“h”生成第一字符向量c1，针对字符“o”生成第二字符向量c2，等等。与词语嵌入组件910一样，字符嵌入组件914可以使用预先生成的查找表来执行该任务，该查找表将字符映射到向量。或者，作为由训练系统114执行的训练的一部分，字符嵌入组件914可以学习其嵌入表。[0090]接下来，卷积和池化组件(cpc)916跨字符向量的序列移动n字符的窗口。在每个窗口位置处，它生成一个n字符组合向量，该n字符组合向量将由窗口在该给定位置处涵盖的n个字符组合在一起。例如，对于n＝3和一个窗口位置，cpc916可以通过连结针对“h”、“o”和“r”的三个字符向量来形成n字符组合向量。然后，cpc916可以通过将每个n字符组合向量乘以机器学习的加权矩阵来对其进行转换。总的来说，这产生了多个中间向量。cpc916然后使用任何类型的下采样策略，将多个中间向量压缩成全局向量tc。例如，cpc916可以跨被馈送给它的中间向量的每个维度选择最大值，以形成全局字符向量tc。[0091]另一高速公路神经网络组件918使用上面关于式(1)‑(3)描述的相同种类的转换，但关于不同的机器学习加权参数(例如，在这里，和)，来将字符向量tc转换成输出向量第二高速公路神经网络组件918还可以可选地使用式(1)‑(3)中所描述的高速公路神经网络的两个(或更多个)层。在该情况下，任何层w都对由前一层w‑1提供的输出结果操作。[0092]最后，连结组件920将第一部分906的输出结果(thy)与第二部分908的输出结果连结，以产生最终词项向量t。注意，词项嵌入组件902的架构可以以不同方式变化，诸如通过使用标准前馈神经网络组件代替高速公路神经网络组件(912、918)中的每个高速公路神经网络组件。[0093]前进到图10，该图示出了混合编码器组件904的一个实现。混合编码器组件904接收由词项嵌入组件902产生的词项向量集合作为输入信号。这些词项向量包括第一词项向量t1，其与标记查询的开始的虚设符号<bos>相关联，并且包括第四词项向量t4，其与标记查询的结束的虚设符号<eos>相关联。词项向量t2对应于词“horse(马)”，而词项向量t3对应于词“racing(赛)”。[0094]递归神经网络(rnn)组件1002对词项向量操作以产生两个隐藏状态向量(hfn，hbn)。更具体地，rnn组件1002是双向rnn，其在前向和反向两个方向上传递隐藏状态信息。即，rnn组件1002包括前向rnn组件1004，其在前向方向上将隐藏状态信息从rnn单元序列中的一个rnn单元传递到下一个rnn。前向rnn组件1004中的最终rnn单元产生隐藏状态向量hfn。反向rnn组件1006在反向方向上将隐藏状态信息从rnn单元序列中的一个rnn单元传递到下一个rnn。反向rnn组件1006中的最终rnn单元产生隐藏状态向量hbn。每个rnn组件中的每个rnn单元也从词项向量中的一个词项向量接收输入信号。例如，前向rnn组件1004的第一rnn单元f1对第一词项向量t1操作。注意，出于解释的目的，图10以从离散元素“展开”的方式来说明rnn单元。但是混合编码器组件904可以使用单个代码体来实现这些rnn单元。在执行期间，该单个代码体将其(在时间实例i处所计算的)输出隐藏状态信息作为(针对时间实例i 1的)输入隐藏状态信息馈送。混合编码器组件904基于所考虑的输入查询中的词项的数目，动态地扩展和收缩其执行的rnn计算的数目。[0095]给定由链中先前rnn单元输出的隐藏状态向量，并且基于馈送给它的输入词项向量，每个rnn使用其内部逻辑来产生隐藏状态向量。例如，在一个实现中，每个rnn单元对应于长短期记忆(lstm)单元，其基于式：σ(wthti whhhi‑1 bh)，来生成其隐藏向量hi，其中ti是作为输入馈送给它的词项向量，hi‑1是从先前rnn单元馈送给它的隐藏状态向量，wth和whh是机器学习的加权矩阵，bh是机器学习的偏置向量，σ指代sigmoid激活函数。在另一实现中，每个rnn单元对应于门控递归单元(gru)。[0096]一般而言，rnn组件1002对应于顺序编码器，该顺序编码器从查询捕获见解，该见解取决于词项在查询中出现的次序。这对于词项次序敏感的查询(诸如“horseracing(马赛)”和“racinghorse(赛马)”)有用。相比之下，平均池组件1008使用词袋范式来独立于词项的排序来捕获查询中的词项的影响。在一种情况下，平均池组件1008生成被馈送到混合编码器组件1002的n个词项向量的平均即：[0097][0098]接下来，连结组件1012将hfn(前向rnn组件1004的输出)、hbn(反向rnn组件1006的输出)和(平均池组件1008的输出)，连结，来产生向量qcat。然后，后处理神经网络组件1012使用下式将向量qcat转换为最终意图向量iq：[0099][0100]符号对应于另一机器学习的参数值，并且tanh和relu对应于激活函数。注意，混合编码器组件904的架构可以以多种方式变化，诸如通过使用不同种类的顺序编码器技术(例如，除了图10中所示的双向rnn组件1002以外)、通过使用不同的后处理神经网络组件等。[0101]a.4.训练系统[0102]图11示出了训练系统114，该训练系统114产生由意图编码器组件104使用的经机器训练的模型112。经机器训练的模型112转而集体地对应于控制图9和图10中所示的所有机器学习组件的操作的参数值，如上所述。训练系统114可以使用任何技术来迭代地产生这些参数值，诸如梯度下降。[0103]训练系统114包括训练集创建组件(tscc)1102，用于产生训练示例的集合，训练系统114将该集合存储在数据存储库116中。tscc1102从多个源挑选训练示例。第一源对应于在数据存储库1104中所维护的搜索日志。搜索引擎1106通过存储由用户提交的搜索查询并且存储用户响应于提交那些查询而做出的选择(例如，通过标识用户响应于提交查询而“点击”的url)，来生成搜索日志。例如，搜索日志将揭示：响应于提交搜索查询q，用户选择与文档标识符d相关联的文档，例如，通过在搜索结果页面中点击与该文档相关联的片段。搜索引擎1106可以以任何形式维护该信息。例如，搜索引擎1106可以提供描述搜索查询与url之间的链接的点击图，其描述了用户响应于查询的提交而做出的选择。[0104]tscc1102可以从搜索日志挑选多个查询对，包括多个正例和多个负例。每个正例包括一对搜索查询(q，q*)，它们引起点击相同信息项(例如，文档)。每个负例包括一对搜索查询(q，q‑)，它们没有引起点击相同文档。无论是对应于正例还是负例，每个这样的配对在本文中都被称为共同点击(co‑click)配对。[0105]关于正例，tscc1102可以排除用户点击的具有多于规定数目的独特意图(例如，五个意图)的url。tscc1102剔除这些url，因为与这些站点相关联的意图点击联系不明确。tscc1102可以通过从搜索日志随机选择搜索查询对，来生成每个负例。然而，该方法可以产生易于区分的搜索查询对，并且因此对训练模型不太有用。为了解决该问题，tscc1102可以通过找到与给定搜索查询q最相似的搜索查询q‑来创建每个负例，如通过与这两个搜索查询相关联的意图向量之间的余弦相似性来度量的(但其中这两个查询仍然没有引起点击相同文档)。即q‑＝argmaxq′∈batchcos(iq，iq′)，其中“cos”对应于与候选搜索查询对(q，q′)相关联的意图向量之间的余弦相似性。更一般地，为了创建每个负例，tscc1102找到具有如下意图向量的查询配对：这些意图向量具有满足规定的相关性测试(使得它们并非完全不相关)，但仍然没有引起点击相同文档。[0106]第二源对应于提供经人工标记的语言学表达对的数据存储库1108。这些语言学表达对转而落入两种类别。第一类别的语言学表达对应于被提交给搜索引擎1106的搜索查询，其中每个搜索查询由一个或多个搜索词项组成。第二类别的语言学表达对应于被提交给一些自动化的问答代理(诸如搜索引擎1106、虚拟助手、聊天机器人等)的自然语言问题。[0107]更具体地，关于第一类型，每对查询包括第一搜索查询qi和第二搜索查询qi′。每个这样的对还包括由人类专家(经由标记平台1110)提供的标签yi，该标签指示两个搜索查询(qi，qi′)是否表达相同意图(yi＝ 1)或(yi＝‑1)。在前一种情况下(当两个搜索查询表达相同意图时)，它们被视为对彼此的释义。关于第二类型，每个对包括以自然语言学表达的第一问题qei和以自然语言学表达的第二问题qei′。每个这样的对包括由人类专家提供的标签yi，该标签指示两个问题(qei，qei′)是否表达相同意图(yi＝ 1)或(yi＝‑1)。在前一种情况下(当两个问题表达相同意图时)，它们被视为彼此的释义。tscc1102将规定数目的这两种对添加到数据存储库116中的训练集。每个这样的配对在本文中被称为释义配对。[0108]在一个实现中，训练组件1112以两个阶段执行训练。在训练的第一阶段中，训练组件1112仅基于从搜索日志所获取的共同点击配对，来生成经机器训练的模型112的初步版本。这构成了一种弱监督形式的训练，因为由搜索日志捕获的共同点击行为以类似于标签的方式起作用。在训练的第二阶段中，训练组件1112基于所有对来精化经机器训练的模型112，包括共同点击(co‑click)配对((q，q*)，(q，q‑))、基于搜索查询的释义配对(qi，q′i，yi)，和基于问题的释义配对(qei，qe′i，yi)。[0109]更具体地，第一阶段使用以下损失等式来训练模型112：[0110][0111]该式表示一种尝试，以迭代地增加根据共同点击训练数据被认为相关的查询意图之间的相似性，并且迭代地降低根据共同点击训练数据而不相关的查询意图之间的相似性。[0112]第二阶段应用表示三个分量损失函数的复合的损失函数：lmulti‑task＝lco‑click lq‑para lqe‑para。该多任务(multi‑task)损失函数的第一分量(lco‑click)关于共同点击配对被应用，并且由式(6)给出。该损失函数的第二分量和第三分量关于基于查询的释义配对和基于问题的释义配对被应用，并且由以下式(7)和(8)给出：[0113][0114][0115]重复在具体实施方式开始处所作的陈述，该解释在查询(诸如，被提交给搜索引擎1106的查询)的上下文中描述了计算环境102的原理方面。但是本文描述的原理更一般地适用于在任何应用上下文中被提交给任何计算机实现的平台的任何语言学表达。[0116]b.说明性过程[0117]图12和图13以流程图的形式示出了解释a节的计算环境102的操作的过程(1202、1302)。因为已在a节中描述了计算环境102的操作底层的原理，所以在本节中某些操作将以概括的方式被提及。如在具体实施方式的前言部分中所指出的，每个流程图被表达为以特定顺序执行的一系列操作。但是这些操作的次序仅是代表性的，并且可以以任何方式变化。[0118]图12示出了用于处理输入表达的过程1202。在框1204中，意图处理功能108接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交该输入表达。在框1206中，意图处理功能108使用经机器训练的意图编码器组件104，将输入表达映射成输入表达意图向量(ieiv)，ieiv对应于意图在意图向量空间内的分布式表示。在框1208中，意图处理功能108使用信息检索(ir)引擎来处理输入表达，以至少部分地基于ieiv来产生ir结果。在框1210中，意图处理功能108使用输出生成组件124，基于ir结果来生成输出结果，并且向输出设备发送输出结果，以供向当前用户呈现。图12还指示，在一些场景中，框1208需要使用邻居搜索组件118来找到一个或多个相关表达，其中每个相关表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)。[0119]图13示出了由训练系统114执行的用于生成经机器训练的模型的过程1302。在框1304中，训练系统114从由搜索引擎116产生的搜索日志来制定训练示例，训练示例包括正例和负例。每个正例描述两者都引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达。在框1306中，训练系统114通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型112，以供意图编码器组件104使用。在框1308中，训练系统114可选地基于附加训练示例以及从搜索日志所提取的训练示例来精化经机器训练的模型112。每个这样的附加训练示例描述了两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则这两个表达被视为对彼此的释义。[0120]c.代表性计算功能[0121]图14示出了计算设备1402，计算设备1402可以用于实现上述图中阐述的机制的任何方面。例如，参考图1，图14中所示的计算设备1402的类型可以用于实现与意图处理功能108相关联的任何计算设备、与训练系统114相关联的任何计算设备，和/或任何用户计算设备(例如，用户设备106)等。在所有情况下，计算设备1402代表物理和有形处理机构。[0122]计算设备1402可以包括一个或多个硬件处理器1404。(多个)硬件处理器可以包括但不限于一个或多个中央处理单元(cpu)和/或一个或多个图形处理单元(gpu)、和/或一个或多个专用集成电路(asic)等。更一般地，任何硬件处理器可以对应于通用处理单元或专用处理器单元。[0123]计算设备1402还可以包括与一个或多个计算机可读介质硬件单元对应的计算机可读存储介质1406。计算机可读存储介质1406保留任何种类的信息1408，诸如机器可读指令、设置、数据等。例如但不限于，计算机可读存储介质1406可以包括一个或多个固态设备、一个或多个磁性硬盘、一个或多个光盘、磁带等。计算机可读存储介质1406的任何实例可以使用用于存储和检索信息的任何技术。此外，计算机可读存储介质1406的任何实例可以表示计算设备1402的固定或可移除组件。此外，计算机可读存储介质1406的任何实例可以提供信息的易失性或非易失性保留。[0124]计算设备1402可以以不同的方式来利用计算机可读存储介质1406的任何实例。例如，计算机可读存储介质1406的任何实例可以表示用于在计算设备1402执行程序期间存储瞬时信息的硬件存储器单元(诸如随机存取存储器(ram))和/或用于将信息以更永久的基础来保留/存档的硬件存储单元(诸如硬盘)。在后一情况下，计算设备1402还包括一个或多个驱动机构1410(诸如硬盘驱动机构)，用于存储和检索来自计算机可读存储介质1406的实例的信息。[0125]当(多个)硬件处理器1404执行计算机可读存储介质1406的任何实例中所存储的计算机可读指令时，计算设备1402可以执行上述任何功能。例如，计算设备1402可以执行计算机可读指令来执行b节中描述的每个过程块。[0126]备选地或附加地，计算设备1402可以依赖一个或多个其他硬件逻辑组件1412，以使用任务特定的逻辑门合集来执行操作。例如，(多个)硬件逻辑组件1412可以包括硬件逻辑门的固定配置，硬件逻辑门的固定配置例如在制造时被创建和被设置并且此后不可更改。备选地或附加地，(多个)其他硬件逻辑组件1412可以包括可以被设置为执行不同专用任务的可编程硬件逻辑门的合集。后一类设备包括但不限于可编程阵列逻辑设备(pal)、通用阵列逻辑设备(gal)、复杂可编程逻辑设备(cpld)、现场可编程门阵列(fpga)等。[0127]图14总体上指示硬件逻辑电路装置1414包括(多个)硬件处理器1404、计算机可读存储介质1406和/或(多个)其他硬件逻辑组件1412的任何组合。即，计算设备1402可以采用执行计算机可读存储介质1406中所提供的机器可读指令的(多个)硬件处理器1404和/或使用固定和/或可编程硬件逻辑门合集执行操作的一个或多个硬件逻辑组件的任何组合。更概括地说，硬件逻辑电路装置1414对应于基于(多个)硬件逻辑组件中所存储和/或以其他方式体现的逻辑来执行操作的任何(多个)类型的一个或多个硬件逻辑组件。[0128]在一些情况下(例如，在计算设备1402表示用户计算设备的情况下)，计算设备1402还包括输入/输出接口1416，用于(经由输入设备1418)接收各种输入并且用于(经由输出设备1420)提供各种输出。说明性输入设备包括键盘设备、鼠标输入设备、触摸屏输入设备、数字化板、一个或多个静态图像相机、一个或多个视频相机、一个或多个深度相机系统、一个或多个麦克风、语音识别机构、任何运动检测机构(例如，加速度计、陀螺仪等)等。一个特定的输出机构可以包括显示设备1422和相关联的图形用户界面表示(gui)1424。显示设备1422可以对应于液晶显示设备、发光二极管显示(led)设备、阴极射线管设备、投影机构等。其他输出设备包括打印机、一个或多个扬声器、触觉输出机构、存档机构(用于存储输出信息)等。计算设备1402还可以包括一个或多个网络接口1426，用于经由一个或多个通信管道1428来与其他设备交换数据。一个或多个通信总线1430将上述组件通信地耦合在一起。[0129](多个)通信管道1428可以以任何方式来被实现，例如，通过局域计算机网络、广域计算机网络(例如，互联网)、点对点连接等或其任何组合来被实现。(多个)通信管道1428可以包括由任何协议或协议组合管理的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。[0130]图14将计算设备1402示出为由独立单元的分立合集组成。在一些情况下，单元的合集可以对应于在具有任何形状因数的计算设备机架中所提供的分立硬件单元。图14在其底部示出了示意性形状因数。在其他情况下，计算设备1402可以包括集成了图1中所示的两个或更多个单元的功能的硬件逻辑组件。例如，计算设备1402可以包括片上系统(soc或soc)，片上系统对应于将图14中所示的两个或更多个单元的功能组合的集成电路。[0131]以下概述提供了本文阐述的技术的说明性方面的非穷尽集合。[0132]根据第一方面，描述了用于处理输入表达的一种或多种计算设备。(多个)计算设备包括硬件逻辑电路装置，硬件逻辑电路装置包括：(a)一个或多个硬件处理器，该一个或多个硬件处理器通过执行被存储在存储器中的机器可读指令来执行操作，和/或(b)一个或多个其他硬件逻辑组件，该一个或多个其他硬件逻辑组件使用任务特定的逻辑门合集来执行操作。操作包括：接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交该输入表达；以及使用经机器训练的意图编码器组件，将输入表达映射成输入表达意图向量(ieiv)，该ieiv对应于意图在意图向量空间内的分布式表示。意图编码器组件已经使用计算机实现的训练系统通过以下方式而被训练：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述两者都引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达；以及通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离，并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用。操作还包括：使用信息检索(ir)引擎来处理输入表达，以至少部分基于ieiv来产生ir结果；以及使用输出生成组件，基于ir结果来生成输出结果，并且向输出设备发送输出结果，以供向当前用户呈现。[0133]根据第二方面，使用ir引擎的操作包括：使用邻居搜索组件来找到一个或多个相关表达，其中每个表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)；以及使用一个或多个相关表达来提供ir引擎结果。[0134]根据与第二方面相关的第三方面，响应于确定输入表达是尾表达，ir引擎找到一个或多个相关表达，尾表达对应于在先前场合被观察到的次数小于规定次数的表达。[0135]根据与第二方面相关的第四方面，每个相关表达具有在离ieiv的第一阈值距离和第二阈值距离之间的neiv。[0136]根据与第二方面相关的第五方面，使用一个或多个相关表达的操作包括：标识数据存储库中与一个或多个相关表达匹配的一个或多个问题。ir结果对应于分别与一个或多个问题相关联的一个或多个回答。[0137]根据与第二方面相关的第六方面，使用一个或多个相关表达的操作包括：标识在搜索索引中所指定的与一个或多个相关表达匹配的一个或多个信息项。ir结果对应于与一个或多个信息项相关联的信息项标识符的集合。[0138]根据与第二方面相关的第七方面，ir结果对应于一个或多个相关表达自身。此外，由输出生成组件执行的生成的操作对应于基于一个或多个相关表达来生成表达建议。[0139]根据第八方面，使用ir引擎的操作包括：至少部分地基于ieiv来生成特征向量；以及标识在搜索索引中所指定的与特征向量匹配的一个或多个信息项。ir结果对应于与一个或多个信息项相关联的信息项标识符的集合。[0140]根据第九方面，输入表达是由当前用户在当前会话中提交的输入表达的集合中的一个表达。此外，接收的操作包括接收集合中的输入表达。此外，映射的操作包括：针对集合中的每个输入表达生成ieiv，以生成ieiv的集合。此外，使用ir引擎的操作包括：分析ieiv的集合来对将前用户正在使用的搜索策略分类，以提供分类结果；以及基于分类结果来执行动作，以协助当前用户执行搜索策略。[0141]根据与第九方面相关的第十方面，分析的操作包括：基于ieiv在当前会话中的时间轨迹来标识搜索策略。[0142]根据第十一方面，意图编码器组件包括：经机器训练的词项嵌入组件，该词项嵌入组件针对输入表达的每个词项生成词项向量；以及经机器训练的混合编码器组件，包括顺序编码器，该顺序编码器基于由词项嵌入组件生成的词项向量，来生成与输入表达相关联的ieiv。[0143]根据与第十一方面相关的第十二方面，词项嵌入组件基于将词项作为整体的考虑、以及对组成词项的个体字符的考虑，来生成针对词项的每个词项向量。[0144]根据第十三方面，训练系统通过标识满足规定的相关性测试但没有引起对相同文档的选择的两个表达来生成每个负例。[0145]根据第十四方面，生成经机器训练的模型的操作还包括：基于附加训练示例以及从搜索日志所提取的训练示例，来精化经机器训练的模型。每个这样的附加训练示例描述了两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则两个表达被视为对彼此的释义。[0146]根据与第十四方面相关的第十五方面，针对附加训练示例中的至少一些附加训练示例，每对表达对应于被提交给搜索引擎的一对搜索查询，其中每个查询由一个或多个搜索词项组成。[0147]根据与第十四方面相关的第十六方面，针对附加训练示例中的至少一些附加训练示例，每对表达对应于一对自然语言问题。[0148]根据第十七方面，描述了一种方法，该方法由一个或多个计算设备实现，用于处理输入表达。该方法包括：接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交输入表达；以及使用经机器训练的意图编码器组件，将输入表达映射成输入表达意图向量(ieiv)，ieiv对应于意图在意图向量空间内的分布式表示。意图编码器组件使用计算机实现的训练系统通过以下方式而被训练：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述两者引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达；以及通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用。意图编码器组件包括：经机器训练的词项嵌入组件，该词项嵌入组件针对输入表达的每个词项生成词项向量；以及经机器训练的混合编码器组件，包括顺序编码器，该顺序编码器基于由词项嵌入组件生成的词项向量，来生成与输入表达相关联的ieiv。[0149]根据与第十七方面相关的第十八方面，该方法还包括：使用信息检索(ir)引擎来处理输入表达，以至少部分基于ieiv来产生ir结果；以及使用输出生成组件，基于ir结果来生成输出结果，并且将向输出设备发送输出结果，以向当前用户呈现。[0150]根据与第十八方面相关的第十九方面，词项嵌入组件基于对词项作为整体的考虑、以及对组成词项的个体字符的考虑，来生成针对词项的每个词项向量。[0151]根据第二十方面，描述了一种计算机可读介质，用于存储计算机可读指令。计算机可读指令在由一个或多个硬件处理器执行时执行方法，该方法包括：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述了两者引起对相同文档的选择的一对先前表达，并且每个负例描述了没有引起对相同文档的选择的一对先前表达；通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用；以及基于附加训练示例以及从搜索日志所提取的训练示例，来精化经机器训练的模型，每个这样的附加训练示例描述两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则两个表达被视为对彼此的释义。意图编码器组件被配置成将输入表达映射到相应的意图向量，每个这样的意图向量对应于与相应的输入表达相关联的意图的分布式表示。[0152]第二十一方面对应于上述第一至第二十方面的任何组合(例如，任何逻辑上一致的排列或子集)。[0153]第二十二方面对应于与第一至第二十一方面相关联的任何方法对应物、设备对应物、系统对应物、装置加功能对应物、计算机可读存储介质对应物、数据结构对应物、制品对应物、图形用户界面表示对应物等。[0154]最后，本文描述的功能可以采用各种机制来确保以符合适用法律、社会规范以及个体用户的期望和偏好的方式来处理任何用户数据。例如，功能可以允许用户明确选择加入(然后明确选择退出)功能的配置。功能还可以提供合适的安全性机制(诸如，数据清理机制、加密机制、密码保护机制等)，以确保用户数据的私密性。[0155]此外，描述可能已经在说明性挑战或问题的上下文中阐述了各种概念。这种解释方式并不旨在暗示其他人已以本文中指定的方式理解和/或阐明了挑战或问题。此外，这种解释方式并不旨在暗示权利要求中记载的主题仅限于解决所标识的挑战或问题；即，权利要求中的主题可以在不同于本文描述的挑战或问题的上下文中应用。[0156]尽管已经以结构特征和/或方法动作特定的语言描述了主题，但是应当理解，所附权利要求书中限定的主题不必限于上述特定特征或动作。相反，上面描述的特定特征和动作被公开为实现权利要求的示例形式。当前第1页12当前第1页12
背景技术：
：：1.各种计算机实现的系统采用经机器训练的模型来解释用户的输入查询和其他语言学表达。例如，搜索引擎可以采用一个或多个经机器训练的模型来解释用户经由网络浏览器输入的搜索查询。类似地，聊天机器人可以采用一个或多个经机器训练的模型来解释用户以口头或基于文本的形式输入的问题和命令。2.虽然系统提供方已经开发了越来越复杂的经机器训练的模型，但是这些模型有时可能产生不令人满意的结果。无法向用户提供相关结果的系统(诸如信息检索引擎)可能会使用户感到沮丧。关于与实现系统的服务器相关联的资源，以及用户用来与系统交互的用户设备两者，它还使计算资源的使用效率低下。技术实现要素：3.本文描述了一种计算机实现的技术，其接收用户提交的输入表达(inputexpression)，该输入表达具有达成某个目标的意图。然后，该技术使用经机器训练的意图编码器组件将输入表达映射成输入表达意图向量(ieiv)。ieiv对应于与输入表达相关联的意图在连续意图向量空间内的分布式表示。然后，技术利用意图向量来促进某个下游应用任务，诸如从搜索引擎检索信息。4.根据一个说明性方面，训练系统部分地通过从由搜索引擎产生的搜索日志来制定训练示例来训练意图编码器组件。训练示例包括正例和负例。每个正例描述了引起对相同文档(即相同url)的选择的一对先前查询。每个负例描述了没有引起对相同文档的选择的一对先前查询。通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，该技术生成经机器训练的模型，以供意图编码器组件使用。5.根据另一说明性方面，应用可以使用邻居搜索组件来找到关于输入表达的一个或多个相关表达，每个相关表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)。6.根据另一说明性方面，意图编码器包括：经机器训练的词项(term)嵌入组件和经机器训练的混合编码器组件。词项嵌入组件针对输入表达的每个词项生成词项向量。它这样做是基于对词项作为整体的考虑和对组成该词项的个体字符的考虑。混合编码器组件包括顺序编码器，顺序编码器基于由词项嵌入组件生成的词项向量，来生成与表达相关联的意图向量。7.以上概述的技术可以在各种类型的系统、设备、组件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制品等中得到体现。8.提供本
发明内容来以简化形式介绍一些概念；这些概念将在以下具体实施方式中进一步被描述。本
发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。附图说明9.图1示出了一个说明性计算环境，该计算环境使用意图编码器组件将输入查询(或任何其他种类的语言学表达)映射成意图向量。然后，计算环境处理意图向量来产生一些特定于应用的输出结果。10.图2示出了意图向量空间的简化描绘，图1的意图编码器组件将输入查询映射到该意图向量空间。11.图3示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来检索对输入查询的回答。12.图4示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来检索与输入查询相关的文档标识符。13.图5示出了一个信息检索应用，该信息检索应用使用图1的意图编码器组件来向用户提供查询建议。14.图6示出了另一信息检索应用，该信息检索应用依赖于特征生成组件来生成描述用户输入查询的特征向量，该特征向量的一部分是基于与输入查询相关联的意图向量。15.图7示出了一个信息检索应用，该信息检索应用分析用户在搜索会话期间提交的查询的序列和与其相关联的意图向量。16.图8是描述关于多个不同搜索会话，在相同搜索会话中所提交的查询对之中的相似性的图。17.图9和图10一起示出了图1的经机器训练的意图编码器组件的一个实现。18.图11示出了可以用于训练图1的意图编码器组件的训练系统。19.图12是描述用于使用图1的意图编码器组件来促进信息的检索的一个过程的流程图。20.图13是描述用于训练图1的意图编码器组件的一个过程的流程图。21.图14示出了可以被用来实现前述附图中所示的特征的任何方面的说明性类型的计算设备。22.贯穿公开内容和附图使用相同的附图标记来指代相似的组件和特征。系列100附图标记指代最初在图1中发现的特征，系列200附图标记指代最初在图2中发现的特征，系列300附图标记指代最初在图3发现的特征，等等。具体实施方式23.本公开内容组织如下。a节描述了用于训练和应用意图编码器组件的说明性计算环境。它还描述了意图编码器组件自身的说明性架构。b节阐述了说明性方法，该说明性方法解释了a节的计算环境的操作。以及c节描述了可以被用来实现a节和b节中描述的特征的任何方面的说明性计算功能。24.作为引文，术语“硬件逻辑电路装置”至少部分地对应于执行存储器中存储的机器可读指令的一个或多个硬件处理器(例如，cpu、gpu等)，和/或使用固定和/或可编程逻辑门的任务特定的合集来执行操作的一个或多个其他硬件逻辑组件(例如，fpga)。c节提供了关于硬件逻辑电路装置的一个实现的附加信息。术语“组件”或“引擎”中的每个术语指代硬件逻辑电路装置中执行特定功能的一部分。25.在一种情况下，所图示的将图中的各个部分分离成不同的单元可以反映出在实际实现中对对应不同的物理和有形部分的使用。备选地或附加地，附图中图示的任何单个部分可以由多个实际物理部分来实现。备选地或附加地，附图中任何两个或更多个分离的部分的描绘可以反映由单个实际物理部分执行的不同功能。26.其他附图以流程图形式描述了概念。以这种形式，某些操作被描述为构成以一定次序执行的不同框。这样的实现是说明性而非限制性的。本文描述的某些框可以被分组在一起并且在单个操作中被执行，某些框可以被分解为多个组件框，并且某些框可以以与本文所示次序不同的次序(包括执行框的并行方式)来被执行。在一个实现中，流程图中示出的与处理相关功能有关的框可以由c节中描述的硬件逻辑电路装置来实现，该硬件逻辑电路装置转而可以由包括任务特定逻辑门合集的一个或多个硬件处理器和/或其他逻辑组件来实现。27.关于术语，短语“被配置成”涵盖用于执行所标识的操作的各种物理和有形机构。机构可以被配置成使用c节的硬件逻辑电路装置来执行操作。术语“逻辑”同样涵盖用于执行任务的各种物理和有形机构。例如，流程图中图示的每个处理相关操作对应于用于执行该操作的逻辑组件。逻辑组件可以使用c节的硬件逻辑电路装置来执行其操作。当逻辑组件由计算装备来实现时，无论采用哪种实现，逻辑组件都表示作为计算系统物理部分的电组件。28.本文描述的任何存储资源或存储资源的任何组合都可以被视为计算机可读介质。在许多情况下，计算机可读介质表示某种形式的物理和有形实体。术语计算机可读介质还涵盖例如经由物理管道和/或空气或其他无线介质等发射或接收的传播信号。但是，特定术语“计算机可读存储介质”明确地排除了传播信号本身，同时包括所有其他形式的计算机可读介质。29.以下说明可以将一个或多个特征标识为“可选的”。该类型的陈述不应当被解释为对可能被视为可选的特征的详尽指示。即，其他特征可以被视为可选的，但是在本文中未明确标识。此外，对单个实体的任何描述不旨在排除使用多个这样的实体。类似地，对多个实体的描述并不旨在排除单个实体的使用。此外，尽管描述可以将某些特征解释为执行所标识的功能或实现所标识的机制的备选方式，但是特征还可以以任何组合来组合在一起。最后，术语“示例性”或“说明性”指代潜在的许多实现之中的一个实现。30.a.说明性计算环境31.a.1.计算环境的概述32.如上所述，系统提供方已经开发了越来越复杂的经机器训练的模型。但是这些模型有时可能产生不令人满意的结果。例如，输入查询的含义可能取决于输入查询中词项的次序。例如，提交查询“horseracing(马赛)”的用户希望获取与提交输入查询“racinghorse(赛马)”的用户所获取的信息不同的信息。因此，使用词袋(bag‑of‑words)范式来处理这些查询的模型可能产生不令人满意的结果。33.其他模型通过将用户的查询映射成语义向量空间中的语义向量来处理用户的查询。这些类型的模型通常对查询中的词项的排序更有弹性。但是这些模型可能仍然无法准确解决用户提交查询的原因。例如，用户可以提交一个查询，内容为“哈佛工作室公寓”，目标是为即将到来的学年在马萨诸塞州波士顿的哈佛大学找到公寓。经机器训练的模型可能确定该查询在语义上接近短语“康奈尔工作室公寓”。作为响应，该模型可能输出关于在康奈尔大学附近的公寓的信息。但用户的真正意图不是研究由大学提供的住房的一般主题，而是执行在马萨诸塞州波士顿找到公寓的具体任务。为了解决该问题，信息检索系统可以使用定制意图分类模型，来关于已知用户意图的预定义分类法将用户意图分类。但是开发和维护这些种类的模型是劳动密集的。此外，对于未被这些模型的预定义意图分类法涵盖的意图，这些模型可能表现不佳。34.本具体实施方式提供了针对上述挑战以及其他挑战的技术解决方案。35.图1示出了一个说明性计算环境102，该说明性计算环境102使用意图编码器组件104将输入语言学表达映射成意图向量，意图向量也被称为输入表达意图向量(ieiv)。语言学表达可以对应于由一个或多个搜索词项、自然语言问题、自然语言命令等组成的搜索字符串。然而，为了促进说明，本具体实施方式将在查询q1被提交给搜索引擎、虚拟助手、聊天机器人等的上下文中说明意图编码器组件104的操作。在该上下文中，意图编码器组件将查询q1映射成意图向量iq1。36.意图向量iq1对应于与输入查询q1相关联的意图的分布式表示。意图向量被称为“分布式表示”，因为意图是使用与意图向量的相应k个维度相关联的多个输出值来表达的。例如，假设用户输入第一查询q1，内容为“西雅图足球队”。用户可以已经提交了该查询，目标是确定在西雅图地区比赛的足球队的名称。由意图编码器组件104产生的意图向量iq1使用与其相应维度相关联的值集合来表达该意图，该值集合转而由神经网络的多个神经元产生(将在下面的a.3小节中被描述)。由这些相同神经元产生的不同的值集合传达不同的意图。37.每个意图向量位于连续k维向量空间内，在本文中被称为意图向量空间。意图编码器组件104被训练，使得其将具有相似意图的查询映射到意图向量空间的相同区域。例如，假设用户输入第二查询，具有与第一查询相同的意图，内容为“哪个足球队在西雅图”。另外假设，许多其他用户之前已经提交了类似的查询以找到在西雅图比赛的足球队的名称。在该情况下，意图编码器组件104会将第二查询映射到与第一查询(“西雅图足球队”)的区域相似的意图向量空间区域，即使这两个查询具有显著程度的词法差异。38.现在考虑用户输入第三查询“亚特兰大足球队”的情况。该查询在词法和语义上与第一查询(“西雅图足球队”)相关。但是用户可能以与第一查询稍有不同的意图输入第三查询。在第一查询中，用户希望确定以西雅图为主场的足球队的名称，而在第三查询中，用户希望确定在佐治亚州亚特兰大比赛的足球队的名称。因此，与第二查询的意图向量相比，可以预期意图编码器组件104针对该第三查询生成离第一查询的意图向量更远的意图向量。该示例突出了意图向量空间的原理特性；其目的主要是表达查询意图之中的关系，而不是查询语义之中的关系。可能的情况是，按意图相关的两个查询在语义上也相关。但是训练意图编码器组件104的驱动力是意图，而不是语义。任何表现出的语义相似性都是偶然的。39.用户可以使用与用户设备106相关联的任何种类的输入设备来输入查询，诸如键输入设备、结合语音识别组件的麦克风等。用户设备106自身可以对应于任何类型的用户计算设备，诸如台式计算设备、膝上型计算设备、任何类型的手持计算设备(诸如智能手机、平板型计算设备等)、游戏机、可穿戴计算设备、混合现实设备等。40.在图1所示的示例中，用户设备106经由计算机网络110与意图处理功能108交互。意图处理功能108通常指代计算环境102的产生和使用意图向量的部分。计算机网络110可以对应于广域网(诸如互联网)、局域网、一个或多个点对点链路等。意图处理功能108自身可以由在一个或多个位置处所提供的一个或多个服务器来实现。在另一实现中，用户设备106实现意图处理功能108的一个或多个方面。41.意图编码器组件104基于由训练系统114产生的经机器训练的模型112来操作。a.3小节描述了意图编码器组件104的一种说明性架构。a.4小节描述了由训练系统114采用以用于产生经机器训练的模型112的一种说明性策略。作为概括，训练系统114从由搜索引擎产生的搜索日志挑选训练示例，并且将训练示例存储在数据存储库116中。训练示例包括正例(positiveexample)和负例(negativeexample)。每个正例描述了两者都引起对相同文档(例如，相同url)的选择的一对先前查询。每个负例描述了没有引起对相同文档的选择的一对先前查询。更通俗地说，训练系统114从由搜索引擎维护的共同点击数据来挖掘训练示例。每个正例描述了一个或多个场合，其中两个不同的查询引起至少一个用户“点击”相同的一个或多个文档。每个负例描述了没有引起用户点击相同的一个或多个文档的两个查询。训练系统114通过迭代地减少在意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加在意图向量空间中与负例相关联的意图向量之间的距离，来产生经机器训练的模型112。如将在a.4小节中描述的，训练系统114可选地通过基于附加的手动标记的训练示例执行训练，来精化(refine)经机器训练的模型112。计算环境102可以使用任何类型的一个或多个计算设备来实现训练系统114。42.计算环境102的一些实现还包括邻居搜索组件118。当被调用时，邻居搜索组件118在给定意图向量(其用作搜索键，诸如与输入查询iq1相关联的意图向量)的指定距离内，找到任何邻居查询意图向量(neiv)。邻居搜索组件118可以使用余弦相似性或某个其他距离指标，来确定意图向量空间中两个意图向量之间的距离。任意两个向量(a，b)之间的余弦相似性被定义为(a·b)/(||a||||b||)。43.在一些实现中，邻居搜索组件118可以使用近似最近邻(ann)技术，来找到在给定种子意图的规定半径内的意图。ann技术的示例包括：各种局部敏感哈希(lsh)技术；各种树分区技术；各种基于邻域的技术，等等。例如，一种基于树的技术使用k均值聚类将意图向量划分为连续较小的区域。该技术将这些聚类表示为分层树。邻居搜索组件118通过从树的根节点到其叶节点遍历该树，来找到最接近给定种子意图向量(例如，iq1)的那些意图向量。一种基于邻域的技术(分层可导航小世界(hnsw)算法)在一系列层级中组织意图向量。从上到下，这些层级具有长度依次变小的链路(在意图向量之间)。邻居搜索组件118通过从上到下遍历这些层级，来找到最接近给定种子意图向量的那些意图向量。邻居搜索组件118在由邻居搜索组件118在前一层(如果有)中标识的意图向量处开始其在每个层级上的搜索。这些示例作为说明而非限制被引用；给定指定种子意图向量，邻居搜索组件118可以应用任何ann技术来定位相邻意图向量。关于应用于一般数据集的ann的一般主题的背景信息可以在wenli等人的“approximatenearestneighborsearchonhighdimensiondata–experiments,analyses,andimprovement”，arxiv：1610.02455v1[cs.db]，2016年10月08日，26页中找到。[0044]为了执行其操作，邻居搜索组件118依赖于数据存储库120中提供的索引。该索引提供在意图向量空间中组织意图向量的数据结构。例如，关于一种基于树的技术，索引表示聚类的分层树，该分层树可以由邻居搜索组件118迭代遍历。[0045]意图消耗组件122表示依赖于由意图编码器组件104(和/或由邻居搜索组件118)生成的意图向量来执行一些特定于应用的任务的任何特定于应用的功能。a.2小节(下文)描述了意图消耗组件的五个示例，其使用意图向量来促进信息检索操作，以提供信息检索结果。但意图消耗应用的范围不限于信息检索的领域。例如，情绪分析组件可以基于多个因素来确定与用户话语相关联的情绪，包括用户话语的意图，如由意图编码器组件104计算的意图向量所表达的。计算环境102可以在信息检索以外的某些上下文中利用该情绪分析模型。[0046]在许多情况下，意图消耗组件122提供对多个输入项(包括由意图编码器组件104提供的意图向量信息)操作的一个或多个经机器训练的模型。在这个意义上，可以说这些下游经机器训练的模型在由意图编码器组件104执行的分析“之上”操作。[0047]输出生成组件124基于由意图消耗组件122执行的分析，来向用户提供某个输出结果。仅举一个示例，假设意图消耗组件122利用邻居搜索组件118来找到表达与用户的当前查询意图相同的意图的查询集合。输出生成组件124可以生成用户界面呈现，该用户界面呈现以建议的形式向用户呈现这些查询。用户可以使用这些建议作为制定他或她的下一个查询的指南。注意，输出生成组件124可以是意图消耗应用122内部或外部的组件。[0048]图2示出了意图向量空间202的简化描绘，图1的意图编码器组件104将输入查询映射到该意图向量空间202。(空间的描述被简化，因为空间具有k个维度，而图2仅使用两个维度来表示它。)假设用户的输入查询再次被表示为q1，并且其对应的意图向量为iq1，意图向量也被称为输入表达意图向量(ieiv)。进一步假设，邻居搜索组件118标识了在意图向量的规定距离内的意图向量iq1的集合，包括iq1a，iq1b，...，iq1g(下标“q1i”指示意图向量是与查询q1相关联的意图向量的邻居i)。相邻意图向量转而分别与查询q1a，q1b，...，q1g相关联。更一般地，与相邻查询相关联的每个相邻意图在本文中被称为邻居表达意图向量(neiv)。每个neiv和意图向量iq1(ieiv)之间的距离d表示这两个向量之间的相似性。意图消耗应用可以使用任何指标来计算该距离，诸如余弦相似性。[0049]在一些应用中，意图向量空间的第一区域204包含表达与意图向量iq1相同意图的意图向量，具有一些特定于应用的容忍度。在许多情况下，在该空间204中的意图向量对应于作为q1的释义的查询。这些相邻查询中的一些相邻查询在词法上也可能类似于q1。第二区域206(其应当被理解为排除第一区域204)包含表达与意图向量iq1相关的意图、但比第一区域204中的意图向量相关更少的意图向量。第三区域208包含可以被认为表达与意图向量iq1无关的意图的向量。在找到关于q1的相邻查询中，不同应用可以从不同区域提取。例如，查询建议应用可以提供从区域206挖掘的查询建议。它可以排除从区域204拉取的查询，因为这些查询可能表示对种子查询q1的微不足道的修改。[0050]作为a.1小节的总结，相对于用于分析语言学表达的其他种类的经机器训练工具，计算环境102提供了各种技术优势。例如，相对于其他经机器训练的工具，计算环境102通过准确地建模用户在执行搜索时尝试达成的目标，来改进由信息检索引擎提供的搜索结果的质量。这有助于良好的用户体验。另外注意，在不使用意图类别的预定义分类法的情况下，意图编码器组件104评估输入表达底层的意图。这允许意图编码器组件104动态演进以捕获新意图，只要这些新意图在其训练数据中被展示。[0051]计算环境102还提供了用于检索信息的有效率的技术。这是因为计算环境102快速评估用户的真实意图，允许其快速向用户提供相关搜索结果。这转而可以减少用户在搜索会话中执行的搜索次数。减少会话中的搜索次数从而减少了回答用户问题所需的计算资源。[0052]在以下小节中阐述了计算环境102的附加优点。[0053]a2.说明性信息检索应用[0054]图3示出了第一信息检索(ir)应用302，其中ir引擎304使用图1的意图编码器组件104来检索对被表达为问题的输入查询q1的回答。例如，ir引擎304可以对应于搜索引擎的处理来自用户的查询的部分，这些查询被具体制定为问题，诸如“埃菲尔铁塔的高度是多少？”或者ir引擎304可以对应于支持虚拟助手或专用聊天机器人等的功能。[0055]在一个实现中，假设ir引擎304基于数据存储库306中所提供的预先生成的问题和回答对来提供对问题的回答。即，ir引擎304在数据存储库306中找到最好地匹配输入问题的问题，并且提供与该匹配问题相关联的回答。在其他情况下，ir引擎304可以依赖于其他逻辑来回答问题。例如，ir引擎304可以使用生成式经机器训练的模型来将问题映射成回答，而无需使用明确的预先生成的问题和回答的集合。然而，这种生成式模型是基于先前的问题和回答的大型语料库而被训练的。[0056]图3的ir引擎304可以以不同的方式操作。在一种仅说明性的操作方式中，假设ir引擎304接收来自用户的查询q1。它还接收来自意图编码器组件104的意图向量iq1，意图向量iq1描述了输入查询q1的意图。然后，假设ir引擎304尝试将查询与数据存储库306中先前已回答的问题中的一个问题匹配。ir引擎304可以以各种方式执行该任务。在一种情况下，ir引擎304将与输入查询相关联的意图向量(iq1)和与数据存储库306中的每个问题相关联的意图向量(其中该意图向量可以以离线方式被提前计算和存储)之间的距离相比较。然后它选择具有最接近当前意图向量iq1的意图的问题，但仅在该最近距离低于规定的匹配阈值的情况下。[0057]在另一种情况下，ir引擎304可以基于多个因素(诸如基于词法的特征、语义特征、基于意图的特征和/或其他特征)，将每个候选问题(与输入查询q1相关地)评分。例如，ir引擎304可以将作为这些不同因素的加权和的得分分配给每个候选问题。ir引擎304然后选择具有最高得分的候选问题，再次假定最高得分满足规定的相关性阈值。(下面参考图6提供了关于该后一种操作模式的附加信息。)[0058]无论使用什么匹配算法，假设ir引擎304发现用户的输入问题q1不以规定的置信度匹配数据存储库306中的任何问题。在该情况下，ir引擎304可以咨询邻居搜索组件118，以找到相邻查询的集合(q1a，q1b，...，q1n)，该集合具有在与当前查询q1相关联的意图向量iq1的规定距离内的意图向量(iq1a，iq1b，...，iq1n)。然后，ir引擎304从数据存储库306检索与最近相邻查询相关联的回答。(假定数据存储库306存储对相邻查询中的每个相邻查询的回答，因为之前已经在一个或多个场合遇到过它们。)然后输出生成组件124将检索到的回答提供给用户。在另一实现中，ir引擎304可以从数据存储库306检索到(与多个相邻查询相关联的)多个回答，并且输出生成组件124可以提供那多个回答。[0059]更一般地，注意，第一ir应用302提供了一种解决尾查询或更一般地尾表达的方式。尾查询是ir引擎304之前从未遇到过或在先前场合很少遇到的查询。第一ir应用302通过使用意图编码器组件104来确定输入查询q1的意图向量iq1、并且然后找到表达与当前输入查询的意图相同或相似的意图的一个或多个其他查询来执行该任务。如果没有该规定，ir应用302将无法为用户的问题提供有用的回答。[0060]图4示出了第二ir应用402，该第二ir应用402应用与(图3的)第一ir应用302相同的原理，但是将该原理应用于从数据存储库检索信息项(例如，文档)。即，ir引擎404接收来自用户的搜索查询q1。它还从意图编码器组件104接收与该查询相关联的意图向量iq1。ir引擎404然后可以与(数据存储库406中的)搜索索引交互，以找到与输入查询q1匹配的信息项。爬取组件(未示出)可以基于其对被存储在一个或多个数据存储库408中的信息项(例如，文档)的周期性探索来编译搜索索引。例如，数据存储库408可以表示由广域网(诸如互联网)提供的分布式信息资源。假设搜索索引存储了关于它所表示的每个文档的各种信息，诸如它的url，以及它的词法、语义和基于意图的特征等。[0061]ir引擎404可以使用任何算法来将用户的当前查询与索引中的信息相比较。例如，类似于上面针对图3所解释的情况，ir引擎404可以通过将与当前查询q1相关联的意图向量iq1和与每个候选信息项相关联的意图向量(其被提前存储在搜索索引中)相比较，来标识匹配的信息项。然后，它可以选择在意图向量空间中最接近当前查询的信息项的集合。或者，ir引擎404可以应用多个因素，来将当前输入查询与候选信息项相比较。例如，ir引擎404可以基于各种词法、语义、基于意图的特征和/或其他特征的加权总和，来生成针对每个候选信息项的得分，并且然后选取具有最高得分的信息项的集合。(下面参考图6提供了关于后一种操作的模式的附加信息。)[0062]然而，假设ir引擎404发现它无法找到以规定的置信度匹配当前查询的任何信息项。作为响应，ir引擎404再次咨询邻居搜索组件128，以找到表达与当前输入查询的意图相同的意图的查询。然后，它使用这些查询中的一个或多个查询，来从搜索索引检索匹配的信息标识符的集合。例如，ir引擎404可以使用排名靠前的相邻查询作为代理用户查询，并且检索与该代理用户查询相关的信息项的标识符(例如，url)。[0063]与第一ir应用302一样，第二ir应用402基于邻居搜索组件118标识已知的相邻查询的假设而工作，这意味着这些查询在先前搜索中已经被遇到超过规定次数。第二ir应用402还假设：搜索索引存储可以由邻居搜索组件118标识的每个相邻查询的稳健元数据。出于该原因，ir引擎404可以基于由邻居搜索组件118标识的相邻查询，来生成高置信度的搜索结果。在另一实现中，邻居搜索组件118可以存储关于之前在先前搜索中已经遇到每个相邻查询的频率的信息。ir引擎404可以通过对它分配给每个相邻查询的置信度进行加权，来利用该频率信息。[0064]然后，输出生成组件124例如通过生成和呈现搜索结果片段的列表，来生成向用户通知匹配的信息项的用户界面呈现。每个搜索结果片段示出与匹配的信息项相关联的标题、url和代表性文本(和/或图像内容)。用户可以通过选择其对应的搜索结果片段来检索信息项，例如通过“点击”片段。[0065]总之，与第一ir应用302一样，第二ir应用402可以有效地处理用户的尾查询提交，该尾查询对应于ir引擎404之前没有遇到过，或者在之前的场合很少遇到的查询。[0066]图5示出了表示第二ir应用402的变型的第三ir应用502。在该情况下，ir引擎504通过(数据存储库506中的)搜索索引再次解决用户的输入查询。再次，爬取组件(未示出)通过周期性探索数据存储库508中的信息项来维护搜索索引。进一步假设，当ir引擎504发现它不能以先决的置信度回答用户的当前查询时，它咨询邻居搜索组件118。[0067]代替(或附加于)基于相邻查询来搜索搜索索引，ir引擎504将相邻查询中的一个或多个相邻查询发送到由输出生成组件124提供的建议生成组件510。然后，建议生成组件510将这些相邻查询中的一个或多个相邻查询作为查询建议提供给用户。例如，对于输入查询“派克街活动停车”，建议生成组件510可以生成查询建议“西雅图会议中心附近的停车场”或“派克街会议停车”等。在一个实现中，建议生成组件510可以在浏览器界面页面中的查询输入框下方呈现这些建议中的一个或多个建议。用户可以通过点击它或将它在输入框中重新键入来激活查询建议。[0068]图6示出了第四ir应用602，第四ir应用602使用意图编码器组件104的基于意图的分析作为更全面搜索算法内的仅一个输入信号。在该情况下，ir引擎604使用特征生成组件606来产生描述输入查询q1的特征向量。特征向量包括描述查询q1的特征的组合。特征向量的至少一些维度具体描述了查询的意图相关方面，诸如意图向量iq1，以及(可选地)与输入查询的相邻查询(q1a，q1b，...，q1n)相关联的意图向量(iq1a，iq1b，...，iq1n)。特征向量的其他一些维度可以描述输入查询的词法和语义特征。特征向量的又一些维度可以描述基于环境的特征，诸如提交查询的时间、提交查询的地点、提交查询的用户的特性等。特征生成组件606可以以各种方式编译特征向量，诸如通过连结其各种分量特征的数字表示。然后，搜索组件608可以检查(数据存储库610中的)搜索索引，以找到与输入查询匹配的信息项的集合，如由其特征向量表示的。再次，爬取应用(未示出)通过周期性探索数据存储库612中的信息项来维护搜索索引。[0069]在一些实现中，搜索组件608可以使用一个或多个经机器训练的模型614来执行其搜索。例如，搜索组件608可以使用深度神经网络(dnn)将特征向量映射成向量空间中的查询向量。这里，查询向量基于作为一个输入信号的意图向量iq1而被得出，但也可以表示查询的除意图之外的其他方面。假设搜索索引存储与候选信息项相关联的查询向量，这些查询相邻已经以离线方式类似地被计算。然后，搜索组件608可以标识信息项的集合，这些信息项具有最接近与当前查询q1相关联的查询向量的查询向量。然后，它向输出生成组件124发送与这些信息项相关联的标识符(例如，url)。然后，输出生成组件124可以生成用户界面呈现，该用户界面呈现向用户显示与匹配的信息项集合相关联的搜索结果片段集合。[0070]ir引擎504可以使用利用由意图编码器组件104提供的(多个)意图向量的许多其他策略。图6的ir应用602表示使用意图查询作为更全面检索策略内的一个因素的应用的仅一个示例。[0071]图7示出了ir应用702，该ir应用702使用图1的意图编码器组件104，通过分析用户在搜索会话期间提交的查询的序列以及与其相关联的意图向量，来协助用户检索信息。更具体地，假设用户正在进行搜索会话以解决一个或多个搜索目标。在搜索会话的过程中，假设用户在会话(t1，t2，...，tn)期间的不同相应时间处提交了一系列查询(q1，q2，...，q3)。ir引擎704依赖于意图编码器组件104来生成针对每个输入查询的意图向量，例如，以提供意图向量(iq1，iq2，...，iq3)。[0072]然后，交叉查询分析组件706可以计算会话中每对意图之间的距离。例如，交叉查询分析组件706可以计算每对直接相邻意图之间的距离，例如通过计算与查询q1和q2相关联的意图之间的距离、与查询q2和q3相关联的意图之间的距离等。交叉查询分析组件706还可以计算非直接相邻意图之间的距离，诸如通过计算与查询q1和q3相关联的意图之间的距离等。交叉查询分析组件706还可以生成描述在会话中的意图的分布的其他指标，诸如生成反映会话的平均意图的度量、与会话期间所表达的意图相关联的熵、表达相同意图的查询的数目等。总的来说，交叉查询分析组件706可以生成特征集，该特征集描述查询、与查询相关联的意图、这些意图之中的关系、意图的统计属性等。特征中的至少一些特征取决于ieiv在当前会话中的时间轨迹。换句话说，特征中的至少一些特征取决于用户提交具有不同相应意图的查询的次序。[0073]然后，交叉查询分析组件706可以解释特征集来产生分类结果。例如，交叉查询分析组件706可以提供将特征集映射到策略标识符的经机器训练的模型。策略标识符描述了用户在当前时间看似正在展示的策略，如用户提交的最后一个查询以及其之前的查询(如果有)所表明的那样。第一策略可以指示用户正在表达与搜索会话中较早展示的一个或多个先前意图相比的新意图。第二策略可以指示用户正在与单个意图相关联的意图向量空间中的区域内探索，但不一定在空间内的任何特定意图焦点内向下钻。第三策略可以指示用户尝试在意图向量空间内提取关于特定意图的更多细节。第四策略可以指示用户正在表达与先前查询相同的意图，例如，通过简单地释义先前查询。这些策略可能性作为示例而非限制地被引用。[0074]ir引擎704可以以不同方式利用其对用户当前策略的解释。在一种方法中，搜索组件708可以添加与所标识的搜索策略相关联的元数据，作为从搜索索引(在数据存储库710中被提供，其是数据存储库712中提供的信息项的反映)提取信息时要考虑的另一个特征。例如，在确定用户已经切换意图后，搜索组件708可以在检索匹配的信息标识符时有效地清除其用户先前查询的历史记录，因为搜索组件708已经得出结论，这些先前搜索与用户的当前搜索目标无关。凭借该规定，搜索组件708将防止先前查询偏置当前搜索结果。相比之下，在确定用户正在向下钻入意图的特定焦点时，搜索组件708可以要求已经被提前标记为所包含的详细信息的信息项。[0075]备选地或附加地，ir组件704可以将其分类结果发送到由输出生成组件124提供的建议生成组件714。建议生成组件714使用分类结果，来向用户给出关于他或她如何最好地进行搜索会话的建议。例如，在确定用户已经进行一次或多次尝试来释义相同意图后，建议生成组件714可以向用户提供附加查询建议，搜索组件708已经从邻居搜索组件118挖掘出这些附加查询建议。在确定用户正在特定的意图焦点内向下钻后，建议生成组件714可以提供关于用户可能希望如何缩小他或她的搜索的查询建议。例如，建议生成组件714可以邀请用户访问一个或多个数据库或其他资源，这些数据库或其他资源包含关于用户手头任务的更详细信息。建议生成组件714可以依赖不同的技术来执行这些任务，诸如通过咨询预先生成的查找表(lookuptable)，该查找表将由交叉查询分析组件706提供的分类结果映射到搜索建议，或者通过使用生成式经机器训练的模型等。[0076]图8是描述关于多个不同搜索会话，在相同搜索会话中所提交的查询对之中的相似性的图。第一曲线802反映了搜索会话中直接相邻查询之间的基于意图的相似性。第二曲线反映了非直接相邻查询对之间基于意图的相似性，其中每个这样的对由一个查询分开。第三曲线也反映了非直接相邻查询对之间基于意图的相似性，其中每个这样的对由两个查询分开。第四曲线描述了随机选择的查询之间的相似性。[0077]注意，(针对直接相邻查询的)曲线802具有双峰形状，例如通过展示两个概率峰值。后一个峰值反映了在搜索会话中第二查询关于意图与紧接在前的查询相关的那些场合。使用交叉查询分析组件706的ir应用可以显露和利用这种见解。[0078]本小节中描述的应用以说明而非限制的精神被呈现。其他ir应用可以以其他方式来利用意图向量。此外，如上所述，其他意图消耗应用可以在ir任务之外的上下文中应用意图向量。[0079]a.3.意图编码器组件的说明性架构[0080]图9和图10一起示出了图1的经机器训练的意图编码器组件104的一个实现。从高层级视角，意图编码器组件104使用词项嵌入组件902，来为输入查询q中的每个词项t生成词项向量t。在这里，输入查询对应于短语“horseracing(马赛)”，其个体词(也被称为记号(token))对应于“horse(马)”和“racing(赛)”。混合编码器组件904基于由词项嵌入组件902产生的词项向量来生成意图向量iq。图9示出了词项嵌入组件902的一个说明性实现，而图10示出了混合编码器组件904的一个说明性实现。[0081]从图8开始，词项嵌入组件902包括两个部分。第一部分906将查询q的每个词项作为整体处理，而第二部分908以字符层级的粒度对每个词项操作，例如，通过考虑其字符组合的形态。第二部分908对于很少遇到的单词的情况特别有用；在该情形中，第二部分908通过针对具有相似拼写的其他词项来判断该词项，来提取对该词项有意义的信息。[0082]关于第一部分906，词语嵌入组件910首先使用嵌入表将输入词项(这里，“马(horse)”)转换为嵌入temb。嵌入temb对应于输入词项t的向量表示。在一种情况下，词语嵌入组件910依赖于将自然语言词汇中的词项映射到向量的静态查找表。例如，在离线操作中，神经网络可以将词汇中的每个词项映射到其向量形式，从而填充查找表。在另一种情况下，训练系统114学习嵌入表作为其经机器训练的模型112的迭代生成的一部分。[0083]高速公路(highway)神经网络组件912按照下式将每个嵌入temb转换为输出向量thy：[0084][0085]这个方程提供了一个非线性投影，以及控制投影的门。投影和门分别由下面的式(2)和(3)定义：[0086][0087][0088]在式(2)和(3)中的符号和分别指代机器学习权重值。“relu”和“sigmoid”指代两个激活函数的名称。[0089]第二部分908通过使用字符嵌入组件914针对所考虑的查询中的每个词项产生字符向量c开始，即，通过针对字符“h”生成第一字符向量c1，针对字符“o”生成第二字符向量c2，等等。与词语嵌入组件910一样，字符嵌入组件914可以使用预先生成的查找表来执行该任务，该查找表将字符映射到向量。或者，作为由训练系统114执行的训练的一部分，字符嵌入组件914可以学习其嵌入表。[0090]接下来，卷积和池化组件(cpc)916跨字符向量的序列移动n字符的窗口。在每个窗口位置处，它生成一个n字符组合向量，该n字符组合向量将由窗口在该给定位置处涵盖的n个字符组合在一起。例如，对于n＝3和一个窗口位置，cpc916可以通过连结针对“h”、“o”和“r”的三个字符向量来形成n字符组合向量。然后，cpc916可以通过将每个n字符组合向量乘以机器学习的加权矩阵来对其进行转换。总的来说，这产生了多个中间向量。cpc916然后使用任何类型的下采样策略，将多个中间向量压缩成全局向量tc。例如，cpc916可以跨被馈送给它的中间向量的每个维度选择最大值，以形成全局字符向量tc。[0091]另一高速公路神经网络组件918使用上面关于式(1)‑(3)描述的相同种类的转换，但关于不同的机器学习加权参数(例如，在这里，和)，来将字符向量tc转换成输出向量第二高速公路神经网络组件918还可以可选地使用式(1)‑(3)中所描述的高速公路神经网络的两个(或更多个)层。在该情况下，任何层w都对由前一层w‑1提供的输出结果操作。[0092]最后，连结组件920将第一部分906的输出结果(thy)与第二部分908的输出结果连结，以产生最终词项向量t。注意，词项嵌入组件902的架构可以以不同方式变化，诸如通过使用标准前馈神经网络组件代替高速公路神经网络组件(912、918)中的每个高速公路神经网络组件。[0093]前进到图10，该图示出了混合编码器组件904的一个实现。混合编码器组件904接收由词项嵌入组件902产生的词项向量集合作为输入信号。这些词项向量包括第一词项向量t1，其与标记查询的开始的虚设符号<bos>相关联，并且包括第四词项向量t4，其与标记查询的结束的虚设符号<eos>相关联。词项向量t2对应于词“horse(马)”，而词项向量t3对应于词“racing(赛)”。[0094]递归神经网络(rnn)组件1002对词项向量操作以产生两个隐藏状态向量(hfn，hbn)。更具体地，rnn组件1002是双向rnn，其在前向和反向两个方向上传递隐藏状态信息。即，rnn组件1002包括前向rnn组件1004，其在前向方向上将隐藏状态信息从rnn单元序列中的一个rnn单元传递到下一个rnn。前向rnn组件1004中的最终rnn单元产生隐藏状态向量hfn。反向rnn组件1006在反向方向上将隐藏状态信息从rnn单元序列中的一个rnn单元传递到下一个rnn。反向rnn组件1006中的最终rnn单元产生隐藏状态向量hbn。每个rnn组件中的每个rnn单元也从词项向量中的一个词项向量接收输入信号。例如，前向rnn组件1004的第一rnn单元f1对第一词项向量t1操作。注意，出于解释的目的，图10以从离散元素“展开”的方式来说明rnn单元。但是混合编码器组件904可以使用单个代码体来实现这些rnn单元。在执行期间，该单个代码体将其(在时间实例i处所计算的)输出隐藏状态信息作为(针对时间实例i 1的)输入隐藏状态信息馈送。混合编码器组件904基于所考虑的输入查询中的词项的数目，动态地扩展和收缩其执行的rnn计算的数目。[0095]给定由链中先前rnn单元输出的隐藏状态向量，并且基于馈送给它的输入词项向量，每个rnn使用其内部逻辑来产生隐藏状态向量。例如，在一个实现中，每个rnn单元对应于长短期记忆(lstm)单元，其基于式：σ(wthti whhhi‑1 bh)，来生成其隐藏向量hi，其中ti是作为输入馈送给它的词项向量，hi‑1是从先前rnn单元馈送给它的隐藏状态向量，wth和whh是机器学习的加权矩阵，bh是机器学习的偏置向量，σ指代sigmoid激活函数。在另一实现中，每个rnn单元对应于门控递归单元(gru)。[0096]一般而言，rnn组件1002对应于顺序编码器，该顺序编码器从查询捕获见解，该见解取决于词项在查询中出现的次序。这对于词项次序敏感的查询(诸如“horseracing(马赛)”和“racinghorse(赛马)”)有用。相比之下，平均池组件1008使用词袋范式来独立于词项的排序来捕获查询中的词项的影响。在一种情况下，平均池组件1008生成被馈送到混合编码器组件1002的n个词项向量的平均即：[0097][0098]接下来，连结组件1012将hfn(前向rnn组件1004的输出)、hbn(反向rnn组件1006的输出)和(平均池组件1008的输出)，连结，来产生向量qcat。然后，后处理神经网络组件1012使用下式将向量qcat转换为最终意图向量iq：[0099][0100]符号对应于另一机器学习的参数值，并且tanh和relu对应于激活函数。注意，混合编码器组件904的架构可以以多种方式变化，诸如通过使用不同种类的顺序编码器技术(例如，除了图10中所示的双向rnn组件1002以外)、通过使用不同的后处理神经网络组件等。[0101]a.4.训练系统[0102]图11示出了训练系统114，该训练系统114产生由意图编码器组件104使用的经机器训练的模型112。经机器训练的模型112转而集体地对应于控制图9和图10中所示的所有机器学习组件的操作的参数值，如上所述。训练系统114可以使用任何技术来迭代地产生这些参数值，诸如梯度下降。[0103]训练系统114包括训练集创建组件(tscc)1102，用于产生训练示例的集合，训练系统114将该集合存储在数据存储库116中。tscc1102从多个源挑选训练示例。第一源对应于在数据存储库1104中所维护的搜索日志。搜索引擎1106通过存储由用户提交的搜索查询并且存储用户响应于提交那些查询而做出的选择(例如，通过标识用户响应于提交查询而“点击”的url)，来生成搜索日志。例如，搜索日志将揭示：响应于提交搜索查询q，用户选择与文档标识符d相关联的文档，例如，通过在搜索结果页面中点击与该文档相关联的片段。搜索引擎1106可以以任何形式维护该信息。例如，搜索引擎1106可以提供描述搜索查询与url之间的链接的点击图，其描述了用户响应于查询的提交而做出的选择。[0104]tscc1102可以从搜索日志挑选多个查询对，包括多个正例和多个负例。每个正例包括一对搜索查询(q，q*)，它们引起点击相同信息项(例如，文档)。每个负例包括一对搜索查询(q，q‑)，它们没有引起点击相同文档。无论是对应于正例还是负例，每个这样的配对在本文中都被称为共同点击(co‑click)配对。[0105]关于正例，tscc1102可以排除用户点击的具有多于规定数目的独特意图(例如，五个意图)的url。tscc1102剔除这些url，因为与这些站点相关联的意图点击联系不明确。tscc1102可以通过从搜索日志随机选择搜索查询对，来生成每个负例。然而，该方法可以产生易于区分的搜索查询对，并且因此对训练模型不太有用。为了解决该问题，tscc1102可以通过找到与给定搜索查询q最相似的搜索查询q‑来创建每个负例，如通过与这两个搜索查询相关联的意图向量之间的余弦相似性来度量的(但其中这两个查询仍然没有引起点击相同文档)。即q‑＝argmaxq′∈batchcos(iq，iq′)，其中“cos”对应于与候选搜索查询对(q，q′)相关联的意图向量之间的余弦相似性。更一般地，为了创建每个负例，tscc1102找到具有如下意图向量的查询配对：这些意图向量具有满足规定的相关性测试(使得它们并非完全不相关)，但仍然没有引起点击相同文档。[0106]第二源对应于提供经人工标记的语言学表达对的数据存储库1108。这些语言学表达对转而落入两种类别。第一类别的语言学表达对应于被提交给搜索引擎1106的搜索查询，其中每个搜索查询由一个或多个搜索词项组成。第二类别的语言学表达对应于被提交给一些自动化的问答代理(诸如搜索引擎1106、虚拟助手、聊天机器人等)的自然语言问题。[0107]更具体地，关于第一类型，每对查询包括第一搜索查询qi和第二搜索查询qi′。每个这样的对还包括由人类专家(经由标记平台1110)提供的标签yi，该标签指示两个搜索查询(qi，qi′)是否表达相同意图(yi＝ 1)或(yi＝‑1)。在前一种情况下(当两个搜索查询表达相同意图时)，它们被视为对彼此的释义。关于第二类型，每个对包括以自然语言学表达的第一问题qei和以自然语言学表达的第二问题qei′。每个这样的对包括由人类专家提供的标签yi，该标签指示两个问题(qei，qei′)是否表达相同意图(yi＝ 1)或(yi＝‑1)。在前一种情况下(当两个问题表达相同意图时)，它们被视为彼此的释义。tscc1102将规定数目的这两种对添加到数据存储库116中的训练集。每个这样的配对在本文中被称为释义配对。[0108]在一个实现中，训练组件1112以两个阶段执行训练。在训练的第一阶段中，训练组件1112仅基于从搜索日志所获取的共同点击配对，来生成经机器训练的模型112的初步版本。这构成了一种弱监督形式的训练，因为由搜索日志捕获的共同点击行为以类似于标签的方式起作用。在训练的第二阶段中，训练组件1112基于所有对来精化经机器训练的模型112，包括共同点击(co‑click)配对((q，q*)，(q，q‑))、基于搜索查询的释义配对(qi，q′i，yi)，和基于问题的释义配对(qei，qe′i，yi)。[0109]更具体地，第一阶段使用以下损失等式来训练模型112：[0110][0111]该式表示一种尝试，以迭代地增加根据共同点击训练数据被认为相关的查询意图之间的相似性，并且迭代地降低根据共同点击训练数据而不相关的查询意图之间的相似性。[0112]第二阶段应用表示三个分量损失函数的复合的损失函数：lmulti‑task＝lco‑click lq‑para lqe‑para。该多任务(multi‑task)损失函数的第一分量(lco‑click)关于共同点击配对被应用，并且由式(6)给出。该损失函数的第二分量和第三分量关于基于查询的释义配对和基于问题的释义配对被应用，并且由以下式(7)和(8)给出：[0113][0114][0115]重复在具体实施方式开始处所作的陈述，该解释在查询(诸如，被提交给搜索引擎1106的查询)的上下文中描述了计算环境102的原理方面。但是本文描述的原理更一般地适用于在任何应用上下文中被提交给任何计算机实现的平台的任何语言学表达。[0116]b.说明性过程[0117]图12和图13以流程图的形式示出了解释a节的计算环境102的操作的过程(1202、1302)。因为已在a节中描述了计算环境102的操作底层的原理，所以在本节中某些操作将以概括的方式被提及。如在具体实施方式的前言部分中所指出的，每个流程图被表达为以特定顺序执行的一系列操作。但是这些操作的次序仅是代表性的，并且可以以任何方式变化。[0118]图12示出了用于处理输入表达的过程1202。在框1204中，意图处理功能108接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交该输入表达。在框1206中，意图处理功能108使用经机器训练的意图编码器组件104，将输入表达映射成输入表达意图向量(ieiv)，ieiv对应于意图在意图向量空间内的分布式表示。在框1208中，意图处理功能108使用信息检索(ir)引擎来处理输入表达，以至少部分地基于ieiv来产生ir结果。在框1210中，意图处理功能108使用输出生成组件124，基于ir结果来生成输出结果，并且向输出设备发送输出结果，以供向当前用户呈现。图12还指示，在一些场景中，框1208需要使用邻居搜索组件118来找到一个或多个相关表达，其中每个相关表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)。[0119]图13示出了由训练系统114执行的用于生成经机器训练的模型的过程1302。在框1304中，训练系统114从由搜索引擎116产生的搜索日志来制定训练示例，训练示例包括正例和负例。每个正例描述两者都引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达。在框1306中，训练系统114通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型112，以供意图编码器组件104使用。在框1308中，训练系统114可选地基于附加训练示例以及从搜索日志所提取的训练示例来精化经机器训练的模型112。每个这样的附加训练示例描述了两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则这两个表达被视为对彼此的释义。[0120]c.代表性计算功能[0121]图14示出了计算设备1402，计算设备1402可以用于实现上述图中阐述的机制的任何方面。例如，参考图1，图14中所示的计算设备1402的类型可以用于实现与意图处理功能108相关联的任何计算设备、与训练系统114相关联的任何计算设备，和/或任何用户计算设备(例如，用户设备106)等。在所有情况下，计算设备1402代表物理和有形处理机构。[0122]计算设备1402可以包括一个或多个硬件处理器1404。(多个)硬件处理器可以包括但不限于一个或多个中央处理单元(cpu)和/或一个或多个图形处理单元(gpu)、和/或一个或多个专用集成电路(asic)等。更一般地，任何硬件处理器可以对应于通用处理单元或专用处理器单元。[0123]计算设备1402还可以包括与一个或多个计算机可读介质硬件单元对应的计算机可读存储介质1406。计算机可读存储介质1406保留任何种类的信息1408，诸如机器可读指令、设置、数据等。例如但不限于，计算机可读存储介质1406可以包括一个或多个固态设备、一个或多个磁性硬盘、一个或多个光盘、磁带等。计算机可读存储介质1406的任何实例可以使用用于存储和检索信息的任何技术。此外，计算机可读存储介质1406的任何实例可以表示计算设备1402的固定或可移除组件。此外，计算机可读存储介质1406的任何实例可以提供信息的易失性或非易失性保留。[0124]计算设备1402可以以不同的方式来利用计算机可读存储介质1406的任何实例。例如，计算机可读存储介质1406的任何实例可以表示用于在计算设备1402执行程序期间存储瞬时信息的硬件存储器单元(诸如随机存取存储器(ram))和/或用于将信息以更永久的基础来保留/存档的硬件存储单元(诸如硬盘)。在后一情况下，计算设备1402还包括一个或多个驱动机构1410(诸如硬盘驱动机构)，用于存储和检索来自计算机可读存储介质1406的实例的信息。[0125]当(多个)硬件处理器1404执行计算机可读存储介质1406的任何实例中所存储的计算机可读指令时，计算设备1402可以执行上述任何功能。例如，计算设备1402可以执行计算机可读指令来执行b节中描述的每个过程块。[0126]备选地或附加地，计算设备1402可以依赖一个或多个其他硬件逻辑组件1412，以使用任务特定的逻辑门合集来执行操作。例如，(多个)硬件逻辑组件1412可以包括硬件逻辑门的固定配置，硬件逻辑门的固定配置例如在制造时被创建和被设置并且此后不可更改。备选地或附加地，(多个)其他硬件逻辑组件1412可以包括可以被设置为执行不同专用任务的可编程硬件逻辑门的合集。后一类设备包括但不限于可编程阵列逻辑设备(pal)、通用阵列逻辑设备(gal)、复杂可编程逻辑设备(cpld)、现场可编程门阵列(fpga)等。[0127]图14总体上指示硬件逻辑电路装置1414包括(多个)硬件处理器1404、计算机可读存储介质1406和/或(多个)其他硬件逻辑组件1412的任何组合。即，计算设备1402可以采用执行计算机可读存储介质1406中所提供的机器可读指令的(多个)硬件处理器1404和/或使用固定和/或可编程硬件逻辑门合集执行操作的一个或多个硬件逻辑组件的任何组合。更概括地说，硬件逻辑电路装置1414对应于基于(多个)硬件逻辑组件中所存储和/或以其他方式体现的逻辑来执行操作的任何(多个)类型的一个或多个硬件逻辑组件。[0128]在一些情况下(例如，在计算设备1402表示用户计算设备的情况下)，计算设备1402还包括输入/输出接口1416，用于(经由输入设备1418)接收各种输入并且用于(经由输出设备1420)提供各种输出。说明性输入设备包括键盘设备、鼠标输入设备、触摸屏输入设备、数字化板、一个或多个静态图像相机、一个或多个视频相机、一个或多个深度相机系统、一个或多个麦克风、语音识别机构、任何运动检测机构(例如，加速度计、陀螺仪等)等。一个特定的输出机构可以包括显示设备1422和相关联的图形用户界面表示(gui)1424。显示设备1422可以对应于液晶显示设备、发光二极管显示(led)设备、阴极射线管设备、投影机构等。其他输出设备包括打印机、一个或多个扬声器、触觉输出机构、存档机构(用于存储输出信息)等。计算设备1402还可以包括一个或多个网络接口1426，用于经由一个或多个通信管道1428来与其他设备交换数据。一个或多个通信总线1430将上述组件通信地耦合在一起。[0129](多个)通信管道1428可以以任何方式来被实现，例如，通过局域计算机网络、广域计算机网络(例如，互联网)、点对点连接等或其任何组合来被实现。(多个)通信管道1428可以包括由任何协议或协议组合管理的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。[0130]图14将计算设备1402示出为由独立单元的分立合集组成。在一些情况下，单元的合集可以对应于在具有任何形状因数的计算设备机架中所提供的分立硬件单元。图14在其底部示出了示意性形状因数。在其他情况下，计算设备1402可以包括集成了图1中所示的两个或更多个单元的功能的硬件逻辑组件。例如，计算设备1402可以包括片上系统(soc或soc)，片上系统对应于将图14中所示的两个或更多个单元的功能组合的集成电路。[0131]以下概述提供了本文阐述的技术的说明性方面的非穷尽集合。[0132]根据第一方面，描述了用于处理输入表达的一种或多种计算设备。(多个)计算设备包括硬件逻辑电路装置，硬件逻辑电路装置包括：(a)一个或多个硬件处理器，该一个或多个硬件处理器通过执行被存储在存储器中的机器可读指令来执行操作，和/或(b)一个或多个其他硬件逻辑组件，该一个或多个其他硬件逻辑组件使用任务特定的逻辑门合集来执行操作。操作包括：接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交该输入表达；以及使用经机器训练的意图编码器组件，将输入表达映射成输入表达意图向量(ieiv)，该ieiv对应于意图在意图向量空间内的分布式表示。意图编码器组件已经使用计算机实现的训练系统通过以下方式而被训练：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述两者都引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达；以及通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离，并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用。操作还包括：使用信息检索(ir)引擎来处理输入表达，以至少部分基于ieiv来产生ir结果；以及使用输出生成组件，基于ir结果来生成输出结果，并且向输出设备发送输出结果，以供向当前用户呈现。[0133]根据第二方面，使用ir引擎的操作包括：使用邻居搜索组件来找到一个或多个相关表达，其中每个表达具有在ieiv的规定距离内的邻居表达意图向量(neiv)；以及使用一个或多个相关表达来提供ir引擎结果。[0134]根据与第二方面相关的第三方面，响应于确定输入表达是尾表达，ir引擎找到一个或多个相关表达，尾表达对应于在先前场合被观察到的次数小于规定次数的表达。[0135]根据与第二方面相关的第四方面，每个相关表达具有在离ieiv的第一阈值距离和第二阈值距离之间的neiv。[0136]根据与第二方面相关的第五方面，使用一个或多个相关表达的操作包括：标识数据存储库中与一个或多个相关表达匹配的一个或多个问题。ir结果对应于分别与一个或多个问题相关联的一个或多个回答。[0137]根据与第二方面相关的第六方面，使用一个或多个相关表达的操作包括：标识在搜索索引中所指定的与一个或多个相关表达匹配的一个或多个信息项。ir结果对应于与一个或多个信息项相关联的信息项标识符的集合。[0138]根据与第二方面相关的第七方面，ir结果对应于一个或多个相关表达自身。此外，由输出生成组件执行的生成的操作对应于基于一个或多个相关表达来生成表达建议。[0139]根据第八方面，使用ir引擎的操作包括：至少部分地基于ieiv来生成特征向量；以及标识在搜索索引中所指定的与特征向量匹配的一个或多个信息项。ir结果对应于与一个或多个信息项相关联的信息项标识符的集合。[0140]根据第九方面，输入表达是由当前用户在当前会话中提交的输入表达的集合中的一个表达。此外，接收的操作包括接收集合中的输入表达。此外，映射的操作包括：针对集合中的每个输入表达生成ieiv，以生成ieiv的集合。此外，使用ir引擎的操作包括：分析ieiv的集合来对将前用户正在使用的搜索策略分类，以提供分类结果；以及基于分类结果来执行动作，以协助当前用户执行搜索策略。[0141]根据与第九方面相关的第十方面，分析的操作包括：基于ieiv在当前会话中的时间轨迹来标识搜索策略。[0142]根据第十一方面，意图编码器组件包括：经机器训练的词项嵌入组件，该词项嵌入组件针对输入表达的每个词项生成词项向量；以及经机器训练的混合编码器组件，包括顺序编码器，该顺序编码器基于由词项嵌入组件生成的词项向量，来生成与输入表达相关联的ieiv。[0143]根据与第十一方面相关的第十二方面，词项嵌入组件基于将词项作为整体的考虑、以及对组成词项的个体字符的考虑，来生成针对词项的每个词项向量。[0144]根据第十三方面，训练系统通过标识满足规定的相关性测试但没有引起对相同文档的选择的两个表达来生成每个负例。[0145]根据第十四方面，生成经机器训练的模型的操作还包括：基于附加训练示例以及从搜索日志所提取的训练示例，来精化经机器训练的模型。每个这样的附加训练示例描述了两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则两个表达被视为对彼此的释义。[0146]根据与第十四方面相关的第十五方面，针对附加训练示例中的至少一些附加训练示例，每对表达对应于被提交给搜索引擎的一对搜索查询，其中每个查询由一个或多个搜索词项组成。[0147]根据与第十四方面相关的第十六方面，针对附加训练示例中的至少一些附加训练示例，每对表达对应于一对自然语言问题。[0148]根据第十七方面，描述了一种方法，该方法由一个或多个计算设备实现，用于处理输入表达。该方法包括：接收由当前用户经由输入设备提交的输入表达，当前用户具有达成目标的意图而提交输入表达；以及使用经机器训练的意图编码器组件，将输入表达映射成输入表达意图向量(ieiv)，ieiv对应于意图在意图向量空间内的分布式表示。意图编码器组件使用计算机实现的训练系统通过以下方式而被训练：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述两者引起对相同文档的选择的一对先前表达，并且每个负例描述没有引起对相同文档的选择的一对先前表达；以及通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用。意图编码器组件包括：经机器训练的词项嵌入组件，该词项嵌入组件针对输入表达的每个词项生成词项向量；以及经机器训练的混合编码器组件，包括顺序编码器，该顺序编码器基于由词项嵌入组件生成的词项向量，来生成与输入表达相关联的ieiv。[0149]根据与第十七方面相关的第十八方面，该方法还包括：使用信息检索(ir)引擎来处理输入表达，以至少部分基于ieiv来产生ir结果；以及使用输出生成组件，基于ir结果来生成输出结果，并且将向输出设备发送输出结果，以向当前用户呈现。[0150]根据与第十八方面相关的第十九方面，词项嵌入组件基于对词项作为整体的考虑、以及对组成词项的个体字符的考虑，来生成针对词项的每个词项向量。[0151]根据第二十方面，描述了一种计算机可读介质，用于存储计算机可读指令。计算机可读指令在由一个或多个硬件处理器执行时执行方法，该方法包括：从由搜索引擎产生的搜索日志来制定训练示例，训练示例包括正例和负例，每个正例描述了两者引起对相同文档的选择的一对先前表达，并且每个负例描述了没有引起对相同文档的选择的一对先前表达；通过迭代地减少意图向量空间中与正例相关联的意图向量之间的距离、并且迭代地增加意图向量空间中与负例相关联的意图向量之间的距离，来生成经机器训练的模型，以供意图编码器组件使用；以及基于附加训练示例以及从搜索日志所提取的训练示例，来精化经机器训练的模型，每个这样的附加训练示例描述两个表达以及手动提供的标签，手动提供的标签标识两个表达是否传达相同的意图，并且如果是，则两个表达被视为对彼此的释义。意图编码器组件被配置成将输入表达映射到相应的意图向量，每个这样的意图向量对应于与相应的输入表达相关联的意图的分布式表示。[0152]第二十一方面对应于上述第一至第二十方面的任何组合(例如，任何逻辑上一致的排列或子集)。[0153]第二十二方面对应于与第一至第二十一方面相关联的任何方法对应物、设备对应物、系统对应物、装置加功能对应物、计算机可读存储介质对应物、数据结构对应物、制品对应物、图形用户界面表示对应物等。[0154]最后，本文描述的功能可以采用各种机制来确保以符合适用法律、社会规范以及个体用户的期望和偏好的方式来处理任何用户数据。例如，功能可以允许用户明确选择加入(然后明确选择退出)功能的配置。功能还可以提供合适的安全性机制(诸如，数据清理机制、加密机制、密码保护机制等)，以确保用户数据的私密性。[0155]此外，描述可能已经在说明性挑战或问题的上下文中阐述了各种概念。这种解释方式并不旨在暗示其他人已以本文中指定的方式理解和/或阐明了挑战或问题。此外，这种解释方式并不旨在暗示权利要求中记载的主题仅限于解决所标识的挑战或问题；即，权利要求中的主题可以在不同于本文描述的挑战或问题的上下文中应用。[0156]尽管已经以结构特征和/或方法动作特定的语言描述了主题，但是应当理解，所附权利要求书中限定的主题不必限于上述特定特征或动作。相反，上面描述的特定特征和动作被公开为实现权利要求的示例形式。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
