用于复杂查询处理的辅助控制机制的制作方法

1.本说明书一般而言涉及为复杂查询生成响应数据，并且具体而言涉及用于这种响应生成的辅助控制机制。


背景技术：

2.各种各样的计算系统负责接收例如来自客户端设备的数据请求，并提供对这些请求的响应。但是，虽然在一些系统，诸如那些存储要由客户端设备检索的索引文档集的系统中返回响应数据相对简单，但其它系统则更复杂。例如，一些系统会生成响应数据，而不是简单地检索基于先前索引的响应数据。这种系统的示例是旅行产品的搜索和/或预订系统，诸如航空公司航班。对此类系统的传入查询通常包含大量输入值，并且对此类查询的响应是从源数据生成的，这些源数据可以被组合产生大量可能的响应。
3.即，航段的多个可能组合中的每一个都可以充分匹配输入值。通常从不同的响应数据源计算每个这样的组合，并且还可以在返回到客户端设备之前针对相关性评估可能的匹配。换句话说，在此类系统中生成响应数据在计算上要求很高，并且因此耗时。


技术实现要素：

4.本说明书的一个方面提供了一种方法，包括：维护向量库，每个向量与分类标记(categorical token)集合中的一个分类标记对应；接收包含多级结构化文档的搜索请求；从多级结构化文档中提取分类标记的子集；通过以下操作生成定义文档的向量的子集：(i)对于子集中的每个标记，从库中检索向量中对应的一个向量，以及(ii)组合检索到的向量；向主响应生成器提供搜索请求；将向量的子集提供给预测器模块；以及基于预测器模块的输出，确定是否触发对主响应生成器的修改。
5.本说明书的另一方面提供了一种计算设备，包括：通信接口；维护向量库的存储器，每个向量与分类标记集合中的一个分类标记对应；以及处理器，被配置为：经由通信接口接收包含多级结构化文档的搜索请求；从多级结构化文档中提取分类标记的子集；通过以下操作生成定义文档的向量的子集：(i)对于子集中的每个标记，从库中检索向量中对应的一个向量，以及(ii)组合检索到的向量；向主响应生成器提供搜索请求；将向量的子集提供给预测器模块；以及基于预测器模块的输出，确定是否触发对主响应生成器的修改。
附图说明
6.参考以下各图描述实施例。
7.图1是数据请求处理系统的示图。
8.图2a是图1的主服务器的某些内部组件的示图。
9.图2b是图1的辅助服务器的某些内部组件的示图。
10.图3是控制响应数据的生成的方法的流程图。
11.图4是图示图3的方法的方框305、310和315的示例执行的示图。
12.图5是执行图3的方法的方框310的方法的流程图。
13.图6是图示图5的方法的示例执行的示图。
14.图7是图示图3的方法的示例执行的示图。
15.图8是图示图3的方法的另一个示例执行的示图。
16.图9是图示图3的方法的又一个示例执行的示图。
具体实施方式
17.图1描绘了用于数据请求处理的系统100。系统100包括与网络108连接的客户端设备104，网络108包括局域网和广域网的任何合适组合，包括互联网。客户端设备104是计算设备，诸如台式计算机、平板计算机、智能电话等，被配置为经由网络108提交数据请求以供主服务器112处理。如显而易见的，系统100可以包括多个客户端设备，但是为了简单起见仅示出了一个这样的设备104。
18.主服务器112进而被配置为生成对此类请求的响应并将响应返回到客户端设备104。请求和响应中包含的数据的性质没有特别限制。例如，来自客户端设备104的请求可以包括旅行产品的搜索参数，诸如航班、宾馆预订等。客户端设备104可以由个人旅行者、旅行社等操作。
19.在这样的示例中，响应包括定义与所请求的参数匹配的航班(或其它旅行产品)的数据。如对本领域技术人员显而易见的，搜索参数可以包括旅行日期、出发和到达地点、旅客人数等。同时，结果可以从包括提供者服务器116-1和116-2的众多响应数据源中得出。在其它示例中，系统100可以包括附加的提供者服务器116。
20.提供者服务器116可以由航空公司、集中式票务储存库或其组合操作。例如由主服务器112本身或由提供者服务器116对与接收到的搜索参数相关的响应的生成是计算上复杂的任务，因为许多不同的航段或航段的组合可能满足搜索参数。例如，主服务器112可以被配置为检索定义航段的数据，并且生成满足搜索参数的(可能大的)一组段组合。主服务器112然后可以被配置为在经由网络108向客户端设备104提供段的至少一部分之前对段进行排名或以其它方式进行组织。
21.客户端设备104进而可以被操作以选择上述结果中的一个或多个用于进一步信息或预订。但是，如果在某个时间范围内没有从服务器112接收到响应数据，那么客户端设备104的操作员可以放弃该请求(例如，关闭浏览器应用、导航到另一个服务提供者等)。因此浪费了由主服务器112部署以生成响应数据的计算资源。但是，由于请求参数的广泛可变性和响应生成过程的复杂性，识别可能导致客户端设备104放弃的搜索请求是困难的。
22.为此，系统100还包括连接到网络108的辅助服务器120。在其它示例中，辅助服务器120可以被实现为服务器112本身的一个或多个附加模块，但是为了清楚起见本文单独示出。
23.简而言之，辅助服务器120被配置为将一种或多种控制机制应用于主服务器112的响应生成过程。如下文将讨论的，由辅助服务器120实现的控制机制可以在响应数据的生成期间减少主服务器112和/或提供者服务器116上的计算负载。在一些示例中，控制机制因此可以减少在接收到数据请求和向客户端设备104提供响应数据之间经过的时间。辅助服务器120还可以应用控制机制来降低客户端设备104放弃的可能性，或者减轻这种放弃给服务
器112带来的成本。
24.来自客户端设备104的搜索请求以及由主服务器112和/或提供者服务器116生成的响应数据可以包括数值数据和非数值数据。搜索请求和部分响应数据或中间响应数据都可以形成对由辅助服务器120实现的控制机制的输入的一部分。为了能够使用某些处理技术，诸如深度学习网络，辅助服务器120还被配置为将控制机制的输入数据编码为完全数值数据。即，如下文将更详细描述的，辅助服务器120被配置为使用诸如基于xml的文档、javascript对象表示法(json)文档等的结构化文档，并且以深度学习网络和其它仅对数值数据进行操作的机制可用的形式对此类文档进行自主编码。
25.在更详细地讨论主服务器112和辅助服务器120的操作之前，将参考图2a和2b更详细地描述服务器112和120的某些内部组件。
26.特别参考图2a，主服务器112包括至少一个处理器200，诸如中央处理单元(cpu)等。处理器200与存储器204互连，被实现为合适的非暂态计算机可读介质(例如，非易失性和易失性存储器子系统的合适组合，包括随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存、磁性计算机存储装置等中的任何一个或多个)。处理器200和存储器204通常由一个或多个集成电路(ic)组成。
27.处理器200还与通信接口208互连，这使得主服务器112能够经由网络108与系统100的其它计算设备进行通信。因此，通信接口208包括任何必要的组件(例如，网络接口控制器(nic)、无线电单元等)以经由网络108进行通信。基于网络108的性质来选择通信接口208的特定组件。主服务器112还可以包括连接到处理器200的输入和输出设备，诸如键盘、鼠标、显示器等(未示出)。
28.上面提到的主服务器112的组件可以部署在单个外壳中，或者以分布式格式部署。因此，在一些示例中，主服务器112包括多个处理器，或者共享存储器204和通信接口208，或者每个都具有不同的相关联存储器和通信接口。
29.存储器204以各种应用的形式存储可由处理器200执行的多个计算机可读编程指令，包括数据请求路由应用212和主响应生成器应用214。如本领域技术人员将理解的，处理器200执行应用212和214(以及任何其它合适的应用)的指令以执行由其中包含的指令定义的各种动作。在下面的描述中，处理器200，更一般地说是主服务器112，被称为配置为执行那些动作。将理解的是，它们经由存储在存储器204中的应用的指令的执行(由处理器200)被如此配置。
30.应用212的执行将主服务器112配置为从客户端设备104接收数据请求并将请求路由到系统100的各种其它组件，包括主响应生成器214(在其它示例中，其也可以被实现为单独的计算设备)和辅助服务器120。
31.应用214的执行，如下面将讨论的，将主服务器112配置为处理来自客户端设备104的数据请求以生成响应数据以返回到客户端设备104。经由应用214的执行生成响应数据可以包括向提供者服务器116提供请求或其部分。也可以通过来自辅助服务器120的命令来修改应用214的操作，如下文将讨论的。
32.存储器204还存储储存库216，其可以包含在响应数据的生成中使用的源数据。例如，储存库216可以包含提供者服务器116的标识符、与客户端设备对应的用户简档，等等。
33.转向图2b，辅助服务器120包括至少一个处理器250，诸如中央处理单元(cpu)等。
处理器250与存储器254互连，被实现为合适的非暂态计算机可读介质(例如，非易失性和易失性存储器子系统的合适组合，包括随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存、磁性计算机存储装置等中的任何一个或多个)。处理器250和存储器254通常由一个或多个集成电路(ic)组成。
34.处理器250还与通信接口258互连，这使得辅助服务器120能够经由网络108与系统100的其它计算设备通信。因此，通信接口258包括任何必要的组件(例如，网络接口控制器(nic)、无线电单元等)以经由网络108通信。基于网络108的性质来选择通信接口258的特定组件。辅助服务器120还可以包括连接到处理器250的输入和输出设备，诸如键盘、鼠标、显示器等(未示出)。
35.上述辅助服务器120的组件可以部署在单个外壳中，或者以分布式格式部署。因此，在一些示例中，辅助服务器120包括多个处理器，或者共享存储器254和通信接口258，或者每个都具有不同的相关联存储器和通信接口。
36.存储器254存储多个计算机可读编程指令，可由处理器250执行。存储在存储器254中的指令包括编码应用262和响应修改应用266。编码应用262被配置为从主服务器112接收结构化文档，诸如从客户端设备104接收到的数据请求、中间响应数据等，并将这些文档编码为数值数据以供应用266使用。修改应用266进而将处理器250配置为处理从编码器应用262接收到的编码数据以生成由主服务器112生成的响应数据的各种预测属性。如经由应用266的执行配置的服务器120也可以被称为辅助控制器。基于响应数据的预测属性，应用266进一步配置处理器250以选择对主服务器112对响应数据生成的修改，例如，以加速向客户端设备104提供响应数据、限制响应生成对主服务器112的计算影响等。
37.存储器254还存储标记的向量表示的储存库270，其由应用262采用以转换从服务器112接收到的数据以供应用266使用。
38.在一些实施例中，如前所述，服务器112和120可以被部署为单个服务器，例如，执行应用212、262和266中的每一个。在其它示例中，应用212、262和266中的任何一个或多个的功能可以使用预编程的硬件或固件元件(例如，专用集成电路(asic)、电可擦除可编程只读存储器(eeprom)等)或其它相关组件来实现。
39.转向图3，将更详细地描述系统100的功能。图3图示了控制响应数据的生成的方法300，特别是对于涉及分类数据(例如，包括文本串和其它非数值数据)的处理的复杂数据请求。方法300中的某些步骤由主服务器112执行，而其它步骤由辅助服务器120执行，如将在下面的讨论中显而易见的。
40.在方框305处，主服务器112被配置为例如从客户端设备104接收数据请求。客户端设备104可以例如在由服务器112托管的web或其它界面中输入搜索参数、生成用于传输到服务器112的消息等。特别地，请求由路由应用212接收。数据请求可以包含多种信息，但在本示例中，假设数据请求是例如由旅行社代表旅行者提交的对航空公司航班的搜索请求。请求包括例如根据edifact标准格式化的结构化文档。请求还可以采用多种其它格式，包括其它基于xml的文档、json文档等。
41.路由应用212被配置为在接收到数据请求后，在方框310处向辅助服务器120提供该请求用于编码，并且在方框315处向主响应生成器214提供该请求。在方框315处向主响应生成器214提供请求可以与在方框310处向辅助服务器120提供请求基本同时。
42.图4图示了方框305、310和315的示例执行。特别地，图4图示了在方框305处经由网络108在主服务器112处从客户端设备104传输示例搜索请求400。在接收到请求400之后，主服务器112(并且具体而言，路由应用212)在方框310处向辅助服务器120提供请求400用于编码，并且在方框315向主响应生成器214提供请求400。
43.如图4所示，请求400是包括多个名称-值对的结构化文档。此外，名称-值对是分层组织的，例如，在“userinfos”类别下具有客户端设备标识符“acme travel co”和客户端设备位置(例如，国家标签“ca”)，以及在“inputs”类别下具有搜索输入。即，请求400可以是多级文档。在这个示例中，搜索输入指示客户端设备104已请求在2020年11月15日在加拿大多伦多(yyz)和法国尼斯(nce)之间的航班。如对本领域技术人员将显而易见的，可以在请求400中定义多种其它搜索参数，包括优选航空公司、航班在一天中的时间、日期范围等。类似地，如本领域技术人员将理解的，请求中可以存在多种附加客户端标识信息以及各种其它路由参数、报头信息等。此外，请求400的语法和格式可以广泛变化。例如，edifact消息可以采用诸如加号“ ”之类的字符来分隔其中的参数。
44.返回图3，如上所述，在方框310处，辅助服务器120被配置为生成在方框305处接收到的数据请求400的编码版本。一般而言，方框310的编码过程，也称为嵌入，将形成原始请求400的结构化文档自主转换成向量集合形式的数值数据。该向量集合保留了请求400所传达的意义的重要部分，与例如独热(one-hot)编码相比，使用具有降低维度的向量来表达。如对本领域技术人员将显而易见的，诸如图4中所示的值之类的独热编码分类数据可能需要具有数千维或更多维的向量，使得这些向量的处理变得棘手。此外，本文描述的编码过程维持输入数据的统计质量，而独热编码不能保持这样的质量。例如，任何一对独热编码的标记之间的距离是恒定的，导致独热编码不能准确地表示标记的相关性。
45.图5中经由编码方法500的流程图图示了辅助服务器120在方框310处对请求400进行编码的过程。特别地，在方框505处，辅助服务器120被配置为从请求400中提取与分类数据对应的标记。一般而言，在方框505处提取标记包括丢弃来自请求400的各种句法数据以隔离诸如上面结合图4提到的那些值。
46.因此，编码应用262可以例如基于请求400的语法将规则应用于请求400。例如，编码应用262可以丢弃诸如上述加符号的分隔符，以及回车符、大于和小于字符等。也可以从请求400中丢弃其它数据，诸如以低于预定义下限阈值的频率出现的串，和/或以高于预定义上限阈值的频率出现的串。在还有的其它示例中，可以基于请求400的已知语法丢弃特定串。例如，可以在上述规则中明确标识诸如“userinfos”之类的值名称进行丢弃。
47.在方框510处，编码应用262被配置为对于每个提取的标记从储存库270中检索对应的向量。储存库270对于各种各样的标记(优选地，所有请求400上可能标记的整个集合)中的每个标记包含以预定义数量的数值维度定义标记的向量。例如，每个向量可以包括64个值，其与对应标记的64维数值定义对应。每个向量可以存储在由标记索引的储存库270中，因此每个标记的向量的检索可以简单地涉及使用相关标记查询储存库270。
48.在方框515处，编码应用262被配置为将在方框510处检索到的向量组合到例如矩阵中以供进一步处理。转向图6，关于请求400图示了方法500的示例执行。
49.特别地，在图6的顶部示出了请求400。经由方法500的方框505，从请求400中提取标记集合600。如图所示，字段分隔符“《”和“》”、字段标识符、缩进和其它分隔符(例如，等
号)已被丢弃，仅留下五字段值集合。诸如在“pax”值的情况下，指示乘客的数量的数值数据也被丢弃。但是，虽然日期是数值，但在这个示例中保留了日期(2020年11月15日)。在其它示例中，也可以丢弃日期。
50.经由方框510，从储存库270中检索向量集合604-1、604-2、604-3、604-4和604-5。向量604-1包含标记“acme travel co.”的十维数值定义，而剩余向量604包含集合600中剩余标记的十维数值定义。十维的使用纯粹是出于说明的目的，并且向量604可以采用多种其它维。
51.经由方框515，编码应用262组合向量604例如以形成具有维度mxn的二维矩阵608，其中m是标记的数量，并且n是每个向量的长度(在这个示例中，十个元素)。矩阵608是方法500的结果，并且被传递到响应修改应用266用于进一步处理。
52.如对于本领域技术人员现在将显而易见的，在可以执行方法500之前，必须填充储存库270。填充储存库270发生在系统100的部署之前，并且包括收集数量足够大的请求语料库400(和可选地，其它消息类型，取决于由响应修改应用266执行的(一个或多个)过程)以便包含预期出现在后续请求(诸如请求400)中的每个可能的标记。语料库中的每个消息都经由方框505进行预处理以提取标记。然后使用每个消息的标记集合来学习表示每个标记的向量集合。可以应用各种机制来学习向量，包括例如fasttext算法、word2vec算法等。
53.返回图3，主响应生成器214已经被提供请求400，并且响应修改应用266(也称为辅助控制器266)已经被提供定义请求400的向量集合604。然后可以并行处理请求400和向量集合604以生成与请求400对应的响应数据并且生成供主响应生成器214使用的修改数据。
54.在方框325处，主响应生成器214被配置为发起响应数据的生成。响应数据的生成中所涉及的一个或多个特定过程并不直接相关，并且取决于请求400的性质和结果产生的响应数据。例如，对于航班请求的响应数据的生成，诸如在请求400的情况下，可以包括从存储器204(例如，从存储库216)中检索与客户端设备104对应的用户简档、向提供者服务器116发送对源数据或部分结果的请求，并且在主服务器112本身处对这样的源数据或附加源数据执行其它计算。
55.发起响应数据的生成包括执行上述活动的至少一部分而不是全部。但是，如显而易见的，在其它应用中(例如，处理不同类型的数据而不是定义旅行产品的数据)，响应数据的生成可以包括不同的活动集。
56.在方框330处，与主服务器112发起响应数据生成基本同时，辅助服务器120(特别地，辅助控制器266)被配置为生成尚未由主服务器112生成(或至少尚未完全生成)的响应数据的预测属性。可以在方框330处确定各种预测属性，下面将更详细地描述其示例。在一些示例中，如方框325和方框330之间的虚线所指示的，可以不仅基于请求400而且基于由主服务器112生成的部分响应数据来生成预测属性。在其它示例中，可以单独基于请求400生成预测属性。
57.在方框335处，辅助服务器120被配置为确定在方框330处生成的预测属性是否满足一个或多个修改标准，其示例将在下面描述。当在方框335处的确定为否定时，辅助服务器120不采取进一步动作。但是，当方框335处的确定为肯定时，辅助服务器120在方框340处选择对响应数据的生成的修改，并且向主服务器112发送修改命令。
58.修改标准通常定义条件，该条件在被满足时，指示可以例如通过修改或终止这样
的生成来提高响应数据的生成的计算效率。修改可以加速响应数据的生成、减少专用于响应数据的生成的计算资源，和/或实现干预以减少客户端设备104放弃的可能性。
59.在方框345处，主服务器112被配置为根据在方框325处发起的过程完成响应数据的生成，其中由辅助服务器120应用任何修改(如果有的话)。完成响应数据的生成可以包括对响应数据进行后处理，例如，通过对搜索结果进行排名。完成还可以包括响应数据的某些部分的实际计算，诸如通过将票价或其它定价规则应用到从提供者服务器116返回的航段。在一些示例中，如下文将描述的，方框345处的完成还可以包括调用回退响应生成机制，该回退响应生成机制被配置为以更低的准确度(即，与请求400不太匹配)更快地生成结果。在方框350处，主服务器112被配置为将来自方框345的响应数据返回到客户端设备104。
60.现在将讨论在方框330处生成的预测属性、在方框335处应用的修改标准以及在方框340处选择用于传输到主服务器112的修改的说明性示例。
61.转向图7，在一些示例中，在方框330处生成的预测属性是超时可能性。如前所述，响应数据生成的复杂性可能导致提供者服务器116和/或主服务器112处使客户端设备104放弃搜索的足够计算时间。在一些实施例中，辅助服务器120可以被配置为评估请求400以确定响应数据的生成是否可能超过预定义的超时时段(例如，30秒，但也可以采用其它时段)，超过该时段客户端可能放弃。在响应数据生成进行的同时执行超时可能性的评估，因此当超时可能性高时可以修改响应数据生成过程。
62.特别地，在方框325处发起响应数据生成可以包括将对于部分搜索结果和/或源数据的请求700从主服务器112发送到提供者服务器116，如图7所示。同时，辅助服务器120(特别是辅助控制器266)被配置为生成由提供者服务器116和/或主服务器112生成响应数据将花费比预定义超时时段更长的时段的可能性。辅助服务器120产生的可能性可以是概率(例如，介于0和1之间)，或二元分类，例如，其中一个状态指示可能超时，并且另一个状态指示没有超时。
63.辅助服务器120可以部署多种预测器模型和/或分类器以在方框330处生成预测属性。例如，辅助服务器120可以被配置为执行深度学习网络，诸如卷积神经网络(cnn)(例如，时间或一维cnn)、循环神经网络(rnn)(例如，长短期记忆(lstm)rnn)，以生成上述超时可能性。如现在将显而易见的，结合图5详述的编码过程使辅助服务器120能够采用深度学习模型，这些模型否则对于包含在请求400中的非数值数据可能不可用。编码过程从而使得能够使用深度学习技术，该技术减轻或消除系统100的人工操作员对特征选择的需要，改为在部署系统100之前从用于训练模型的训练数据中自动识别相关特征。
64.在图7所示的示例中，假设辅助服务器120在方框330处确定在方框325处发起的响应生成过程可能超时。辅助服务器120因此选择要应用于响应数据的生成的修改，并且向主服务器112发送包含修改的修改命令704。
65.修改可以是例如对主服务器112的命令以简单地中止响应数据的生成和向客户端设备发送指示没有结果可用的消息708。主服务器112还可以向提供者服务器116发送放弃命令，因为还没有从提供者服务器116接收到响应。客户端设备104因此可以放弃搜索，但是可以减少浪费的计算资源。
66.在其它示例中，修改可以是调用回退响应生成机制，其可以例如生成不太可能相关和/或准确但消耗较少计算资源的响应数据。回退机制可以是例如检索航段的高速缓存
价格而不是计算定价规则的过程。回退响应可以由服务器112和120中的任一个处的另一个应用生成，并且可以被称为辅助响应生成器。在其它示例中，回退过程可以简单地忽略某些搜索输入以降低响应数据生成的复杂性。到客户端设备104的消息708因此可以包括回退响应数据。同时，在方框325处发起的响应数据的生成可以继续，使得更新后的结果可以稍后提供给客户端设备104。在其它示例中，可以中止在方框325处发起的响应数据的生成，即，完全由回退响应数据代替。
67.参考图8，在其它示例中，在方框330处生成的预测属性可以是每个提供者服务器116将产生相关响应数据的可能性。例如，在航班的上下文中，提供者服务器116可以由不同的航空公司运营，并且主服务器112可以被配置为将请求400或其部分传递到每个提供者服务器116。每个提供者服务器116可以返回满足请求400的搜索参数的候选航段，并且主服务器112可以在将各候选段发送到客户端设备104之前执行附加处理以对候选段进行排名、定价、组合等。
68.如将显而易见的，一些提供者服务器116可能比其它提供者服务器更不可能为给定请求400产生相关结果。例如，主要在南美洲运营的航空公司可能不太可能为如在请求400中的从北美飞往欧洲大陆的航班生成相关结果。辅助服务器120因此可以为每个提供者服务器116生成概率或二元分类，指示是否期望提供者116产生相关响应数据。例如，辅助服务器120可以实现生成上述预测的cnn或其它预测器模型。
69.辅助服务器120然后可以向主服务器112发送修改消息800，该修改消息800包含预测相关性超过阈值(例如，满足给定的二进制状态，或超过特定概率)的提供者的标识符。主服务器112可以被配置为在从辅助服务器120接收消息800之前仅执行某些初始化活动，诸如检索客户端简档。响应于消息800，主服务器112然后可以将请求804发送到仅一个提供者服务器116(具体而言，如图8中所示的服务器116-2)而不是两个服务器116。
70.在还有的示例中，参考图9，辅助服务器120选择的修改不仅可以基于请求400，还可以基于初步或中间响应数据。例如，在诸如图7中所示的请求700的请求被发送到提供者服务器116之后，提供者服务器116可以各自返回候选航段(或其它形式的响应数据，取决于请求400的性质)。例如，如图9所示，提供者服务器116-1返回候选段集合900，并且提供者服务器116-2返回候选段集合904。主服务器112可以被配置为对段执行附加处理，诸如对段进行排名和/或评分、确定段的定价数据等。这样的附加处理也可能是计算密集型的。因此，在执行这样的附加处理之前，主服务器112可以例如在消息906中将候选900和904发送到辅助服务器120，用于经由与方框310中相同的过程进行编码，并经由cnn或其它预测器模型与请求400一起进行处理。
71.因此，辅助服务器120被配置为针对集合900和904中的每个候选生成该候选的相关性的预测。例如，根据价格或任何其它合适的因素，预测可以例如指示候选是否预期在五个(或十个，或任何其它合适的预定义数量)最相关的候选之内。辅助服务器120选择的修改因此可以是候选集合900和904的子集的标识符。该子集可以经由修改命令908被发送到主服务器112。主服务器112然后可以在将响应数据返回到客户端设备104之前仅对所选择的子集(例如，图9中所示的子集912)执行任何后续处理。
72.如从上面的示例中将显而易见的，辅助服务器选择的修改通常会截断响应数据生成中涉及的处理，无论这种截断是否涉及中止响应数据生成(例如，如图7所示)、减少中间
处理量(例如，如图8所示)、或减少后处理量(例如，如图9所示)。在一些示例中，可以采用上述修改机制的组合。例如，辅助服务器120可以执行几个不同的预测器模型，每种类型的修改一个。
73.如前所述，可以在编码过程期间从请求400中丢弃数值数据。在一些示例中，数值数据可以用作对中间属性预测的输入。例如，可以将来自方框515的组合向量提供给如上所述的cnn，并且可以将cnn的输出与一个或多个包含先前从请求400中丢弃的数值数据的向量组合(这可能不需要经由方法500嵌入)。然后可以将组合数据提供给由辅助服务器120执行的另外的分类器，诸如另外的cnn。
74.系统100，特别是辅助服务器编码和处理数据请求以及服务器112对此类请求的“常规”处理的操作，使得能够调制主服务器112的响应生成，以减少响应生成而涉及的计算负载和/或提高生成的响应数据的准确性。
75.权利要求的范围不应受上述示例中阐述的实施例的限制，而应被给出与整个描述一致的最宽泛的解释。