使用循环神经网络融合多模态数据的制作方法

1.本实施例涉及被配置为跨两个或更多个模态融合数据的人工智能平台。更具体地，给定具有表示数值时间序列数据的至少一个模态和表示带时间戳的文本数据的至少一个模态的多模态数据集，实施例涉及自动发现在数值时间序列数据随时间演进时使数值时间序列数据的性能和行为强相关的文本特征子集。


背景技术：

2.与几乎每个学科有关的数据来自采用各种格式和模态的各种不同来源。最近的深度学习技术利用来自多种模态和格式的信息来创建执行各种任务(诸如图像标注、医学诊断和治疗推荐等)的模型。在文献中已经提出了关于如何融合来自多个模态的数据的各种技术。
3.三种常见的融合技术是(a)早期融合(在数据特征级别)，(b)晚期融合(在决策级别)，以及(c)中间融合(在(a)、(b)之间权衡)。大多数融合模型要求来自不同模态的数据在时间戳或间隔上被正确地对齐，以便针对给定目标跨多个模态提取有用的特征。由于数据粒度、数据的采样或性质，对齐所有模态可能是不可行的，并且为了正确地对齐它们，还假设关于模态的先验知识。因此，在本领域中需要解决上述问题。


技术实现要素：

4.从第一方面来看，本发明提供了一种计算机系统，其包括：处理器，其可操作地耦合到存储器；人工智能(ai)平台，其与处理器通信，具有采用深度学习技术以跨模态融合数据的机器学习(ml)工具，该工具包括：第一数据馈送管理器，其可操作地耦合到第一数据集，第一数据集具有采用第一数据格式的第一模态；第二数据馈送管理器，其可操作地耦合到第二数据集，第二数据集具有采用第二数据形式的第二模态，第二模态不同于第一模态；第一数据馈送管理器将第一数据集编码成第一向量集；第二数据馈送管理器将第二数据集编码成第二向量集；分析器，其可操作地耦合到第一数据馈送管理器和第二数据馈送管理器，分析器利用人工循环神经网络(rnn)来分析经编码的第一数据集和第二数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合包括组合来自第一数据集和第二数据集的表示相关的时间行为的向量；以及经融合的矢量被返回作为输出数据。
5.从另一方面来看，本发明提供了一种采用深度学习技术以跨模态融合数据的计算机程序产品，该计算机程序产品包括随其体现程序代码的计算机可读存储介质，程序代码可由处理器执行以：接收多模态数据集，多模态数据集包括来自两个或更多个模态的采用不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；分别处理第一数据集和第二数据集，包括：将第一数据集编码成一个或多个第一向量，并将第二数据集编码成一个或多个第二向量；分析经处理的多模态数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合模态包括组合来自第一数据集和第二
数据集的表示相关的时间行为的向量；以及返回经融合的向量作为输出数据。
6.从另一方面来看，本发明提供了一种方法，其包括：由计算设备接收多模态数据集，多模态数据集包括来自两个或更多个模态的采用不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；分别处理第一数据集和第二数据集，包括：将第一数据集编码成一个或多个第一矢量，并将第二数据集编码成一个或多个第二矢量；分析经处理的多模态数据集，包括迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，融合包括组合来自第一数据集和第二数据集的表示相关的时间行为的向量；以及返回经融合的向量作为输出数据。
7.从另一方面来看，本发明提供了一种用于采用深度学习技术以跨模态融合数据的计算机程序产品，计算机程序产品包括计算机可读存储介质，计算机可读存储介质可由处理电路读取，并且存储用于由处理电路执行以执行用于执行本发明的步骤的方法的指令。
8.从另一方面来看，本发明提供了一种计算机程序，其被存储在计算机可读介质上并可加载到数字计算机的内部存储器中，包括软件代码部分，当程序在计算机上运行时，软件代码部分用于执行本发明的步骤。
9.实施例包括用于采用人工智能平台以跨模态融合数据以识别基于文本的数据与数值时间序列数据的相关性的系统、计算机程序产品和方法。
10.在一个方面，提供了一种支持人工智能(ai)平台的计算机系统。如图所示，处理器可操作地耦合到存储器，并与ai平台通信。ai平台被配备有采用深度学习技术以跨模态融合数据的工具。该工具包括第一数据馈送管理器、第二数据馈送管理器和分析器。第一数据馈送管理器可操作地耦合到第一数据集，第一数据集表示采用第一数据格式的第一模态。第二数据馈送管理器可操作地耦合到第二数据集，第二数据集表示采用第二数据形式的第二模态。第一数据模态和第二数据模态是不同的。第一数据馈送管理器用于将第一数据集编码为第一向量集。第二数据馈送管理器用于将第二数据集编码为第二向量集。分析器可操作地耦合到第一数据馈送管理器和第二数据馈送管理器两者，并用于利用人工循环神经网络来分析经编码的第一和第二数据集。分析器迭代且异步地融合来自第一数据模态和第二数据模态的已编码特征，其中融合将来自第一和第二数据集并表示相关的时间行为的向量组合。然后，经融合的矢量被返回作为输出数据。
11.在另一方面，提供了一种采用深度学习技术以跨两个或更多个模态融合数据的计算机程序产品。该计算机程序产品包括计算机可读存储介质，其具有可由处理器执行的程序代码。提供了用于接收两个或更多个数据集的程序代码，其中每个数据集代表不同的数据模态，包括具有第一模态的第一数据集和具有第二模态的第二数据集。程序代码分别处理第一和第二数据集。将第一数据集编码成一个或多个第一向量，并将第二数据集编码成一个或多个第二向量。分析经处理的多模态数据集，并且迭代且异步地融合来自第一模态和第二模态的已编码特征。经融合的模态包括经组合的来自第一和第二数据集的表示相关的时间行为的向量。然后，程序代码返回经融合的向量作为输出数据。
12.在又一方面，提供了一种采用深度学习技术以跨两个或更多个模态融合数据的方法。接收多模态数据集，多模态数据集包括具有第一模态的第一数据集和具有第二模态的第二数据集。第一模态不同于第二模态。处理第一数据集和第二数据集，这包括：将第一数据集编码成一个或多个第一向量，以及将第二数据集编码成一个或多个第二向量。分析经
处理的多模态数据集，并且迭代且异步地融合来自第一模态和第二模态的已编码特征。经融合的模态包括经组合的来自第一和第二数据集的表示相关的时间行为的向量。然后，经融合的向量被返回作为输出数据。
13.从下面结合附图对当前优选实施例的详细描述中，这些和其它特征和优点将变得显而易见。
附图说明
14.本文中的附图标记构成说明书的一部分。附图中所示的特征仅是一些实施例的说明，而不是所有实施例的说明，除非另有明确指示。
15.图1描绘了说明神经网络的架构的图。
16.图2描绘了说明在图1所示的神经网络结构中嵌入的asynclstm的记忆单元的图。
17.图3描绘了说明使用循环神经网络的来自多模态数据的融合的流程图。
18.图4描绘了说明具有支持多模态数据的融合的集成人工智能平台的计算机系统的系统图。
19.图5描绘了说明被应用于金融市场的图1的神经网络架构的框图。
20.图6描绘了说明如图4所示和所述的人工智能平台工具及其相关联的应用程序接口的框图。
21.图7描绘了说明基于云的支持系统的计算机系统/服务器的示例的框图，以实现以上关于图1-图6描述的系统和过程。
22.图8描绘了说明云计算机环境的框图。
23.图9描绘了说明由云计算环境提供的一组功能抽象模型层的框图。
具体实施方式
24.容易理解，如在本文的附图中一般性描述和示出的，本实施例的部件可以以各种不同的配置来布置和设计。因此，如附图中所呈现的，以下对本实施例的装置、系统、方法和计算机程序产品的实施例的详细描述不旨在限制如所要求保护的实施例的范围，而仅仅代表所选实施例。
25.在整个说明书中，对“所选实施例”、“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。因此，在本说明书中各处出现的短语“所选实施例”、“在一个实施例中”或“在实施例中”不一定是指同一个实施例。
26.通过参考附图，将更好地理解所示的实施例，其中，相同的部件始终由相同的附图标记表示。以下描述仅意在作为示例，并且仅示出与本文要求保护的实施例一致的设备、系统和过程的某些所选实施例。
27.人工智能(ai)涉及计算机和与人类相关的计算机行为的计算机科学领域。ai是指机器基于信息能够做出决策时的智能，其最大化在给定主题下成功的机会。更具体地，ai能够从数据集学习以解决问题并提供相关的推荐。例如，在人工智能计算机系统领域中，自然语言系统(诸如ibm人工智能计算机系统或其它自然语言问答系统)基于系统获得的知识来处理自然语言。为了处理自然语言，可以用从数据库或知识库中导出的数据
来训练系统，但是由于各种原因，所得到的结果可能是不正确或不准确的。ibm和ibm watson是国际商业机器公司的商标，在全世界的许多管辖区注册。
28.机器学习(ml)是ai的子集，其利用算法和对应的神经网络以从数据中学习并基于该数据创建预见。更具体地，ml是通过创建神经网络的ai应用，神经网络可以通过执行未被明确编程的任务来证明学习行为。深度学习是一种神经网络ml，其中系统可以通过基于前一层的输出使用多层选择来完成复杂的任务，从而创建越来越智能和更抽象的结论。
29.深度学习是一种机器学习方法，其在连续层中并入神经网络以便以迭代的方式从数据中学习。神经网络是神经系统操作的方式的模型。基本单元被称为神经元，其通常被组织成层。神经网络通过模拟类似神经元的抽象版本的大量互连处理单元来工作。在神经网络中通常有三个部分，包括具有表示输入场的单元的输入层、一个或多个隐藏层、以及具有表示(一个或多个)目标场的一个或多个单元的输出层。这些单元以不同的连接强度或权重连接。输入数据被提供给第一层，并且值从每个神经元传播到下一层中的每个神经元。在基本水平上，神经网络的每一层包括可操作地耦合到输出和输入的一个或多个算子或函数。来自最后一个隐藏层的(一个或多个)算子或(一个或多个)函数的输出在此被称为激活。最终，从输出层交付结果。深度学习复杂神经网络被设计为模仿人脑如何工作，因此，可以训练计算机以支持定义不佳的抽象和问题。神经网络和深度学习经常用于图像识别、语音、以及计算机视觉应用。
30.ai，尤其是深度学习，在许多领域取得了重大进展，诸如自主驾驶、机器翻译和语音识别，对我们的社会具有深远的影响。循环神经网络(rnn)是一种用于自然语言处理(nlp)的人工神经网络。rnn被设计为识别数据的顺序特性并使用模式来预测结果。如本文所示和所述的，用经修改的长短期记忆(lstm)单元来构建rnn，以将数据分类为短期和长期记忆单元。下面详细描述的经修改的lstm被称为异步rnn(asynclstm)，其迭代地融合来自多个不同数据模态(诸如时间序列数据模态和文本数据模态)的已编码特征。来自异步rnn的输出包括对时间序列行为的解释。
31.参考图1，提供了作为神经网络架构的图示的图(100)。如图所示，模型从两个输入馈送接收数据，在此被示为第一馈送(110)，例如馈送0，以及第二馈送(120)，例如馈送1。填充第一馈送(110)的数据表示第一馈送模态，填充第二馈送(120)的数据表示第二模态，其中第一和第二模态是不同的。为了描述的目的，第一馈送(110)包括文本数据，第二馈送(120)包括时间序列数据，但是，馈送的模态数量不应被认为是限制性的。
32.如图所示，第一馈送(110)可操作地耦合到被配置用于自然语言处理(nlp)的文本模块(112)。文本模块(112)学习在第一馈送(110)中存在的词之间的语义依赖性，并将它们聚合成每个文档的代表性向量，或者在一个实施例中，聚合成每个新闻故事的代表性向量。在每个时间段t输入到文本模块(112)中的输入是新闻故事或文章序列n。每个新闻报道或新闻文章又是词序列，并被单独分析和编码。第j个新闻故事是序列其中k是序列长度，作为序列中第l个词的向量表示(l＝1,
…
,k)，v作为词汇量大小。嵌入层用于经由如下的线性变换将每个向量变换成低维稠密向量以使得变换将词维
度从词汇量大小v减小到dw，其中dw＜＜v。一组代表性向量(114)在此被示为来自文本模块(112)的输出。每个向量表示基于文本的文档，例如新闻文章或文档。在一个实施例中，代表性向量(114)基于与每个向量相关联的对应时间戳来顺序地进行排序。例如，在一个实施例中，每个向量是具有标识文章的出版或发行的对应时间戳的新闻文章。
33.每一个用于一个文本文章或文档(110)的嵌入词序列{e1,e2,
…ek
}被馈入文本模块(112)，该文本模块由学习产生用于文档(110)的文本文章的编码上下文特征或代表性向量的单层或多层lstm(或bi-lstm)网络(112)实现。网络(112)探索有序单词之间的上下文依赖性以学习最佳文档表示。lstm单元的主要部分之一是通过时间保存输入序列的基本信息的记忆单元以及调节流入和流出单元的信息流的非线性选通单元。在输入序列中的每个步骤l处，lstm接收输入词嵌入e
l
、它的先前的单元状态和先前的输出向量以更新记忆单元并且随后输出针对e
l
的词表示其中dh是隐藏神经元的数量。因此，lstm表示如下的递归函数f：
34.对于l＝1,
…
,k
35.其中，记忆单元在内部被更新。该网络组件被应用于在时间段t收集的每个新闻故事，并输出向量序列news
t
＝{s1,s2,
…
sn}，其中n是在时间戳t收集的新闻故事的总数量。每个向量被表示用于文本文章(诸如新闻故事)或者相关词的序列。
36.asynclstm(130)被配置为管理多个不同长度的输入序列。如在此所示的，asynclstm(130)利用来自两个模态的输入，包括来自第一输入馈送0(110)的指向嵌入文本文档(例如新闻故事)序列的输入(116)以及来自第二输入馈送1(120)的数值时间序列数据的输入(122)。在一个实施例中，第一输入馈送0(110)指向新闻故事，在代表性向量中被编码为news
t
＝{s1,s2,
…
sn}。asynclstm(130)以异步的方式迭代地融合来自不同数据模态的已编码特征。在对时间序列建模时，asynclstm(130)执行与文本模态相互关连的多个步骤，以逐渐滤除与在时间序列中学习到的模式无关的新闻向量，同时保留与时间序列数据的当前行为状态或性能很好对齐的新闻向量。来自文本数据的编码(114)和来自时间序列数据的编码(132)在级联层(150)中被组合，以将编码聚合成单个向量，并且穿过多层感知器网络(160)，该网络产生针对定义时间段的采用时间序列数据的行为标签形式的输出(170)。
37.参考图2，提供了图(200)作为asynclstm的记忆单元(280)的图示。如图1所述，asynclstm接收两个数据模态，包括来自第一输入馈送0(110)的嵌入文本故事序列(在此也被称为文本数据)以及来自第二输入馈送1(120)的数值时间序列数据的输入(122)。文本模态和时间序列模态以不同的频率被采样，这使得它们的序列长度不同。另外，文本是一般性的，并且可给模型带来噪声。asynclstm被设计和配置为处理多个不同长度的输入序列。在此示出和描述的模型经由代表性文本向量与时间序列时间步之间的多个相互关连步骤来利用两个数据模态之间的相互影响。随着asynclstm在时间序列中前进，它逐渐滤除与在时间序列中学习到的模式无关的新闻向量，并且获得对与时间序列最佳匹配的新闻故事的关注概率质量。
38.对记忆器单元(280)的输入包括来自第二输入馈送1(220)的时间序列数据和来自第一输入馈送0(210)的文本数据。关于时间序列数据，在每个时间点t的输入样本(220)是
表示为(222)的m个值的序列和先前的隐藏状态(224)。类似地，输入样本(212(诸如news
t
序列)被表示为{s1,s2,
…
sn}和先前的单元状态(214)。网络通过使用被应用于代表性新闻序列的平均状态的两个单独的单层神经网络来从初始单元状态和初始隐藏状态的初始化开始，如下所示：
[0039][0040][0041]
其中，并且其中ds作为asynclstm中的神经单元的数量，是与整个模型共同训练的网络参数。
[0042]
asynclstm以选择性方式将在文本域中学习的信息结合到它对时间序列执行推理的每个步骤。在序列(220)中的每个时间步l，asynclstm搜索代表性文本序列，并向它们分配概率质量，其中该分配针对与时间序列中的已学习信号的对齐，如在最后一个隐藏状态中捕获的(224)。在一个实施例中，在第l个时间戳如下计算与每个新闻代表性向量(212)相关联的概率质量：
[0043]
对于l＝1,
…
,m
[0044][0045]
其中，a
l
是对齐向量，并且p
l
(230)是概率质量分布。wa,ua,ba和va是连接神经元并可调整的权重。权重被定义如下：可调整的权重。权重被定义如下：以及参数va被学习以将每个对齐向量a
l,j
变换为标量，并且通过传递函数(诸如softmax函数)以确保在输出处的概率质量。系数(230)是在新闻代表性序列(212)上的概率质量分布。通过这些向量的概率质量缩放的来自这些向量的信息通过如下生成自适应上下文向量v
l
(240)来影响时间序列上的学习过程：
[0046][0047]
其中，v0被初始化为零向量。在每个时间段t，系数(230)的最后状态捕获文本模态相对于时间序列模态中的性能/行为的相关或关联信息。
[0048]
如图所示，asynclstm构造最新的上下文向量作为相关新闻故事的当前表示与先前的上下文向量v
l-1
(242)之间的平均信息。来自文本新闻的聚合向量调节向所有门(包括gate0(252)、gate1(254)、gate2(256)和gate3(258))的信息流。在gate0(252)处采用的函数f
l
是时间序列数据的当前状态与文本新闻之间的对齐向量，并且被定义为并且被定义为在gate1(254)中采用的函数i
l
被定义为在gate2(256)处采用的函数被定义为在gate3(258)
中采用的函数o
l
被定义为被定义为在每个门中，u表示神经模型的权重矩阵，并且随着时间而被学习。然后，当前单元状态(260)和隐藏状态(270)被更新并作为输入被转发到asynclstm中的下一单元，其中，当前状态被定义为：态被定义为：并且隐藏状态被定义为隐藏状态是基于时间序列输入、循环神经网络(rnn)记忆单元和来自文本新闻的相关信息推断时间序列数据的新状态的神经函数。通过将在文本新闻领域中学习到的信息(例如与第一输入馈送相对应的模态)紧密地集成到对与第二输入馈送相对应的时间序列模态建模中的每个步骤，神经网络通过时间序列数据的过程来分布发现第一输入馈送中的相关数据的工作负担。
[0049]
在第一输入馈送中所发现的相关数据被用于第二输入馈送中的学习模式。随着asynclstm在时间序列中逐渐前进，它逐渐从第一输入馈送中排除与在第二输入馈送中学习的模式最不匹配的数据。神经网络收敛于第一输入馈送中的由最后一个概率质量向量pm捕获的数据集，来自该数据集的条目用于解释在第一输入馈送中表示的每个单独新闻故事的重要程度。
[0050]
参考图3，提供了示出使用循环神经网络融合多模态数据的流程图(300)。两个模态被定义和配置为数据馈送，包括建立用于第一模态的第一数据馈送(302)和用于第二模态的第二数据馈送(304)。所示和所描述的模态包括在第一数据馈送中接收的文本数据和在第二数据馈送中接收的时间序列数据。在一个实施例中，可以采用附加的或不同的模态，因此，本文所示和所描述的模态不应被认为是限制性的。每一个输入馈送(302)和(304)可以具有不同的长度。第一数据馈送中的文本数据被编码为向量序列(306)，如图2所示和所描述的。在步骤(306)处的文本编码向量的数量是基于文本数据的采样大小。在第二数据馈送中表示的时间序列数据被asynclstm摄取，并被编码成隐藏状态向量(308)以学习长期依赖性。在对时间序列模态建模时，asynclstm执行与第一数据馈送的文本模态相互关联的多个步骤，并逐渐滤除不相关的数据，同时保留与时间序列数据的当前行为状态和性能对齐的数据(310)。更具体地，如果在馈送中表示的数据的关系存在，则在步骤(310)处的过滤包括将时间序列数据与文本数据进行比较以确定并执行对齐。来自第一数据馈送和第二数据馈送的编码被融合，例如组合(312)，并表示来自第一数据馈送的数据对齐，其解释或以其他方式说明第二数据馈送在定义时间间隔期间的行为。经融合的数据(312)，例如经融合的向量，在本文中也被称为模态间数据。经融合的数据(312)表示来自第一输入馈送的与来自第二输入馈送的时间序列的行为和性能紧密对齐的文本数据。因此，跨数据模态的数据子集的对齐被确定并被返回作为输出数据。
[0051]
参考图4，描绘了具有支持多模态数据的融合的集成人工智能平台的计算机系统(400)的示意图。如图所示，提供了通过网络连接(405)与多个计算设备(480)、(482)、(484)、(486)、(488)和(490)通信的服务器(410)。服务器(410)被配置有通过总线(414)与存储器(416)通信的处理单元(412)。服务器(410)被示为具有人工智能(ai)平台(450)，并被配置为通过网络(405)从计算设备(480)、(482)、(484)、(486)、(488)和(490)中的一个或多个支持深度学习神经网络。更具体地，计算设备(480)、(482)、(484)、(486)、(488)和
(490)经由一个或多个有线和/或无线数据通信链路彼此通信以及与其它设备或组件通信，其中，每个通信链路可以包括导线、路由器、交换机、发射机、接收机等中的一个或多个。在该网络布置中，服务器(410)和计算机网络(405)能够实现通信检测、识别和解析。服务器(410)通过通信链路(402)和(404)与计算机网络进行有效通信。链路(402)和(404)可以是有线的或无线的。服务器(410)的其它实施例可以与除了本文所描述的以外的组件、系统、子系统和/或设备一起使用。
[0052]
ai平台(450)在此被示为配置有采用深度学习技术以跨两个或更多个模态融合数据的工具。更具体地，该工具以异步的方式迭代地融合来自不同数据模态的已编码特征。在此所示的工具包括第一数据馈送管理器(452)和第二数据馈送管理器(454)。第一数据馈送管理器(452)可操作地耦合到第一数据馈送feeda(452a)，该馈送feeda通过链路(402)从可操作地耦合的设备(480)至(490)之一传送。在第一数据馈送feeda(452a)中表示的数据具有第一模态。类似地，第二数据馈送管理器(454)可操作地耦合到第二数据馈送feedb(452b)，该馈送feedb通过链路(402)从可操作地耦合的设备(480)至(490)之一传送。在第二数据馈送feedb(452b)中表示的数据具有第二模态。第一模态和第二模态是不同的。因此，第一和第二数据馈送管理器(452)和(454)分别针对通过网络连接(405)从多个源收集的异构数据。
[0053]
第一和第二数据馈送(452a)和(452b)中的每一个分别经受处理。更具体地，第一数据馈源管理器(452)使feeda(452a)经受编码或编码过程，第二数据馈源管理器(454)使feedb(452b)经受编码或编码过程。第一馈送(452a)由第一数据馈送管理器(452)编码为第一向量集(462)，并且第二馈送(452b)由第二数据馈送管理器(454)编码为第二向量集(464)。在基于文本的模态的情况下，对应的数据馈送管理器学习词之间的语义依赖性，并将对应的文本聚合成每个输入文本文档的代表性向量。在一个实施例中，编码和对应的编码过程并行发生。因此，表示不同数据模态的第一和第二数据馈送经受编码成对应的向量。
[0054]
如图所示，人工循环神经网络(rnn)分析器(456)分别可操作地耦合到第一和第二馈送管理器(452)和(454)。分析器用于对经编码的第一数据馈送模态和第二数据馈送模态两者进行建模，并且提供对其中一个或两个模态的行为的解释。在一个实施例中，rnn是异步长短期记忆(asynclstm)，如图1所示和描述的。分析器(456)分别分析第一和第二编码数据集(462)和(464)。该分析包括迭代且异步地融合来自第一和第二数据模态的已编码特征，其中，融合包括组合来自第一和第二数据集的向量，其中组合表示相关的时间行为。
[0055]
例如，在一个实施例中，第一数据馈送feeda(452a)表示带时间戳的文本模态，其可以采用基于文本的文章、报告和社交媒体数据馈送的形式，并且第二数据馈送feedb(452b)表示时间序列数据模态。在该示例中，分析器(456)对时间序列模态和文本模态两者建模，并通过相关新闻故事的简洁集合提供对时间序列行为的解释，同时通过迭代和异步融合保持有竞争力的预测准确性。分析器(456)的分析包括探索来自相同或不同采样频率的至少两个时间序列的相互关联的信息。融合需要分析器(456)从第一数据馈送(452a)中滤除与在经编码的第二数据集(464)中确定的模式无关的一个或多个代表性向量。因此，分析器(456)允许并使得能够将从第一数据馈送的模态学习的语义信息直接并入对第二数据馈送的时间序列数据模态的行为推理的每个时间步。
[0056]
在此所示的工具包括但不限于第一和第二馈送管理器(452)、(454)以及分析器
(456)。ai平台(450)可以通过网络(405)从计算设备(480)至(490)中的两个或更多个计算设备接收输入，并利用数据源(470)(其在此也被称为语料库或知识库)以选择性地访问rnn和其他数据。如图所示，数据源(470)被配置有库(472)，该库具有多个数据集和由分析器456创建并管理的对应rnn。例如，如在此所示的，库(472)被示为具有两个rnn，包括rnn0(474)和rnn1(476)以及相关联的第一和第二数据集。rnn0(474)包括第一数据集(474a)和第二数据集(474b)，其中第一和第二数据集具有不同的模态，并且rnn1(476)包括具有不同模态的第一数据集(476a)和第二数据集(476b)。第一数据集(474a)和(476a)由第一数据馈送管理器(452)编码，第二数据集(474b)和(476b)由第二数据馈送管理器(454)编码。在一个实施例中，包括第三数据模态的第三数据集可以由分析器(456)编码和管理。附加数据模态的数量不应被认为是限制性的。因此，数据集和对应的神经模型被显示为在知识库(470)本地，该知识库可操作地耦合到服务器(410)和ai平台(450)。
[0057]
在本领域中应当理解，分析器和对应的rnn以无监督的方式发现来自第一数据馈送的解释在第二数据馈送中表示的给定时间序列的相关文本信息。下面是rnn和对应的数据探索的应用的示例。在金融市场使用用例中，市场被预测为乐观的或悲观的。经由股票的经调整的成交价(close price)的二阶微分来计算市场预测。第一模态是与股票相关联的或识别股票的文本数据，第二模态是针对股票的价格和一段时间内价格的任何变化的时间序列数据。设和表示三个相邻交易数据上的经调整的成交价。如果则t 1天的市场情绪是乐观的。如果则t 1的市场情绪是悲观的。如果则t 1的市场情绪是悲观的。如果则t 1的市场行情是升高。如果则t 1的市场行情是降低。
[0058]
在另一个示例中，来自股票和金融新闻的多模态数据被用于理解金融市场的表现，并且如果可利用金融新闻数据中的信号以理解金融市场中的波动性，并且如果文本新闻数据中的下一个特定片段(例如词短语)对市场表现具有未来的影响。参考图5，提供了示出被应用于金融市场的图1的神经网络架构(520)的框图(500)。如图所示，在第一馈送中(502)表示季度报告，在第二馈送中(504)表示新闻文章。季度报告和新闻文章都是文本数据，并且由被配置用于自然语言处理(nlp)的文本模块(512)接收。文本模块(512)学习第一馈送(502)和第二馈送(504)中存在的词之间的语义依赖性，并将它们聚合成每个文档的代表性向量，或者在一个实施例中聚合成每个新闻故事的代表性向量。在每个时间段t输入到文本模块(512)中的输入是新闻故事或文章序列n。每个新闻故事或新闻文章被单独地分析和编码。类似地，第三数据馈送(506)是采用股票交易数据形式的时间序列数据。第三数据馈送由可操作地耦合的异步lstm(asynclstm)网络(530)接收，该网络学习产生经编码的上下文特征。神经网络架构的剩余元件在图1中示出和描述。通过突出显示与股票时间序列行为和表现(572)相关联的最相关新闻(570)，来自该架构的输出(574)针对新闻过滤。更具体地，新闻(570)和表现行为(572)被融合成输出(574)。
[0059]
在各种实施例中，网络(405)可以包括本地网络连接和远程连接，以使得人工智能平台(450)可以在任何大小的环境中操作，包括本地和全球，例如因特网。另外，ai平台(450)用作前端系统，其可以使从网络可访问源和/或结构化数据源提取的或在网络可访问
源和/或结构化数据源中表示的各种知识可用。以这种方式，一些过程用还包括一个或多个输入接口或入口以接收请求并相应地作出响应的ai平台(450)填充ai平台(450)。
[0060]
应用程序接口(api)在本领域中被理解为在可以在一个或多个计算环境上运行的两个或更多个应用之间的软件中介，例如调用协议。关于在图4中示出和描述的ai平台(450)，可利用一个或多个api来支持工具(452)至(456)中的一个或多个工具及其相关联的功能。参考图6，提供了示出工具(452)至(456)及其相关联的api的框图(600)。如图所示，多个工具被嵌入在ai平台(605)内，这些工具包括但不限于在此被示为(652)并与api0(612)相关联的第一数据馈送管理器(452)、在此被示为(654)并与api1(614)相关联的第二数据馈送管理器(454)、以及在此被示为(656)并与api2(616)相关联的分析器(456)。每个api支持并启用如图4所描述的分别耦合的管理器的功能，并且可以用一种或多种语言和接口规范来实现。api0(612)提供处理和编码具有第一模态的第一数据馈送的功能支持；api1(614)提供处理和编码具有不同于第一模态的第二模态的第二数据馈送的功能支持，api2(616)提供跨两个或更多个模态融合数据并使来自相同或不同采样频率的至少两个时间序列的信息相互关联的功能支持。
[0061]
如图所示，每个api(612)、(614)和(616)可操作地耦合到api编排器(670)(或者称为编排层)，其在本领域中被理解为用作将单独的api透明地线程在一起的抽象层。在一个实施例中，可以结合或组合单独的api的功能。这样，在此所示的api的配置不应被认为是限制性的。因此，如在此所示的，工具的功能可由它们各自的api具体化或支持。
[0062]
本文所示和描述的实施例可以采用与智能计算机平台一起使用的计算机系统的形式，以用于提供跨一个或多个域的活动的编排以最小化风险。工具(452)至(456)的各方面及其相关联的功能可在单个位置的计算机系统/服务器中体现，或者在一个实施例中，可在共享计算资源的基于云的系统中配置。参考图7，提供了示出计算机系统/服务器(702)(在下文中被称为云计算环境(710)中的主机(702))的示例的框图(700)，以实现以上参考图1-图6描述的系统、工具和过程。主机(702)与各种其他通用或专用计算系统环境或配置一起操作。适合与主机(702)一起使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络pc、小型计算机系统、大型计算机系统、以及包括上述系统、设备及其等同物中的任一个的文件系统(例如，分布式存储环境和分布式云计算环境)。
[0063]
主机(702)可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。主机(702)可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。
[0064]
如图7所示，以通用计算设备的形式示出主机(702)。主机(702)的组件可以包括但不限于一个或多个处理器或处理单元(704)(例如硬件处理器)、系统存储器(706)、以及将包括系统存储器(706)的各种系统组件耦合到处理器(704)的总线(708)。总线(708)表示若干类型的总线结构中的任何一种的一个或多个，包括存储器总线或存储器控制器、外设总线、加速图形端口、以及使用各种总线架构中的任何一种的处理器或局部总线。作为示例而
非限制，这样的架构包括工业标准体系结构(isa)总线、微通道体系结构(mca)总线、增强型isa(eisa)总线、视频电子技术标准协会(vesa)局部总线、以及外设部件互连(pci)总线。主机(702)通常包括各种计算机系统可读介质。这种介质可以是可由主机(702)访问的任何可用介质，并且它包括易失性和非易失性介质、可移除和不可移除介质。
[0065]
存储器(706)可以包括采用易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)(730)和/或高速缓冲存储器(732)。仅作为示例，存储系统(734)可被提供用于从不可移除的非易失性磁介质(未示出并且通常被称为“硬盘驱动器”)读取和向其写入。尽管未示出，但是可以提供用于从可移除的非易失性磁盘(例如，“软盘”)读取和向其写入的磁盘驱动器，以及用于从可移除的非易失性光盘(诸如cd-rom、dvd-rom或其它光学介质)读取或向其写入的光盘驱动器。在这种情况下，每个可以通过一个或多个数据介质接口被连接到总线(708)。
[0066]
具有一组(至少一个)程序模块742的程序/实用程序740以及操作系统、一个或多个应用程序、其它程序模块和程序数据可被存储在存储器706中，这是示例而非限制。操作系统、一个或多个应用程序、其它程序模块、以及程序数据或其某种组合中的每一个可包括联网环境的实现。程序模块(742)通常执行采用深度学习技术以跨两个或更多个模态融合数据的实施例的功能和/或方法。例如，该组程序模块(742)可包括如图4中所描述的工具(452)至(456)。
[0067]
主机(702)还可以与以下设备通信：一个或多个外部设备(714)，诸如键盘、指示设备等；显示器(724)；使用户能够与主机(702)交互的一个或多个设备；和/或使主机(702)能够与一个或多个其它计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以经由(一个或多个)输入/输出(i/o)接口(722)发生。此外，主机(702)可以经由网络适配器(720)与一个或多个网络(诸如局域网(lan)、通用广域网(wan)和/或公共网络(例如，因特网))通信。如所描绘的，网络适配器(720)经由总线(708)与主机(702)的其他组件通信。在一个实施例中，分布式文件系统(未示出)的多个节点经由i/o接口(722)或者经由网络适配器(720)与主机(702)通信。应当理解，尽管未示出，但是其他硬件和/或软件组件可以结合主机(702)一起使用。实例包括但不限于：微代码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、raid系统、磁带驱动器、以及数据档案存储系统等。
[0068]
在本文档中，术语“计算机程序介质”、“计算机可用介质”和“计算机可读介质”用于一般地指代介质，诸如主存储器(706)，其包括ram(730)、高速缓存(732)和存储系统(734)，诸如可移除存储驱动器和被安装在硬盘驱动器中的硬盘。
[0069]
计算机程序(也称为计算机控制逻辑)被存储在存储器(706)中。计算机程序也可以经由通信接口(诸如网络适配器(720))接收。这种计算机程序在运行时使计算机系统能够执行如本文所讨论的实施例的特征。特别地，计算机程序在运行时使处理单元(704)能够执行计算机系统的特征。因此，这种计算机程序代表计算机系统的控制器。
[0070]
计算机可读存储介质可以是可保持并存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或前述存储设备的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携
式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如在上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码设备、以及上述设备的任何适当的组合。如本文所使用的计算机可读存储介质不应被解释为是暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
[0071]
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
[0072]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或者以一种或多种编程语言(包括面向对象的编程语言，例如smalltalk、c 等)和过程编程语言(例如“c”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立的软件包执行、部分在用户的计算机上并且部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本发明的各方面。
[0073]
在一个实施例中，主机(702)是云计算环境的节点。如本领域所已知的，云计算是一种服务交付模式，用于实现对共享的可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、vm和服务)池池的方便、按需的网络访问，可配置计算资源可以以最小的管理成本或与服务提供商进行最少的交互来快速供应和释放。这种云模式可以包括至少五个特性、至少三个服务模型和至少四个部署模型。这些特性的例子如下：
[0074]
按需自助式服务：云的消费者可以单方面自动地按需提供计算能力(诸如服务器时间和网络存储)，而无需与服务提供者进行人工交互。
[0075]
广泛的网络接入：能力在网络上可用并通过促进异构的瘦或厚客户端平台(例如，移动电话、膝上型计算机和pda)的使用的标准机制来接入。
[0076]
资源池：提供商的计算资源被归入资源池以使用多租户模型来服务多个消费者，其中不同的物理和虚拟资源根据需求被动态地分配和再分配。一般情况下，消费者不能控制或不知道所提供的资源的确切位置，但是可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。
[0077]
迅速弹性：可以迅速且有弹性地(在一些情况下自动地)提供能力以快速向外扩展并被迅速释放以快速缩小。对于消费者，可用于提供的能力通常看起来是无限的，并可以在任何时间以任何数量购买。
[0078]
可测量的服务：云系统通过利用在适于服务类型(例如，存储、处理、带宽和活动用
户账户)的某一抽象程度的计量能力，自动地控制和优化资源使用。可以监视、控制和报告资源使用情况，为所利用的服务的提供者和消费者双方提供透明度。
[0079]
服务模型如下：
[0080]
软件即服务(saas)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可通过诸如网络浏览器的瘦客户机接口(例如，基于网络的电子邮件)来从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置以外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、或甚至单个应用能力等的底层云基础架构。
[0081]
平台即服务(paas)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用是使用由提供商支持的编程语言和工具创建的。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
[0082]
基础架构即服务(iaas)：向消费者提供的能力是提供消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其它基础计算资源。消费者既不管理也不控制底层云基础架构，但对操作系统、存储、所部署的应用具有控制权，对所选择的网络组件(例如，主机防火墙)可能具有有限的控制权。
[0083]
部署模型如下：
[0084]
私有云：云基础架构单独为某个组织运行。它可以由该组织或第三方管理，并且可以存在于该组织内部或外部。
[0085]
共同体云：云基础架构被若干组织共享，并支持具有共同利害关系(例如，任务、安全要求、政策和合规考虑)的特定共同体。它可以由该组织或第三方管理，并且可以存在于该组织内部或外部。
[0086]
公共云：云基础架构可用于一般公众或大型产业群，并由销售云服务的组织拥有。
[0087]
混合云：云基础架构由两个或更多云(私有云、共同体云或公共云)组成，这些云依然是独特实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如，用于云之间的负载平衡的云突发)绑定在一起。
[0088]
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语义的互操作性。计算的核心是包括互连节点网络的基础架构。
[0089]
现在参考图8，示出了云计算网络(800)。如图所示，云计算网络(800)包括具有云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点(810)的云计算环境(850)。这些本地计算设备的示例包括但不限于个人数字助理(pda)或蜂窝电话(854a)、台式计算机(854b)、膝上型计算机(854c)和/或汽车计算机系统(854n)。节点(810)内的个体节点可以进一步彼此通信。它们可以被物理地或虚拟地分组(未示出)在一个或多个网络(诸如如上文所描述的私有云、共同体云、公共云、或混合云或其组合)中。这允许云计算环境(800)提供基础架构即服务、平台即服务和/或软件即服务，而云消费者不需要为其在本地计算设备上维护资源。应当理解，图8中所示的各类计算设备(854a-n)仅仅是示意性的，云计算环境(850)可以在任何类型的网络和/或网络可寻址连接上(例如，使用网络浏览器)与任何类型的计算设备通信。
[0090]
现在参考图9，示出了由图8的云计算网络提供的一组功能抽象层(900)。首先应当理解，图9所示的组件、层和功能仅旨在说明，并且实施例不限于此。如所描绘的，提供了以
下层和相应的功能：硬件和软件层(910)、虚拟化层(920)、管理层(930)和工作负载层(940)。
[0091]
硬件和软件层(910)包括硬件和软件组件。硬件组件的示例包括大型机，在一个示例中是系统；基于risc(精简指令集计算机)架构的服务器，在一个示例中是系统；ibm系统；ibm系统；存储设备；网络和网络组件。软件组件的示例包括网络应用服务器软件，在一个示例中是ibm应用服务器软件；以及数据库软件，在一个实例中是ibm数据库软件。(ibm、zseries、pseries、xseries、bladecenter、websphere和db2是在全世界许多管辖区注册的国际商业机器公司的商标)。
[0092]
虚拟化层(920)提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器；虚拟存储器；虚拟网络，包括虚拟专用网络；虚拟应用程序和操作系统；以及虚拟客户端。
[0093]
在一个示例中，管理层(930)可以提供以下功能：资源供应、计量和定价、用户门户、服务层管理、以及sla规划和履行。资源供应功能提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取。计量和定价提供功能提供对在云计算环境内使用资源的成本跟踪，并为这些资源的消耗提供账单或发票。在一个示例中，这些资源可以包括应用软件许可。安全性为云消费者和任务提供身份认证，并为数据和其他资源提供保护。用户门户功能为消费者和系统管理员提供对云计算环境的访问。服务层管理功能提供云计算资源的分配和管理，以满足所需的服务水平。服务水平协议(sla)计划和履行功能提供对根据sla针对其预测未来需求的云计算资源的预安排和采购。
[0094]
工作负载层(940)提供可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括但不限于：地图绘制与导航；软件开发及生命周期管理；虚拟教室的教学提供；数据分析处理；交易处理；以及深度学习模态间数据分析。
[0095]
将理解，本文公开了一种用于评估自然语言输入、检测对应通信中的询问、以及用回答和/或支持内容来解决所检测到的询问的系统、方法、装置和计算机程序产品。
[0096]
尽管已经示出和描述了本发明的特定实施例，但是，对于本领域技术人员来说显而易见的是，基于本文的教导，在不背离本发明及其更广泛方面的情况下可以进行改变和修改。因此，所附的权利要求将在其范围内涵盖在实施例的真实范围内的所有这样的改变和修改。此外，应当理解，实施例仅由所附权利要求限定。本领域技术人员将理解，如果所引入的权利要求元素的具体数目是有意的，则这样的意图将在权利要求中明确地叙述，并且在没有这样的叙述的情况下，不存在这样的限制。对于非限制性示例，为了帮助理解，所附的权利要求包含使用引导性短语“至少一个”和“一个或多个”来引入权利要求元素。然而，这种短语的使用不应被解释为暗示通过不定冠词“一”或“一个”引入权利要求元素会将包含这种引入的权利要求元素的任何特定权利要求限制为仅包含一个这种元素的实施例，即使当同一权利要求包括引导性短语“一个或多个”或“至少一个”和诸如“一”或“一个”的不定冠词时；这同样适用于定冠词在权利要求中的使用。
[0097]
本发明的实施例可以是系统、方法和/或计算机程序产品。另外，本实施例的所选方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软
件和/或硬件方面的实施例的形式，这些软件和/或硬件在本文中可以全部统称为“电路”、“模块”或“系统”。此外，本发明的实施例的方面可以采取在(一个或多个)计算机可读存储介质中实现的计算机程序产品的形式，在(一个或多个)计算机可读存储介质上具有用于使处理器执行本发明的实施例的方面的计算机可读程序指令。如此实现的所公开的系统、方法和/或计算机程序产品可操作用于改进人工智能平台的功能和操作以采用深度学习技术来跨两个或更多个模态融合数据。
[0098]
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0099]
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，以使得经由计算机或其他可编程数据处理装置的处理器而执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，已使得在其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
[0100]
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤将在计算机、其他可编程装置或其他设备上执行，以产生计算机实现的过程，以使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
[0101]
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
[0102]
应当理解，尽管为了说明的目的已在本文描述了具体实施例，但是，在不脱离实施例的范围的情况下可以进行各种修改。例如，在本文所示和所描述的模态中表示的数据可以包括金融数据、气候数据、医疗数据和计算机视觉数据。因此，实施例的保护范围仅由所附的权利要求及其等同物限定。