使用严格偏序网络的上位词检测的制作方法

1.本发明一般涉及上位词的归纳领域，更具体地说，涉及一种基于神经网络的上位词归纳的方法和系统。
2.发明
3.本发明的一个实施例提供一种方法，包括接收文本语料库，以及基于该文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词(term)、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。该方法还包括基于第一列表来训练神经网络以用于上位词归纳。经训练的神经网络是严格偏阶网络(spon)模型。
4.本发明的另一实施例提供一种系统，包括至少一个处理器和存储指令的非暂时性处理器可读存储器设备，所述指令在由至少一个处理器执行时使该至少一个处理器执行操作。操作包括接收文本语料库，以及基于文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。所述操作还包括基于第一列表来训练神经网络以用于上位词归纳。经训练的神经网络是spon模型。
5.本发明的一个实施例提供一种计算机程序产品，包括具有在其中体现的程序指令的计算机可读存储介质。程序指令可由处理器执行以使处理器接收文本语料库，并且基于文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。程序指令进一步可由处理器执行以使处理器基于第一列表训练神经网络以用于上位词归纳。经训练的神经网络是spon模型。
6.本发明的这些和其它方面、特征和优点将参考附图和本文的详细描述来理解，并且将借助于在所附权利要求中特别指出的各种元件和组合来实现。应当理解，本发明的附图和详细描述的上述一般描述和以下简要描述是本发明的示例性和说明性的优选实施例，而不是对所要求保护的本发明的限制。
附图说明
7.在说明书结尾处的权利要求中特别指出并明确要求被认为是本发明的主题。从下面结合附图的详细描述中，本发明的前述和其它目的、特征和优点将变得显而易见，其中：
8.图1示出了根据本发明的实施例的用于实现基于神经网络的上位词归纳的示例计算架构；
9.图2示出了根据本发明的实施例的基于神经网络的上位词归纳系统的示例；
10.图3示出了根据本发明实施例的示例性严格偏序网络(spon)模型；
11.图4是根据本发明的实施例的用于基于神经网络的上位词归纳的示例过程的流程图；以及
12.图5是示出了用于实现本发明实施例的信息处理系统的高级框图。
13.详细描述通过参考附图的示例解释了本发明的优选实施例以及优点和特征。
具体实施方式
14.本发明一般涉及上位词的归纳领域，更具体地说，涉及一种基于神经网络的上位词归纳的方法和系统。本发明的一个实施例提供一种方法，包括接收文本语料库，以及基于该文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。该方法还包括基于第一列表来训练神经网络以用于上位词归纳。经训练的神经网络是严格偏序网络(spon)模型。
15.本发明的另一实施例提供一种系统，包括至少一个处理器和存储指令的非暂时性处理器可读存储器设备，该指令在由该至少一个处理器执行时使至少一个处理器执行操作。操作包括接收文本语料库，以及基于文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。操作还包括基于第一列表来训练神经网络以用于上位词归纳。经训练的神经网络是spon模型。
16.本发明的一个实施例提供一种计算机程序产品，包括具有在其中体现的程序指令的计算机可读存储介质。程序指令可由处理器执行以使处理器接收文本语料库，以及基于文本语料库生成三元组的第一列表。第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上位词关系的次数的频率值。程序指令进一步可由处理器执行以使处理器基于第一列表训练神经网络以用于上位词归纳。经训练的神经网络是spon模型。
17.下位词是表示诸如类型或类的抽象概念的术语。上位词是表示比下位词更一般的抽象概念，诸如类型或类的术语。
18.命名实体(ne)是专有名词。可用的ne类型是有限的和预定义的，最多从几十到几百。通过比较，上位词比ne类型更广泛。
19.上下位是用于分类学构建的基石。上下位关系(即，关系)包括在下位词和上位词之间的是一个(is-a)关系(即，它们是下位词和上位词之间的关系)。例如，马铃薯薄饼是一个薄饼是在下位词马铃薯薄饼和上位词薄饼之间的上下位关系。
20.分类中的上下位关系满足以下属性：自反性、传递性和非对称性(即，不对称)。例如，如果wittgenstein是一个哲学家，并且哲学家是一个人，则通过传递属性得到wittgenstein是一个人。同样，哲学家不是wittgenstein，而由于不对称属性得到人不是哲学家。
21.为了说明的目的，术语“下位词-上位词对”通常指包括呈现上下位关系的下位词和上位词的一对词。
22.为了说明的目的，术语“上位词检测”通常指分类或预测给定的一对词(x,y)(例如，(知更鸟，雀形目))是否具有上下位关系的任务。
23.为了说明的目的，术语“上位词定向”通常指识别或预测给定的一对词(x,y)中的哪个词是上位词(即，(x,y)或(y,x)中的哪个是上下位关系)的任务。
24.为了说明的目的，术语“上位词发现”通常指的是对于给定的下位词x预测该给定
下位词x的上位词的经排名的预测的任务。
25.概括领域专用术语的意义的能力对于许多自然语言处理(nlp)应用是必要的。然而，手工构建新域的分类法是耗时的。这推动了开发能够从文本中识别上下位关系的自动系统的需求。
26.传统上，如果存在足够的训练数据，则可以训练经监督的机器学习系统来预测上下位关系。然而，训练数据可能不是在所有域之间同等可用。
27.本发明的实施例提供一种用于使用学习如何编码上下位关系的深度神经网络模型从非结构化自由文本中自动提取下位词-上位词对的方法和系统。本发明的实施例可以用于执行诸如但不限于上位词检测、上位词定向和上位词发现的任务。每个任务可以以无监督或有监督的方式执行。
28.在序理论中，严格偏序是传递性、无自反性和非对称的二元关系。严格偏序关系更直接地对应于有向无环图(dag)。
29.本发明的实施例提供一种spon，该spon被设计为学习表示分类学中的上下位关系的下位词-上位词对并对其建模。spon是包括非负激活和残差连接的神经网络架构，其被设计成强制执行严格偏序关系的非对称性和传递性要求作为软约束。一个实施例提供被训练以强制执行严格偏序关系的非对称性和传递性要求作为软约束的spon模型。在学习过程中，采用下位词-上位词对来训练spon模型。在一个实施例中，spon模型的增强变体可以将针对词汇表内的词所学习的类型信息归纳到先前未见的信息，以识别/预测词汇表外(oov)词(即，在学习过程期间spon模型没有观察/看到的词)的上下位关系；增强的变体在概率模型内使用归一化的分布相似性值作为权重来完成这一点。
30.图1示出了根据本发明的实施例的用于实现基于神经网络的上位词归纳的示例计算架构100。在一个实施例中，计算架构100是集中式计算架构。在另一个实施例中，计算架构100是分布式计算架构。
31.在一个实施例中，计算架构100包括计算资源，诸如但不限于一个或多个处理器单元110和一个或多个存储单元120。一个或多个应用利用计算架构100的计算资源在计算架构100上执行/操作。在一个实施例中，计算架构100上的应用包括但不限于基于神经网络的上位词归纳系统200，其被配置用于利用学习以编码上下位关系的深度神经网络来从文本语料库(例如，非结构化自由文本)自动提取下位词-上位词对。例如在一个实施例中，基于神经网络的上位词归纳系统200被用于从未注释的大文本语料库中自动提取下位词-上位词对。
32.如本文后面详细描述的，在一个实施例中，由基于神经网络的上位词归纳系统200所利用的神经网络是spon模型250(图2)，其被训练成在上位词归纳的上下文中强制执行严格偏序关系的非对称性和传递性要求作为软约束。
33.在一个实施方式中，基于神经网络的上位词归纳系统200被配置为通过连接(例如，诸如wi-fi连接或蜂窝数据连接的无线连接、有线连接或两者的组合)与一个或多个电子设备400和/或一个或多个远程服务器设备20交换数据。
34.在一个实施例中，电子设备400包括一个或多个计算资源，诸如但不限于一个或多个处理器单元410和一个或多个存储单元420。一个或多个应用利用电子设备400的一个或多个计算资源在电子设备400上执行/操作，该应用例如但不限于被加载到或下载到电子设
备400的一个或多个软件应用450。软件应用450的示例包括但不限于人工智能(ai)应用、nlp应用。
35.电子设备400的示例包括但不限于台式计算机、移动电子设备(例如，平板电脑、智能电话、膝上型计算机等)、可穿戴设备(例如，智能手表等)、物联网(iot)设备、诸如智能电视之类的智能电器等。
36.在一个实施例中，电子设备400包括集成在或耦合到电子设备400的一个或多个输入/输出(i/o)单元430，诸如键盘、小键盘、触摸接口、显示屏等。用户利用电子设备400的i/o模块430来配置一个或多个用户偏好、配置一个或多个参数(例如，用于spon模型250的超参数等)、提供输入(例如，手动标记的训练数据，诸如手动验证的是一个关系的列表)等。
37.在一个实施例中，电子设备400和/或远程服务器设备20是训练数据和/或文本语料库的源。
38.在一个实施方式中，基于神经网络的上位词归纳系统200由托管在远程服务器设备20上的一个或多个在线服务(例如，ai服务、nlp服务)和/或在电子设备400上运行的一个或多个软件应用450(例如，ai应用、nlp应用)访问或使用。例如，在一个实施例中，在电子设备400上运行的虚拟助理、搜索引擎或另一类型的软件应用450调用系统200来执行上位词检测、上位词定向和/或上位词发现，以生成更宽或更窄的搜索词，通过找到更一般的类别来回答问题，构建分类法和知识库等。
39.图2示出了根据本发明的实施例的基于神经网络的上位词归纳系统200的示例。在一个实施例中，系统200包括基于语言学模式的单元210，其被配置为：(1)接收文本语料库(例如，非结构化自由文本)作为输入，以及(2)基于文本语料库生成候选下位词-上位词对的列表。一般假设c表示作为输入接收的文本语料库。
40.在一个实施例中，基于语言学模式的单元210被配置为通过将一个或多个语言学模式应用于文本语料库c以提取一个或多个候选下位词-上位词对来生成候选下位词-上位词对的列表，其中，该列表包括一个或多个所提取的候选下位词-上位词对。例如在一个实施例中，所应用的一个或多个语言学模式包括听觉上类似(hearst-like)的模式。在另一实施例中，基于语言学模式的单元210被配置为基于提供给系统200的手动标记的训练集(例如，手动验证的is-a关系的列表)来生成候选下位词-上位词对的列表。
41.在一个实施例中，基于语言学模式的单元210被配置为基于一个或多个统计显著性和间接证据从候选下位词-上位词对的列表中移除可能是错误的(即，不正确或虚假的)候选下位词-上位词对(如果有的话)。例如，在一个实施例中，如果包括在候选下位词-上位词对的列表中的(候选下位词-上位词对的)候选上位词是包括在列表中的几个其它候选上位词的子词(而不是词汇头部)，则基于语言学模式的单元210将候选上位词和几个其它候选上位词标记/识别为可能是错误的以便去除。作为另一个例子，如果“x is-a y”和“y is-a z”是验证的上位词关系，则通过不对称性确定“z is-not-a x”；基于语言学模式的单元210将表示“z is-a x”的候选下位词-上位词对标记/识别为可能错误以便移除。
42.在一个实施例中，系统200包括过滤和扩展单元220，其被配置为：(1)接收候选下位词-上位词对的列表(例如，从基于语言学模式的单元210)，以及(2)通过将一个或多个过滤和/或扩展技术应用于所接收的列表以过滤和/或扩展所接收的列表来提高所接收的列表的质量。
43.在一个实施例中，过滤和扩展单元220基于启发法自动过滤候选下位词-上位词对的列表，以移除一个或多个可能错误的候选下位词-上位词对(如果有可能错误的候选下位词-上位词对的话)。例如，在一个实施例中，过滤和扩展单元220基于如下定义的启发法过滤列表：如果列表中包含的候选下位词-上位词对的候选上位词是专有名词，则从列表中滤除(即，移除)该对，因为该对是错误的(例如，滤除候选下位词-上位词对(x，北美))。作为另一个示例，在一个实施例中，过滤和扩展单元220基于如下定义的启发法过滤列表：如果存在词x1、x2和x3的序列，使得(x1，x2)、(x2，x3)和(x3，x1)是列表的候选下位词-上位词对，则从列表中滤除这些对中的一个，以中断在词之间形成的循环。
44.在一个实施例中，过滤和扩展单元220通过利用超词和子词来自动扩展候选下位词-上位词对的列表以包括一个或多个附加的候选下位词-上位词对。一个或多个附加的候选下位词-上位词对不是从文本语料库c中提取的，并且不包括在手动标记的训练集中。例如，(riverdale银行，银行)是从利用词riverdale银行和银行得到的候选下位词-上位词对，其中riverdale银行是银行的超词，而银行是riverdale银行的子词。
45.在一个实施例中，系统200包括初始化单元230，其被配置为控制spon模型250如何被初始化。初始化单元230被配置为：(1)接收候选下位词-上位词对的列表(例如，从过滤和扩展单元220或基于语言学模式的单元210)，以及(2)生成候选下位词-上位词-计数三元组的列表，其中，每个三元组包括候选下位词、候选上位词和指示在文本语料库c中的候选下位词和候选上位词之间观察到上下位关系的次数的频率(即，计数)。例如，(爱尔兰，国家，795)和(商店，公共区域，78)是从语料库中提取的三元组的一些示例。
46.在一个实施例中，初始化单元230被配置为基于预初始化的单词/字符嵌入或者从文本语料库c训练的单词/字符嵌入，对候选下位词-上位词-计数三元组的列表的每个词(即，候选下位词、候选上位词)进行编码，使得所得到的列表包括用于列表的每个词的初始(即，初始化)向量。例如，如果基于预初始化的单词/字符嵌入来编码列表的每个词，则使用外部预训练的向量来初始化spon模型250。作为另一实例，如果基于从文本语料库c训练的单词/字符嵌入来编码列表的每一词，那么使用来自文本语料库c的嵌入来初始化spon模型250。
47.在一个实施例中，在学习过程(即，学习或训练时期/阶段)期间，系统200被配置为基于包括is-a关系的训练数据来训练spon模型250。假设一般表示用于训练spon模型250的训练数据。在一个实施例中，训练数据包括候选下位词-上位词对。例如，在一个实施例中，系统200将候选下位词-上位词-计数三元组的列表(例如，来自初始化单元230)作为训练数据馈送到spon模型250。如本文稍后详细描述的，在学习过程期间，针对满足作为软约束的严格偏序关系的非对称性和传递性要求的损失函数来训练spon模型250。
48.从学习过程得到的经训练的spon模型250被配置成归纳上下位关系。在一个实施例中，在部署期间/阶段中，经训练的spon模型250被用于执行任务，例如但不限于上位词检测、上位词定向和上位词发现。例如在一个实施例中，经训练的spon模型250被应用于分类/预测未见的词对(即，在训练数据中未见的词对)是否为上下位关系。
49.图3示出了根据本发明实施例的示例spon模型250。在一个实施例中，spon模型250是被训练成将严格偏序关系的非对称性和传递性要求强制执行为软约束的神经网络架构。
50.假设ε一般表示词的词汇(即，在训练数据中观察/看到的候选下位词-上位词对
的所有词的集合)，并且假设φ一般表示在候选下位词-上位词-计数三元组的列表中的三元组，其中φ＝(x,y,s),x∈ε,y∈ε，并且s是候选下位词-上位词对(x,y)的频率(即，计数)，其指示在x和y之间观察到上下位关系的次数。
51.在一个实施例中，在学习过程期间，使用从训练数据导出的肯定例(即，肯定实例)和否定例(即，否定实例)来训练spon模型250。假设一般表示在训练数据中观察/看到的所有上位词的集合。每个肯定实例包括一对词其中是训练数据中给定候选下位词x的一组候选上位词。每个否定实例包括一对词其中是训练数据中给定候选下位词x的否定上位词样本(即，错误的上位词)的集合。在一个实施例中，系统200被配置为使用随机的负采样生成给定候选下位词x的否定实例(即，从随机地均匀地选择词，其中，所选择的词表现为上位词，但不是给定候选下位词x的上位词)。
52.假设表示输入向量，其中，并且每个词x∈ε都通过输入向量来表示。spon模型250包括乘法单元260，其被配置为执行输入向量与权重向量w1的逐元素乘法以获得加权向量其中是逐元素乘法。spon模型250包括被配置成将加权矢量加到偏差矢量b1以获得有偏差和加权的矢量的加法单元265。
53.假设f和g并表示函数，其中以及在一个实施例中，函数f和g满足两个约束：首先，函数f和g满足该函数g是非线性非负激活函数的约束。在一个实施例中，spon模型250包括经整流的线性单元(relu)层270，其被配置成通过将函数g实现为由以下提供的等式(1)表示的平滑函数来满足该约束：
[0054][0055]
第二，函数f和g满足由下面提供的等式(2)表示的约束：
[0056][0057]
在一个实施例中，spon模型250包括加法单元280，其被配置为从relu层270根据等式(2)将添加到输入向量以获得
[0058]
对函数f和g的两个约束确保了逐个分量f(x)≥x。一般假设表示输入向量，其中，并且每个词y∈ε都通过输入向量来表示。在学习过程期间，spon模型250被训练成通过学习确保逐个分量组件方面的合适的模型参数θ来对上下位关系“x is-a y”建模。逐个分量建模。逐个分量的条件被强加为软约束，并且系统200确保对该约束的违反(经由损失函数编码)被尽可能最小化。
[0059]
一般假设表示输入向量，其中，并且每个词z∈ε都通过输入向量来表示。如果以“x is-a y”意味着逐个分量(反之亦然)(即对该不等式的违反为零)的方式学习模型参数θ，则spon模型250满足严格偏序关系的非对称性和传递性要求。
[0060]
例如，如果“x is-a y”并且“y is-a z”，则遵循逐个分量和逐个分量从等式(1)中可以清楚地看出对于所有的有将表达式应用于等式(2)得到对于所有的的表达式逐个分量因此，事实
上因此，逐个分量或换句话说“x is-a z”。这证明了spon模型250的传递特性。
[0061]
作为另一个例子，如果“x is-a y”，则它遵循逐个分量使用前一点的观察，对所有的存在逐个分量从这两点来看，逐个分量或者换句话说“y is-not-a x”。这证明了模型spon模型250的非对称性。
[0062]
假设ψ(x,y)表示捕捉候选下位词-上位词对(x，y)的满足距离的损失值(即，满足不等式逐个分量的距离/有多远)。在一个实施例中，为了确保在学习过程期间尽可能少地违反条件逐个分量spon模型250包括损失层290，其被配置成根据以下提供的等式(3)来计算损失值：
[0063][0064]
其中，所述和是在参与维度d的所有分量上取得的，并且∈是标量超参数。在一个实施例中，spon模型250被配置为计算和最小化每个候选的下位词-上位词对(x,y)的交叉熵损失，其中交叉熵损失被加权，并且在交叉熵损失中作为因子的权重被计算为频率参数的函数。
[0065]
对于需要从文本语料库c自动地归纳上下位关系的任务，将诸如听觉上相似的模式的语言学模式应用于文本语料库c可能不是穷举的。一些应用具有将词汇表以外的oov下位词分配给它们最可能正确的类型的实际要求。在一个实施例中，系统200通过上位词发现满足这个要求，从而允许从文本语料库c中创建上下位关系，并避免通常表征大多数知识库的稀疏性问题。在一个实施例中，系统200通过利用在相同文本语料库c中的单词之间的分布相似性度量来实现上位词发现。
[0066]
例如，在提供spon模型250的扩充变体的一个实施例中，在学习过程期间，spon模型250被训练以学习在训练数据中出现的单词/字符(即，词)的嵌入。一般假设表示oov输入测试下位词。在一个实施例中，spon模型250被配置为生成内的每个下位词的前k个排名的上位词，其中k是正整数。一般假设y
x
表示用于在训练数据中未见到的oov下位词x的上位词的分配的随机变量，其中y
x
取训练数据中的已知上位词集合内的值(由表示)。spon模型250被配置为根据以下提供的等式(4)来计算随机变量y
x
取值的概率：
[0067][0068]
其中y
x
⊥
x|h(即，给定h的话，y
x
独立于x)，m是提供在[0，1]之间的分数的评分函数(即，m是(归一化的)相似性函数，其中(即，m是(归一化的)相似性函数，其中)，包含来自提供该评分函数m的前p个最大值的ε的p个词，并且p是超参数。在一个实施例中，spon模型250在根据等式(4)计算加权和之前，首先使用softmax操作来归一化m(h|x)的值，其中
[0069]
下面的表1提供了对来自英语数据集的八个随机选择的测试查询的集合执行上位词发现的spon模型250所产生的上位词的排序预测(从左到右)的示例。
[0070]
表1
[0071][0072]
如表1所示，顶部的四个查询词是oov下位词，而底部的四个查询词是词汇表内的下位词。与预期的上位词匹配的预测的上位词是粗体，不包括在预期的上位词中的预测的上位词具有下划线。
[0073]
图4是根据本发明的实施例的用于基于神经网络的上位词归纳的示例过程500的流程图。过程块501包括接收文本语料库。过程块502包括基于文本语料库生成三元组的第一列表，其中第一列表的每个三元组包括表示候选下位词的第一词、表示候选上位词的第二词、以及指示在文本语料库中的候选下位词和候选上位词之间观察到上下位关系的次数的频率值。过程块503包括基于第一列表训练用于上位词归纳的神经网络，其中经训练的神经网络是严格偏序网络(spon)模型。处理块504包括应用spon模型来执行任务(例如，上位词检测、上位词定向或上位词发现)。
[0074]
在一个实施例中，处理块501-504由系统200的一个或多个组件执行。
[0075]
图5是示出了用于实现本发明的一个实施例的信息处理系统300的高级框图。计算机系统包括一个或多个处理器，例如处理器302。处理器302连接到通信架构304(例如，通信总线、跨接条或网络)。
[0076]
计算机系统可以包括显示接口306，其转发来自语音通信架构304(或来自未示出的帧缓冲器)的图形、文本和其他数据以便在显示单元308上显示。在一个实施例中，计算机系统还包括主存储器310，优选地是随机存取存储器(ram)，并且还包括辅助存储器312。在一个实施例中，辅助存储器312包括例如硬盘驱动器314和/或可移动存储驱动器316，其表示例如软盘驱动器、磁带驱动器或光盘驱动器。可移动存储驱动器316以本领域普通技术人员公知的方式从可移动存储单元318读取和/或向其写入。可移动存储单元318代表例如软盘、压缩盘、磁带或光盘等，其由可移动存储驱动器316读取和写入。如将了解的是可移除存储单元318包括其中存储有计算机软件和/或数据的计算机可读介质。
[0077]
在替代实施例中，辅助存储器312包括用于允许计算机程序或其它指令被加载到计算机系统中的其它类似部件。这种部件包括例如可移动存储单元320和接口322。这种部件的例子包括程序封装和封装接口(例如在视频游戏设备中找到)、可移动存储器芯片(例如eprom或prom)和相关的插槽、以及其它可移动存储单元320和接口322，其允许软件和数据从可移动存储单元320传送到计算机系统。
[0078]
在一个实施例中，计算机系统还包括通信接口324。通信接口324允许软件和数据在计算机系统和外部设备之间传输。在一个实施例中，通信接口324的示例包括调制解调器、网络接口(例如以太网卡)、通信端口或pcmcia插槽和卡等。在一个实施例中，经由通信接口324传送的软件和数据是信号的形式，所述信号例如是电子、电磁、光或能够由通信接
口324接收的其他信号。这些信号经由通信路径(即，信道)326被提供给通信接口324。在一个实施例中，该通信路径326承载信号，并且使用电线或电缆、光纤、电话线、蜂窝电话链路、rf链路和/或其它通信信道来实现。
[0079]
本发明可以是任何可能的技术细节的集成级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
[0080]
计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
[0081]
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
[0082]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言(包括面向对象的编程语言，例如smalltalk、c 等)和过程编程语言(例如“c”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种场景下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
[0083]
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0084]
这些计算机可读程序指令可以被提供给计算机的处理器或其他可编程数据处理装置以产生机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的部件。这些计算机可读程序
指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
[0085]
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
[0086]
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的同时、基本同时、以部分或全部时间重叠的方式执行的两个框实际上可以作为一个步骤来实现，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
[0087]
从以上描述中，可以看出，本发明的实施例提供了用于实现本发明的实施例的系统、计算机程序产品和方法。本发明的实施例还提供了用于实现本发明的实施例的非暂时性计算机可用存储介质。非暂时性计算机可用存储介质具有计算机可读程序，其中，程序在计算机上被处理时使计算机实现本文描述的本发明的实施例的步骤。除非明确地这样声明，权利要求中对单数元件的引用不不旨在表示“一个并且仅一个”，而是表示“一个或更多个”。当前已知或以后将为本领域普通技术人员所知的上述示例性实施例的元件的所有结构和功能等同物旨在被本权利要求所涵盖。本文的权利要求元素不应根据美国法典第35章第112节第六段的规定来解释，除非该元素使用短语“用于
…
的部件”或“用于
…
的步骤”来明确地陈述。
[0088]
本文所用的术语仅是为了描述本发明的特定实施例而不是旨在限制的目的。如本文所用，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还将理解，术语“包括”和/或“包含”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
[0089]
以下权利要求中的所有部件或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其它要求保护的元件组合来执行功能的任何结构、材料或动作。
[0090]
已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。