数据标签验证的制作方法

数据标签验证


背景技术：

1.本发明一般涉及数据集的标签质量，并且更具体地，涉及验证标记的数据集的记录的标签。
2.人工智能(ai)和机器学习(ml)在任何规模的企业和每个垂直行业中都在采取中心阶段。尽管用户获得了越来越多的ml技术的体验，但是算法的训练仍然是非常耗时的任务。繁重的一个领域是提供好的训练数据，即，用于监督学习的正确标记的数据。因此，误标记的数据是机器学习领域的一系列应用和方法的问题。机器学习分类器的性能很大程度上取决于用于训练和验证的数据标签的质量。通常，需要人工监督来获得数据集的标签。因此，标记过程a)耗时，b)可能包含错误(误标记)。然而，应当注意，如在若干出版物中所描述的，误标记不仅可能由于人为错误而发生，而且误标记可能是收集数据的固有部分。
3.检测和校正误标记的数据对于企业用户来说是很感兴趣的，因为误标记的数据直接影响ml模型性能。随着数据集变得更大，手动验证标签的过程在时间上是不可行的，从而导致需要自动检测误标记的数据。
4.ai创新的下一个浪潮可能由使用位于监督学习和非监督学习之间某处的方法训练的深度学习模型来促进。计算机科学家和工程师正在探索许多这样的学习方法，其中一些可能带来三重威胁：较少的标记的数据、较少的数据量和较少的人为干预。其中，“单样本学习(one-shot learning)”最接近无监督学习。单样本学习基于这样的前提，即大多数人类学习在仅接收一个或两个示例时发生。
5.单样本学习或小样本学习(few-shot learning)通常基于先前学习的概念到尚未遇到的新的情形或对象的“快速转移”。这可以通过硬编码、在相应模型中的明确定义的规则集、或者通过在贝叶斯方法中利用先验来实现。因此，该思想基于通过共享的可概括概念来促进学习。
6.一旦已经学习了用于广泛的类别的特性概念，该概念可能需要识别不可见的类别(由独立的标签标识)或允许示例隔离是可用的类别中没有一个的特性。
7.属于这里提出的概念的一般上下文的一些文件包括文件wo 2018/226492a1。本文档公开了通过在结构上改变基础深度神经网络以创建更新的深度神经网络来改进训练到基础深度神经网络的方法和计算机系统，使得更新的深度神经网络在训练数据上相对于基础深度神经网络在性能上没有退化。
8.另外，文档us 8,331,657b2公开了一种计算机实现的模式识别方法，包括：在模式识别系统内的分类器模块内的多个模型之间电子地创建链接，使得所述多个模型中的任何一个可以被选择为识别过程中的活动模型，在所述多个链接模型中的至少一个模型和所述多个链接模型中的至少第二模型之间电子地创建虚假设(null hypothesis)，电子地累积证据以接受或拒绝所述虚假设，以及将电子地累积的证据的一部分传输到模式分类器模块。然而，迄今为止，大多数已知方法依赖于好的标记的数据。
9.因此，在从监督学习到经由转移学习、强化和单样本学习的完全无监督学习的道路上，对正确标记的数据的要求保持高。因此，本发明的实施例提出如何提高标记的数据的
质量。


技术实现要素：

10.本发明的各方面公开了一种用于验证数据集的记录的标签的方法、计算机程序产品和系统。记录包括样本数据和多个标签中的相关的标签。该方法包括一个或多个处理器将数据集划分成训练数据集和推断数据集，训练数据集包括与选择的标签相关的记录，推断数据集包括具有与选择的标签和多个标签中的所有其他标签相关的样本数据的记录。该方法还包括一个或多个处理器将训练数据集划分成多个学习器训练数据集。学习器训练数据集包括与选择的标签相关的至少一个样本。该方法还包括一个或多个处理器训练多个标签特定的小样本学习器。利用多个学习器训练数据集之一来训练该小样本学习器。该方法还包括一个或多个处理器由多个训练的标签特定的小样本学习器对推断数据集执行推断，以生成多个预测的标签输出值的集合。
11.在进一步的实施例中，所述方法还包括一个或多个处理器聚合预测的标签输出值的集合中的每个集合内的预测的标签输出值，从而为多个标签特定的小样本学习器生成相应分数值，相应分数值反映预测的选择的标签的变化性。响应于确定至少预定义数量的分数值在预定义可变性阈值以下，该方法还包括一个或多个处理器确定数据集为关于选择的标签被验证。
12.在本发明的另一方面，所述计算机程序产品包括一个或多个计算机可读存储介质和存储在该一个或多个计算机可读存储介质上的程序指令，该程序指令包括用于将数据集划分成训练数据集和推断数据集的程序指令，训练数据集包括与选择的标签相关的记录，推断数据集包括具有与选择的标签和所述多个标签中的所有其他标签相关的样本数据的记录。该计算机程序产品还包括程序指令，该程序指令包括将训练数据集划分成多个学习器训练数据集。学习器训练数据集包括与选择的标签相关的至少一个样本。该计算机程序产品还包括用于训练多个标签特定的小样本学习器的程序指令。利用多个学习器训练数据集之一来训练该小样本学习器。该计算机程序产品还包括用于由多个训练的标签特定的小样本学习器对推断数据集执行推断以生成多个预测的标签输出值的集合的程序指令。
13.在进一步的实施例中，该计算机程序产品还包括程序指令，用于聚合预测的标签输出值的集合中的每个集合内的预测的标签输出值，从而为多个标签特定的小样本学习器中的每一个生成相应分数值，相应分数值反映预测的选择的标签的变化性。响应于确定至少预定义数量的分数值在预定义可变性阈值以下，该计算机程序产品还包括用于确定数据集为关于选择的标签被验证的程序指令。
14.在本发明的另一方面，计算机系统包括一个或多个计算机处理器、一个或多个计算机可读存储介质以及存储在该计算机可读存储介质上以供该一个或多个处理器中的至少一个执行的程序指令，所述程序指令包括用于将数据集划分成训练数据集和推断数据集的程序指令，训练数据集包括与选择的标签相关的记录，推断数据集包括具有与选择的标签和多个标签中的所有其他标签相关的样本数据的记录。该计算机系统还包括用于将训练数据集划分成多个学习器训练数据集的程序指令。学习器训练数据集包括与选择的标签相关的至少一个样本。计算机系统还包括用于训练多个标签特定的小样本的程序指令。利用多个学习器训练数据集之一来训练小样本学习器。该计算机系统还包括用于由多个训练的
标签特定的小样本学习器对推断数据集执行推断以生成多个预测的标签输出值的集合的程序指令。
15.在进一步的实施例中，该计算机系统还包括用于聚合预测的标签输出值的集合中的每个集合内的预测的标签输出值的程序指令，从而为多个标签特定的小样本学习器生成相应分数值，相应分数值反映预测的选择的标签的变化性。响应于确定至少预定义数量的分数值在预定义可变性阈值以下，该计算机系统还包括用于确定数据集为关于选择的标签被验证的程序指令。
16.所提出的用于验证数据集的记录的标签的计算机实现的方法可以提供多个优点、技术效果、贡献和/或改进。
17.本发明的各个方面可以成功地克服用于检测遭受性能退化的误标记的样本的现有提议中的问题，其中标签噪声的比率太高。具体地，在要检查标签错误的相同数据集(的子样本)上训练的集成分类器可以取决于所训练的质量数据。以已知基础事实或以高置信度已知标签的示例训练的单样本或小样本学习模块不倾向于前述性能限制；因此，为成功检测误标记的数据实例提供了自动化解决方案。当处理具有标签的数据时(即，为了确保标签数据的正确性)，这是普遍重要的。
18.因此，所提出的方法可以自动地显著地且可靠地增加用于机器学习的标记的数据的标签质量，即使在困难的条件下(例如，高度误标记)。
附图说明
19.图1示出了根据本发明的实施例的用于验证数据集的记录的标签的本发明的计算机实现的方法的实施例的框图。
20.图2示出了根据本发明的实施例的本文提出的方法的更象形形式的框图。
21.图3示出了根据本发明的实施例的用于应用所提出的方法的实际示例的一系列矩阵。
22.图4示出了根据本发明的实施例的与图3中使用的相同示例相关联的一系列矩阵。
23.图5示出了根据本发明的实施例的与图3和图4中使用的相同示例相关联的一系列矩阵。
24.图6示出了根据本发明的实施例的用于验证数据集的记录的标签验证系统的实施例。
25.图7示出了根据本发明的实施例的包括根据图6的标签验证系统的计算系统的实施例。
具体实施方式
26.应当注意，本发明的实施例是参考不同的主题来描述的。特别地，一些实施例是参考方法类型权利要求来描述的，而其他实施例是参考装置类型权利要求来描述的。然而，本领域技术人员将从以上和以下描述中了解到，除非另外指出，除了属于一种类型的主题的特征的任何组合之外，与不同主题相关的特征之间的任何组合，特别是方法类型权利要求的特征与装置类型权利要求的特征之间的任何组合，也被认为是在本文件内公开的。
27.从下文将描述的实施例的示例中，本发明的上述方面和其它方面是显而易见的，
并且将参考实施例的示例进行解释，但是本发明不限于此。将仅通过示例并参考以下附图来描述本发明的优选实施例。
28.在本说明书的上下文中，可以使用以下惯例、术语和/或表达：
29.术语“机器学习”(ml)可以表示计算机系统可以使用的多个算法和统计模型，以便在不使用显式指令的情况下有效地执行特定任务，而是依赖于模式和推断。算法的行为不以过程方式执行。ml被看作人工智能(ai)的子集。ml算法基于被称为“训练数据”的样本数据来构建数学模型，以便在没有被显式编程以执行任务的情况下做出预测或决策。ml的典型实现可以基于(深度)神经网络。
30.术语“推断”可以表示训练的机器学习系统对新信息的处理。例如，推断过程的结果可被表示为预测或分类到未知数据的分类器的类别中。
31.术语“贝叶斯推断”可以表示统计推断的方法，其中贝叶斯定理用于在更多证据或信息变得可用时更新假设的概率。贝叶斯推断是统计学中的重要技术，尤其是数学统计学中的重要技术。贝叶斯更新在数据序列的动态分析中特别重要。单样本或小样本学习器可以使用“贝叶斯推断”模型来实现。由此，贝叶斯推断导出后验概率作为两个前身的结果：先验概率和从观测的数据的统计模型导出的“似然函数”。贝叶斯推断根据贝叶斯定理计算后验概率。
32.术语“数据集”可以表示包括可以用于训练机器学习模型的数据的多个记录。除了净训练数据(net training data)之外，每个记录还可以包括应当描述净数据(net data)的标签。例如，对象的图像可以被看作净训练数据，其中相关的标签描述图像的内容。在附加示例中，街道上的场景可以示出汽车；因此，标签可以是“汽车”。然而，其它标签也可用于相同场景(例如，“交通灯”、“行人”、“街道”、“走道”、“十字路口”等)，因为该对象也可在场景的图像中示出。
33.术语“单样本或小样本学习”通常可以基于将先前学习的概念“快速转移”到尚未遇到的对象的新情况。单样本或小样本学习可以通过在相应模型中对明确定义的路线进行心脏编码或者可替换地通过在贝叶斯方法中利用先验来实现。因此，该概念基于通过共享的广义概念来促进学习。换句话说，单样本学习器是计算机视觉中经常发现的对象分类问题解答器。尽管大多数基于机器学习的对象分类算法需要对数百或数千样本/图像和非常大的数据集进行训练，但是单样本学习(或小样本学习)旨在从一个或仅少量训练样本/图像学习关于对象类别的信息。
34.一旦已经学习了宽范围类别的特征概念，它们可能必须识别尚未见过的类别(例如，在独立标签之间进行区分)或者允许隔离不是任何可用类别的特性的示例。
35.下面，将给出附图的详细描述。图中的所有说明都是示意性的。首先，给出了用于验证数据集的记录的标签的本发明的计算机实现的方法的实施例的框图。然后，将描述进一步的实施例以及用于验证数据集的记录的标签的数据标签验证系统的实施例。
36.图1示出了用于验证数据集的记录的标签的计算机实现的方法100的示例实施例的框图，其中记录包括样本数据和多个标签中的至少一个相关的标签(例如，记录可以具有标签u、w、v、x、y、z)。方法100包括在步骤102中，将数据集划分成训练数据集和推断数据集，训练数据集包括与一个选择的标签(即，具有y标签，诸如“猫”)相关的记录，推断数据集包括具有与选择的标签(即，标签“y”)相关的样本数据的记录以及多个标签(即，以上示例中
的标签u、w、v、x、z)中的所有其他标签。
37.方法100还包括在步骤104中，将训练数据集(随机地，或根据另一预定义方法)划分成多个学习器训练数据集。学习器数据集可各自包括与选择的(相关的)标签相关的至少一个样本。然后，方法100包括在步骤106中，利用多个学习器训练数据集之一来训练多个标签特定的小样本学习器。在示例实施例中，被实现为学习器的分类器是具有两个输出类别的分类器：根据上述实施例，好的标签y或坏的标签y。
38.此外，方法100包括在步骤110中由多个训练的标签特定的小样本学习器对推断数据集(即，通常是完整的推断数据集)执行推断。在各种实施例中，执行推断可以导致多个预测的标签输出值的集合(即，针对每个小样本学习器有一组，由于直接的一对一关系，其相当于针对每个学习器训练数据组的一组)。
39.另外，方法100包括在步骤112中，聚合预测的标签输出值的集合中的每个集合内的预测的标签输出值。由此，本发明的实施例可以确定并提供多个标签特定的小样本学习器中的每一个的相应分数值。相应分数值反映预测的选择的标签的可变性。该可变性也可以理解为标记噪声。
40.此外，方法100包括在步骤114中，如果至少预定义数量(或预定义百分比)的分数值在预定义可变性阈值以下，则确定数据集关于选择的标签(即，标签“y”(例如，“猫”))被验证。此外，低数量的分数值可表示记录和相关的子数据的标签具有好的质量。
41.图2描绘了根据本发明的实施例的框图200，即所提出的方法的象形形式。
42.初始数据集202被分割成两部分：推断数据集204以及训练数据，其被再次随机地(或根据另一算法)分割，特别是在学习器训练数据集206中。在另外的实施例中，可以从用于数据集的记录的潜在的多个标签中选择选择的标签(例如，标签“y”)。然而，在其他实施例中，记录不对应于多个标签。例如，如果简单的动物图像必须被分类/标记，则图像可以对应于一个标签(例如，“猫”、“狗”、...“海豚”等)。
43.本发明的实施例然后可以使用学习器训练数据集来训练标签特定(即，这里针对标签“y”)的学习器208(即，分类器)。学习器训练数据集已经用另一独立数据集进行了预先训练，以根据选择的“y”标签进行分类。
44.学习器训练数据集206中的每个记录可以(例如，在出现期间)产生预测或预测的标签输出值(“好的标签”或“坏的标签”的置信度水平)。因此，如果学习器训练数据集206包括记录的大写数f，则也生成询问的置信度水平值。
45.接下来，本发明的实施例聚合预测的标签输出值(例如，通过根据另一算法确定平均值或期望值)，从而产生合并的、预测的标签输出值的向量210。在示例中，向量的一个维度可以表示一个学习器训练数据集206。如果满足阈值标准，则相关的初始数据集202可以被认为被验证(212)。例如，基于学习器训练数据集的至少预定义数量的先前确定的分数值(所得向量的维度)是否在预定义“正确标签”阈值以下。
46.图3描绘了根据本发明实施例的用于应用所提出的方法100的实际示例的一系列矩阵300。矩阵302表示初始数据集(即，初始数据集)。在第一步骤中，选择标签(例如，“y”)，其应当被验证。选择的标签可以是初始数据集中的可能多个标签中的任何一个。该标签可以由围绕具有标签“猫”的图像4和6的示例性黑框来表示。
47.在第二步骤中，从矩阵302的子集中进行m个单独的绘制(不用替换)，其具有正标
签“y”(即，“猫”)，其可以被命名为子集a 306。矩阵304的其余部分(具有和不具有标签y)被认为是参考，即推断数据集的验证，也被称为子集a1 b，308。
48.然后，通过使用单样本或小样本学习器执行上述训练，得到m个训练的模型310(例如，l1、l2、l3、l4和潜在的更多模型)。在第四步骤中，先前训练的m个分类器(即，单样本或小样本学习器)被用在子集a1 b，308的样本上，这产生了a1 b，308中的每个模型和每个样本的预测的标签。
49.在第五步骤中，聚合a1 b，308中每个样本的分类结果值(即预测的标签输出值)(例如平均值)。观察到的主要度量是预测的标签(对应于低置信度的大变化有效性)，其也可以被公式化为标签熵。然后，在第六步骤中，确定对于子集a1 b，308是否已经超过阈值标准(例如，比较图2，212)。矩阵312描绘了上述过程的示例结果。矩阵312的最左边的两列对应于矩阵308(a1 b，308)。“均值”列和“std”列(标准偏差)表示聚合的结果。
50.作为标准，预测值(p val，ha＞50％)被描绘在从右数第二列中。分类可以根据以下交通灯算法进行：“猫”：不是“猫”；不是“猫”：未通过：上述部分过程可以被看作第一迭代(i＝1)。图4中说明第二迭代。
51.图4描述了根据本发明的实施例的在第二迭代(i＝2)期间与图3中使用的示例相关联的一系列矩阵400。
52.作为y标签，再次使用“猫”用于优化过程，如在矩阵404中可以看到的。再次，进行对训练数据集(a-a2、406)和干扰数据集(a2 b、408)的分割，从而得到示例性学习器的其他模型410l1’、l2’、l3’、l4’。
53.矩阵412描绘了上述图3和图4的过程的结果矩阵，利用与图3中相同的结束准则以及用于交通灯方案的条件，从矩阵的底部起的p val＝0.876的第二行标记“未通过”。
54.在所提出的方法的附加步骤中，本发明的实施例可以执行附加迭代(i＝3、4、5、...)。如果所有的样品都被分类为“猫”或“不是猫”，则该过程可以移至图5所示的下一标签。
55.图5描述了根据本发明实施例的与图3和图4中所使用的相同示例的一系列矩阵500。然而，在图5中，选择标签y“狗”(矩阵504)。给出图3和图4中的上述解释的示例，选择了标签“狗”的矩阵502，训练数据集506a-a1与推断数据集b a1，508分离，再次产生不同的模型510l1、l2、l3、l4。如上所述，对聚合的预测的标签输出值的结果矩阵进行评估。
56.出于完整性原因，图6描绘了根据本发明的实施例的用于验证数据集的记录的标签的数据标签验证系统的系统600的框图。在各种实施例中，系统600包括根据本发明的实施例的操作以执行方法100(图1)的处理的模块和组件。
57.另外，记录包括样本数据和多个标签中的相关的标签。系统600包括划分单元602，其适于将数据集划分成训练数据集和推断数据集，训练数据集包括与一个选择的标签相关的记录，推断数据集包括具有与选择的标签和多个标签中的所有其他标签相关的样本数据的记录。因此，划分单元602还适于将训练数据集随机地划分成多个学习器训练数据集，每个学习器训练数据集包括与选择的标签相关的至少一个样本。
58.系统600还包括训练模块604，其适于训练多个标签特定的小样本学习器606，小样
本学习器606中的每一个利用多个学习器训练数据集之一来训练。系统600还包括推断单元608，其适于由多个训练的标签特定的小样本学习器606对推断数据集执行推断，从而得到多个预测的标签输出值的集合。
59.另外，系统600包括聚合模块610，其适于聚合预测的标签输出值的集合中的每个集合内的预测的标签输出值，从而为多个标签特定的小样本学习器(对应于相关的特定学习器训练数据集)中的每一个提供相应分数值。因此，相应分数值反映预测的、选择的标签的可变性，并且确定模块612适于如果至少预定义数量的分数值在预定义可变性阈值以下，则确定数据集为关于选择的标签被验证。
60.本发明的实施例实际上可以与任何类型的计算机一起实现，而不管平台是否适于存储和/或执行程序代码。图7作为示例示出了适于执行与所提出的方法相关的程序代码的计算系统700。
61.计算系统700仅是合适的计算机系统的一个示例，并且不旨在对本文描述的本发明的实施例的使用范围或功能提出任何限制，无论计算机系统700是否能够被实现和/或执行上文阐述的任何功能。在计算机系统700中，存在可与众多其它通用或专用计算系统环境或配置一起操作的组件。适合与计算机系统/服务器700一起使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络pc、小型计算机系统、大型计算机系统、以及包括任何上述系统或设备的分布式云计算环境等。计算机系统/服务器700可以在计算机系统700执行的诸如程序模块等计算机系统可执行指令的一般上下文中描述。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器700可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于本地和远程计算机系统存储介质中，包括存储器存储设备。
62.如图所示，计算机系统/服务器700以通用计算设备的形式示出。计算机系统/服务器700的组件可以包括但不限于一个或多个处理器或处理器702、系统存储器704、以及将包括系统存储器704在内的各种系统组件耦合到处理器702的总线系统706。总线系统706表示若干类型的总线结构中的任何一种的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线体系结构中的任何一种的处理器或局部总线。作为示例而非限制，这些体系结构包括工业标准体系结构(isa)总线、微通道体系结构(mca)总线、增强型isa(eisa)总线、视频电子技术标准协会(vesa)局部总线和外围部件互连(pci)总线。计算机系统/服务器700通常包括各种计算机系统可读介质。这样的介质可以是可由计算机系统/服务器700访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。
63.系统存储器704可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)708和/或高速缓冲存储器710。计算机系统/服务器700还可以包括其它可移动/不可移动、易失性/非易失性计算机系统存储介质。仅作为示例，存储系统712可被提供用于从不可移动、非易失性磁介质(未示出，并且通常被称为“硬盘驱动器”)读取和向其写入。尽管未示出，但是可以提供用于从可移动、非易失性磁盘(例如，“软盘”)读取和向其写入的磁盘驱动器，以及用于从诸如cd-rom、dvd-rom或其它光学介质的可移动、非易失性光
盘读取或向其写入的光盘驱动器。在这样的实例中，每个可以通过一个或多个数据介质接口连接到总线系统706。如下面将进一步描绘和描述的，存储器704可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)程序模块，该程序模块被配置成执行本发明的实施例的功能。
64.具有一组(至少一个)程序模块716的程序/实用程序以及操作系统、一个或多个应用程序、其它程序模块和程序数据可被存储在存储器704中，这是作为示例而非限制的。操作系统、一个或多个应用程序、其它程序模块和程序数据或其某种组合中的每一个可包括联网环境的实现。程序模块716通常执行如本文所述的本发明实施例的功能和/或方法。
65.计算机系统/服务器700还可以与一个或多个外部设备718通信，诸如键盘、定点设备、显示器720等；一个或多个设备，其使得用户能够与计算机系统/服务器700交互；和/或使计算机系统/服务器700能够与一个或多个其它计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以经由输入/输出(i/o)接口714发生。此外，计算机系统/服务器700可以经由网络适配器722与一个或多个网络通信，所述网络诸如局域网(lan)、通用广域网(wan)和/或公共网络(例如，因特网)。如所描绘的，网络适配器722可以经由总线系统706与计算机系统/服务器700的其他组件通信。应当理解，尽管未示出，但是可以结合计算机系统/服务器700使用其他硬件和/或软件组件。实例包括但不限于：微码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、raid系统、磁带驱动器和数据档案存储系统等。
66.另外，用于验证数据集的记录的标签的数据标签验证系统600可以被附接到总线系统706。
67.已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。
68.本发明可以被实现为系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
69.该介质可以是用于传播介质的电子、磁、光、电磁、红外或半导体系统。计算机可读介质的示例可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘的当前示例包括光盘只读存储器(cd-rom)、光盘读/写(cd-r/w)、dvd和蓝光盘。
70.计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过
波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
71.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
72.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如smalltalk、c 等)以及常规的过程式编程语言(例如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上作为独立软件包执行，部分地在用户的计算机上并且部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
73.在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
74.这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
75.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或另一设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或另一设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
76.附图中的流程图和/或框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所提及的功能可不按图中所提及的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组
合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
77.本文所用的术语仅是为了描述特定实施例的目的，而不是要限制本发明。如本文所用，单数形式“一”、“一个/种”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解，术语“包括”和/或“包含”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
78.在以下权利要求中的所有装置或步骤加上功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其它要求保护的元件组合执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了本发明的描述，但是该描述不是穷举的或者将本发明限制为所公开的形式。在不背离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说是显而易见的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并且使本领域的其他普通技术人员能够理解本发明的具有各种修改的各种实施例，如适合于预期的特定使用。