机器学习模型错误检测的制作方法

机器学习模型错误检测


背景技术：

1.本发明总体上涉及人工智能领域，更具体地涉及提高机器学习模型的准确性。
2.机器获取和应用知识和技能的各种能力已被归类为人工智能(“ai”)。机器学习被认为是ai的一种形式。机器学习已经采用了算法和统计模型，这些算法和统计模型使计算机系统能够主要基于数据模式和相关联的推理而不是显式指令来执行任务。一些机器学习模型已经执行了分类和/或其他预测任务。提供对这种模型何时以及如何被破坏的可操作洞察是有挑战性的。


技术实现要素：

3.公开了一种用于校正针对用户的机器学习基础模型的错误预测的方法，方法包括：基于机器学习基础模型的第一预测，确定机器学习基础模型的可解释特征对于机器学习基础模型的全局级重要性的全局级重要性幅度值。方法还包括：基于机器学习基础模型的第一预测，确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性方向标签。方法还包括：基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。
4.还公开了一种用于向用户警告机器学习基础模型的错误预测的方法，方法包括：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预测类的局部级重要性。方法还包括：基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。方法还包括：在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。方法还包括：基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。方法还包括：传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
5.还公开了一种用于校正针对用户的机器学习基础模型的错误预测的系统，系统包括：存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性幅度值。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征对机器学习基础模型的全局级重要性的全局级重要性方向标签。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。
6.还公开了一种用于向用户警告机器学习基础模型的错误预测的系统，该系统包括：存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预
测类的局部级重要性。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。至少一个处理器还被配置为执行指令以在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。至少一个处理器还被配置为执行指令以传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
7.还公开了一种用于向用户警告机器学习基础模型的错误预测的计算机程序产品，计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有包含在其中的程序指令，程序指令由至少一个处理器可执行，以使至少一个处理器：在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测对，并且确定机器学习基础模型的第一可解释特征对机器学习基础模型的预测类的局部级重要性。程序指令还由至少一个处理器可执行，以使至少一个处理器：基于机器学习基础模型的第一可解释特征的局部级重要性来确定机器学习基础模型的第一可解释特征对机器学习基础模型的全局级重要性。程序指令还由至少一个处理器可执行，以使至少一个处理器：在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成新预测。程序指令还由至少一个处理器可执行，以使至少一个处理器：基于机器学习基础模型的第一可解释特征的局部级重要性和机器学习基础模型的第一可解释特征的全局级重要性来确定针对新预测的错误指定。程序指令还由至少一个处理器可执行，以使至少一个处理器：传送新预测和针对新预测的错误指定的指示以用于呈现给用户。
附图说明
8.为了更完整地理解本公开，现在结合附图和详细描述参考以下简要描述，其中相同的附图标记表示相同的部件。
9.图1是根据本公开的各方面的假设示例情感分类模型(未示出)的lime分析所产生的示例局部级特征贡献或重要性的表格图示。
10.图2是根据本公开的各方面的机器学习预测系统的框图图示。
11.图3是示出根据本公开的各方面的、在一些情况下如何为诸如例如“不足”等不可解释的特征计算全局级重要性大小和方向的数据流图。
12.图4是根据本公开的各方面的机器学习预测过程的流程图图示。
13.图5是根据本公开的各方面的数据处理系统的硬件架构的框图图示。
14.所图示的图仅是示例性的，并且不旨在断言或暗示关于其中可以实现不同实施例的环境，架构，设计或过程的任何限制。
具体实施方式
15.首先应当理解，虽然下面提供了一个或多个实施例的说明性实现，但是所公开的系统，计算机程序产品和/或方法可以使用当前已知或存在的任何数目的技术来实现。本公开绝不应限于以下示出的说明性实现，附图和技术，包括在此示出和描述的示例性设计和实现方式，而是可以在所附权利要求及其等同物的全部范围内进行修改。
16.如在书面公开和权利要求中所使用的，术语“包括”和“包含”(及其变形)以开放式方式使用，因此应解释为意指“包括但不限于”。除非另外指明，否则如本文通篇使用的“或”不要求相互排他性，并且单数形式“一”，“一个”和“该”也旨在包括复数形式，除非上下文另外清楚地指明。
17.这里提到的“模块”或“单元”(及其变形)包括一个或多个硬件或电子组件，例如电路，处理器和存储器，它们可以被专门配置成执行特定功能。存储器可以包括存储数据的易失性存储器或非易失性存储器，所述数据例如但不限于计算机可执行指令，机器代码和其它各种形式的数据。模块或单元可以被配置为使用数据来执行一个或多个指令以执行一个或多个任务。在某些情况下，模块或单元还可以指被配置成执行特定任务的特定功能集，软件指令或电路。例如，模块或单元可以包括软件组件，例如但不限于数据访问对象、服务组件、用户界面组件、应用编程接口(“api”)组件；硬件组件，例如电路、处理器和存储器；和/或其组合。如这里所引用的，计算机可执行指令可以是任何形式，包括但不限于机器代码，汇编代码和以任何编程语言编写的高级编程代码。
18.此外，如本文所使用的，术语“传送”(及其变形)意味着通过传送链路接收和/或发送数据或信息。传送链路可以包括有线和无线链路，并且可以包括直接链路，或者可以包括通过一个或多个传送网络或网络设备(例如但不限于路由器、防火墙、服务器和交换机)的多条链路。传送网络可以包括任何类型的有线或无线网络。网络可以包括私有网络和/或诸如互联网的公共网络。另外，在一些实施例中，术语“传送”还可以包括系统的各种组件之间和/或与诸如键盘或显示设备之类的外部输入/输出设备的内部传送。
19.本文使用的“可解释特征”(及其变形)表示人类可理解的数据表示。文本数据的直观可解释特征是单词(或其它单字)或短语，尽管实际的相应机器学习模型可以在嵌入时建立。对于图像，可能的可解释特征可以是超像素，尽管可以使用像素级特征来训练相应的模型。
20.本文使用的“局部级可解释性”，“局部可解释性”，“局部级”，“局部”等(及其变形)是指用于证明相应机器学习模型为单个实例做出特定预测的原因的解释。在一些实施例中，本公开的各方面采用局部可解释模型不可知解释(“lime”)技术来进行局部级可解释性确定。lime通过扰动输入到机器学习模型的给定数据的可解释特征并且记录模型的结果预测概率中的相应变化来工作。基于扰动的数据输入和相应的预测输出，lime使用线性回归来为可解释特征的重要性分配相对权重。
21.图1是根据本公开的各方面的假设示例情感分类模型(未示出)的lime分析所产生的示例局部级特征贡献或重要性的表格图示100。在所描述的例子中，模型预测句子“panera gives me hiccups。”2(a)中为“正”。一元特征“panera”对幅度为0.576的正预测有正贡献，而“hiccup”对正预测有幅度为0.159的消极贡献。应当理解，通过观察局部级特征贡献，可以通过将单词“panera”视为正的重要指示符来确定模型产生预测误差，从而导致模型将正标签分配给负句子。本公开的各种实施例可以采用lime分析来确定机器学习模型的可解释特征的局部级重要性。然而，还应当理解，其它实施例可以采用任何多个其它合适的局部级可确定性技术。用于进行局部级解释的合适的备选方法的非限制性示例包括shapley加法解释(“shap”)和通过透明近似的黑框解释(“beta”)。
22.本文使用的术语“全局级可解释性”，“全局可解释性”，“全局级”，“全局”等(及其
变形)是指可解释特征如何影响相应机器学习模型关于整个或全部输入数据集的预测，而不是其对从整个数据集的单独数据实例做出的预测的影响。在一些情况下，机器学习模型可能已经在数百万个数据实例上进行了训练，而人类可能仅能够基于局部解释用更有限数目的输入来标记。应当理解，全局级可解释性可以允许个人获得对机器学习模型的更一般的理解，而不知道详细的实例级预测，并且在该意义上，全局可解释性可以帮助提取更多的提取知识以用于更少的人力。
23.本公开的方面提供了一种用于检测机器学习模型中的一个或多个错误的系统。给定预先训练的黑盒机器学习模型(“机器学习基础模型”或“基础模型”)和第一输入数据集，系统使用数据扰动过程在第一输入数据集上运行机器学习基础模型，以由机器学习基础模型生成基线预测，并且确定机器学习基础模型的可解释特征对基线预测中的每个基线预测的机器学习基础模型的每个预测类的局部级重要性。针对机器学习基础模型的相应预测类，局部级重要性中的每个局部级重要性对应于第一预测概率与第二预测概率之间的差，该第一预测概率由来自在包括该相应可解释特征的第一输入上运行机器学习基础模型生成，该第二预测概率由来自在排除该相应可解释特征的第二输入上运行机器学习基础模型生成。该系统聚合机器学习基础模型的可解释特征的局部级重要性，以确定可解释特征对于整个机器学习基础模型的全局级重要性。相应可解释特征的每个全局级重要性包括幅度值(“全局级重要性幅度值”)和方向标签(“全局级重要性方向标签”)。全局级重要性幅度值对应于机器学习基础模型的预测类中的相应可解释特征的相对最高的重要性幅度，并且全局级重要性方向标签对应于与该幅度值相关联的机器学习基础模型的预测类。该系统根据可解释特征相应的全局级重要性幅度值对可解释特征进行排序，传送排序最高的可解释特征中的一个或多个特征，并且传送针对这种排序最高的可解释特征中的一个或多个特征中的每个特征的相应的全局级重要性方向标签(用于呈现给一个或多个人类评估方)。根据相应的一致的人类评估，该系统接收这种排序最高的可解释特征中的一个或多个特征每个特征的传送，该特征具有错误的全局级重要性方向。该系统还接收第二输入数据集。系统在第二输入数据集上运行机器学习基础模型，以由机器学习基础模型生成一个或多个新的预测。该系统将计算针对每个新预测的局部错误得分，以作为由最高排序的可解释特征引入每个新预测的累积错误的归一化版本，该可解释特征根据相应的一致人类评估具有相应的错误全局级重要性方向。系统基于针对新预测的相应局部错误得分是否超过阈值来确定针对新预测中的每个预测的相应错误指定(例如，“有问题”或“可疑错误”，而非“无问题”或“非可疑错误”)。在一些实施例中，系统传送每个新预测和针对新预测的相应错误指定的指示(用于呈现给一个或多个系统开发者或一个或多个其它用户)。应当理解，一个或多个系统开发者或一个或多个其他用户可以进一步分析任何一个或多个有问题的新预测，和/或分析机器学习基础模型的任何关联数据或其他特性，并且可以修改机器学习基础模型和/或采取一个或多个其他改善和/或校正动作。在一些实施例中，系统传送一个或多个校正的预测(用于呈现给一个或多个用户)。每个这种校正的预测是基于一个或多个新预测中的相应的预测以及针对新预测的错误指定。更具体地，当针对新预测的错误指定是“有问题的”或“可疑错误”时，相应的校正预测是该新预测的逆预测。相反，当新预测的错误指示是“无问题的”或“不怀疑的错误”时，相应的校正预测与新预测相同。
24.图2是根据本公开的各方面的机器学习预测系统200的框图图示。机器学习预测系
统200被配置为实现根据本公开的各方面的机器学习预测过程400(机器学习预测过程400本身未在图2中明确示出，但参见图4)。机器学习预测系统200包括局部级重要性生成模块212。局部级重要性生成模块212被配置为接收机器学习基础模型216和第一输入数据集220的传送。应当理解，机器学习基础模型216可以是用于诸如情感分析、意图预测、图像分类等任务的预先训练的分类模型，或者可以是可以被视为黑盒的任何其他预先训练的机器学习模型。还应当理解，机器学习基础模型216可以包括逻辑回归，支持向量机(“svm”)，随机森林，组合神经网络(“cnn”)，递归神经网络(“rnn”)和/或任何其他一种或多种类型的机器学习和/或深度学习模型。局部级重要性生成模块212还被配置为通过从包含可解释的特征j的每个数据实例di，i∈{0，1，...，n}中一次一个地掩蔽每个单独的可解释特征j，来对第一输入数据集220的所有数据实例在局部级上运行基于扰动的lime分析，，并且被配置为将与机器学习基础模型216的每个类别标签k∈{0，1，...，k}相关联的机器学习基础模型216的预测概率中的绝对变化计算为：
25.其中p(y＝k|di)表示具有可解释特征j的机器学习基础模型216的预测概率，其中表示不具有可解释特征j的机器学习基础模型216的预测概率，并且其中表示可解释特征j对于数据实例di的与类k相关联的局部重要性。
26.局部级重要性生成模块212还被配置为将得到的集作为局部级重要性224进行传送。在一些实施例中，局部级重要性生成模块212可以包括数据处理系统中的对应的一个或多个数据处理系统，如数据处理系统500(数据处理系统500本身未在图2中明确示出，但参见图5)。
27.机器学习预测系统200还包括全局级重要性生成模块228。全局级重要性生成模块228传送地耦合到局部级重要性生成模块212。全局级重要性生成模块228被配置为接收局部级重要性224的传送。全局级重要性生成模块228还被配置为，对于包含每个可解释特征j的所有n个数据实例di，通过计算以下公式，将可解释特征j的局部级重要性聚合为全局级的所有n个数据实例di：
[0028][0029]
其中k*表示具有最大平均概率变化的类标签并且表示可解释特征j’的全局级重要性的方向，并且其中表示可解释特征j’的与对每个数据实例di的每个类k相关联的局部重要性。全局级重要性生成模块228还被配置为，将每个可解释特征j的全局级重要性的关联幅度计算为：
[0030][0031]
其中相关联的表示全局级重要性幅度。
[0032]
图3是根据本公开的各方面的在一些情况下如何针对一元可解释的特征(例如，“不足”)计算全局级重要性幅度和方向的数据流图图示300。应当理解，全局级重要性测量
可以被视为局部级重要性的聚合，其中基本假设是如果去除特征可以或多或少显著地改变预测概率，则该特征或多或少是重要的。
[0033]
再次参考图2，全局级重要性生成模块228还被配置为将k*的结果集作为相应的全局级重要性方向232进行传送，并且将相关联的的结果集合作为相应的全局级重要性幅度236进行传送。在一些实施例中，全局级重要性生成模块228可以包括数据处理系统中的对应的一个或多个数据处理系统，如数据处理系统500(数据处理系统500本身未在图2中明确示出，但参见图5)。
[0034]
机器学习预测系统200还包括可解释特征排序模块240。可解释特征排序模块240传送地耦合到全局级重要性生成模块228。可解释特征排序模块240被配置为接收全局级重要性方向232与全局级重要性幅度236的传送。可解释特征排序模块240还被配置为根据可解释特征j的相应全局级重要性幅度236以降序对其进行排序。可解释特征排序模块240还被配置为将可解释特征j的这种排序最高中的一个或多个特征的数目t与它们相应的全局级重要性方向232一起分别传送为t个排序最高的可解释特征244和t个全局级重要性方向248，以便最终呈现给一个或多个人类评估方252。在一些实施例中，可解释特征排序模块240可以包括对应的一个或多个数据处理系统，如数据处理系统500(数据处理系统500本身未在图2中明确示出，但参见图5)。
[0035]
人类评估方252可以包括专家，在线人群工作者和/或能够标识t个最高排序的可解释特征244中的那些特征的任何其他人，其中t个全局级重要性方向248中的相应方向中的任何一个或多个方向不是人类评估方252认为它们应该是什么。例如，这样的评估任务可以包括人类评估方252对t个最高排序的可解释特征244中的每个特征和相应t个全局级重要性方向248中的每个方向作出是或否判断(例如，在情感分析任务的情况下是肯定的或否定的)，其中询问人类评估方252t个全局级重要性方向248中的每个相应方向是否看起来正确。示例任务问题可能是“单词”panera“是否为”正情感极化？”，“其中评估方预期选择”否"作为回答。在t个最高排序的可解释特征244中，人类评估方252的共识可以确定它们中的一个或多个的数目e，以具有有问题的或不正确的t个全局级重要性方向248中的相应方向(即，不是人类评估方252的共识认为它们应该是什么)。如下面进一步描述的，机器学习预测系统200可以使用e有问题的可解释特征260的相应标识。
[0036]
机器学习预测系统200还包括新预测生成模块264。新预测生成模块264被配置为接收机器学习基础模型216和第二输入数据集268的传送。新预测生成模块264还被配置为在第二输入数据集268上运行机器学习基础模型216，以由机器学习基础模型216基于第二输入数据集268来生成新预测272。新预测生成模块264还被配置为传送新预测272。在一些实施例中，新预测生成模块264可以包括对应的一个或多个数据处理系统，如数据处理系统500(数据处理系统500本身未在图2中明确示出，但参见图5)。
[0037]
机器学习预测系统200还包括局部错误得分生成模块276。局部错误得分生成模块276传送地耦合到局部级重要性生成模块212、全局级重要性生成模块228、和新预测生成模块264。局部错误得分生成模块276被配置成接收局部级重要性224的传送，接收全局级重要性方向232的传送，接收新预测272的传送，以及接收e有问题可解释特征260的标识的传送。应当理解，即使t个排序最高的可解释特征244可以帮助标识未标记实例上的有问题的预
测，但在一些实例中，仅基于由e个有问题的可解释特征260的标识所标识的有问题的可解释特征来标记各个实例级上的错误发生有时可能有些不可靠。例如，如图1所示，注意到“panera”被错误地学习为“正”可以帮助准确地标识句子2(a)的错误预测；然而，其对句子2(b)的错误影响被另一正特征“良”的存在所掩盖，该正特征可以在全局水平上被正确地学习。再次参看图2，为了更准确地确定有问题的预测，局部错误得分产生模块276还经配置以计算称为局部错误得分e的测量度量，以解决全局错误特征对局部等级的相对影响。更特定来说，局部错误得分产生模块276经配置以计算新预测272中的每个新预测的局部错误得分e，作为由e有问题可解释特征260的标识所标识的有问题可解释特征引入新预测272中的每个新预测的累积错误贡献的归一化化版本，如下：
[0038][0039]
其中表示特定实例上错误可解释特征j的局部贡献，其中m表示从全局角度标识的错误特征的总数，其中表示可解释特征i的局部贡献，i的全局级重要性方向与新预测272的相应预测相同，且其中n表示正贡献的可解释特征的总数目。例如，参考图1，可以看到句子2(a)得出比句子2(b)得分(0.502)高得多的局部错误得分(0.926)。应了解，每个局部错误得分e将具有-∞到1之间的值。
[0040]
再次参看图2，局部错误得分产生模块276还经配置以将局部错误得分e中的每个局部错误得分与新预测272中的相应新预测相关联，并且将所得集合传送为e得分的预测280。在一些实施例中，局部错误得分产生模块276可以包含数据处理系统对应的一个或多个数据处理系统，例如数据处理系统500(数据处理系统500本身未在图2中明确说明，但参见图5)。
[0041]
机器学习预测系统200还包括输出逻辑模块284。输出逻辑模块284以传送方式耦合到局部错误得分产生模块276。输出逻辑模块284被配置成接收e得分预测280的传送。输出逻辑模块284还经配置以基于用于e得分预测280中的预测的相应局部错误得分e是否超过预定义阈值τ来确定用于e得分预测280中的每个预测(并且因此也用于相关联的新预测272中的每个预测)的相应错误指定。举例来说，在一些实施例中，输出逻辑模块284经配置以将具有超过预定义阈值τ的局部错误得分e的e得分预测280中的每个预测(并且因此，相关联的新预测272中的每一者)指定为“有问题的”或“有问题的新预测”。输出逻辑模块284还被配置为基于相应的e得分预测280中的预测是否超过预定阈值τ，自动生成针对相应的电子评分预测280中的每个预测的校正的新预测288中的相应预测。举例来说，当e得分预测280中的特定预测为“否”或“否定”并且针对e得分预测280中的预测的局部错误得分e超过预定义阈值τ时，输出逻辑模块284可以自动生成“是”或“肯定”预测作为经校正新预测288中的对应预测。相反，当e得分预测280中的特定预测为“是”或“正”并且e得分预测280中的预测的局部错误得分e超过预定义阈值τ时，输出逻辑模块284可以自动生成“否”或“负”预测作为经校正的新预测288中的对应预测。输出逻辑模块284被配置成针对经校正的新预测288中的每个预测，使经校正的新预测288中的预测与新预测272中的预测相同，其中对于该经校正的新预测288中的相应预测，e得分预测280中的相应预测不超过预定阈值τ。
[0042]
输出逻辑模块284还被配置为传送校正的新预测288。输出逻辑模块284还经配置以将任意的具有超过预定义阈值t的相应局部错误得分e的e得分预测280(并且且因此任意相关联新预测272)传送为一个或多个相应有问题新预测292的对应集合。在一些实施例中，输出逻辑模块284可以包括数据处理系统中的对应的一个或多个数据处理系统，如数据处理系统500(数据处理系统500本身未在图2中明确示出，但参见图5)。
[0043]
图4是根据本公开的各方面的机器学习预测过程400的流程图图示。在一些情况下，机器学习预测过程400的一个或多个步骤可以由机器学习预测系统200的一个或多个组件和/或本文所述的一个或多个其他系统、组件、方法和/或过程来执行。为了说明的清楚，机器学习预测过程400的以下描述可以指一个或多个这样的系统、组件、方法和/或过程。然而，应当理解，机器学习预测过程400和/或其任何一个或多个特定步骤可以由任何合适的(多个)系统、(多个)组件、(多个)方法和/或(多个)过程来执行。还应当理解，机器学习预测过程400可以与这里描述的任何其他(多个)方法和/或(多个)过程同时或基本上同时执行。
[0044]
在步骤412处，机器学习预测过程400接收机器学习基础模型。因此，在一些情况下，局部级重要性生成模块212和/或新预测生成模块264可以接收机器学习基础模型216的传送。从步骤412，机器学习预测过程400进入(并且继续)步骤418处。
[0045]
在步骤418处，机器学习预测过程400接收第一输入数据集。因此，在一些情况下，局部级重要性生成模块212可以接收第一输入数据集220的传送。从步骤418，机器学习预测过程400进入(并且继续)步骤424。
[0046]
在步骤424处，机器学习预测过程400使用数据扰动过程在第一输入数据集上运行机器学习基础模型，以通过机器学习基础模型生成基线预测，并且确定机器学习基础模型的可解释特征对于每个基线预测的机器学习基础模型的每个预测类的局部级重要性。因此，在一些情况下，局部级重要性生成模块212可以使用lime数据扰动技术在第一输入数据集220上运行机器学习基础模型216，以确定局部级重要性224。从步骤424，机器学习预测过程400进入(并且继续)步骤430。
[0047]
在步骤430处，机器学习预测过程400聚合机器学习基础模型的可解释特征的局部级重要性，以确定可解释特征对于整个机器学习基础模型的全局级重要性。因此，在某些情况下，全局级重要性生成模块228可以使用局部级重要性224来确定全局级重要性方向232和全局级重要性幅度236。从步骤430，机器学习预测过程400进入(并且继续)步骤436。
[0048]
在步骤436处，机器学习预测过程400根据可解释特征相应的全局级重要性幅度值对可解释特征进行排序。因此，在一些情况下，可解释特征排序模块240可以根据相应的全局级重要性幅度236以降序对可解释特征进行排序。从步骤436，机器学习预测过程400进入(并且继续)步骤442。
[0049]
在步骤442处，机器学习预测过程400传送最高排序的可解释特征中的一个或多个特征，并且传送用于这种最高排序的可解释特征中的每个特征的相应全局级重要性方向标签。因此，在某些情况下，可解释特征排序模块240可以将可解释特征j中排序最高的一个或多个特征连同它们相应的全局级重要性方向232分别作为t个排序最高的可解释特征244和t个全局级重要性方向248进行传送，以便最终呈现给一个或多个人类评估方252。从步骤442，机器学习预测过程400进入(并且继续)步骤448。
[0050]
在步骤448处，机器学习预测过程400接收最高排序的可解释特征中的一个或多个
特征中的每个特征的传送，该可解释特征根据一个或多个一致的人类评估具有错误的全局级重要性方向。因此，在一些实例中，局部错误得分产生模块276可以接收e有问题的可解释特征260的标识的传送。从步骤448，机器学习预测过程400进入(并且继续)步骤454。
[0051]
在步骤454，机器学习预测过程400接收第二输入数据集。因此，在一些情况下，新预测生成模块264可以接收第二输入数据集268的传送。从步骤454，机器学习预测过程400进入(并且继续)步骤460。
[0052]
在步骤460，机器学习预测过程400在第二输入数据集上运行机器学习基础模型，以通过机器学习基础模型生成一个或多个新的预测。因此，在一些情况下，新预测生成模块264可以在第二输入数据集268上运行机器学习基础模型216以生成新预测272。从步骤460，机器学习预测过程400进入(并且继续)步骤466。
[0053]
在步骤466，机器学习预测过程400计算作为由最高排序的可解释特征引入每个新预测中的累积误差的归一化版本的机器学习基础模型的新预测中的每个新预测的局部误差得分，该可解释特征根据相应的共识人类评估具有相应的错误全局级重要性方向。因此，在一些实例中，局部错误得分产生模块276可以计算针对新预测272中的每个预测的局部错误得分e，作为由e有问题可解释特征260的标识所标识的有问题可解释特征引入到新预测272中的每个预测中的累积错误贡献的归一化版本。从步骤466，机器学习预测过程400进入(并且继续)步骤472。
[0054]
在步骤472处，机器学习预测过程400基于机器学习基础模型的每个新预测的相应局部错误得分是否超过阈值来确定该新预测中的预测的相应错误指定。因此，在一些实例中，输出逻辑模块284可以基于e得分预测280中的预测的相应局部错误得分e是否超过预定义阈值τ来确定e得分预测280中的每个预测(并且因此也用于相关联的新预测272中的每个预测)的相应错误指定。从步骤472，机器学习预测过程400进入(并且继续)步骤478。
[0055]
在步骤478处，机器学习预测过程400传送机器学习基础模型的新预测中的每个预测和该新预测的相应错误指定的指示，和/或传送每个相应校正预测。因此，在一些情况下，输出逻辑模块284可以传送校正的新预测288和/或传送一个或多个相应的有问题的新预测292。
[0056]
图5是根据本公开的各方面的数据处理系统500的硬件架构的框图图示。在一些实施例中，本文描述的一个或多个系统和/或组件(例如，机器学习预测系统200和/或其一个或多个组件)可以使用相应的一个或多个数据处理系统500来实现。此外，数据处理系统500可以被配置为存储和执行用于执行机器学习预测过程400的一个或多个步骤和/或用于执行本文描述的任何其他方法和/或过程的一个或多个步骤的一个或多个指令。
[0057]
数据处理系统500采用包括北桥和存储器控制器集线器(“nb/mch”)506以及南桥和输入/输出(“i/o”)控制器集线器(“sb/ich”)510的集线器架构。处理器502、主存储器504和图形处理器508连接到nb/mch506。图形处理器508可以通过加速图形端口(“agp”)连接到nb/mch506。诸如总线532或总线534的计算机总线可以使用任何类型的传送结构或架构来实现，该传送结构或架构提供在附连到该结构或架构的不同组件或设备之间的数据传输。
[0058]
网络适配器516连接到sb/ich510。音频适配器530、键盘和鼠标适配器522、调制解调器524、只读存储器(“rom”)526，硬盘驱动器(“hdd”)512、光盘只读存储器(“cd－rom”)驱动器514、通用串行总线(“usb”)端口和其它传送端口518、以及外围组件互连/外围组件互
连快速(“pci/pcie”)设备520通过总线532和总线534连接到sb/ich510。pci/pcie设备可以包括例如以太网适配器，内插卡和用于笔记本计算机的个人计算(“pc”)卡。pci使用卡总线控制器，而pcie不使用卡总线控制器。rom 526可以包括例如闪存基本输入/输出系统(“bios”)。调制解调器524或网络适配器516可以用于通过网络发送和接收数据。
[0059]
hdd 512和cd－rom驱动器514通过总线534连接到sb/ich510。hdd 512和cd－rom驱动器514可以使用例如集成驱动电子设备(“ide”)或串行高级技术附件(“sata”)接口。在一些实施例中，hdd512可以由其它形式的数据存储设备代替，包括但不限于固态驱动器(“ssd”)。超级i/o(“sio”)设备528可以连接到sb/ich510。sio装置528可以包括主板上的芯片，该芯片被配置为帮助执行用于sb/ich510的较不苛刻的控制器功能，例如控制打印机端口，控制风扇，和/或控制数据处理系统500的小发光二极管(“led”)。
[0060]
数据处理系统500可以包括单个处理器502或者可以包括多个处理器502。另外，处理器502可以具有多个核。在一些实施例中，数据处理系统500可以采用包括数百或数千个处理器核的大量处理器502。在一些实施例中，处理器502可被配置成并行地执行协调计算集。
[0061]
使用处理器502在数据处理系统500上执行操作系统。操作系统协调和提供数据处理系统500内的各种组件的控制。各种应用和服务可以结合操作系统运行。用于操作系统，应用程序和其它数据的指令位于诸如hdd 512中的一个或多个hdd的存储设备上，并且可以被加载到主存储器504中以便由处理器502执行。在一些实施例中，附加指令或数据可以存储在一个或多个外部设备上。本文针对说明性实施例描述的过程可以由(多个)处理器502使用计算机可用程序代码来执行，该计算机可用程序代码可以位于诸如主存储器504、rom526的存储器中、或者位于一个或多个外围设备中。
[0062]
本发明可以是处于任何可能的集成技术细节水平的系统，方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或媒介)。
[0063]
计算机可读存储介质可以是可保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是，例如但不限于，电子存储设备，磁存储设备，光存储设备，电磁存储设备，半导体存储设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下项：便携式计算机磁盘，硬盘，随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd－rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码的设备(诸如其上记录有指令的槽中的穿孔卡或凸起结构)，以及前述的任何合适的组合。在此使用的计算机可读存储介质不能被解释为瞬时信号本身，例如无线电波或其它自由传播的电磁波，通过波导或其它传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)，或通过导线传输的电信号。
[0064]
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如互联网，局域网，广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并我转发该计算机可读程序指令以存储在相应计算/处理设
备内的计算机可读存储介质中。
[0065]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，所述编程语言包括诸如smalltalk，c 等的面向对象的编程语言，以及诸如“c”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包，部分在用户的计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者连接到外部计算机(例如，通过使用互联网服务提供方的互联网)。根据本发明的各方面，包括例如可编程逻辑电路，现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
[0066]
本文参考根据本发明实施例的方法，装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令来实现。
[0067]
这些计算机可读程序指令可以被提供给通用计算机，专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机，可编程数据处理装置和/或其他设备以特定方式起作用，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
[0068]
计算机可读程序指令还可以被加载到计算机，其他可编程数据处理装置或其他设备上，以使得在计算机，其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的方法，使得在计算机，其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。
[0069]
图中的流程图和框图示出了根据本发明各种实施例的系统，方法和计算机程序产品的可能实现的架构，功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块，段或部分，其包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。在一些可替换的实现方式中，方框中指出的功能可以不按照图中指出的顺序发生。例如，连续示出的两个框实际上可以作为一个步骤完成，以部分或全部时间上重叠的方式并发地，基本上并发地执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意到，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
[0070]
已经出于说明的目的给出了对本发明的各种实施例的描述，但是这些描述并不旨在是穷尽的或限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是清楚的。此外，本文所述的方法的步骤可以以任何合适的顺序进行，或在适当的情况下同时进行。选择本文中使用的术语以最佳地解
释实施例的原理，实际应用或对市场中存在的技术的技术改进，或使所属领域的技术人员能够理解本文中所揭示的实施例。