机器学习模型错误检测的制作方法

技术特征：
1.一种用于校正针对用户的机器学习基础模型的错误预测的方法，所述方法包括：基于所述机器学习基础模型的第一预测，确定所述机器学习基础模型的可解释特征对于所述机器学习基础模型的全局级重要性的全局级重要性幅度值；基于所述机器学习基础模型的所述第一预测，确定所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的所述全局级重要性的全局级重要性方向标签；以及基于所述机器学习基础模型的第二预测、基于所述全局级重要性幅度值、并且基于所述全局级重要性方向标签，生成用于呈现给所述用户的传送。2.根据权利要求1所述的方法，其中生成用于呈现给所述用户的所述传送包括：接收对所述全局级重要性方向标签的错误评估。3.根据权利要求2所述的方法，还包括：基于所述全局级重要性方向标签、基于对所述全局级重要性方向标签的所述错误评估、并且基于所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的预测类的局部级重要性，校正所述错误预测。4.根据权利要求3所述的方法，其中接收对所述全局级重要性方向标签的所述错误评估包括：接收对所述全局级重要性方向标签的人类错误评估。5.一种用于向用户警告机器学习基础模型的错误预测的方法，所述方法包括：在第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成基线预测对，并且确定所述机器学习基础模型的第一可解释特征对所述机器学习基础模型的预测类的局部级重要性；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性，确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的全局级重要性；在第二输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成新预测；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性和所述机器学习基础模型的所述第一可解释特征的所述全局级重要性，确定针对所述新预测的错误指定；以及传送所述新预测和针对所述新预测的所述错误指定的指示，以用于呈现给所述用户。6.根据权利要求5所述的方法，还包括：基于全局级重要性幅度值，确定所述机器学习基础模型的所述第一可解释特征相对于所述机器学习基础模型的第二可解释特征的排序；基于所述机器学习基础模型的所述第一可解释特征的所述排序，传送所述机器学习基础模型的所述第一可解释特征；传送全局级重要性方向标签；接收所述机器学习基础模型的所述第一可解释特征的传送；以及计算针对所述新预测的局部错误得分，以作为由所述机器学习基础模型的所述第一可解释特征引入到所述新预测中的错误的归一化版本，其中所述机器学习基础模型的所述第一可解释特征的所述全局级重要性包括所述全局级重要性幅度值和所述全局级重要性方向标签，其中根据人类评估，所述全局级重要性方向标签是错误的，并且其中确定针对所述新预测的所述错误指定包括：基于针对所述新预测的所述局部错误
得分是否超过阈值来确定针对每个新预测的所述错误指定。7.根据权利要求6所述的方法，其中在所述第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性包括：使用数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性。8.根据权利要求7所述的方法，其中使用所述数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性包括：计算其中j表示所述第一可解释特征，其中d
i
，i∈{0，1，...，n}表示所述第一输入数据集中的第一数据实例，其中d
i
包括所述第一可解释特征j，其中表示除所述第一可解释特征j之外的所有第一数据实例d
i
，其中k∈{0，1，...，k}表示所述机器学习基础模型的对应的预测类，其中p(y＝k|d
i
)表示由所述机器学习基础模型从在所述第一数据实例d
i
上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第一预测概率，其中表示由所述机器学习基础模型从在上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第二预测概率，并且其中表示与对应的所述预测类k相关联的所述第一可解释特征j对所述第一数据实例d
i
的所述局部级重要性。9.根据权利要求8所述的方法，其中基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性来确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述全局级重要性包括：计算其中n表示所述第一输入数据集中的数据实例集的基数，其中所述数据实例集中的每个数据实例包括所述第一可解释特征，并且其中k
*
表示所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签。10.根据权利要求9所述的方法，其中基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性来确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述全局级重要性包括：计算
其中表示由所述机器学习基础模型生成的、并且与所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签相关联的第三预测概率的幅度，并且其中表示所述第一可解释特征的所述全局级重要性的所述全局级重要性幅度值。11.根据权利要求10所述的方法，其中计算针对所述新预测的所述局部错误得分包括：计算其中表示第一相应可解释特征j对由所述机器学习基础模型从在所述第二输入数据集中的第二数据实例上运行所述机器学习基础模型而生成的预测概率的贡献，其中根据所述人类评估，全局级重要性方向标签集中的每个全局级重要性方向标签是错误的，其中m表示所述全局级重要性方向标签集的基数，其中表示第二相应可解释特征i对由所述机器学习基础模型从在所述第二输入数据集中的所述第二数据实例上运行所述机器学习基础模型而生成的所述预测概率的贡献，其中所述第二相应可解释特征i的贡献方向与所述新预测一致，其中n表示可解释特征集的基数，并且其中所述可解释特征集中的每个可解释特征的贡献方向与所述新预测一致。12.一种用于校正针对用户的机器学习基础模型的错误预测的系统，所述系统包括：存储器，其中具有指令；以及与所述存储器通信的至少一个处理器，其中所述至少一个处理器被配置为执行所述指令以：基于所述机器学习基础模型的第一预测，确定所述机器学习基础模型的可解释特征对所述机器学习基础模型的全局级重要性的全局级重要性幅度值；基于所述机器学习基础模型的所述第一预测，确定所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的所述全局级重要性的全局级重要性方向标签；以及基于所述机器学习基础模型的第二预测、基于所述全局级重要性幅度值、并且基于所述全局级重要性方向标签，生成用于呈现给所述用户的传送。13.根据权利要求12所述的系统，其中所述至少一个处理器还被配置以执行所述指令以：接收对所述全局级重要性方向标签的错误评估；以及基于所述错误评估来生成用于呈现给所述用户的所述传送。14.根据权利要求13所述的系统，其中所述至少一个处理器还被配置为执行所述指令，以基于所述全局级重要性方向标签、基于对所述全局级重要性方向标签的所述错误评估、并且基于所述机器学习基础模型的所述可解释特征对所述机器学习基础模型的预测类的局部级重要性来校正所述错误预测。
15.根据权利要求14所述的系统，其中所述至少一个处理器还被配置为执行所述指令，以接收对所述全局级重要性方向标签的人类错误评估。16.一种用于向用户警告机器学习基础模型的错误预测的系统，该系统包括：存储器，其中具有指令；以及与所述存储器通信的至少一个处理器，其中所述至少一个处理器被配置为执行所述指令以：在第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成基线预测对，并且确定所述机器学习基础模型的第一可解释特征对所述机器学习基础模型的预测类的局部级重要性；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性，确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的全局级重要性；在第二输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成新预测；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性和所述机器学习基础模型的所述第一可解释特征的所述全局级重要性，确定针对所述新预测的错误指定；以及传送所述新预测和针对所述新预测的错误指定的指示以用于呈现给所述用户。17.根据权利要求16所述的系统，其中所述至少一个处理器还被配置为以执行所述指令以：基于全局级别重要性幅度值，确定所述机器学习基础模型的所述第一可解释特征相对于所述机器学习基础模型的第二可解释特征的排序；基于所述机器学习基础模型的第一可解释特征的所述排序，传送所述机器学习基础模型的所述第一可解释特征；传送全局级重要性方向标签；接收所述机器学习基础模型的所述第一可解释特征的传送；计算针对所述新预测的局部错误得分，以作为由所述机器学习基础模型的所述第一可解释特征引入到所述新预测中的错误的归一化版本；以及基于针对所述新预测的所述局部错误得分是否超过阈值来确定针对每个新预测的所述错误指定，其中所述机器学习基础模型的所述第一可解释特征的所述全局级重要性包括：所述全局级重要性幅度值和所述全局级重要性方向标签，并且其中所述全局级重要性方向标签已经被标识为是错误的。18.根据权利要求17所述的系统，其中所述至少一个处理器还被配置成执行所述指令，以使用数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的所述预测类的所述局部级重要性。19.根据权利要求18所述的系统，其中所述至少一个处理器还被配置以执行所述指令，以计算：
其中j表示所述第一可解释特征，其中d
i
，i∈{0，1，...，n}表示所述第一输入数据集中的第一数据实例，其中d
i
包括所述第一可解释特征j，其中表示除所述第一可解释特征j之外的所有第一数据实例d
i
，其中k∈(0，1，...，k}表示所述机器学习基础模型的对应的预测类，其中p(y＝k|d
i
)表示由所述机器学习基础模型从在所述第一数据实例d
i
上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第一预测概率，其中表示由所述机器学习基础模型从在上运行所述机器学习基础模型而生成的针对所述机器学习基础模型的对应的所述预测类k的第二预测概率，并且其中表示与对应的所述预测类k相关联的所述第一可解释特征j对所述第一数据实例d
i
的所述局部级重要性。20.根据权利要求19所述的系统，其中所述至少一个处理器还被配置为以执行所述指令以计算：其中n表示所述第一输入数据集中的数据实例集的基数，其中所述数据实例集中的每个数据实例包括所述第一可解释特征，并且其中k
*
表示所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签。21.根据权利要求20所述的系统，其中所述至少一个处理器还被配置为执行所述指令以计算：其中表示由所述机器学习基础模型生成的、并且与所述第一可解释特征的所述全局级重要性的所述全局级重要性方向标签相关联的第三预测概率的幅度，并且其中表示所述第一可解释特征的所述全局级重要性的所述全局级重要性幅度值。22.根据权利要求21所述的系统，其中所述至少一个处理器还被配置为执行所述指令以计算：其中表示第一相应可解释特征j对由所述机器学习基础模型从在所述第二输入数据集中的第二数据实例上运行所述机器学习基础模型而生成的预测概率的贡献，其中根据所述人类评估，全局级重要性方向标签集中的每个全局级重要性方向标签是错误的，
其中m表示所述全局级重要性方向标签集的基数，其中表示第二相应可解释特征i对由所述机器学习基础模型从在所述第二输入数据集中的所述第二数据实例上运行所述机器学习基础模型而生成的所述预测概率的贡献，其中所述第二相应可解释特征i的贡献方向与所述新预测一致，其中n表示可解释特征集的基数，并且其中所述可解释特征集中的每个可解释特征的贡献方向与所述新预测一致。23.一种用于向用户警告机器学习基础模型的错误预测的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有包含在其中的程序指令，所述程序指令由至少一个处理器可执行，以使所述至少一个处理器：在第一输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成基线预测对，并且确定所述机器学习基础模型的第一可解释特征对所述机器学习基础模型的预测类的局部级重要性；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性，确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础模型的全局级重要性；在第二输入数据集上运行所述机器学习基础模型，以由所述机器学习基础模型生成新预测；基于所述机器学习基础模型的所述第一可解释特征的所述局部级重要性和所述机器学习基础模型的所述第一可解释特征的所述全局级重要性来确定针对所述新预测的错误指定；以及传送所述新预测和针对所述新预测的所述错误指定的指示以用于呈现给所述用户。24.根据权利要求23所述的计算机程序产品，其中所述程序指令还由所述至少一个处理器可执行，以使所述至少一个处理器：基于全局级重要性幅度值，确定所述机器学习基础模型的所述第一可解释特征相对于所述机器学习基础模型的第二可解释特征的排序；基于所述机器学习基础模型的所述第一可解释特征的所述排序，传送所述机器学习基础模型的所述第一可解释特征；传送全局级重要性方向标签；接收所述机器学习基础模型的所述第一可解释特征的传送；计算针对所述新预测的局部错误得分，以作为由所述机器学习基础模型的所述第一可解释特征引入到所述新预测中的错误的归一化版本；以及基于针对所述新预测的所述局部错误得分是否超过阈值来确定针对每个新预测的所述错误指定，并且其中所述机器学习基础模型的所述第一可解释特征的所述全局级重要性包括所述全局级重要性幅度值和所述全局级重要性方向标签，并且其中所述全局级重要性方向标签已经被标识为是错误的。25.根据权利要求24所述的计算机程序产品，所述程序指令还由所述至少一个处理器可执行以使所述至少一个处理器使用数据扰动过程来由所述机器学习基础模型生成所述基线预测对，并且确定所述机器学习基础模型的所述第一可解释特征对所述机器学习基础
模型的所述预测类的所述局部级重要性。

技术总结
一种系统包括存储器，其中具有指令；以及与存储器通信的至少一个处理器，其中至少一个处理器被配置为执行指令以：基于机器学习基础模型的第一预测来确定机器学习基础模型的可解释特征的全局级重要性的全局级重要性幅度值。至少一个处理器还被配置为执行指令以基于第一预测来确定可解释特征的全局级重要性的全局级重要性方向标签。至少一个处理器还被配置为执行指令以基于机器学习基础模型的第二预测、基于全局级重要性幅度值、并且基于全局级重要性方向标签，生成用于呈现给用户的传送。送。送。


技术研发人员：刘喆 郭玙璠 J
受保护的技术使用者：国际商业机器公司
技术研发日：2021.05.18
技术公布日：2023/1/31