一种模型检测方法、装置、设备以及存储介质与流程

1.本技术涉及计算机软件技术领域，尤其涉及一种模型检测方法、装置、设备以及存储介质。


背景技术：

2.随着人工智能技术的不断发展，多种预测模型被应用到工业应用场景中。对于预测模型来说，在遇到与训练样本相似的待检测样本时，准确率较高；但是在遇到与训练样本不同的未知样本时，预测模型的准确率会急剧下降，从而无法满足真实场景的应用需求。


技术实现要素：

3.本技术提供了一种模型检测方法、装置、设备以及存储介质。
4.本技术的技术方案是这样实现的：
5.第一方面，本技术实施例提供了一种模型检测方法，该方法包括：
6.将待检测数据输入目标预测模型，得到预测结果；
7.对待检测数据进行特征提取，确定待检测数据对应的多个特征；
8.对多个特征进行多模态融合处理，得到待检测数据对应的目标特征；
9.通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果；
10.根据度量结果，确定预测结果是否正确。
11.第二方面，本技术实施例提供了一种模型检测装置，包括：
12.预测单元，配置为将待检测数据输入目标预测模型，得到预测结果；
13.提取单元，配置为对待检测数据进行特征提取，确定待检测数据对应的多个特征；
14.融合单元，配置为对多个特征进行多模态融合处理，得到待检测数据对应的目标特征；
15.计算单元，配置为通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果；
16.处理单元，配置为根据度量结果，确定预测结果是否正确。
17.第三方面，本技术实施例提供了一种模型检测装置，该模型检测装置包括存储器和处理器；其中，
18.存储器，用于存储能够在处理器上运行的计算机程序；
19.处理器，用于在运行计算机程序时，执行如第一方面方法的步骤。
20.第四方面，本技术实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，该计算机程序被执行时实现如第一方面所述方法的步骤。
21.本技术实施例提供了一种模型检测方法、装置、设备以及存储介质，该方法包括：将待检测数据输入目标预测模型，得到预测结果；对所述待检测数据进行特征提取，确定所述待检测数据对应的多个特征；对所述多个特征进行多模态融合处理，得到所述待检测数
据对应的目标特征；通过度量模型确定所述目标预测模型对应的训练样本分布信息，对所述训练样本分布信息和所述目标特征进行度量计算，得到度量结果；根据度量结果，确定所述预测结果是否正确。这样，通过对待检测数据进行特征提取和多模态融合处理，所得到的目标特征能够更加全面的反应待检测数据的相关信息，提高后续判断的准确性；另外，利用待检测数据的目标特征和训练样本分布信息之间的度量结果确定待检测数据是否异常，从而判断目标预测模型的预测结果是否正确，能够对生产环境中的目标预测模型进行监督，减小错误的预测结果。
附图说明
22.图1为本技术实施例提供的一种模型检测方法的流程示意图；
23.图2为本技术实施例提供的另一种模型检测方法的流程示意图；
24.图3为本技术实施例提供的一种模型检测装置的结构示意图；
25.图4为本技术实施例中提供一种模型检测装置的工作过程示意图；
26.图5为本技术实施例提供的的另一种模型检测装置的结构示意图；
27.图6为本技术实施例提供的一种电子设备的硬件结构示意图；
28.图7为本技术实施例提供的一种电子设备的组成结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
30.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
31.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
32.需要指出，本技术实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
33.应理解，随着人工智能快速发展，多种预测模型(例如边缘推理模型)不断在实际生产中落地。对于预测模型来说，需要通过大量的训练样本来确定多种模型参数，才能够用于实际生产过程。然而，在实际生产过程中，可能会由于生产环境变化产生一些与训练样本差距较大的未知样本，此时预测模型并不能对其进行准确判断，造成预测模型的准确率急剧下降，甚至无法达到工业应用标准。也就是说，这些未知样本会严重影响到模型应用时的预测精度，给实际生产过程带来问题。
34.基于此，本技术实施例提供了一种模型检测方法，其基本思想是：将待检测数据输入目标预测模型，得到预测结果；对所述待检测数据进行特征提取，确定所述待检测数据对
应的多个特征；对所述多个特征进行多模态融合处理，得到所述待检测数据对应的目标特征；通过度量模型确定所述目标预测模型对应的训练样本分布信息，对所述训练样本分布信息和所述目标特征进行度量计算，得到度量结果；根据度量结果，确定所述预测结果是否正确。这样，通过对待检测数据进行特征提取和多模态融合处理，所得到的目标特征能够更加全面的反应待检测数据的相关信息，提高后续判断的准确性；另外，利用待检测数据的目标特征和训练样本分布信息之间的度量结果确定待检测数据是否异常，从而判断目标预测模型的预测结果是否正确，能够对生产环境中的目标预测模型进行监督，减小错误的预测结果带来损失。
35.下面将结合附图对本技术各实施例进行详细说明。
36.在本技术的一实施例中，参见图1，其示出了本技术实施例提供的一种模型检测方法的流程示意图。如图1所示，该方法可以包括：
37.s101：将待检测数据输入目标预测模型，得到预测结果。
38.需要说明的是，本技术实施例提供的模型检测方法可以应用于具有计算功能的多种电子设备。
39.在本技术实施例中，目标预测模型可以是多种领域的推理模型，例如图像处理领域、语音识别领域、自然语言识别领域等等。具体地，目标预测模型用于对待检测数据进行特定检测，以输出预测结果。
40.s102：对待检测数据进行特征提取，确定待检测数据对应的多个特征。
41.需要说明的是，特征提取是通过多个维度进行的，从而获得待检测数据对应的多个特征。这样，通过多个特征能够反应不同维度下待检测数据的信息，提高后续判断的准确性。
42.s103：对多个特征进行多模态融合处理，得到待检测数据对应的目标特征。
43.需要说明的是，通过多模态融合处理，多个维度下的特征被融合为目标特征，以便于进行后续处理。在这里，多模态融合处理可采用多种原理，例如前端融合、中间融合和后端融合。
44.s104：通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果。
45.需要说明的是，训练样本分布信息是指用于训练目标预测模型的样本数据 (下述简称为原始训练样本)的特征。
46.在一种具体的实施例中，训练样本分布信息是通过对原始训练样本各自的目标特征进行聚类处理后得到的。此时，原始训练样本的目标特征在聚类后形成多个聚类中心，那么通过目标特征和聚类中心之间的距离可以得到度量结果。
47.应理解，目标预测模型是利用大量的原始训练样本进行训练后得到的。如果待检测数据和原始训练样本较为相似，那么本次的预测结果也较为可靠；如果待检测数据和原始训练样本偏差很大，那么本次的预测结果也是不可靠的。基于此，度量模型通过检测待检测数据和原始训练样本之间的距离，得到度量结果。这样，后续根据度量结果可以进一步目标预测模型的预测结果是否正确。
48.进一步地，在一些实施例中，度量模型可以包括抗遗忘模块和至少一个度量计算子模型，所述通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布
信息和目标特征进行度量计算，得到度量结果，包括：
49.从抗遗忘模块获取训练样本分布信息；
50.基于至少一个度量计算子模型对目标特征和训练样本分布信息进行计算，得到至少一个度量分数信息；
51.将至少一个度量分数信息确定为度量结果。
52.需要说明的是，度量模型中包括用于存储训练样本分布信息的抗遗忘模块和用于进行度量计算的度量计算子模型。
53.度量计算子模型能够对目标特征和原始训练样本分布特征进行度量计算和打分处理，从而获得度量分数信息。这样，通过度量分数信息，能够获知待检测数据和原始训练样本之间的相似性。
54.在这里，度量计算子模型的数量为至少一个，从而可以从不同维度判断待检测数据和原始训练样本之间的相似性，提高度量结果的全面性和正确性。
55.s104：根据度量结果，确定预测结果是否正确。
56.需要说明的是，如果度量结果指示待检测数据和原始训练样本之间的相似性较高，那么确定预测结果正确；如果度量结果指示待检测数据和原始训练样本之间的相似性较低，那么确定预测结果错误。
57.这样，通过本技术实施例提供的模型检测方法，能够根据待检测样本和原始训练样本之间的差距，判断目标预测模型的预测结果是否正确，实现了对预测结果的自动化检测。
58.进一步地，在一些实施例中，该方法还可以包括：
59.在预测结果正确的情况下，输出预测结果；
60.在预测结果错误的情况下，确定待检测数据确定为异常数据；将异常数据存储到目标区域；以及在目标区域中异常数据的数量达到目标阈值时，利用所有的异常数据对目标预测模型和度量模型进行更新处理。
61.这样，在判断到预测结果正确的情况下，向用户输出预测结果，以便预测结果进行下一步应用，在判断到预测结果错误的情况下，将待检测数据作为异常数据进行存储，后续利用异常数据对目标预测模型进行更新。如此，一方面，能够提高目标预测模型的可信性，避免错误的预测结果给生产过程带来消极影响；另一方面，明确了目标预测模型的更新方向，提高模型更新的效率。又一方面，通过本技术实施例提供的模型检测方法，如果异常数据积累到一定数量的(或者达到其他模型更新条件)，可以自动利用目标区域中的异常数据对目标预测模型进行更新，无需与用户进行交互，实现无感更新。
62.需要说明的是，在利用异常数据对目标预测模型进行更新后，异常数据实际上成为了目标预测模型的“原始训练样本”的一部分，因此还需要利用异常数据对度量模型进行更新处理，以更新度量模型中的训练样本分布信息。
63.进一步地，本技术实施例将异常数据分为三种异常类别，以便于后续选择不同的策略对目标预测模型进行更新，因此，在一些实施中，该方法还可以包括：
64.对至少一个度量分数信息进行插值计算，得到异常数据的异常值；
65.对异常数据的异常值和异常阈值进行比较，确定异常数据的异常类别。
66.需要说明的是，利用至少一个度量分数信息计算得到异常值，异常值越高，说明该
异常数据与原始训练样本的偏差越大。在这里，插值计算并不是必须的，也可以采用均值计算等方法确定异常值。
67.需要说明的是，在本技术实施例中，根据异常数据与原始训练样本的偏差程度，将异常数据分为三种类别：新类型样本、难学习样本或者漂移样本。其中，难学习样本是指该异常数据属于原始训练样本的覆盖范围，但是难以进行预测；漂移样本是指该异常数据与原始训练样本具有偏差，但是偏差不大；新类型样本是指该异常数据与原始训练样本的类型不同。
68.示例性的，假设目标预测模型用于识别待检测数据中的猫，原始训练样本就是大量橘猫的相关图片，那么难学习样本、漂移样本和新类型样本可以如下理解：难学习样本仍然是橘猫图片，只是与原始训练样本不同；漂移样本可能是黑猫图片；新类别样本可能是狗图片。
69.在一种具体的实施例中，难学习样本、漂移样本和新类型样本的异常值依次增大。相应地，异常阈值包括第一异常阈值和第二异常阈值，且第一异常阈值小于第二异常阈值；
70.在异常数据的异常值小于或等于第一异常阈值的情况下，确定异常数据为难学习样本；
71.在异常数据的异常值大于第一异常数据，且异常数据的异常值小于或等于第二异常阈值的情况下，确定异常数据为漂移样本；
72.在异常数据的异常值大于第人异常数据的情况下，确定异常数据为新类型样本。
73.这样，通过以上步骤，能够确定异常数据属于哪一类异常类别，以便后续指导用户进行标注。
74.在一些实施例中，在确定异常数据的异常类别之后，该方法还可以包括根据异常数据的异常类别，确定异常数据的标注建议信息；
75.根据异常数据的标注建议信息向用户发送异常数据；
76.接收用户发送的异常数据的真实标签。
77.需要说明的是，标注建议信息是指用于指导用户进行标注的信息。例如，为了方便用户快速对异常数据进行标注，可能会提供一些预设选项供用户选择。那么标注建议信息就是指提供什么样的预设选项。
78.示例性地，对于难学习样本和漂移样本，需要询问用户预测结果是否是错误的；对于新类型样本，需要询问用户该异常数据的真实类别是什么。
79.需要说明的是，由于难学习样本、漂移样本和新类型样本是根据异常阈值进行自动分类的，可能出现分类错误的情况。因此，异常阈值可以设计为自适应取值。换句话说，在用户标注异常数据的真实标签后，异常阈值还会根据该异常数据的真实标签进行自适应性调整。
80.在一些实施例中，如图2所示，所述利用所有的异常数据对目标预测模型进行更新处理，可以包括：
81.s201：对属于新类型样本的异常数据、属于难学习样本的异常数据和属于漂移样本的异常数据进行统计，得到统计结果。
82.需要说明的是，在目标区域中的异常数据的数量达到目标阈值时，说明目标预测模型的可靠性已经无法满足生产实践的要求，因此需要对其进行更新。
83.在更新开始后，对异常数据的异常类型进行统计，从而确定目标预测模型的更新方向。
84.s202：根据统计结果，确定数据偏移值。
85.需要说明的是，在这里，数据偏移值用于指示待检测数据与原始训练样本之间的偏差程度。换句话说，通过数据偏移值可以定量检测待检测数据与原始训练样本之间的偏差程度。
86.根据前述内容，难学习样本、漂移样本和新类型样本各自与原始训练样本的偏移程度是不同的。示例性的，如果异常数据以难学习样本和/或漂移样本为主，那么数据偏移值较小，说明生产实践中的待检测数据与原始训练样本之间的偏差较小，如果异常数据以新类型样本为主，那么数据偏移值较大，说明生产实践中的待检测数据与原始训练样本之间的偏差较大。
87.在这里，数据偏移值的具体计算方法可以根据实际应用场景确定。比如，可以将新类型样本占所有异常数据的比例作为数据偏移值；或者，每种异常数据确定一定的权值，然后进行加权计算。
88.s203：在数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所有的异常数据和所有的异常数据的真实标签对目标预测模型进行更新处理。
89.s204：在数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所有的异常数据和所有的异常数据的真实标签对目标预测模型进行更新处理。
90.在这里，目标预测模型的原始模型特征在第一类更新策略中的保留比例小于目标预测模型的原始模型特征在第二类更新策略中的保留比例。
91.需要说明的是，如果数据偏移值较大，说明生产实践中的待检测数据与原始训练样本的偏差越大，那么原始模型特征的重要性越小，此时在更新过程中保留较少的原始模型特征；反之，如果数据偏移值较小，说明生产实践中的待检测数据与原始训练样本的偏差越小，那么原始模型特征的重要性越大，此时在更新过程中保留较多的原始模型特征。
92.示例性地，第一类更新策略可以是few-shot learning，第二类更新策略可以是transfer learning。
93.也就是说，目标预测模型是利用原始训练样本对神经网络模型训练得到的，目标预测模型大多依赖于最初模型训练过程中是所选择的原始训练样本，并且目标预测模型也只能应用在与原始训练样本相似的待检测数据上。但是在实际生产环境中，待检测数据是不断变化的，并不能保证原始训练样本可以覆盖各种类型的待检测数据，所以目标预测模型需要不断进行更新以适应不断变化。
94.具体地，模型更新的目的是适应与原始训练样本偏差较大的待检测数据(即异常数据)，所以模型更新的具体策略也是取决于异常数据的类型。在本技术实施例中，至少存在以下三种场景：
95.场景一：生产环境中的待检测数据基本无变化，只是多了一些难学习样本，例如异常数据其实仍然属于原始训练样本的覆盖范围，但目标预测模型的结果仍然是错误的。
96.场景二：生产环境中的待检测数据相比较于原始训练样本存在一些偏移，但整体偏移不大，即漂移样本，例如原本训练数据是橘猫，现在是黑猫等。
97.场景三：生产环境中的待检测数据相比较于原始训练样本存在较大偏移，已经出
现新类型样本，例如原本训练数据是猫，现在样本中有狗。
98.针对以上这几种情况，模型更新时需要分别采取不同的更新策略：(1)对于场景一和场景二，采取transfer learning的方式，也就是第二类更新策略；(2) 对于场景三，采取few-shot learning的方式。一般模型更新的方式大致是，先推理出原始数据的特征，在更新时更新这部分特征即可。
99.其中，transfer learning和few-shot learning两种更新方式的区别在于更新预保存特征的比例不同。也就是说，更新策略完全取决于输入数据的偏移程度，而本技术实施例提供的模型检测方法可以定量的检测出输入数据的偏移程度，模型更新时再根据检测出的不同偏移程度，选择上面两种不同的更新策略。
100.简单来说，更新策略完全取决于输入数据的偏移程度，而本方法可以定量的检测出输入数据的偏移程度，模型更新时再根据检测出的不同偏移程度，选择上面两种不同的更新策略。
101.这样，根据异常数据的异常类别，可以明确目标预测模型的更新策略，从而提高模型更新的效率。
102.进一步地，在一些实施例中，该方法还可以包括：
103.对原始训练样本进行训练，建立目标预测模型；以及，
104.获取原始训练样本的目标特征，根据原始训练样本的目标特征，确定目标预测模型的训练样本分布信息；
105.将训练样本分布信息存储到抗遗忘模块；
106.在预测结果正确的情况下，利用待检测数据的目标特征对抗遗忘模块中的训练样本分布信息进行更新；
107.在预测结果错误的情况下，在利用异常数据和异常数据的真实标签对目标预测模型进行训练的过程中，确定异常数据的目标特征对抗遗忘模块中的训练样本分布信息进行更新。
108.需要说明的是，原始训练样本的目标特征、异常数据的目标特征的计算方法可以参照待检测数据的目标特征的计算方法。
109.需要说明的是，抗遗忘模块可以理解为一个存储了能够表达所有输入样本的群体特征向量的数据库，其中每个具体的特征向量都可以代表一部分类型的数据样本。抗遗忘模块的作用是防止模型更新过程中的灾难性遗忘。灾难性遗忘是指目标预测模型在学习到新特征的同时，会遗忘原本的数据特征，导致在最开始的原始任务上表现较差。在模型更新时，比较容易做到的是，用新数据 (即本技术实施例中的异常数据)训练模型，让模型学到新数据的特征，从而在新数据上表现较好，有较高的准确率，比较困难的是，在学习到新特征的同时，不遗忘历史数据的特征，在新任务和老任务上都表现出比较高的准确。抗遗忘模块则是通过只更新小部分、与新数据最相关的群体特征向量，并且控制这些向量的更新程度，来防止灾难性遗忘。
110.另外，抗遗忘模块的生成可以分为以下几个步骤：(1)初始化阶段，即目标预测模型部署到设备上时，该抗遗忘模块是根据训练集中的所有原始训练样本计算得出。应理解，原始训练样本基本大部分都会被目标预测模型正确预测。 (2)模型使用阶段，将预测结果正确的待检测样本的目标特征更新到抗遗忘模块中；(2)模型更新阶段，将异常样本的目标
特征更新到抗遗忘模块中。
111.另外，度量模型的本质是一种非参数模型，通过对度量模型中训练数据分布信息进行更新即可完成度量模型的更新，从而计算速度快，且计算压力小。
112.综上所述，模型检测方法利用多模态融合特征以及多种可学习度量模型，从不同维度对待检测数据进行检测，能够确定待检测样本是否为异常数据，还可以给出异常数据的分类建议；另外，度量模型为非参数模型，可以对被检测的目标预测模型输出进行矫正，而且计算量较小，不会为设备带来额外压力。如此，通过本技术实施例提供的模型检测方法，不仅能够对目标检测模型的预测结果进行二次判断，提高目标检测模型的预测准确性，还能够明确目标检测模型的更新方向，使得更新后的目标检测模型适应于实际生产环境。
113.本技术实施例提供了一种模型检测方法，该方法包括：将待检测数据输入目标预测模型，得到预测结果；对待检测数据进行特征提取，确定待检测数据对应的多个特征；对多个特征进行多模态融合处理，得到待检测数据对应的目标特征；通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果；根据度量结果，确定预测结果是否正确。这样，通过对待检测数据进行特征提取和多模态融合处理，所得到的目标特征能够更加全面的反应待检测数据的相关信息，提高后续判断的准确性；另外，利用待检测数据的目标特征和训练样本分布信息之间的度量结果确定待检测数据是否异常，从而判断目标预测模型的预测结果是否正确，能够对生产环境中的目标预测模型进行监督，减小错误的预测结果带来损失。
114.在本技术的另一实施例中，参见图3，其示出了本技术实施例提供的一种模型检测装置30的结构示意图。如图3所示，该模型检测装置可以包括异常值检测模块301、用户标注建议模块302和异常样本管理模块303。
115.参见图4，其示出了本技术实施例提供的一种模型检测装置30的工作过程示意图。如图4所示，在目标预测模型对待检测数据预测，得到模型预测结果之后，模型检测装置30通过异常值检测模块301、用户标注建议模块302和异常样本管理模块303进一步判断模型预测结果是否正确。具体说明如下：
116.异常值检测模块301的工作过程包括：(1)预训练网络提取特征。在接收待检测数据后，利用预训练好的网络提取待检测数据的特征。(2)多模态融合处理。由于实际场景中样本的多样性，所以本技术实施例将待检测数据的多种特征进行多模态融合处理，从而得到待检测数据的目标特征。(3)利用训练数据分布信息进行度量计算。从抗遗忘模块中获取训练数据分布信息，且训练数据分布信息用于指示目标预测模型的训练样本的特征，在不同维度下对待检测数据的目标特征和训练数据分布信息进行度量计算，得到多种度量结果。(4) 基于多种度量结果进行综合打分。综合多种度量结果的打分情况，计算出目标预测模型的预测结果是否正确。
117.在这里，如果预测结果正确，则输出预测结果，并将利用待检测数据的目标特征对抗遗忘模块中的训练样本分布信息进行更新，以提高对后续样本判断的准确率，防止“灾难性遗忘”。如果预测结果错误，则根据多种度量结果的打分信息，利用插值算法综合计算出待检测数据的异常值。后续，用户交互标注模块302还会根据任务场景以及待检测数据的异常值给出异常类别建议，如待检测数据是否为新类别样本等，再将待检测数据推送到用户交互界面，指导用户对待检测数据进行标注。
118.具体地，用户交互标注模块302的工作过程包括：根据异常值检测模块301 计算出的待检测数据的异常值与自适应的异常阈值之间的比较结果，区分出该异常数据属于三种异常样本中的某一类，再指导人工进行类别标注以及核验。在这里，被分类错误的样本可以被分为三种类型：第一种为难学习样本，第二种为概念漂移样本，第三种为远离训练数据集分布的样本。
119.这样，在用户交互标注模块302确定异常数据的异常类别后，根据异常数据的异常类别给出标注建议，从而指导用户对异常数据进行标注，即图4中的“用户交互标注异常数据”。
120.异常样本数据管理模块303可以对用户标注后的异常数据进行收集、管理以及存储，相当于前述的目标区域。然后根据目标区域内累积的异常数据的类别和数量、目标预测模型模型检测类型、具体生产场景等制定动态更新策略，后续自动触发目标预测模型的模型更新过程，提升目标预测模型在当前生产环境下的检测能力，提高模型准确率，即图4中的“根据数据信息更新模型”。
121.另外，在模型更新过程中，不仅需要利用异常样本数据管理与存储模块303 中的数据信息对目标预测模型进行更新，还需要对抗遗忘模块进行更新。
122.综上所述，在实际工业应用场景中，往往会出现由于生产环境变化等，目标预测模型遇到无法判断的未知样本(相当于前述的异常数据)，使模型准确率急剧下降，甚至无法达到工业应用标准。这些未知样本会严重影响到模型应用时的预测精度，因此，检测出实际场景中影响模型精度的异常数据是一个核心问题，这一步骤对于后续的模型更新，以及终身学习都至关重要。
123.基于该问题，本技术实施例提供一种基于度量计算的模型检测装置，具有以下优势：一方面，本技术实施例使用了多种维度的可学习度量模型(相当于度量学习子模型)，对多种度量结果进行综合打分，使得模型检测装置可以检测多种类型的异常数据，更加适应真实生产环境，并提高了模型准确性。另一方面，模型检测装置通过检测异常数据的异常值，并将异常数据的异常值与自适应的异常阈值进行比较，给出异常数据的异常类别(包括难学习样本、漂移样本或者新类型样本)，并指导用户标注异常数据，这一步对后续选择模型更新策略至关重要。又一方面，模型检测装置是一种非参数模型，不需要消耗大量计算资源训练模型，这也使得该装置可以即时更新。
124.本技术提供的模型检测装置至少能够部分改善如下问题：在实际生产环境下，对目标预测模型的待检测数据进行检测，从而检测出可能被目标预测模型预测错误的异常数据，同时为检测出的异常数据确定真实标签；收集并存储异常数据，自动触发目标预测模型的更新，提高目标预测模型对于异常数据的预测精度；同时，模型检测装置还可以适配自学习动态更新系统。
125.本技术实施例提供了一种模型检测方法，通过本实施例对前述实施例的具体实施方法进行了详细阐述，从中可以看出，通过对待检测数据进行特征提取和多模态融合处理，所得到的目标特征能够更加全面的反应待检测数据的相关信息，提高后续判断的准确性；另外，利用待检测数据的目标特征和训练样本分布信息之间的度量结果确定待检测数据是否异常，从而判断目标预测模型的预测结果是否正确，能够对生产环境中的目标预测模型进行监督，减小错误的预测结果带来损失。
126.在本技术的又一实施例中，参见图5，其示出了本技术实施例提供的另一种模型检测装置30的结构示意图。如图5所示，该模型检测装置30包括：
127.预测单元401，配置为将待检测数据输入目标预测模型，得到预测结果；
128.提取单元402，配置为对待检测数据进行特征提取，确定待检测数据对应的多个特征；
129.融合单元403，配置为对多个特征进行多模态融合处理，得到待检测数据对应的目标特征；
130.计算单元404，配置为通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果；
131.处理单元405，配置为根据度量结果，确定预测结果是否正确。
132.在一些实施例中，度量模型包括抗遗忘模块和至少一个度量计算子模型。相应地，计算单元404，具体被配置为从抗遗忘模块获取训练样本分布信息；基于至少一个度量计算子模型对目标特征和训练样本分布信息进行计算，得到至少一个度量分数信息；将至少一个度量分数信息确定为度量结果。
133.在一些实施例中，处理单元405，还被配置为在预测结果正确的情况下，输出预测结果；在预测结果错误的情况下，确定待检测数据确定为异常数据；将异常数据存储到目标区域；以及在目标区域中异常数据的数量达到目标阈值时，利用所有的异常数据对目标预测模型和度量模型进行更新处理。
134.在一些实施例中，处理单元405，还被配置为在预测结果错误的情况下，对至少一个度量分数信息进行插值计算，得到异常数据的异常值；对异常数据的异常值和异常阈值进行比较，确定异常数据的异常类别；其中，异常类别至少包括以下的其中一种：新类型样本、难学习样本或者漂移样本。
135.在一些实施例中，处理单元405，还被配置为根据异常数据的异常类别，确定异常数据的标注建议信息；根据异常数据的标注建议信息向用户发送异常数据；接收用户发送的异常数据的真实标签。
136.在一些实施例中，处理单元405，还被配置为对属于新类型样本的异常数据、属于难学习样本的异常数据和属于漂移样本的异常数据进行统计，得到统计结果；根据统计结果，确定数据偏移值；在数据偏移值大于偏移阈值的情况下，基于第一类更新策略，利用所有的异常数据和所有的异常数据的真实标签对目标预测模型进行更新处理；在数据偏移值小于或等于偏移阈值的情况下，基于第二类更新策略，利用所有的异常数据和所有的异常数据的真实标签对目标预测模型进行更新处理；其中，目标预测模型的原始模型特征在第一类更新策略中的保留比例小于目标预测模型的原始模型特征在第二类更新策略中的保留比例。
137.在一些实施例中，处理单元405，还被配置为对原始训练样本进行训练，建立目标预测模型；以及，获取原始训练样本的目标特征，根据原始训练样本的目标特征，确定目标预测模型的训练样本分布信息；将训练样本分布信息存储到抗遗忘模块；在预测结果正确的情况下，利用待检测数据的目标特征对抗遗忘模块中的训练样本分布信息进行更新；在预测结果错误的情况下，在利用异常数据和异常数据的真实标签对目标预测模型进行训练的过程中，确定异常数据的目标特征对抗遗忘模块中的训练样本分布信息进行更新。
138.可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
139.集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
140.因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，计算机程序被多个处理器执行时实现前述实施例中任一项的方法的步骤。
141.基于上述的一种模型检测装置30的组成以及计算机存储介质，参见图6，其示出了本技术实施例提供的一种电子设备50的硬件结构示意图。如图6所示，电子设备50可以包括：通信接口501、存储器502和处理器503；各个组件通过总线设备504耦合在一起。可理解，总线设备504用于实现这些组件之间的连接通信。总线设备504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线设备 504。其中，通信接口501，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
142.存储器502，用于存储能够在处理器503上运行的计算机程序；
143.处理器503，用于在运行计算机程序时，执行：
144.将待检测数据输入目标预测模型，得到预测结果；
145.对待检测数据进行特征提取，确定待检测数据对应的多个特征；
146.对多个特征进行多模态融合处理，得到待检测数据对应的目标特征；
147.通过度量模型确定目标预测模型对应的训练样本分布信息，对训练样本分布信息和目标特征进行度量计算，得到度量结果；
148.根据度量结果，确定预测结果是否正确。
149.可以理解，本技术实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram， dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步
链动态随机存取存储器(synchronous link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术描述的设备和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
150.而处理器503可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路(application specific integratedcircuit，asic)、现场可编程门阵列(field programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器503读取存储器 502中的信息，结合其硬件完成上述方法的步骤。
151.可以理解的是，本技术描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field
‑ꢀ
programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术功能的其它电子单元或其组合中。
152.对于软件实现，可通过执行本技术功能的模块(例如过程、函数等)来实现本技术的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
153.可选地，作为另一个实施例，处理器503还配置为在运行计算机程序时，执行前述实施例中任一项的方法的步骤。
154.在本技术的再一实施例中，基于上述模型检测装置30的组成示意图，参见图7，其示出了本技术实施例提供的另一种电子设备50的组成结构示意图。如图7所示，该电子设备50至少包括前述实施例中任一项的模型检测装置30。
155.对于电子设备50而言，由于其包括模型检测装置30，通过对待检测数据进行特征提取和多模态融合处理，所得到的目标特征能够更加全面的反应待检测数据的相关信息，提高后续判断的准确性；另外，利用待检测数据的目标特征和训练样本分布信息之间的度量结果确定待检测数据是否异常，从而判断目标预测模型的预测结果是否正确，能够对生产环境中的目标预测模型进行监督，减小错误的预测结果带来损失。
156.以上，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。
157.需要说明的是，在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括
该要素的过程、方法、物品或者装置中还存在另外的相同要素。
158.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
159.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
160.本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
161.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
162.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。