机器学习模型的训练方法及相关设备与流程

1.本发明涉及图像处理技术领域，特别是涉及机器学习模型的训练方法及相关设备。


背景技术：

2.机器学习模型在图像处理领域有重要应用价值，可以有效提高如图像识别等应用方向的技术效果。机器学习模型的训练过程对于机器学习模型的图像处理效果有着至关重要的影响。
3.损失函数(loss function)是用来度量机器学习模型的预测值f(x)与真实值y的差异程度的运算函数。损失函数主要应用在机器学习模型的训练阶段，每个批次的训练数据送入机器学习模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，机器学习模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得机器学习模型生成的预测值往真实值方向靠拢，从而达到学习的目的。
4.可见，损失函数对机器学习模型的训练过程十分重要。业内普遍选择一种损失函数来应用于机器学习模型的训练过程。本技术发明人经研究发现：单损失函数的训练方式无法有效提高机器学习模型的训练效果。


技术实现要素：

5.本发明实施例的目的在于提供一种机器学习模型的训练方法及相关设备，以有效提高机器学习模型的训练效果。具体技术方案如下：
6.一种机器学习模型的训练方法，包括：
7.获得图像样本集；
8.生成当前随机数；
9.若所述当前随机数小于预设阈值，则获得当前机器学习模型的第一性能得分，使用第一损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，获得本次学习后的当前机器学习模型的第二性能得分；
10.若所述第二性能评分不大于所述第一性能评分，则将本次学习后的当前机器学习模型恢复到本次学习之前的当前机器学习模型，返回执行所述生成当前随机数的步骤；若所述第二性能评分大于所述第一性能评分，返回执行所述生成当前随机数的步骤；
11.若所述当前随机数不小于所述预设阈值，则使用第二损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，返回执行所述生成当前随机数的步骤。
12.可选的，所述图像样本集中包括第一数量的训练图像和第二数量的测试图像；
13.所述使用第一损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，包括：
14.使用所述第一数量的训练图像对当前机器学习模型进行一次训练，并使用第三数量的所述测试图像和第一损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，所述第三数量不大于所述第二数量；
15.所述使用第二损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，包括：
16.使用所述第一数量的训练图像对当前机器学习模型进行一次训练，并使用第四数量的所述测试图像和第二损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，所述第四数量不大于所述第二数量。
17.可选的，所述第一损失函数为焦点损失函数focal loss、多分类合页损失函数multi-margin loss、中心损失函数center loss中的一种；
18.所述第二损失函数为：交叉熵损失函数cross-entropy loss。
19.可选的，所述当前随机数为小于1且大于0的数值，所述预设阈值小于0.5。
20.可选的，还包括：
21.若当前机器学习模型的学习次数达到预设次数，则停止当前机器学习模型的学习。
22.一种机器学习模型的训练装置，包括：样本获得单元、随机数生成单元、第一学习单元、第二学习单元和模型恢复单元，
23.所述样本获得单元，用于获得图像样本集；
24.所述随机数生成单元，用于生成当前随机数；
25.所述第一学习单元，用于在所述当前随机数小于预设阈值的情况下，获得当前机器学习模型的第一性能得分，使用第一损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，获得本次学习后的当前机器学习模型的第二性能得分；
26.所述模型恢复单元，用于在所述第二性能评分不大于所述第一性能评分的情况下，将本次学习后的当前机器学习模型恢复到本次学习之前的当前机器学习模型，触发所述随机数生成单元；所述模型恢复单元，还用于在所述第二性能评分大于所述第一性能评分的情况下，触发所述随机数生成单元；
27.所述第二学习单元，用于在所述当前随机数不小于所述预设阈值的情况下，使用第二损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，触发所述随机数生成单元。
28.可选的，所述图像样本集中包括第一数量的训练图像和第二数量的测试图像；
29.所述第一学习单元使用第一损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，具体设置为：
30.使用所述第一数量的训练图像对当前机器学习模型进行一次训练，并使用第三数量的所述测试图像和第一损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，所述第三数量不大于所述第二数量；
31.所述第二学习单元使用第二损失函数控制当前机器学习模型对所述图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，具体设置为：
32.使用所述第一数量的训练图像对当前机器学习模型进行一次训练，并使用第四数量的所述测试图像和第二损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，所述第四数量不大于所述第二数量。
33.可选的，所述第一损失函数为焦点损失函数focalloss、多分类合页损失函数multi-margin loss、中心损失函数center loss中的一种；
34.所述第二损失函数为：交叉熵损失函数cross-entropy loss。
35.可选的，所述当前随机数为小于1且大于0的数值，所述预设阈值小于0.5。
36.可选的，还包括：
37.停止单元，用于在当前机器学习模型的学习次数达到预设次数的情况下，停止当前机器学习模型的学习。
38.一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序被处理器执行时实现上述的任一种机器学习模型的训练方法。
39.一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的任一种机器学习模型的训练方法。
40.本发明实施例提供的机器学习模型的训练方法及相关设备，可以基于随机数的取值来分别使用第一损失函数和第二损失函数对机器学习模型进行训练，若使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习后的性能得分大于训练之前的性能得分，则使用此次学习后的机器学习模型继续进行学习，否则恢复到本次学习之前的当前机器学习模型。通过上述方案，本技术不使用单一损失函数或多个损失函数的线性加权和，而是允许多个损失函数随机地独立参与训练过程。与单损失函数的连续训练相比，多损失函数调度只引入了少量的开销，但带来了明显的性能改进。同时，通过训练前后的性能得分比较，可以确定第一损失函数对于模型训练的有效性，在确定对于模型训练无正向效果时，选择退回模型，可以有效避免第一损失函数带来的不利影响。
41.当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明实施例提供的一种机器学习模型的训练方法的流程图；
44.图2为本发明实施例提供的迭代学习示意图；
45.图3为本发明实施例提供的测试错误率示意图；
46.图4为本发明实施例提供的一种机器学习模型的训练装置的结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.如图1所示，本发明实施例提供了一种机器学习模型的训练方法，可以包括：
49.s100、获得图像样本集。
50.可选的，步骤s100获得的图像样本集可以是自行收集和制作的，也可以是第三方提供的。可选的，上述图像样本集可以为街景房屋号码(street view house number，svhn)数据集或cifar-100数据集。
51.其中，svhn数据集是图像分类最常用、最基本的一个经典数据集。它包含的每张图片都是现实场景中一连串数字的组合。
52.cifar-100数据集共有100个种类的32
×
32像素的彩色图像，包括50000张训练图像和10000张测试图像。
53.可选的，步骤s100获得的图像样本集中可以包括第一数量的训练图像以及第二数量的测试图像。
54.s200、生成当前随机数。
55.生成随机数的方式有很多种，本技术在此不做限定。可选的，当前随机数的取值范围为(0，1)。
56.s300、将当前随机数与预设阈值进行比较，若当前随机数小于预设阈值，则执行步骤s400；若当前随机数不小于预设阈值，执行步骤s700。
57.可选的，当前随机数为小于1且大于0的数值，预设阈值小于0.5。
58.这样，若步骤s200生成的当前随机数小于0.5，则执行步骤s400；若不小于0.5，则执行步骤s700。
59.s400、获得当前机器学习模型的第一性能得分，使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，获得本次学习后的当前机器学习模型的第二性能得分。
60.本技术不对上述当前机器学习模型的类型进行限定，认可可以对图像进行处理的机器学习模型均可。可选的，当前机器学习模型可以为神经网络模型或残差网络模型。
61.本领域技术人员可以理解的是，对机器学习模型进行性能评估的方法有很多种，本技术可选用现有的对机器学习模型进行性能评估的方法来获得当前机器学习模型的性能得分(包括第一性能得分和第二性能得分)。
62.其中，第一损失函数可以为焦点损失函数focal loss、多分类合页损失函数multi-margin loss、中心损失函数center loss中的一种。
63.其中，focalloss可以使用的范围很宽泛，但它的提出主要是为了解决难易样本数量不平衡的问题。multi-margin loss是用来计算多特征的分类任务的损失函数。center loss能把同类样本之间的距离拉近一些，使其具备相似的分布，类内距离减少，但无法增大
各类之间的距离。
64.在实际应用中，技术人员可以根据实际需要从焦点损失函数focal loss、多分类合页损失函数multi-margin loss、中心损失函数center loss或其他损失函数中选择一种作为第一损失函数。
65.s500、将第二性能评分与第一性能评分比较，若第二性能评分不大于第一性能评分，则执行步骤s600；若第二性能评分大于第一性能评分，返回执行步骤s200。
66.可以理解的是，若第二性能评分不大于第一性能评分，则说明使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习并没有提高当前机器学习模型的性能。若第二性能评分大于第一性能评分，则说明使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习提高了当前机器学习模型的性能。
67.若使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习提高了当前机器学习模型的性能，则可以保留此次学习后的当前机器学习模型并继续对此次学习后的当前机器学习模型进行训练。
68.s600、将本次学习后的当前机器学习模型恢复到本次学习之前的当前机器学习模型，返回执行步骤s200。
69.通过步骤s600，本技术可以在使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习但没有提高当前机器学习模型的性能的情况下，恢复到本次学习之前的当前机器学习模型。这样就避免了此次学习对当前机器学习模型带来的不利影响。
70.s700、使用第二损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，返回执行步骤s200。
71.其中，第二损失函数可以为：交叉熵损失函数cross-entropy loss。
72.cross-entropy loss在计算机视觉任务中最常见的损失函数之一，适用于二分类和多分类任务。
73.需要说明的是，在实际应用中，技术人员在实现本技术技术方案的过程中，可以将多种损失函数中已经确定的、对当前机器学习模型的性能提升效果最佳的一种损失函数确定为第二损失函数。若无法确定何种损失函数对当前机器学习模型的性能提升效果最佳，则可以采用当前机器学习模型的类别最常用的损失函数作为第二损失函数。可以理解的是，可以基于多种分类方式将机器学习模型分为不同的类别，例如：基于应用领域、所处理的数据类型、模型结构的类型等将机器学习模型分为不同的类别。
74.通过第二损失函数的选取，可以使得本技术无需对第二损失函数训练前后的机器学习模型进行评分，有效减少了计算量及循环次数，提高了模型训练的速度。
75.可选的，第一损失函数可以为除第二损失函数外的其他损失函数。技术人员可以根据经验或现有的数据选择对当前机器学习模型的性能提升效果可能较高的损失函数作为第二损失函数。
76.本发明实施例提供的机器学习模型的训练方法，可以基于随机数的取值来分别使用第一损失函数和第二损失函数对机器学习模型进行训练，若使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习后的性能得分大于训练之前的性能得分，则使用此次学习后的机器学习模型继续进行学习，否则恢复到本次学习之前的当前机器学习模型。通过上述方案，本技术不使用单一损失函数或多个损失函数的线性加权和，而是允许多
个损失函数随机地独立参与训练过程。与单损失函数的连续训练相比，多损失函数调度只引入了少量的开销，但带来了明显的性能改进。同时，通过训练前后的性能得分比较，可以确定第一损失函数对于模型训练的有效性，在确定对于模型训练无正向效果时，选择退回模型，可以有效避免第一损失函数带来的不利影响。
77.本领域技术人员可以理解的是，机器学习模型的学习次数达到一定次数后，就可以停止当前机器学习模型的学习。或者，经过多次学习后的机器学习模型的质量已经满足要求，则可以停止当前机器学习模型的学习。
78.本技术不对机器学习模型的训练停止方法进行限定，采用现有的训练停止方法即可。
79.图1所示方法还可以包括：
80.若当前机器学习模型的学习次数达到预设次数，则停止当前机器学习模型的学习。
81.上述预设次数可以大于100次。
82.可选的，图像样本集中包括第一数量的训练图像和第二数量的测试图像；
83.图1所示方法中，使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，可以包括：
84.使用第一数量的训练图像对当前机器学习模型进行一次训练，并使用第三数量的测试图像和第一损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，第三数量不大于第二数量。
85.图1所示方法中，使用第二损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，可以包括：
86.使用第一数量的训练图像对当前机器学习模型进行一次训练，并使用第四数量的测试图像和第二损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，第四数量不大于第二数量。
87.上述使用测试图像和损失函数对模型进行测试，以及基于测试结果对模型进行调整为成熟的现有技术，不再赘述。
88.为方便理解本技术图1所示方法，下面以神经网络模型为例进行说明。
89.如图2所示，训练样本集输入模型后，当前机器学习模型可以进行多次迭代学习。在第i-1次迭代中，当前机器学习模型的模型参数为模型参数i-1。在每次迭代学习过程中，均使用当前随机数的取值来决定使用哪一个损失函数来进行学习。
90.若当前随机数不小于预设阈值，则使用第二损失函数进行一次学习，并获得学习后的新的模型参数：模型参数i。在第i-1次迭代中，神经网络通过前向传播计算得到损失函数的计算结果，然后在神经网络中反向传播，让第i次迭代使用新的模型参数，从而完成模型参数i的传递，即：将本次学习后的当前机器学习模型进行下一次学习。
91.若当前随机数小于预设阈值，则在本次学习之前，首先使用测试图像得到当前机器学习模型的第一性能得分，然后使用第一损失函数对当前机器学习模型进行一次学习。在学习后，当前机器学习模型的模型参数将会更新为模型参数i`，此时，可以使用测试图像
得到当前机器学习模型的第二性能得分。如果第二性能得分大于第一性能得分，则说明第一损失函数对模型性能有正向影响，继续使用本次学习后的当前机器学习模型(模型参数i`)进行下一次迭代学习。若第二性能得分不大于第一性能得分，则说明第一损失函数对模型性能没有正向影响，从考虑提高网络模型性能的角度出发，无需使用第一损失函数。此时将本次学习后的当前机器学习模型恢复到本次学习之前的当前机器学习模型(模型参数i-1)，并重新基于当前随机数的取值来决定使用哪一个损失函数来进行学习。
92.可选的，在实际应用中，本技术可以通过调整预设阈值的大小来控制第一损失函数以及第二损失函数参数学习的概率。
93.进一步的，在每次迭代学习过程中，本技术还可以调整每次学习前后获得当前机器学习模型的性能得分所使用的测试图像的数量。在每一次迭代学习时，从图像样本集中随机选取k*n数量的图像作为测试图像，使用这些测试图像获得当前机器学习模型的性能得分。其中，k为测试图像选取比例。
94.k越大，则计算性能得分时产生的计算量越大。过小的k可能导致模型性能的不准确评估，过大的k可能导致第一损失函数对模型参数的更新不足。具体来讲，当k过小时，测试图像就越少，会对结果的判断存在较大误差。当k过大时，测试图像就越多，而在较多的测试图像上，第一损失函数的表现必定不如第二损失函数(第二损失函数是最优的损失函数)，根据本发明的方案就会舍弃第一损失函数，因而会导致网络的分类性能趋近于第二损失函数的基础值。同时在k越大时，会带来很高的计算量，从而带来额外的开销。
95.为了验证本发明效果，于是进行了以下实验。实验对比了在tiny imagenet数据集上训练resnet-50网络时，仅使用multi-margin loss作为损失函数、使用cross-entropy loss和multi-margin loss独立训练但不加入本技术的控制方式时网络的性能表现。在图3中，条线1表示仅通过multi-margin loss训练的resnet-50模型的测试错误率；线条2表示使用cross-entropy loss和multi-margin loss独立训练但不加入本技术的控制方式时训练的resnet-50模型的测试错误率；线条3表示在该时刻通过multi-margin loss进行了更新。
96.从图3中可以看到，在tiny imagenet数据集上，multi-margin loss对于resnet-50网络模型的训练效果表现得很差，可以说它无法训练该网络模型。我们还将cross-entropy loss和multi-margin loss相结合，在不使用测试图像评估网络性能时对该网络进行训练，即每次迭代有20％的机会随机选择一批使用multi-margin loss来更新模型参数。实验结果表明，在不使用本技术方法的情况下，模型只进行多次multi-margin loss更新，辅助函数的引入会严重影响模型的性能。但当我们通过使用resnet-50模型，独立训练10次多损失函数独立调度算法时，整个训练过程中没有发生崩溃。
97.本技术继续进行了如下实验：
98.本实验选择现有技术中较为典型的损失函数：cross-entropy，multi-margin loss，focalloss，center loss在resnet-20网络上训练了svhn数据集。本实验设定对网络进行了160次迭代的学习，将学习率设置为0.1，分别在第60次迭代和第120次迭代将学习率做了除以10的操作。本实验中使用的权重衰减系数为1
×
10-4
。为了公平的做比较，本实验包括学习率、权重衰减系数等所有训练参数都是相同的。
99.实验的分类错误率如表1所示。我们可以看到，独立使用center loss优于其他四
个损失函数。如果本技术的方法来调度cross-entropy loss和multi-margin loss，模型的错误率达到了4.17％。与使用softmax loss的错误率4.29％和multi-margin loss的错误率5.25％相比，本发明在开销很少的情况下显著提高了模型的性能。
100.表1、分类错误率表
[0101][0102][0103]
表1中，p为预设阈值，k为测试图像选取比例。
[0104]
与上述方法实施例相对应，本技术还提供了一种机器学习模型的训练装置。
[0105]
如图4所示，本技术实施例提供的一种机器学习模型的训练装置，可以包括：样本获得单元100、随机数生成单元200、第一学习单元300、第二学习单元500和模型恢复单元400，
[0106]
样本获得单元100，用于获得图像样本集；
[0107]
随机数生成单元200，用于生成当前随机数；
[0108]
第一学习单元300，用于在当前随机数小于预设阈值的情况下，获得当前机器学习模型的第一性能得分，使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，获得本次学习后的当前机器学习模型的第二
性能得分；
[0109]
模型恢复单元400，用于在第二性能评分不大于第一性能评分的情况下，将本次学习后的当前机器学习模型恢复到本次学习之前的当前机器学习模型，触发随机数生成单元；模型恢复单元，还用于在第二性能评分大于第一性能评分的情况下，触发随机数生成单元；
[0110]
第二学习单元500，用于在当前随机数不小于预设阈值的情况下，使用第二损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，触发随机数生成单元。
[0111]
可选的，图像样本集中包括第一数量的训练图像和第二数量的测试图像；
[0112]
第一学习单元300使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，具体设置为：
[0113]
使用第一数量的训练图像对当前机器学习模型进行一次训练，并使用第三数量的测试图像和第一损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，第三数量不大于第二数量；
[0114]
第二学习单元500使用第二损失函数控制当前机器学习模型对图像样本集进行一次学习，并获得本次学习后的当前机器学习模型，具体设置为：
[0115]
使用第一数量的训练图像对当前机器学习模型进行一次训练，并使用第四数量的测试图像和第二损失函数对本次训练后的当前机器学习模型进行测试，基于测试结果对本次训练后的当前机器学习模型进行调整，获得本次学习后的当前机器学习模型，其中，第四数量不大于第二数量。
[0116]
可选的，第一损失函数为焦点损失函数focal loss、多分类合页损失函数multi-margin loss、中心损失函数center loss中的一种；
[0117]
第二损失函数为：交叉熵损失函数cross-entropy loss。
[0118]
可选的，当前随机数为小于1且大于0的数值，预设阈值小于0.5。
[0119]
可选的，图4所示装置还包括：
[0120]
停止单元，用于在当前机器学习模型的学习次数达到预设次数的情况下，停止当前机器学习模型的学习。
[0121]
本发明实施例提供的机器学习模型的训练装置，可以基于随机数的取值来分别使用第一损失函数和第二损失函数对机器学习模型进行训练，若使用第一损失函数控制当前机器学习模型对图像样本集进行一次学习后的性能得分大于训练之前的性能得分，则使用此次学习后的机器学习模型继续进行学习，否则恢复到本次学习之前的当前机器学习模型。通过上述方案，本技术不使用单一损失函数或多个损失函数的线性加权和，而是允许多个损失函数随机地独立参与训练过程。与单损失函数的连续训练相比，多损失函数调度只引入了少量的开销，但带来了明显的性能改进。同时，通过训练前后的性能得分比较，可以确定第一损失函数对于模型训练的有效性，在确定对于模型训练无正向效果时，选择退回模型，可以有效避免第一损失函数带来的不利影响。
[0122]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序，该程序被处理器执行时实现本技术实施例提供的任一种机器学习模型的训练方法。
[0123]
本技术实施例提供了一种电子设备，该电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行本技术实施例提供的任一种机器学习模型的训练方法。
[0124]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0125]
在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
[0126]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
[0127]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0128]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0129]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0130]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0131]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。