基于机器学习的模型优化方法、装置及计算机可读存储介质与流程

1.本公开属于人工智能领域，具体涉及一种基于机器学习的模型优化方法、装置及计算机可读存储介质。


背景技术：

2.本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认其为现有技术。
3.样本标签的准确性对于模型训练至关重要。而部分样本的标签标注错误是无法完全避免的。本公开中将标签标注错误的这类样本称为标签噪声样本，而将标签标注正确的样本称为标签正常样本。在模型训练的过程中，需要识别出标签噪声样本，并降低标签噪声样本对模型训练的影响，防止模型对这些标签噪声样本进行过拟合。


技术实现要素：

4.本公开提供一种基于机器学习的模型优化方法、装置及计算机可读存储介质。
5.本公开的实施例中提供了以下方案：一种基于机器学习的模型优化方法，所述模型优化方法包括多次模型迭代操作，所述多次模型迭代操作中的至少一次模型迭代操作包括：
6.根据多个样本、各样本的标签、各样本为标签噪声样本的概率值对模型进行训练，得到第一模型，其中，根据单个样本对应的标签预测值、所述单个样本的标签、以及所述单个样本为标签噪声样本的概率值确定所述单个样本的第一损失函数值，根据所述多个样本的第一损失函数值指导所述模型的训练；
7.将所述多个样本输入所述第一模型，得到各样本的标签预测值，根据各样本的标签预测值和各样本的标签确定各样本的第二损失函数值；
8.根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值。
9.本公开的实施例中提供了以下方案：一种基于机器学习的模型优化装置，包括：模型迭代模块，用于执行多次模型迭代操作，所述多次模型迭代操作中的至少一次模型迭代操作包括：
10.根据多个样本、各样本的标签、各样本为标签噪声样本的概率值对模型进行训练，得到第一模型，其中，根据单个样本对应的标签预测值、所述单个样本的标签、以及所述单个样本为标签噪声样本的概率值确定所述单个样本的第一损失函数值，根据所述多个样本的第一损失函数值指导所述模型的训练；
11.将所述多个样本输入所述第一模型，得到各样本的标签预测值，根据各样本的标签预测值和各样本的标签确定各样本的第二损失函数值；
12.根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值。
13.本公开的实施例中提供了以下方案：一种基于机器学习的模型优化装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少
一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述的基于机器学习的模型优化方法。
14.本公开的实施例中提供了以下方案：一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行前述的基于机器学习的模型优化方法。
15.通过无监督学习分析出每一个样本的标签标注错误的概率值，在模型训练过程中，通过该概率值修正损失函数值，有意减少标签标注错误的概率值较大的样本的权重，从而避免模型对这些标签标注错误的概率值较大的样本过拟合。
16.应当理解，上述说明仅是本公开技术方案的概述，以便能够更清楚地了解本公开的技术手段，从而可依照说明书的内容予以实施。为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本公开的具体实施方式。
附图说明
17.图1为根据本公开的实施例的基于机器学习的模型优化方法中一次模型迭代操作的流程示意图。
18.图2为根据本公开的实施例的模型优化方法得到的样本的第二损失函数值的分布示意图。
19.图3为根据本公开的实施例的模型优化方法得到的样本的第二损失函数值变化趋势图。
20.图4为根据本公开的实施例的基于机器学习的模型优化方法的完整流程示意图。
21.图5为根据本公开的实施例的基于机器学习的模型优化装置的结构示意图。
22.图6为根据本公开的另一实施例的基于机器学习的模型优化装置的结构示意图。
具体实施方式
23.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
24.本公开的实施例提供一种基于机器学习的模型优化方法。所述模型例如是神经网络模型或者其他的机器学习模型。该模型的应用场景可以是诸如语音识别、图像识别、决策等已知的机器学习的应用场景。从设备角度而言，该模型优化方法的执行主体可以是一个或者多个电子设备，更具体地可以是其中的处理模块；从程序角度而言，该模型优化方法的执行主体相应地可以是搭载于这些电子设备上的程序。
25.所述模型优化方法包括多次模型迭代操作，所述多次模型迭代操作中的至少一次模型迭代操作包括图1所示流程图中的步骤101至103。
26.在步骤101中，根据多个样本、各样本的标签、各样本为标签噪声样本的概率值进行模型训练，得到第一模型，其中，根据单个样本对应的标签预测值、所述单个样本的标签、以及所述单个样本为标签噪声样本的概率值确定所述单个样本的第一损失函数值，根据所述多个样本的第一损失函数值指导所述模型的训练。
27.每一个样本可以是一个多维度的向量。样本的标签可以是1和0。各样本为标签噪声样本的概率值的取值也是在0到1之间。
28.模型训练指的是对模型的参数或超参数进行多轮迭代，使得该多个样本的第一损失函数值之和收敛于一个足够小的值。本公开对如何根据第一损失函数值之和更新模型的参数或超参数不做限定，例如可以采用常规的梯度下降法或者随机梯度下降法等。
29.由于第一损失函数值中包含了样本是标签噪声样本的概率值这一信息，对于该概率值相对较大的样本，模型训练过程中可以适当降低这些样本的权重，从而防止模型训练过程中对这些样本过拟合。
30.在步骤102中，将所述多个样本输入所述第一模型，得到各样本的标签预测值，根据各样本的标签预测值和各样本的标签确定各样本的第二损失函数值。
31.第二损失函数值表示的是样本的标签预测值与其真实值之间真实的差异。该步骤中，并不关注标签标注的是否正确。由于在步骤101中有意降低了标签标注错误概率较大的样本的权重，随着模型迭代操作的次数的增加，这些样本的第二损失函数值是趋于增大的。
32.在步骤103中，根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值。
33.该步骤通过无监督学习分析出每一个样本的标签标注错误的概率值，下一轮的模型迭代操作中的步骤101中各样本为标签噪声样本的概率值得到了更新。
34.需要说明的是，下一轮模型迭代操作中的样本的数量可以是与本轮模型迭代操作中样本的数量相同的。如果某一个样本为标签噪声样本的概率值足够大，在下一轮模型跌倒操作中也可以直接剔除该样本。
35.本公开中，为了便于区分，将步骤101中对模型的参数或超参数的迭代优化过程称为“模型训练”，将包含步骤101至步骤103的一轮操作称为“模型迭代操作”。“模型迭代操作”包含了“模型优化操作”以及对样本为标签噪声样本的概率值进行更新的操作。
36.以下介绍第一损失函数值的几种计算方法。
37.在一些实施方式中，所述多个样本中编号为i的样本的第一损失函数值按照如下公式计算：
[0038][0039]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi表示编号为i的样本为标签噪声样本的概率值，hi表示编号为i的样本为正样本的概率值；
[0040]
其中，1≤i≤n，n为所述多个样本的样本数。
[0041]
在一些实施方式中，，所述多个样本中编号为i的样本的第一损失按照如下公式计算：
[0042][0043]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi表示编号为i的样本为标签噪声样本的概率值，hi表示编号为i的样本为正样本的概率值；
[0044]
其中，1≤i≤n，n为所述多个样本的样本数。
[0045]
在一些实施方式中，所述多个样本中编号为i的样本的第一损失按照如下公式计算：
[0046][0047]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi为编号为i的样本是标签噪声样本的概率值，hi为编号为i的样本是正样本的概率值；
[0048]
其中，1≤i≤n，n为所述多个样本的样本数。
[0049]
在一些实施方式中，所述多个样本中编号为i的样本的第二损失函数值按照如下公式计算：
[0050][0051]
其中，为编号为i的样本的第二损失函数值，yi为编号为i的样本的标签，hi为编号为i的样本是正样本的概率值；
[0052]
其中，1≤i≤n，n为所述多个样本的样本数。
[0053]
第二损失函数值反应的是样本的预测值与标签的真实差异。而第一损失函数值基于样本是标签噪声样本的概率对样本的预测值与标签的差异进行了修正。
[0054]
图3是本公开的发明人对上述方法进行验证所得实验数据。
[0055]
随着“模型迭代操作”次数的增加，部分样本的第二损失函数值是趋于增大的，这些样本大概率是标签噪声样本。图3中上部的曲线表示的是这类样本的第二损失函数值的平均值的变化趋势。
[0056]
随着“模型迭代操作”次数的增加，部分样本的第二损失函数值是趋于减小的，这些样本大概率是标签标注正确的样本。图3中下部的曲线表示的是这类样本的第二损失函数值的平均值的变化趋势。
[0057]
在一些实施方式中，根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值，包括：
[0058]
样本为标签噪声样本的概率值，包括：
[0059]
采用em算法估计所述多个样本服从的第一分布和第二分布的参数和混合系数，其中，所述第一分布为标签正常样本的所述概率值的分布，所述第二分布为标签噪声样本的所述概率值的分布；
[0060]
根据每个样本的第二损失函数值以及所述第二分布的参数和混合系数更新每个样本为标签噪声样本的概率值。
[0061]
em算法是一种迭代优化策略,由于它的计算方法中每一次迭代都分两步,其中一个为期望步(e步),另一个为极大步(m步),所以算法被称为em算法(expectation-maximization algorithm)。
[0062]
第一分布和第二分布是相同类型的分布。二者例如均为高斯分布或者均为贝塔分布。前者对应的em算法可称为基于高斯混合分布的em算法，后者对应的em算法可称为基于贝塔混合分布的em算法。
[0063]
图2中的柱状图表示的是损失函数值的真实分布，实线表示的是基于em算法拟合得到的高斯混合分布的概率密度图，虚线表示的是基于em算法拟合得到的贝塔混合分布的概率密度图。柱状图内的横向的分界线上方的柱条代表标签噪声样本的分布，柱状图内的横向的分界线下方的柱条代表标签正常样本的分布。为了便于展示，损失函数值按照某种
算法被归一化到[0,1]的范围内。
[0064]
贝塔分布的表达式如下：
[0065][0066]
其中，α和β是贝塔分布的参数，γ(
·
)是贝塔函数，是第二损失函数值，是第二损失函数值为的样本属于参数为α，β的贝塔分布的概率密度函数。
[0067]
贝塔混合分布的表达式如下：
[0068][0069]
其中，k是贝塔分布的编号，k是贝塔分布的个数。本公开的实施例中，k＝2。λk是第二损失函数值为的样本属于第k个贝塔分布的概率(也称混合系数)，是第二损失函数值的概率密度函数。
[0070]
在计算出每个样本的第二损失函数值后，通过em算法估算两个贝塔分布的参数以及混合系数。
[0071]
在e步，基于当前的混合系数λk和当前每个贝塔分布的系数αk和βk计算第二损失函数值为的样本属于每个贝塔分布的概率值计算公式如下：
[0072][0073]
其中，k＝0对应标签正常样本，k＝1对应标签噪声样本。
[0074]
在m步，根据第二损失函数值为的样本属于每个贝塔分布的概率值重新估算各贝塔分布的混合系数和参数。计算公式如下：
[0075][0076][0077]
其中，
[0078]
随后根据拟合得到的贝塔混合分布，更新每个样本属于第k贝塔分布的概率：
[0079][0080]
在一些实施方式中，结合图4，所述方法还包括：在所述模型迭代操作的次数达到设定阈值的情况下停止所述模型迭代操作；或者，在所述全部样本的第二损失函数值收敛的情况下停止所述模型迭代操作。
[0081]
即提供了模型迭代操作的退出机制。
[0082]
基于相同的技术构思，本公开的实施例还提供一种基于机器学习的模型优化装
置，用于执行上述任一实施例所提供的基于机器学习的模型优化方法。具体地，该基于机器学习的模型优化装置可以是由专用集成电路(asic)、图形处理单元(gpu)等硬件形式实现。
[0083]
参考图5，该基于机器学习的模型优化装置包括：模型迭代模块1，用于执行多次模型迭代操作，所述多次模型迭代操作中的至少一次模型迭代操作包括：
[0084]
根据多个样本、各样本的标签、各样本为标签噪声样本的概率值对模型进行训练，得到第一模型，其中，根据单个样本对应的标签预测值、所述单个样本的标签、以及所述单个样本为标签噪声样本的概率值确定所述单个样本的第一损失函数值，根据所述多个样本的第一损失函数值指导所述模型的训练；
[0085]
将所述多个样本输入所述第一模型，得到各样本的标签预测值，根据各样本的标签预测值和各样本的标签确定各样本的第二损失函数值；
[0086]
根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值。
[0087]
在一些实施方式中，所述多个样本中编号为i的样本的第一损失函数值按照如下公式计算：
[0088][0089]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi表示编号为i的样本为标签噪声样本的概率值，hi表示编号为i样本为正样本的概率值；
[0090]
其中，1≤i≤n，n为所述多个样本的样本数。
[0091]
在一些实施方式中，所述多个样本中编号为i的样本的第一损失按照如下公式计算：
[0092][0093]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi表示编号为i的样本为标签噪声样本的概率值，hi表示编号为i样本为正样本的概率值；
[0094]
其中，1≤i≤n，n为所述多个样本的样本数。
[0095]
在一些实施方式中，所述多个样本中编号为i的样本的第一损失按照如下公式计算：
[0096][0097]
其中，为编号为i的样本的第一损失函数值，yi为编号为i的样本的标签，zi为编号为i的样本的标签预测值，pi为编号为i的样本是标签噪声样本的概率值，hi为编号为i的样本是正样本的概率值；
[0098]
其中，1≤i≤n，n为所述多个样本的样本数。
[0099]
在一些实施方式中，所述多个样本中编号为i的样本的第二损失函数值按照如下公式计算：
[0100][0101]
其中，为编号为i的样本的第二损失函数值，yi为编号为i的样本的标签，hi为编号为i的样本是正样本的概率值；
[0102]
其中，1≤i≤n，n为所述多个样本的样本数。
[0103]
在一些实施方式中，根据所述多个样本的第二损失函数值更新各样本为标签噪声样本的概率值，包括：
[0104]
采用em算法估计所述多个样本服从的第一分布和第二分布的参数和混合系数，其中，所述第一分布为标签正常样本的所述概率值的分布，所述第二分布为标签噪声样本的所述概率值的分布；
[0105]
根据每个样本的第二损失函数值以及所述第二分布的参数和混合系数更新每个样本为标签噪声样本的概率值。
[0106]
在一些实施方式中，所述装置还包括停止模块2，用于在所述模型迭代操作的次数达到设定阈值的情况下停止所述模型迭代操作；或者，用于在所述全部样本的第二损失函数值收敛的情况下停止所述模型迭代操作。
[0107]
参考图6，本公开的实施例还提供一种基于机器学习的模型优化装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述的基于机器学习的模型优化方法。
[0108]
本公开的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器执行前述的基于机器学习的模型优化方法。
[0109]
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以其描述进行了简化，相关之处可参见方法实施例的部分说明即可。
[0110]
本公开实施例提供的装置和计算机可读存储介质与方法是一一对应的，因此，装置和计算机可读存储介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置和计算机可读存储介质的有益技术效果。
[0111]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0112]
本公开是参照根据本公开实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0113]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0114]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0115]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0116]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0117]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0118]
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。