使用蒸馏的具有个体目标类别的多个模型的统一的制作方法

技术特征：
1.一种用于生成统一软标注的计算机实现的方法，所述计算机实现的方法包括：准备样本集合；对每个样本获得由多个个体训练的模型生成的多个预测，每个个体训练的模型具有个体类别集合以至少部分地形成包括多个目标类别的统一类别集合；对每个样本，使用连接每个个体训练的模型的第一输出和所述统一模型的第二输出的关系来从所述多个预测中估计所述统一类别集合中的所述目标类别上的统一软标注；以及输出所述统一软标注以训练具有所述统一类别集合的统一模型。2.如权利要求1所述的计算机实现方法，其中，所述计算机实现方法包括：将每个样本馈送到所述统一模型中，以推断所述统一类别集合中的所述目标类别上的预测值作为所述第二输出；基于所述统一软标注与每个样本的所述预测值之间的损失函数来更新所述统一模型；以及存储更新的所述统一模型。3.如权利要求1所述的计算机实现的方法，其中所述关系指示一个个体训练的模型的所述第一输出中的每个预测值与由所述一个个体训练的模型的所述个体类别集合归一化的所述统一模型的所述第二输出中的对应预测值之间的等价性。4.如权利要求2所述的计算机实现的方法，其中通过对所述统一类别集合中的所述目标类别进行加权来加权所述损失函数，用于一个目标类别的每个权重以基于通过所述集合的所述一个目标类别上的所述统一软标注的统计量的方式来计算。5.如权利要求1所述的计算机实现方法，其中，通过对相对于对应于所述统一模型的所述第二输出的分布q的目标函数进行优化的问题求解来估计所述统一软标注，所述目标函数测量对应于所述多个预测的多个参考分布p
i
和多个归一化分布q
i
^之间的误差，所述多个归一化分布q
i
^的每个通过在每个个体类别集合中的目标类别上归一化所述分布q而获得的。6.如权利要求5所述的计算机实现方法，其中，所述分布q通过以下步骤获得：利用临时变量u
l
来解决凸问题，每个临时变量u
l
被给予统一类别集合l
u
中的每个目标类别l，所述分布q由所述凸问题中的各个临时变量u
l
的指数函数的集合来表示；以及将求解的临时变量u
l
转换成所述分布q。7.如权利要求5所述的计算机实现的方法，其中所述目标函数是交叉熵函数。8.如权利要求1所述的计算机实现方法，其中，通过基于矩阵因式分解的方式对针对将所述统一模型的所述第二输出表示为变量的至少输出向量u的目标函数优化的问题求解来估计所述统一软标注，所述统一软标注以概率或分对数的形式表示。9.如权利要求8所述的计算机实现的方法，其中，以概率的形式表示所述输出向量u，并且优化所述目标函数的所述问题进一步针对表示用于所述个体训练的模型的归一化因子的归一化向量v来求解，所述目标函数测量具有缺失条目的概率的形式表示所述多个预测p
i
的概率矩阵p与所述输出向量u和所述归一化向量v的乘积之间的误差，使用掩码矩阵m表示各体类别集合中缺失类的存在。10.如权利要求8所述的计算机实现的方法，其中，所述输出向量u以分对数的形式表示，并且优化所述目标函数的所述问题进一步针对分对数缩放向量v和分对数移位向量c来
求解，所述目标函数测量具有缺失条目的以分对数的形式表示所述多个预测p
i
的分对数矩阵z与所述输出向量u和由所述分对数移位向量c移位的所述分对数缩放向量v的乘积之间的误差，使用掩码矩阵m表示个体类别集合中缺失类别的存在。11.如权利要求8所述的计算机实现的方法，其中，所述输出向量u以分对数的形式表示，并且优化所述目标函数的所述问题进一步针对分对数移位向量c来求解，所述目标函数测量具有缺失条目的以分对数的形式表示的所述多个预测p
i
的分对数矩阵z与所述输出向量u和由所述分对数移位向量c移位的所述固定缩放向量v的乘积之间的误差，使用掩码矩阵m表示个体类别集合中缺失类别的存在。12.如权利要求1所述的计算机实现的方法，其中，所述统一模型和所述个体训练的模型中的每一个选自由以下各项组成的组：基于神经网络的分类模型、基于决策树或森林的分类模型、以及基于支持向量机的分类模型。13.如权利要求1所述的计算机实现方法，其中，所述计算机实现方法包括：对所述多个个体训练的模型中的每一个，接收(i)个体训练的模型本身的内容或(ii)通过将每个样本馈送到所述个体训练的模型中而获得的软标注集合，以及所述个体类别集合的内容。14.一种用于训练统一模型的计算机实现的方法，所述计算机实现的方法包括：准备样本集合；对每个样本获得由多个个体训练的模型生成的多个预测，每个个体训练的模型具有个体类别集合以至少部分地形成包括所述多个目标类别的统一类别集合；以及使用每个样本的所述多个预测以及将每个个体训练的模型的第一输出与在所述统一类别集合中的所述目标类别上的所述统一模型的第二输出相连接的关系来更新具有所述统一类别集合的所述统一模型。15.如权利要求14所述的计算机实现的方法，其中，所述计算机实现的方法包括：将每个样本馈送到所述统一模型中，以推断所述统一类别集合中的所述目标类别上的预测值作为所述第二输出，使用所述预测值来更新所述统一模型；以及存储更新的所述统一模型。16.如权利要求15所述的计算机实现的方法，其中，所述统一模型包括神经网络，并且所述统一模型通过贯穿所述神经网络反向传播损失来更新，所述损失测量对应于所述多个预测的多个参考分布p
i
与通过对每个个体类别集合中的目标类别上的分布q归一化而获得的多个归一化分布q
i
^之间的误差，所述分布q作为由所述统一模型推断的所述预测值而获得。17.如权利要求15所述的计算机实现的方法，其中，所述统一模型包括神经网络，并且所述统一模型通过贯穿所述神经网络反向传播损失来更新，通过以基于矩阵因子分解的方式对具有表示所述统一模型的所述第二输出的输出向量u和其他变量的目标函数优化的问题求解来获得所述损失，所述输出向量u作为所述统一模型推断的所述预测值被获得，并被固定在所述问题中。18.一种用于生成统一软标注的计算机系统，所述计算机系统包括：存储程序指令的存储器；处理电路，与所述存储器通信，用于执行所述程序指令，其中，所述处理电路被配置为：
准备样本集合；对每个样本获得由多个个体训练的模型生成的多个预测，其中每个个体训练的模型具有个体类别集合以至少部分地形成包括多个目标类别的统一类别集合；对每个样本，使用连接每个个体训练的模型的第一输出和所述统一模型的第二输出的关系来从所述多个预测中估计所述统一类别集合中的所述目标类别上的统一软标注；以及输出所述统一软标注以训练具有所述统一类别集合的统一模型。19.如权利要求18所述的计算机系统，其中，其中，通过对相对于对应于所述统一模型的所述第二输出的分布q的目标函数进行优化的问题求解来估计所述统一软标注，所述目标函数测量对应于所述多个预测的多个参考分布p
i
和多个归一化分布q
i
^之间的误差，所述多个归一化分布q
i
^之间的误差的每个通过对在每个个体类别集合中的目标类别上所述分布q归一化而获得的。20.如权利要求18所述的计算机系统，其中，通过基于矩阵因式分解的方式对针对将所述统一模型的所述第二输出表示为变量的至少输出向量u的目标函数优化的问题求解来估计所述统一软标注，所述统一软标注以概率或分对数的形式表示。21.一种用于训练统一模型的计算机系统，所述计算机系统包括：存储程序指令的存储器；处理电路，与所述存储器通信，用于执行所述程序指令，其中，所述处理电路被配置为：准备样本集合；对每个样本，使用连接每个个体训练的模型的第一输出和所述统一模型的第二输出的关系来从所述多个预测中估计所述统一类别集合中的所述目标类别上的统一软标注；以及使用每个样本的所述多个预测以及将每个个体训练的模型的第一输出与在所述统一类别集合中的所述目标类别上的所述统一模型的第二输出相连接的关系来更新具有所述统一类别集合的所述统一模型。22.如权利要求21所述的计算机系统，其中，所述统一模型包括神经网络，并且所述统一模型通过贯穿所述神经网络反向传播损失来更新，所述损失测量对应于所述多个预测的多个参考分布p
i
与通过归一化每个个体类别集合中的目标类别上的分布q而获得的多个归一化分布q
i
^之间的误差，所述分布q作为由所述统一模型推断的所述预测值而获得。23.如权利要求21所述的计算机系统，其中，所述统一模型包括神经网络，并且所述统一模型通过贯穿所述神经网络反向传播损失来更新，通过以基于矩阵因子分解的方式对具有表示所述统一模型的所述第二输出的输出向量u和其他变量的目标函数优化的问题求解来获得所述损失，所述输出向量u作为所述统一模型推断的所述预测值被获得，并被固定在所述问题中。24.一种用于生成统一软标注的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的程序指令，所述程序指令可由计算机执行以使得所述计算机执行一种方法，所述方法包括：准备样本集合；对每个样本获得由多个个体训练的模型生成的多个预测，每个个体训练的模型具有个体类别集合以至少部分地形成包括多个目标类别的统一类别集合；对每个样本，使用连接每个个体训练的模型的第一输出和所述统一模型的第二输出的
关系来从所述多个预测中估计所述统一类别集合中的所述目标类别上的统一软标注；以及输出所述统一软标注以训练具有所述统一类别集合的统一模型。25.一种用于生成统一软标注的计算机程序产品，所述统一软标注用于训练具有包括多个目标类别的统一类别集合的统一模型，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有随其体现的程序指令，所述程序指令可由计算机执行以促使所述计算机执行权利要求14的计算机实施的方法。

技术总结
公开了一种用于生成统一软标注的计算机实现的方法。在计算机实现的方法中，准备样本集合。然后，对每个样本获得由多个个体训练的模型生成的多个预测，其中每个个体训练的模型具有个体类别集合以至少部分地形成包括多个目标类别的统一类别集合。使用连接每个个体训练的模型的第一输出和统一模型的第二输出的关系来从多个预测中估计每个样本在统一类别集合中的所述目标类别上的统一软标注。输出统一软标注以训练具有统一的类别集合的统一模型。型。型。


技术研发人员：J
受保护的技术使用者：国际商业机器公司
技术研发日：2020.02.25
技术公布日：2021/11/4