一种信息分类方法及装置、信息分类模型训练方法及装置与流程

技术特征：

1.一种信息分类方法，包括：

对第一模型进行训练，得到已训练的第一模型；

调用所述已训练的第一模型处理待分类样本，得到待分类样本的第一特征；以及，

调用第二模型处理所述第一特征，得到待分类样本的第一标签，其中，所述第一标签用于表征待分类样本的类别；

其中，对第一模型进行训练，包括：对所述第一模型的第一参数进行迭代的第一调整和迭代的第二调整，其中，所述第一调整的每次迭代包括所述迭代的第二调整，所述第二调整的每次迭代基于所述第一模型对第一样本集的处理，所述第一调整的每次迭代基于经所述迭代的第二调整的第一模型对第二样本集的处理；

其中，所述第一样本集包含一个或多个第一样本，所述第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，所述第一原始标签用于表征所述第二样本的类别。

2.根据权利要求1所述的信息分类方法，其特征在于，对第一模型进行训练，包括：

将第一样本集输入所述第一模型；

对所述第一模型的第一参数进行所述迭代的第一调整，直到符合第一预设条件，其中，所述第一预设条件为所述第一损失降至第一阈值或所述第一调整的迭代次数达到第二阈值；

其中，所述第一调整的每次迭代包括：

对所述第一参数进行所述迭代的第二调整，直到符合第二预设条件，其中，所述第二预设条件为第二损失降至第三阈值或所述第二调整的迭代次数达到第四阈值，其中，所述第二调整的每次迭代包括：调整所述第一参数，以及基于各第一样本和当前迭代调整后的所述第一参数计算得到所述第二损失；

将第二样本集输入所述迭代的第二调整后的第一模型，得到各第二样本的第二特征；

将各第二样本的第二特征输入第三模型，得到各第二样本的第一预测标签，其中，所述第一预测标签用于预测所述第二样本的类别；以及，

根据各第二样本的所述第一原始标签与所述第一预测标签的差异得到所述第一损失。

3.根据权利要求2所述的信息分类方法，其特征在于，在对所述第一模型的第一参数进行迭代的第一调整直到符合第一预设条件后，对第一模型进行训练，还包括：

将第三样本集输入所述迭代的第一调整后的第一模型，其中，所述第三样本集包含一个或多个第三样本，各第三样本均具有对应的第二原始标签，所述第二原始标签用于表征所述第三样本的类别；以及，

对所述第一参数进行迭代的第三调整，直到符合第三预设条件，其中，所述第三预设条件为第三损失降至第五阈值或所述第三调整的迭代次数达到第六阈值；

其中，所述第三调整的每次迭代包括：

调整所述第一参数；

基于各第三样本和当前迭代调整后的第一参数根据得到各第三样本的第三特征；

将各第三样本的第三特征输入所述第二模型，得到各第三样本的第二预测标签，其中，所述预测第二标签用于预测所述第三样本的类别；以及，

根据所述第三样本集中各第三样本的所述第二原始标签与所述第二预测标签的差异得到所述第三损失；

其中，所述第三调整的每次迭代中所述第一参数的调整步长小于所述第一调整的每次迭代中所述第一参数的调整步长。

4.根据权利要求2或3所述的信息分类方法，其特征在于，通过预设的第一函数基于各第一样本和当前迭代调整后的所述第一参数计算获得所述第二损失，其中，所述第一函数用于表征所述第一模型从各第一样本中所提取的表示与对应的第一样本之间的关联度。

5.根据权利要求2所述的信息分类方法，其特征在于，所述第一模型包含编码模块和上下文模块，调用所述已训练的第一模型处理待分类样本包括：

调用所述编码模块编码待分类样本，得到所述待分类样本的第一中间特征；

调用所述上下文模块处理所述第一中间特征，得到所述第一特征。

6.根据权利要求5所述的信息分类方法，其特征在于，所述编码模块包含一层卷积层或多层级联的卷积层。

7.根据权利要求5或6所述的信息分类方法，其特征在于，所述上下文模块包含线性映射层和级联的多层上下文层，调用上下文模块处理所述中间特征得到所述第一特征，包括：

调用级联的多层上下文层处理所述第一中间特征，每层上下文层输出对应的第二中间特征；

调用线性映射层对各第二中间特征进行线性映射，得到所述第一特征。

8.根据权利要求7所述的信息分类方法，其特征在于，所述多层上下文层包含循环神经网络层、单向长短时记忆层、双向长短时记忆层、或门控循环单元层中的一种或多种。

9.根据权利要求5、6或8中任一项所述的信息分类方法，其特征在于，各第一样本为向量，基于当前迭代中的所述第一模型和所述第一样本集中的各第一样本计算得到所述第二损失包含：

调用所述编码模块编码各第一样本，得到各第一样本的中间特征向量z，其中，所述中间特征向量的长度t与对应第一样本的长度m成正比；

调用所述上下文模块处理各第一样本的中间特征向量z，得到各第一样本的上下文向量c，其中，所述特征向量的长度为t；

对各第一样本的上下文向量中第t个的元素ct，根据正样本、负样本和预设函数计算ct与正样本之间的互信息，其中正样本为该第一样本的中间特征向量中第t k个的元素zt k，负样本为从该第一样本的中间特征向量中随机选择的不包含zt k的n个元素、或者为从所有第一样本的中间特征向量中随机选择的不包含zt k的n个元素，其中t、k、n为正整数，t k≤t；

基于各第一样本的所述互信息计算所述第二损失，其中，所述第二损失与各第一样本的所述互信息呈负相关。

10.根据权利要求1所述的信息分类方法，其特征在于，所述第一样本的数量大于所述第二样本的数量。

11.根据权利要求3所述的信息分类方法，其特征在于，所述第一样本的数量大于所述第三样本的数量。

12.根据权利要求1所述的信息分类方法，其特征在于，在第一特征空间中，所述待分类样本的特征位置到所述第一样本集的特征位置大于所述待分类样本的特征位置到所述第二样本集的特征位置，或者，所述第一样本集的分布范围大于所述第二样本集的分布范围；

其中，所述第一特征空间为通过第四模型进行特征提取的结果所对应的空间，调用所述第四模型对所述待分类样本进行特征提取获得第四特征，调用所述第四模型对各第一样本进行特征提取获得各第一样本的第五特征，调用所述第四模型对各第二样本进行特征提取获得各第二样本的第六特征；

其中，所述第四特征在所述第一特征空间中位于所述待分类样本的特征位置，基于各第五特征在所述第一特征空间中的位置通过预设方法确定所述第一样本集的特征位置和分布范围，基于各第六特征在所述第一特征空间中的位置通过所述预设方法确定所述第二样本集的特征位置和分布范围。

13.根据权利要求3所述的信息分类方法，其特征在于，在第一特征空间中：

所述待分类样本的特征位置到所述第一样本集的特征位置大于所述待分类样本的特征点到所述第二样本集的特征位置，且大于所述待分类样本的特征位置到所述第三样本集的特征位置；或者，

所述第一样本集的分布范围小于所述第二样本集的分布范围，且小于所述第三样本集的分布范围；

其中，所述第一特征空间为通过第四模型进行特征提取的结果所对应的空间，调用所述第四模型对所述待分类样本进行特征提取获得第四特征，调用所述第四模型对各第一样本进行特征提取获得各第一样本的第五特征，调用所述第四模型对各第二样本进行特征提取获得各第二样本的第六特征，调用所述第四模型对各第三样本进行特征提取获得各第三样本的第七特征；

其中，所述第四特征在所述第一特征空间中位于所述待分类样本的特征位置，基于各第五特征在所述第一特征空间中的位置通过预设方法确定所述第一样本集的特征位置和分布范围，基于各第六特征在所述第一特征空间中的位置通过所述预设方法确定所述第二样本集的特征位置和分布范围，基于各第七特征在所述第一特征空间中的位置通过所述预设方法确定所述第三样本集的特征位置和分布范围。

14.根据权利要求12或13所述的信息分类方法，其特征在于，所述预设方法包含：

通过计算各位置的算数平均、几何平均、或最小覆盖圆圆心确定对应的特征位置；

通过计算各位置与对应特征位置距离的方差或者标准差确定对应的分布范围的大小，或者通过计算最小覆盖圆半径确定对应的分布范围的大小。

15.根据权利要求12或13所述的信息分类方法，其特征在于，所述第四模型和所述第一模型均属于对比预测编码(contrastivepredictivecoding)模型。

16.根据权利要求1至3、6、8、或10至12中任一项所述的信息分类方法，其特征在于，所述待分类样本、第一样本、第二样本和第三样本为语音。

17.根据权利要求16所述的信息分类方法，其特征在于，

所述迭代的第一调整和所述迭代的第二调整构成元学习(meta-learning),且所述第一标签、原始标签和预测标签为对应语音的文本、表征对应语音的来源、或表征对应语音的来源的情绪。

18.根据权利要求17所述的信息分类方法，其特征在于，所述第二模型和所述第三模型均为连结时序分类(connectionisttemporalclassification)模型。

19.一种信息分类模型的训练方法，包括：

对所述信息分类模型的第一参数进行迭代的第一调整和迭代的第二调整，其中，所述第一调整的每次迭代包括所述迭代的第二调整，所述第二调整的每次迭代基于所述信息分类模型对第一样本集的处理，所述第一调整的每次迭代基于经所述迭代的第二调整的信息分类模型对第二样本集的处理；

其中，所述第一样本集包含一个或多个第一样本，所述第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，所述第一原始标签用于表征所述第二样本的类别。

20.一种信息分类装置，包括：

训练模块，用于对第一模型进行训练，得到已训练的第一模型；

第一处理模块，用于调用所述已训练的第一模型处理待分类样本，得到待分类样本的第一特征；

第二处理模块，用于调用第二模型处理所述第一特征，得到待分类样本的第一标签，其中，所述第一标签用于表征待分类样本的类别；

其中，所述训练模块用于对所述第一模型的第一参数进行迭代的第一调整和迭代的第二调整，其中，所述第一调整的每次迭代包括所述迭代的第二调整，所述第二调整的每次迭代基于所述第一模型对第一样本集的处理，所述第一调整的每次迭代基于经所述迭代的第二调整的第一模型对第二样本集的处理；

其中，所述第一样本集包含一个或多个第一样本，所述第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，所述第一原始标签用于表征所述第二样本的类别。

21.根据权利要求20所述的信息分类装置，其特征在于，所述训练模块包括：

调整子模块，用于对所述第一模型的第一参数进行迭代的第一调整，直到符合第一预设条件，其中，所述第一预设条件为第一损失降至第一阈值或所述第一调整的迭代次数达到第二阈值；在所述第一调整的每次迭代中，对所述第一参数进行迭代的第二调整，直到符合第二预设条件，其中，所述第二预设条件为第二损失降至第三阈值或所述第二调整的迭代次数达到第四阈值；以及，在所述第二调整的每次迭代中，调整所述第一参数；

输入子模块，用于将第一样本集输入所述第一模型，其中，所述第一样本包含一个或多个第一样本；以及，在所述第一调整的每次迭代中，将第二样本集输入所述第二调整后的第一模型，得到各第二样本的第二特征，其中，所述第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，所述第一原始标签用于表征所述第二样本的类别；

输出子模块，用于在所述第二调整的每次迭代中，将各第二样本的特征输入第三模型，得到各第二样本的第一预测标签，其中，所述第一预测标签用于预测所述第二样本的类别；

损失获取子模块，用于在所述第一调整的每次迭代中，根据所述各第二样本的所述第一原始标签与所述第一预测标签的差异得到所述第一损失，以及，在所述第二调整的每次迭代中，基于所述第二调整的当前迭代中的所述第一模型和所述第一样本集中的各第一样本计算得到所述第二损失。

22.一种信息分类模型训练装置，包括训练模块，用于：

对所述信息分类模型的第一参数进行迭代的第一调整和迭代的第二调整，其中，所述第一调整的每次迭代包括所述迭代的第二调整，所述第二调整的每次迭代基于所述信息分类模型对第一样本集的处理，所述第一调整的每次迭代基于经所述迭代的第二调整的信息分类模型对第二样本集的处理；

其中，所述第一样本集包含一个或多个第一样本，所述第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，所述第一原始标签用于表征所述第二样本的类别。

23.一种电子设备，包括存储器和处理器，其中所述存储器存储有指令，所述存储器执行所述指令时使得所述电子设备执行根据权利要求1至3、6、8、10至12、17或18中任一项所述的信息分类方法。

24.一种非易失性的计算机可读介质，存储有计算机指令，所述计算机指令被处理器执行时用于实现根据权利要求1至3、6、8、10至12、17或18中任一项所述的信息分类方法。

技术总结
本发明提供了一种信息分类方法和装置、信息分类模型的训练方法和装置。首先对第一模型进行训练。在训练过程中，对第一模型的第一参数进行迭代的第一调整和迭代的第二调整。其中，第一调整的每次迭代包括该迭代的第二调整，第二调整的每次迭代基于第一模型对第一样本集的处理，第一调整的每次迭代基于经迭代的第二调整的第一模型对第二样本集的处理。其中，第一样本集包含一个或多个第一样本，第二样本集包含一个或多个第二样本，各第二样本均具有对应的第一原始标签，该第一原始标签用于表征第二样本的类别。然后，调用已训练的第一模型处理待分类样本得到其第一特征，调用第二模型处理第一特征，以得到待分类样本的第一标签。

技术研发人员：朱秋实;吴明辉;方昕;刘俊华
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：2021.04.27
技术公布日：2021.07.27