模型训练方法、信息处理方法、装置、电子设备和介质与流程

技术特征：
1.一种模型训练方法，所述方法包括：获取经过多任务的预训练所得到的识别模型；获取待标注的样本数据和所述样本数据对应的目标描述信息，其中，所述目标描述信息与所述识别模型适配的目标任务匹配，用于指示所述样本数据中待识别的信息；采用所述识别模型基于所述目标描述信息对所述样本数据进行识别，以得到与所述目标描述信息匹配的目标识别信息；根据所述目标识别信息对所述样本数据进行标注，并根据标注后的样本数据，对所述识别模型进行所述目标任务的适配训练。2.根据权利要求1所述的方法，其中，所述采用所述识别模型基于所述目标描述信息对所述样本数据进行识别，以得到与所述目标描述信息匹配的目标识别信息，包括：采用所述识别模型中的编码器基于注意力机制，根据所述目标描述信息对所述样本数据进行编码，以得到目标文本特征；采用所述识别模型中的解码器对所述目标文本特征进行解码，以得到所述目标识别信息。3.根据权利要求2所述的方法，其中，所述目标描述信息为多个，所述采用所述识别模型中的解码器对所述目标文本特征进行解码，以得到所述目标识别信息，包括：采用多个所述解码器对所述目标文本特征进行解码，以得到多个所述解码器输出的所述目标识别信息。4.根据权利要求1所述的方法，其中，所述采用所述识别模型基于所述目标描述信息对所述样本数据进行识别，以得到与所述目标描述信息匹配的目标识别信息，包括：响应于所述识别模型适配的目标任务为抽取任务，采用所述识别模型基于所述目标描述信息对所述样本数据进行信息抽取，以得到与所述目标描述信息匹配的目标识别信息；响应于所述识别模型适配的目标任务为分类任务，采用所述识别模型基于所述目标描述信息对所述样本数据进行分类，以得到与所述目标描述信息匹配的目标识别信息。5.根据权利要求1-4中任一项所述的方法，其中，所述获取经过多任务的预训练所得到的识别模型，包括：获取样本集，其中，所述样本集中包括至少一个第一样本和至少一个第二样本，所述第一样本适配于抽取任务，所述第二样本适配于分类任务；获取所述第一样本对应的第一描述信息，以及所述第二样本对应的第二描述信息，其中，所述第一描述信息与所述抽取任务匹配，所述第二描述信息与所述分类任务匹配；采用所述识别模型基于所述第一描述信息对所述第一样本进行信息抽取，得到预测信息，并根据所述预测信息和所述第一样本所标注的标注信息之间的差异，对所述识别模型进行预训练；采用所述识别模型基于所述第二描述信息对所述第二样本进行分类，得到预测类别，并根据所述预测类别和所述第二样本所标注的标注类别之间的差异，对所述识别模型进行预训练。6.根据权利要求1-4中任一项所述的方法，其中，所述根据所述目标识别信息对所述样本数据进行标注，包括：响应于对所述目标识别信息的更新操作，对所述目标识别信息进行更新；
采用更新后的目标识别信息，对所述样本数据进行标注。7.根据权利要求6所述的方法，其中，所述根据标注后的样本数据，对所述识别模型进行训练，包括：采用所述识别模型基于所述目标描述信息对所述标注后的样本数据进行识别，以得到预测识别信息；根据所述预测识别信息和所述标注后的样本数据所标注的更新后的目标识别信息之间的差异，对所述识别模型进行训练。8.一种信息处理方法，所述方法包括：获取待识别文本，以及所述待识别文本对应的描述信息；其中，所述描述信息与识别模型适配的目标任务匹配，用于指示所述待识别文本中待识别的信息；采用经过训练的识别模型基于所述描述信息对所述待识别文本进行识别，以得到与所述描述信息匹配的识别信息。9.一种模型训练装置，所述装置包括：第一获取模块，用于获取经过多任务的预训练所得到的识别模型；第二获取模块，用于获取待标注的样本数据和所述样本数据对应的目标描述信息，其中，所述目标描述信息与所述识别模型适配的目标任务匹配，用于指示所述样本数据中待识别的信息；识别模块，用于采用所述识别模型基于所述目标描述信息对所述样本数据进行识别，以得到与所述目标描述信息匹配的目标识别信息；标注模块，用于根据所述目标识别信息对所述样本数据进行标注；训练模块，用于根据标注后的样本数据，对所述识别模型进行所述目标任务的适配训练。10.根据权利要求9所述的装置，其中，所述识别模块，具体用于：采用所述识别模型中的编码器基于注意力机制，根据所述目标描述信息对所述样本数据进行编码，以得到目标文本特征；采用所述识别模型中的解码器对所述目标文本特征进行解码，以得到所述目标识别信息。11.根据权利要求10所述的装置，其中，所述目标描述信息为多个，所述识别模块，具体用于：采用多个所述解码器对所述目标文本特征进行解码，以得到多个所述解码器输出的所述目标识别信息。12.根据权利要求9所述的装置，其中，所述识别模块，具体用于：响应于所述识别模型适配的目标任务为抽取任务，采用所述识别模型基于所述目标描述信息对所述样本数据进行信息抽取，以得到与所述目标描述信息匹配的目标识别信息；响应于所述识别模型适配的目标任务为分类任务，采用所述识别模型基于所述目标描述信息对所述样本数据进行分类，以得到与所述目标描述信息匹配的目标识别信息。13.根据权利要求9-12中任一项所述的装置，其中，所述第一获取模块，具体用于：获取样本集，其中，所述样本集中包括至少一个第一样本和至少一个第二样本，所述第一样本适配于抽取任务，所述第二样本适配于分类任务；
获取所述第一样本对应的第一描述信息，以及所述第二样本对应的第二描述信息，其中，所述第一描述信息与所述抽取任务匹配，所述第二描述信与所述分类任务匹配；采用所述识别模型基于所述第一描述信息对所述第一样本进行信息抽取，得到预测信息，并根据所述预测信息和所述第一样本所标注的标注信息之间的差异，对所述识别模型进行预训练；采用所述识别模型基于所述第二描述信息对所述第二样本进行分类，得到预测类别，并根据所述预测类别和所述第二样本所标注的标注类别之间的差异，对所述识别模型进行预训练。14.根据权利要求9-12中任一项所述的装置，其中，所述标注模块，具体用于：响应于对所述目标识别信息的更新操作，对所述目标识别信息进行更新；采用更新后的目标识别信息，对所述样本数据进行标注。15.根据权利要求14所述的装置，其中，所述训练模块，具体用于：采用所述识别模型基于所述目标描述信息对所述标注后的样本数据进行识别，以得到预测识别信息；根据所述预测识别信息和所述标注后的样本数据所标注的更新后的目标识别信息之间的差异，对所述识别模型进行训练。16.一种信息处理装置，所述装置包括：获取模块，用于获取待识别文本，以及所述待识别文本对应的描述信息；其中，所述描述信息与识别模型适配的目标任务匹配，用于指示所述待识别文本中待识别的信息；识别模块，用于采用经过训练的识别模型基于所述描述信息对所述待识别文本进行识别，以得到与所述描述信息匹配的识别信息。17.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法，或者，执行权利要求8所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法，或者，执行根据权利要求8所述的方法。19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述方法的步骤，或者，实现根据权利要求8所述方法的步骤。

技术总结
本公开提供了一种模型训练方法、信息处理方法、装置、电子设备和介质，涉及深度学习和自然语言处理等领域。具体实现方案为：获取经过多任务的预训练所得到的识别模型；获取待标注的样本数据和样本数据对应的目标描述信息；采用识别模型基于目标描述信息对样本数据进行识别，得到与目标描述信息匹配的目标识别信息；根据目标识别信息对样本数据进行标注；根据标注后的样本数据对识别模型进行目标任务的适配训练。由此，在多任务场景下，对模型进行预训练，可以使得预训练后的模型学习得到不同任务中的输入和输出之间的对应关系，从而在新任务场景下，只需采用少量的样本数据，即可对模型进行训练，降低人工对样本进行标注的成本。本。本。


技术研发人员：贾巍 李彦 戴岱 肖欣延
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.12.22
技术公布日：2022/4/29