一种预训练模型微调方法、装置、设备和存储介质与流程

技术特征：
1.一种预训练模型微调方法，其特征在于，包括：获取与目标下游任务相关联的第一样本数据；基于预设统计语言模型，对所述第一样本数据进行数据领域分析，并基于领域分析结果，从所述第一样本数据中确定与目标下游领域相匹配的第二样本数据；基于所述目标下游任务对应的实际样本数据，对预训练模型进行微调，确定第一微调模型；基于所述第一微调模型，对所述第二样本数据进行去噪处理，获得去噪后的第三样本数据；基于所述第三样本数据和所述实际样本数据，对所述第一微调模型进行再次微调，确定第二微调模型，并基于所述第二微调模型确定目标下游任务模型。2.根据权利要求1所述的方法，其特征在于，所述基于预设统计语言模型，对所述第一样本数据进行数据领域分析，并基于领域分析结果，从所述第一样本数据中确定与目标下游领域相匹配的第二样本数据，包括：将每个所述第一样本数据输入至预设统计语言模型中进行数据领域分析，确定每个所述第一样本数据对应的数据领域为目标下游领域的概率值；基于各个所述概率值和预设概率值阈值范围，从各个所述第一样本数据中确定与目标下游领域相匹配的第二样本数据。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一微调模型，对所述第二样本数据进行去噪处理，获得去噪后的第三样本数据，包括：将每个所述第二样本数据输入至所述第一微调模型中，确定每个所述第二样本数据对应的输出结果；基于各个第二样本数据对应的输出结果和实际标签，对各个第二样本数据进行去噪处理，获得去噪后的第三样本数据。4.根据权利要求3所述的方法，其特征在于，所述基于各个第二样本数据对应的输出结果和实际标签，对各个第二样本数据进行去噪处理，获得去噪后的第三样本数据，包括：检测每个第二样本数据对应的输出结果和相应的实际标签是否一致；将检测到的输出结果与实际标签一致的各个第二样本数据确定为去燥后的第三样本数据。5.根据权利要求1所述的方法，其特征在于，所述基于所述第三样本数据和所述实际样本数据，对所述第一微调模型进行再次微调，确定第二微调模型，包括：基于所述第三样本数据，对所述第一微调模型进行再次微调，确定第三微调模型；基于所述实际样本数据，对所述第三微调模型进行再次微调，确定第二微调模型。6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述第二微调模型确定目标下游任务模型，包括：获取实际测试数据，并将所述第二微调模型作为当前微调模型；基于当前微调模型，对所述实际测试数据进行标注，获得标注后的当前测试数据；基于标注后的当前测试数据和所述实际样本数据，对当前微调模型进行再次微调，更新当前微调模型，并返回执行所述基于当前微调模型，对所述实际测试数据进行标注的步骤；
当满足预设测试停止条件时，将当前微调模型作为目标下游任务模型。7.根据权利要求6所述的方法，其特征在于，所述基于当前微调模型，对所述实际测试数据进行标注，获得标注后的当前测试数据，包括：将所述实际测试数据输入至当前微调模型中，确定所述实际测试数据对应的测试结果；将所述实际测试数据对应的测试结果作为伪标签进行标注，获得标注后的当前测试数据。8.一种预训练模型微调装置，其特征在于，包括：第一样本数据获取模块，用于获取与目标下游任务相关联的第一样本数据；第二样本数据确定模块，用于基于预设统计语言模型，对所述第一样本数据进行数据领域分析，并基于领域分析结果，从所述第一样本数据中确定与目标下游领域相匹配的第二样本数据；第一微调模型确定模块，用于基于所述目标下游任务对应的实际样本数据，对预训练模型进行微调，确定第一微调模型；第三样本数据确定模块，用于基于所述第一微调模型，对所述第二样本数据进行去噪处理，获得去噪后的第三样本数据；目标下游任务模型确定模块，用于基于所述第三样本数据和所述实际样本数据，对所述第一微调模型进行再次微调，确定第二微调模型，并基于所述第二微调模型确定目标下游任务模型。9.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的预训练模型微调方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的预训练模型微调方法。

技术总结
本发明实施例公开了一种预训练模型微调方法、装置、设备和存储介质。该方法包括：获取与目标下游任务相关联的第一样本数据；基于预设统计语言模型，对第一样本数据进行数据领域分析，并基于领域分析结果，从第一样本数据中确定与目标下游领域相匹配的第二样本数据；基于目标下游任务对应的实际样本数据，对预训练模型进行微调确定第一微调模型；基于第一微调模型对第二样本数据进行去噪处理，获得去噪后的第三样本数据；基于第三样本数据和实际样本数据，对第一微调模型进行再次微调，确定第二微调模型，并基于第二微调模型确定目标下游任务模型。通过本发明实施例的技术方案，可以提高扩充的样本数据的质量，进而提高微调效果。进而提高微调效果。进而提高微调效果。


技术研发人员：陶大程 丁亮 钟起煌
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2022.06.16
技术公布日：2022/9/13