多媒体资源分类模型的训练方法、资源分类方法及装置与流程
本技术涉及计算机,尤其涉及一种多媒体资源分类模型的训练方法、资源分类方法及装置。
背景技术:
1、在互联网快速发展的时代,多媒体资源的上传量以指数级的速度快速增长。需要对多媒体资源的内容进行理解后再进行分类。相关技术通常采用机器学习算法和人工辅助进行内容理解,比如,对于内容的多级分类和标签,首先人工针对每个具体业务场景构建不同的分类树结构和不同领域的标签候选词表,然后通过人工针对各个不同的业务场景标记大量的内容样本,这些样本会标记对应的多级分类和标签,然后利用这些不同的内容样本来训练不同的内容理解模型再独立部署。对于内容理解以及内容质量处理,目前主要方案是机器算法能力及人工辅助能力内容审核和标记。
2、无论是内容理解和内容质量建模,构建模型的过程当中需要标记大量的样本,且不同的模型推理计算过程当中处理的都是原始的内容,存在大量重复计算,导致计算成本较高。
技术实现思路
1、本技术提供了一种多媒体资源分类模型的训练方法、资源分类方法及装置,可以降低了模型训练过程中的计算力。
2、一方面,本技术提供了一种多媒体资源分类模型的训练方法,所述方法包括:
3、获取标注了第一样本类别标签的第一样本多媒体资源,以及标注了第二样本类别标签以及样本分类理由标签的第二样本多媒体资源;
4、将所述第一样本多媒体资源输入预设判别式模型进行分类预测,得到所述第一样本多媒体资源的第一样本分类结果;
5、将所述第二样本多媒体资源输入预设生成式模型进行分类预测,得到所述第二样本多媒体资源的第二样本分类结果以及样本分类理由结果;
6、根据所述第一样本分类结果与所述第一样本类别标签之间的差异,所述第二样本分类结果与所述第二样本类别标签之间的差异,以及所述样本分类理由结果与所述样本分类理由标签之间的差异,确定目标损失数据;
7、根据所述目标损失数据对所述预设判别式模型以及所述预设生成式模型进行训练,得到多媒体资源分类模型。
8、另一方面提供了一种多媒体资源分类方法,所述方法包括:
9、获取目标多媒体资源,并从多媒体资源分类模型中筛选出与所述目标多媒体资源相匹配的目标分类模型;所述多媒体资源分类模型包括判别式分类模型以及生成式分类模型;所述多媒体资源分类模型采用上述的方法训练得到;
10、在所述目标分类模型为所述判别式分类模型的情况下,将所述目标多媒体资源输入所述判别式分类模型进行分类预测,得到所述目标多媒体资源的第一分类结果;
11、在所述目标分类模型为所述生成式分类模型的情况下,将所述目标多媒体资源输入所述生成式分类模型进行分类预测,得到所述目标多媒体资源的第二分类结果以及目标分类理由。
12、另一方面提供了一种多媒体资源分类模型的训练装置,所述装置包括:
13、样本资源获取模块,用于获取标注了第一样本类别标签的第一样本多媒体资源,以及标注了第二样本类别标签以及样本分类理由标签的第二样本多媒体资源;
14、第一分类模块,用于将所述第一样本多媒体资源输入预设判别式模型进行分类预测,得到所述第一样本多媒体资源的第一样本分类结果;
15、第二分类模块,用于将所述第二样本多媒体资源输入预设生成式模型进行分类预测,得到所述第二样本多媒体资源的第二样本分类结果以及样本分类理由结果;
16、目标损失确定模块,用于根据所述第一样本分类结果与所述第一样本类别标签之间的差异,所述第二样本分类结果与所述第二样本类别标签之间的差异,以及所述样本分类理由结果与所述样本分类理由标签之间的差异,确定目标损失数据;
17、模型训练模块,用于根据所述目标损失数据对所述预设判别式模型以及所述预设生成式模型进行训练,得到多媒体资源分类模型。
18、在一示例性实施方式中,所述模型训练模块包括:
19、参数调整单元,用于根据所述目标损失数据调整所述预设判别式模型以及所述预设生成式模型的模型参数直至满足训练结束条件;
20、模型确定单元,用于将训练结束时的所述预设判别式模型确定为判别式分类模型,并将训练结束时的所述预设生成式模型确定为生成式分类模型;
21、模型组合单元,用于将所述判别式分类模型以及所述生成式分类模型组合成多媒体资源分类模型。
22、在一示例性实施方式中,所述装置还包括:
23、提示文本获取模块,用于获取所述预设判别式模型的分类任务对应的第一提示文本以及所述预设生成式模型的分类任务对应的第二提示文本;
24、所述第一分类模块,还用于将所述第一样本多媒体资源以及所述第一提示文本,输入预设判别式模型进行分类预测,得到所述第一样本多媒体资源的第一样本分类结果;
25、所述第二分类模块,还用于将所述第二样本多媒体资源以及所述第二提示文本,输入预设生成式模型进行分类预测,得到所述第二样本多媒体资源的第二样本分类结果以及样本分类理由结果。
26、在一示例性实施方式中,所述第一样本多媒体资源包括多模态数据,所述预设判别式模型包括第一图像特征提取网络、第一文本特征提取网络以及第一分类网络,所述第一分类模块包括:
27、第一样本获取单元,用于获取所述第一样本多媒体资源中存在关联关系的第一样本图像以及第一样本文本;
28、第一图像特征提取单元,用于将所述第一样本图像输入所述第一图像特征提取网络进行图像特征提取处理,得到第一样本图像特征;
29、第一样本融合单元,用于将所述第一样本文本以及所述第一提示文本输入所述第一文本特征提取网络进行文本特征提取以及特征融合处理,得到第一样本融合文本特征;
30、第一分类单元,用于将所述第一样本图像特征以及所述第一样本融合文本特征输入所述第一分类网络进行分类预测,得到所述第一样本多媒体资源的第一样本分类结果。
31、在一示例性实施方式中,所述预设生成式模型包括第二图像特征提取网络、第二文本特征提取网络以及第二分类网络,所述第二分类模块包括:
32、第二样本获取单元,用于获取所述第二样本多媒体资源中存在关联关系的第二样本图像以及第二样本文本;
33、第二图像特征提取单元,用于将所述第二样本图像输入所述第二图像特征提取网络进行图像特征提取处理,得到第二样本图像特征;
34、第二样本融合单元,用于将所述第二样本文本以及所述第二提示文本输入所述第二文本特征提取网络进行文本特征提取以及特征融合处理,得到第二样本融合文本特征;
35、第二分类单元,用于将所述第二样本图像特征以及所述第二样本融合文本特征输入所述第二分类网络进行分类预测,得到所述第二样本多媒体资源的第二样本分类结果以及样本分类理由结果。
36、在一示例性实施方式中,所述第一图像特征提取网络与第二图像特征提取网络的结构相同,所述第一文本特征提取网络与所述第二文本特征提取网络的结构相同,所述模型训练模块包括:
37、第一参数调整单元,用于基于所述目标损失数据调整所述第一图像特征提取网络的网络参数,得到第一网络参数,并调整所述第一文本特征提取网络的网络参数,得到第二网络参数;以及调整所述第一分类网络、所述第二分类网络的网络参数;
38、第二参数调整单元,用于将所述第二图像特征提取网络的网络参数调整为所述第一网络参数,并将所述第二文本特征提取网络的网络参数调整为所述第二网络参数;
39、模型训练单元,用于基于所述第一样本多媒体资源对调整参数后的所述预设判别式模型进行训练,基于所述第二样本多媒体资源对调整参数后的所述预设生成式模型进行训练,得到多媒体资源分类模型。
40、在一示例性实施方式中,所述第一样本多媒体资源还包括多个单模态数据,所述多个单模态数据包括样本单模态文本以及样本单模态图像,所述预设判别式模型还包括单模态文本提取网络、单模态图像提取网络以及第三分类网络,所述装置还包括:
41、单模态文本提取模块,用于将所述样本单模态文本输入所述单模态文本提取网络进行文本特征提取,得到样本单模态文本特征;
42、单模态图像提取模块,用于将所述样本单模态图像输入所述单模态图像提取网络进行图像特征提取,得到样本单模态图像特征;
43、所述第一分类单元包括:
44、第一分类预测子单元,用于将所述第一样本图像特征以及所述第一样本融合文本特征输入所述第一分类网络进行分类预测,得到第一分类预测结果;
45、第二分类预测子单元,用于将所述样本单模态文本特征、所述样本单模态图像特征输入所述第三分类网络进行分类预测,得到第二分类预测结果;
46、第一分类子单元,用于根据所述第一分类预测结果以及所述第二分类预测结果,确定所述第一样本多媒体资源的第一样本分类结果。
47、在一示例性实施方式中,所述第一分类模块,还用于将所述第一样本多媒体资源输入预设判别式模型进行分类预测,得到所述第一样本多媒体资源的初始样本分类结果以及所述初始样本分类结果的预测概率;以及在所述预测概率小于预设概率阈值的情况下,将所述第一样本多媒体资源输入所述预设生成式模型进行分类预测,得到所述第一样本分类结果。
48、在一示例性实施方式中,所述样本资源获取模块包括:
49、样本资源获取单元,用于获取多个样本多媒体资源;
50、资源划分单元,用于根据每个样本多媒体资源对应的样本资源内容长度、样本应用场景中的至少一项,将所述多个样本多媒体资源分成所述第一样本多媒体资源以及所述第二样本多媒体资源;
51、标签确定单元,用于对所述第一样本多媒体资源标注所述第一样本类别标签,对所述第二样本多媒体资源标注所述第二样本类别标签以及所述样本分类理由标签。
52、在一示例性实施方式中,所述资源划分单元包括:
53、样本场景获取子单元,用于获取每个样本多媒体资源对应的样本资源内容长度以及样本应用场景;
54、第一资源确定子单元,用于将满足第一条件、第二条件中至少一项的样本多媒体资源,确定为所述第一样本多媒体资源;所述第一条件为所述样本资源内容长度小于预设长度阈值,所述第二条件为所述样本应用场景非资源推荐场景且不需要解释分类理由;
55、第二资源确定子单元,用于将不满足第一条件且不满足第二条件的样本多媒体资源,确定为所述第二样本多媒体资源。
56、另一方面提供了一种多媒体资源分类装置,所述装置包括:
57、目标资源获取模块,用于获取目标多媒体资源,并从多媒体资源分类模型中筛选出与所述目标多媒体资源相匹配的目标分类模型;所述多媒体资源分类模型包括判别式分类模型以及生成式分类模型;所述多媒体资源分类模型采用上述的方法训练得到;
58、第一预测模块,用于在所述目标分类模型为所述判别式分类模型的情况下,将所述目标多媒体资源输入所述判别式分类模型进行分类预测,得到所述目标多媒体资源的第一分类结果;
59、第二预测模块,用于在所述目标分类模型为所述生成式分类模型的情况下,将所述目标多媒体资源输入所述生成式分类模型进行分类预测,得到所述目标多媒体资源的第二分类结果以及目标分类理由。
60、在一示例性实施方式中,所述目标资源获取模块包括:
61、目标场景获取单元,用于获取所述目标多媒体资源的目标资源内容长度以及目标应用场景;
62、第一匹配单元,用于若所述目标多媒体资源满足第一目标条件、第二目标条件中至少一项,将所述判别式分类模型确定为与所述目标多媒体资源相匹配的目标分类模型;所述第一目标条件为所述目标资源内容长度小于预设长度阈值,所述第二目标条件为所述目标应用场景非资源推荐场景且不需要解释分类理由;
63、第二匹配单元,用于若所述目标多媒体资源不满足第一条件且不满足第二条件,将所述生成式分类模型确定为与所述目标多媒体资源相匹配的目标分类模型。
64、在一示例性实施方式中,所述目标多媒体资源为至少两个,所述目标资源获取模块包括:
65、预设分流比确定单元,用于确定所述判别式分类模型以及所述生成式分类模型的预设分流比;
66、目标资源划分单元,用于将多个所述目标多媒体资源按照所述预设分流比分成第一目标多媒体资源以及第二目标多媒体资源;其中,所述第一目标多媒体资源的总数量与所述第二目标多媒体资源的总数量的比值等于所述预设分流比;
67、模型确定单元,用于将所述第一目标多媒体资源对应的所述目标分类模型确定为所述判别式分类模型,并将所述第二目标多媒体资源对应的所述目标分类模型确定为所述生成式分类模型。
68、在一示例性实施方式中,所述预设分流比确定单元包括:
69、测试资源获取子单元,用于获取测试多媒体资源;所述测试多媒体资源标注了测试类别标签;
70、分类测试子单元,用于将所述测试多媒体资源分别输入所述判别式分类模型以及所述生成式分类模型进行分类测试,得到所述判别式分类模型输出的第一测试结果以及所述生成式分类模型的第二测试结果;
71、第一准确率确定子单元,用于根据所述第一测试结果与所述测试类别标签的差异,确定所述判别式分类模型的第一准确率;
72、第二准确率确定子单元,用于根据所述第二测试结果与所述测试类别标签的差异,确定所述生成式分类模型的第二准确率;
73、分流比确定子单元,用于根据所述第一准确率以及所述第二准确率的准确率比值,确定所述判别式分类模型以及所述生成式分类模型的预设分流比;所述预设分流比与所述准确率比值呈正相关。
74、另一方面提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上所述的多媒体资源分类模型的训练方法。
75、另一方面提供了一种计算机存储介质,所述计算机存储介质存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的多媒体资源分类模型的训练方法。
76、另一方面提供了一种计算机程序产品,包括计算机程序,所述计算机程序由处理器加载并执行以实现如上所述的多媒体资源分类模型的训练方法。
77、本技术提供的多媒体资源分类模型的训练方法、资源分类方法及装置,具有如下技术效果:
78、本技术获取标注了第一样本类别标签的第一样本多媒体资源,以及标注了第二样本类别标签以及样本分类理由标签的第二样本多媒体资源;然后将所述第一样本多媒体资源输入预设判别式模型进行分类预测,得到所述第一样本多媒体资源的第一样本分类结果;将所述第二样本多媒体资源输入预设生成式模型进行分类预测,得到所述第二样本多媒体资源的第二样本分类结果以及样本分类理由结果;实现了针对不同的标签的样本多媒体资源采用不同的模型进行处理;再根据所述第一样本分类结果与所述第一样本类别标签之间的差异,所述第二样本分类结果与所述第二样本类别标签之间的差异,以及所述样本分类理由结果与所述样本分类理由标签之间的差异,确定目标损失数据;从而可以根据两种模型的输出结果联合确定目标损失数据,再根据所述目标损失数据对所述预设判别式模型以及所述预设生成式模型进行同步训练,从而通过联合训练得到了包含双模型的多媒体资源分类模型;相比于两个模型的单独训练,本技术根据一个目标损失数据同时调整两个模型的参数,降低了模型训练过程中的计算力;在应用过程中,可以针对不同需求的目标多媒体资源,从双模型中选择不同的模型进行应用,提高了模型的选择灵活性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com