模型训练方法、图像分类方法、装置、电子设备和介质与流程

技术特征：
1.一种深度学习模型的训练方法，包括：根据样本图像的第一特征和第一深度学习模型的第一分类网络的权重信息，确定注意力特征，其中，所述第一特征是利用所述第一深度学习模型的第一特征提取网络处理所述样本图像得到的；将所述注意力特征输入所述第一分类网络，得到注意力增强后的分类结果；以及根据所述注意力增强后的分类结果，训练第二深度学习模型。2.根据权利要求1所述的方法，其中，所述根据样本图像的第一特征和第一深度学习模型的第一分类网络的权重信息，确定注意力特征包括：根据所述第一特征和所述权重信息，确定注意力权重；根据所述注意力权重和所述权重信息，得到第一加权特征；根据所述第一加权特征和所述第一特征，得到第二加权特征；以及根据所述第二加权特征和所述第一特征，确定所述注意力特征。3.根据权利要求2所述的方法，其中，所述根据所述第一特征和所述权重信息，确定注意力权重包括：利用第一预设映射函数分别对所述第一特征和所述权重信息进行映射，得到映射后的第一特征和映射后的权重信息；利用预设权重函数处理所述映射后的第一特征和所述映射后的权重信息，得到所述注意力权重。4.根据权利要求3所述的方法，其中，所述根据所述注意力权重和所述权重信息，得到第一加权特征包括：利用所述注意力权重对所述映射后的权重信息进行加权，得到所述第一加权特征。5.根据权利要求3所述的方法，其中，所述根据所述第一加权特征和所述第一特征，得到第二加权特征包括：将所述第一加权特征和所述映射后的第一特征融合，得到第一融合特征；利用第二预设映射函数对所述第一融合特征进行映射，得到映射后的第一融合特征；对所述映射后的第一融合特征进行激活，得到所述第二加权特征。6.根据权利要求2所述的方法，其中，所述根据所述第二加权特征和所述第一特征，确定所述注意力特征包括：利用第三预设映射函数对所述第二加权特征进行映射，得到映射后的第二加权特征；将所述映射后的第二加权特征和所述第一特征融合，得到第二融合特征；以及对所述第二融合特征进行激活，得到所述注意力特征。7.根据权利要求1所述的方法，其中，所述根据所述注意力增强后的分类结果，训练第二深度学习模型包括：根据所述注意力增强后的分类结果，确定损失值；根据所述损失值，调整所述第二深度学习模型的参数，以训练所述第二深度学习模型。8.根据权利要求7所述的方法，其中，所述根据所述注意力增强后的分类结果，确定损失值包括：根据所述注意力增强后的分类结果和所述样本图像的标签，确定交叉熵值；根据所述第一特征和所述注意力特征，确定均方误差值；
根据所述交叉熵值和所述均方误差值，确定一致性子损失；以及根据所述一致性子损失，确定所述损失值。9.根据权利要求8所述的方法，还包括：将所述样本图像输入所述第二深度学习模型的第二特征提取网络，得到所述样本图像的第二特征；将所述第二特征输入所述第二深度学习模型的第二分类网络，得到第二分类结果；其中，所述根据所述一致性子损失，确定所述损失值包括：根据所述注意力增强后的分类结果和所述第二分类结果，确定蒸馏子损失；以及根据所述蒸馏子损失和所述一致性子损失，确定所述损失值。10.根据权利要求9所述的方法，其中，所述根据所述蒸馏子损失和所述一致性子损失，确定所述损失值还包括：根据所述第二分类结果和所述标签，确定分类子损失；根据所述分类子损失、所述蒸馏子损失和所述一致性子损失，确定所述损失值。11.根据权利要求10所述的方法，其中，所述根据所述分类子损失、所述蒸馏子损失和所述一致性子损失，确定所述损失值包括：利用第一预设权重对所述分类子损失加权，得到加权后的分类子损失；利用第二预设权重对所述蒸馏子损失加权，得到加权后的蒸馏子损失；利用第三预设权重对所述一致性子损失加权，得到加权后的一致性子损失；以及根据所述加权后的分类子损失、所述加权后的蒸馏子损失和所述加权后的一致性子损失，确定所述损失值。12.根据权利要求1至6任一项所述的方法，其中，所述根据样本图像的第一特征和第一深度学习模型的第一分类网络的权重信息，确定注意力特征包括：根据所述第一特征和所述权重信息，利用注意力网络确定所述注意力特征，所述方法还包括：根据所述注意力增强后的分类结果，训练所述注意力网络。13.一种图像分类方法，包括：将目标图像输入第二深度学习模型，得到目标分类结果，其中，所述第二深度学习模型是利用权利要求1至12任一项所述的方法训练得到的。14.一种深度学习模型的训练装置，包括：确定模块，用于根据样本图像的第一特征和第一深度学习模型的第一分类网络的权重信息，确定注意力特征，其中，所述第一特征是利用所述第一深度学习模型的第一特征提取网络处理所述样本图像得到的；第一获得模块，用于将所述注意力特征输入所述第一分类网络，得到注意力增强后的分类结果；以及训练模块，用于根据所述注意力增强后的分类结果，训练第二深度学习模型。15.根据权利要求14所述的装置，其中，所述确定模块包括：第一确定子模块，用于根据所述第一特征和所述权重信息，确定注意力权重；第一获得子模块，用于根据所述注意力权重和所述权重信息，得到第一加权特征；第二获得子模块，用于根据所述第一加权特征和所述第一特征，得到第二加权特征；以
及第二确定子模块，用于根据所述第二加权特征和所述第一特征，确定所述注意力特征。16.根据权利要求15所述的装置，其中，所述第一确定子模块包括：第一映射单元，用于利用第一预设映射函数分别对所述第一特征和所述权重信息进行映射，得到映射后的第一特征和映射后的权重信息；第一处理单元，用于利用预设权重函数处理所述映射后的第一特征和所述映射后的权重信息，得到所述注意力权重。17.根据权利要求16所述的方法，其中，所述第一获得子模块包括：第一加权单元，用于利用所述注意力权重对所述映射后的权重信息进行加权，得到所述第一加权特征。18.根据权利要求16所述的装置，其中，所述第二获得子模块包括：第一融合单元，用于将所述第一加权特征和所述映射后的第一特征融合，得到第一融合特征；第二映射单元，用于利用第二预设映射函数对所述第一融合特征进行映射，得到映射后的第一融合特征；第一激活单元，用于对所述映射后的第一融合特征进行激活，得到所述第二加权特征。19.根据权利要求15所述的装置，其中，所述第二确定子模块包括：第三映射单元，用于利用第三预设映射函数对所述第二加权特征进行映射，得到映射后的第二加权特征；第二融合单元，用于将所述映射后的第二加权特征和所述第一特征融合，得到第二融合特征；以及第二激活单元，用于对所述第二融合特征进行激活，得到所述注意力特征。20.根据权利要求14所述的装置，其中，所述训练模块包括：第三确定子模块，用于根据所述注意力增强后的分类结果，确定损失值；调整子模块，用于根据所述损失值，调整所述第二深度学习模型的参数，以训练所述第二深度学习模型。21.根据权利要求20所述的装置，其中，所述第三确定子模块包括：第一确定单元，用于根据所述注意力增强后的分类结果和所述样本图像的标签，确定交叉熵值；第二确定单元，用于根据所述第一特征和所述注意力特征，确定均方误差值；第三确定单元，用于根据所述交叉熵值和所述均方误差值，确定一致性子损失；以及第四确定单元，用于根据所述一致性子损失，确定所述损失值。22.根据权利要求21所述的装置，还包括：第二获得模块，用于将所述样本图像输入所述第二深度学习模型的第二特征提取网络，得到所述样本图像的第二特征；第三获得模块，用于将所述第二特征输入所述第二深度学习模型的第二分类网络，得到第二分类结果；其中，所述第四确定单元包括：第一确定子单元，用于根据所述注意力增强后的分类结果和所述第二分类结果，确定
蒸馏子损失；以及第二确定子单元，用于根据所述蒸馏子损失和所述一致性子损失，确定所述损失值。23.根据权利要求22所述的装置，其中，所述第二确定子单元还用于：根据所述第二分类结果和所述标签，确定分类子损失；根据所述分类子损失、所述蒸馏子损失和所述一致性子损失，确定所述损失值。24.根据权利要求22所述的装置，其中，所述第二确定子单元还用于：利用第一预设权重对所述分类子损失加权，得到加权后的分类子损失；利用第二预设权重对所述蒸馏子损失加权，得到加权后的蒸馏子损失；利用第三预设权重对所述一致性子损失加权，得到加权后的一致性子损失；以及根据所述加权后的分类子损失、所述加权后的蒸馏子损失和所述加权后的一致性子损失，确定所述损失值。25.根据权利要求14至20任一项所述的装置，其中，所述确定模块包括：第四确定子模块，用于根据所述第一特征和所述权重信息，利用注意力网络确定所述注意力特征，所述装置还包括：第二训练模块，用于根据所述注意力增强后的分类结果，训练所述注意力网络。26.一种图像分类装置，包括：第四获得模块，用于将目标图像输入第二深度学习模型，得到目标分类结果，其中，所述第二深度学习模型是利用权利要求14至25任一项所述的装置训练得到的。27.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至13中任一项所述的方法。28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至13中任一项所述的方法。29.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至13中任一项所述的方法。

技术总结
本公开提供了一种深度学习模型的训练方法，涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉等技术领域，可应用于人脸识别场景下。具体实现方案为：根据样本图像的第一特征和第一深度学习模型的第一分类网络的权重信息，确定注意力特征，其中，第一特征是利用第一深度学习模型的第一特征提取网络处理样本图像得到的；将注意力特征输入第一分类网络，得到注意力增强后的分类结果；以及根据注意力增强后的分类结果，训练第二深度学习模型。本公开还提供了一种深度学习模型的训练方法、图像分类方法、装置、电子设备和存储介质。质。质。


技术研发人员：张婉平 温圣召 田飞 杨馥魁 张刚 冯浩城 韩钧宇
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.09.30
技术公布日：2022/12/16