图像分类方法、装置、计算机设备和存储介质与流程

技术特征：
1.一种图像分类方法，其特征在于，所述方法包括：获取待分类图像中多个目标对象的表情图像和肢体图像；将所述表情图像输入至已经训练好的双模态分类模型的第一分类模型中，得到表情分类结果；将所述肢体图像输入至已经训练好的双模态分类模型的第二分类模型中，得到肢体分类结果；将所述表情分类结果和所述肢体分类结果进行融合，通过所述双模态分类模型的决策器得到所述待分类图像中多个目标对象的学习状态，以及每种学习状态对应的实际概率分布值；根据每种所述学习状态对应的实际概率分布值与预设概率分布值之间的相似度，确定所述待分类图像对应的学习效果。2.根据权利要求1所述的方法，其特征在于，所述将所述表情图像输入至已经训练好的双模态分类模型的第一分类模型中，得到表情分类结果，包括：将所述表情图像输入至已经训练好的双模态分类模型的第一分类模型中，通过所述第一分类模型对所述表情图像进行切片处理，得到多张特征图；将多张所述特征图输入至所述第一分类模型的注意力模块中，通过所述注意力模块的降维处理后，得到第一维度的第一数据矩阵；将所述第一数据矩阵输入至所述第一分类模型的注意力模块，通过所述注意力模块的降维处理后，得到第二维度的第二数据矩阵；所述第二维度小于所述第一维度；对所述第二数据矩阵依次进行卷积操作、归一化操作、激活操作和池化操作后，得到第三维度的第三数据矩阵；所述第三维度小于第二维度；将所述第一数据矩阵、所述第二数据矩阵和第三数据矩阵分别输入至所述第一分类模型的全连接层，得到表情分类结果。3.根据权利要求2所述的方法，其特征在于，所述将所述第一数据矩阵输入至所述第一分类模型的注意力模块，通过所述注意力模块的降维处理后，得到第二维度的第二数据矩阵，包括：将所述第一数据矩阵输入至所述第一分类模型的注意力模块中，通过所述注意力模块中卷积层对所述第一数据矩阵依次进行卷积操作、归一化操作和激活操作，得到第一卷积结果；对所述第一卷积结果依次进行卷积操作、残差处理和卷积操作后，得到第二卷积结果；对所述第一卷积结果进行卷积操作，得到第三卷积结果；将所述第二卷积结果和所述第三卷积结果进行级联，得到级联矩阵；对所述级联矩阵依次进行归一化处理、激活处理和注意力特征提取处理，得到第二维度的第二数据矩阵。4.根据权利要求1所述的方法，其特征在于，所述学习效果为所述待分类图像对应的课堂实际难度级别，所述根据每种所述学习状态对应的实际概率分布值与预设概率分布值之间的相似度，确定所述待分类图像的学习效果，包括：确定所述待分类图像对应的课堂预估难度级别；根据至少一个预估模型，获取所述课堂预估难度级别对应的预设概率分布值；
计算所述待分类图像的每种所述学习状态对应的实际概率分布值与所述预设概率分布值之间的相似度；若所述相似度小于预设阈值，则将所述课堂预估难度级别作为所述待分类图像对应的课堂实际难度级别。5.根据权利要求4所述的方法，其特征在于，所述预估模型包括至少一个预估模块，所述根据至少一个预估模型，获取所述课堂预估难度级别对应的预设概率分布值，包括：获取与所述课堂预估难度级别匹配的多个预估模型，以及多个所述预估模型对应的多个预设概率分布值；计算所述待分类图像的每种所述学习状态对应的实际概率分布值与多个所述预估模型的预设概率分布值之间的聚类距离，根据最小的聚类距离对应的预估模型，确定所述待分类图像对应的预设概率分布值。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述相似度大于预设阈值，则重新执行确定所述待分类图像对应的课堂预估难度级别的步骤，直至所述相似度小于预设阈值。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练样本，每个训练样本包括表情样本、标注所述表情样本的第一表情分类结果、肢体样本、标注所述肢体样本的第一肢体分类结果以及标注所述表情样本和所述肢体样本对应的第一决策结果；将所述表情样本输入至所述第一分类模型，获取所述第一分类模型的第二表情分类结果，根据所述第二表情分类结果和所述第一表情分类结果之间差异，调整所述第一分类模型的参数；将所述肢体样本输入至所述第二分类模型，获取所述第二分类模型的第二肢体分类结果，根据所述第二肢体分类结果和所述第一肢体分类结果之间差异，调整所述第二分类模型的参数；将所述第二表情分类结果和所述第二肢体分类结果输入所述双模态分类模型的决策器中，获取所述决策器输出的第二决策结果，根据所述第二决策结果与所述第一决策结果之间的差异，调整所述决策器的参数，完成一次训练；迭代多次训练过程，当损失函数满足目标值时，停止训练得到已训练好的双模态分类模型。8.一种评价装置，其特征在于，所述装置包括：获取模块，用于获取待分类图像中多个目标对象的表情图像和肢体图像；表情分类模块，用于将所述表情图像输入至已经训练好的双模态分类模型的第一分类模型中，得到表情分类结果；肢体分类模块，用于将所述肢体图像输入至已经训练好的双模态分类模型的第二分类模型中，得到肢体分类结果；融合决策模块，用于将所述表情分类结果和所述肢体分类结果进行融合，通过所述双模态分类模型的决策器得到所述待分类图像中多个目标对象的学习状态，以及每种学习状态对应的实际概率分布值；确定模块，用于根据每种所述学习状态对应的实际概率分布值与预设概率分布值之间
的相似度，确定所述待分类图像对应的学习效果。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像分类方法、装置、计算机设备和存储介质。所述方法包括：通过双模态分类模型识别待分类图像中多目标对象的表情分类结果和肢体分类结果，基于目标对象的表情分类结果和肢体分类结果的决策结果，得到目标对象的学习状态，从多维度识别目标对象的情感态度，提高情感态度在目标对象的情感敏感度更高，并根据每种学习状态对应的实际概率分布值与预设概率分布值之间的相似度，确定待分类图像对应的学习效果，可以有效反映学生的真实学习情况。习情况。习情况。


技术研发人员：迟爽 李保昌 高建华 周莉
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.11.09
技术公布日：2023/2/3