批改模型训练方法、批改方法、装置、电子设备和介质与流程

技术特征：
1.一种批改模型训练方法，其特征在于，应用于候选批改模型，所述候选批改模型包括第一分支和第二分支，包括：将训练样本中的作答图像和所述训练样本中的题目描述字符串输入所述候选批改模型的第一分支，得到第一图像特征；基于所述候选批改模型的第二分支，根据所述第一图像特征和所述训练样本中的答案描述字符串，获得预测结果；基于预设损失函数，根据所述预测结果对所述第一分支和所述第二分支进行训练，获得训练后的目标批改模型。2.根据权利要求1所述的方法，其特征在于，所述将训练样本中的作答图像和所述训练样本中的题目描述字符串输入所述候选批改模型的第一分支，得到第一图像特征，包括：对训练样本中的题目描述字符串进行编码，得到题目描述向量；基于所述候选批改模型的第一分支中的第一预设结构网络，根据所述题目描述向量得到训练样本中的作答图像对应的题目特征映射；根据所述第一分支中的第二预设结构网络中串联的四个块和所述题目特征映射，对所述作答图像进行处理，得到第一图像特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一分支中的第二预设结构网络中串联的四个块和所述题目特征映射，对所述作答图像进行处理，得到第一图像特征，包括：将所述作答图像输入所述第一分支中的第二预设结构网络的第一个块中，将所述第一个块的输出结果与所述题目特征映射进行相乘并输入下一个块中；依次将当前块的输出与所述题目特征映射进行相乘并输入下一个块中，根据所述第二预设结构网络中最后一个块的输出确定第一图像特征，所述当前块为所述第二预设结构网络中正在进行数据处理的块。4.根据权利要求2所述的方法，其特征在于，所述基于所述候选批改模型的第一分支中的第一预设结构网络，根据所述题目描述向量得到训练样本中的作答图像对应的题目特征映射，包括：将所述题目描述向量输入所述候选批改模型的第一分支中的第一预设结构网络，得到的目标向量；基于所述第一预设结构网络中预先构建的注意力层，将每个所述目标向量进行线性变换，得到每个所述目标向量对应的变换向量；将每个所述变换向量进行拼接，得到训练样本中的作答图像对应的题目特征映射。5.根据权利要求1所述的方法，其特征在于，所述基于所述候选批改模型的第二分支，根据所述第一图像特征和所述训练样本中的答案描述字符串，获得预测结果，包括：对所述训练样本中的答案描述字符串进行编码，得到答案描述向量；将所述答案描述向量输入所述候选批改模型的第二分支，得到第二图像特征；根据所述第一图像特征和所述第二图像特征，得到预测结果。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像特征和所述第二图像特征，得到预测结果，包括：基于预设向量维度，对所述第一图像特征和所述第二图像特征进行拼接；
对拼接结果进行卷积操作，得到所述作答图像的预测结果。7.根据权利要求1所述的方法，其特征在于，所述将训练样本中的作答图像和所述训练样本中的题目描述字符串输入所述候选批改模型的第一分支，得到第一图像特征之前，还包括：获取训练样本，所述训练样本包括：批改题目的作答图像、所述批改题目对应的题目描述字符串和所述批改题目对应的答案描述字符串。8.根据权利要求1所述的方法，其特征在于，所述基于预设损失函数，根据所述预测结果对所述第一分支和所述第二分支进行训练，获得训练后的目标批改模型，包括：基于预设损失函数，根据所述预测结果和所述答案描述字符串对应的字符标签，确定损失值；根据所述损失值调整所述第一分支中的参数和所述第二分支中的参数，直至模型收敛。9.一种批改方法，其特征在于，包括：获取待批改的作答图像、所述作答图像对应的题目描述字符串和所述作答图像对应的答案描述字符串；将所述待批改的作答图像输入目标批改模型的第一分支中的第二预设结构网络，将所述题目描述字符串输入所述目标批改模型的第一分支中的第一预设结构网络，以及将所述答案描述字符串输入所述目标批改模型的第二分支，获得所述待批改的作答图像的批改结果；其中，所述目标批改模型基于如权利要求1至8任一项所述的方法训练得到。10.一种批改模型训练装置，其特征在于，包括：第一确定模块，用于将训练样本中的作答图像和所述训练样本中的题目描述字符串输入候选批改模型的第一分支，得到第一图像特征；第二确定模块，用于基于所述候选批改模型的第二分支，根据所述第一图像特征和所述训练样本中的答案描述字符串，获得预测结果；训练模块，用于基于预设损失函数，根据所述预测结果对所述第一分支和所述第二分支进行训练，获得训练后的目标批改模型。11.一种批改装置，其特征在于，包括：获取模块，用于获取待批改的作答图像、所述作答图像对应的题目描述字符串和所述作答图像对应的答案描述字符串；确定模块，用于将所述待批改的作答图像输入目标批改模型的第一分支中的第二预设结构网络，将所述题目描述字符串输入所述目标批改模型的第一分支中的第一预设结构网络，以及将所述答案描述字符串输入所述目标批改模型的第二分支，获得所述待批改的作答图像的批改结果；其中，所述目标批改模型基于如权利要求1至8任一项所述的方法训练得到。12.一种电子设备，包括：处理器；以及存储程序的存储器，其特征在于，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行
根据权利要求1
‑
8中任一项所述的批改模型训练方法，或者执行根据权利要求9中所述的批改方法。13.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1
‑
8中任一项所述的批改模型训练方法，或者执行根据权利要求9中所述的批改方法。

技术总结
本公开涉及一种批改模型训练方法、批改方法、装置、电子设备和介质；其中，候选批改模型包括第一分支和第二分支，该方法包括：将训练样本中的作答图像和训练样本中的题目描述字符串输入候选批改模型的第一分支，得到第一图像特征；基于候选批改模型的第二分支，根据第一图像特征和训练样本中的答案描述字符串，获得预测结果；基于预设损失函数，根据预测结果对第一分支和第二分支进行训练，获得训练后的目标批改模型。本公开实施例能够有效实现对作图题的作答图像的准确批改。图题的作答图像的准确批改。图题的作答图像的准确批改。


技术研发人员：刘军 秦勇
受保护的技术使用者：北京世纪好未来教育科技有限公司
技术研发日：2021.11.03
技术公布日：2021/11/30