习题批改方法、装置、电子设备和存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种习题批改方法、装置、电子设备和存储介质。


背景技术：

2.习题批改任务主要采用文本分类技术，即将输入文本指定到预定义标签的过程。习题批改任务的目标是基于当前题目上下文，判断输入的学生作答与标准答案的匹配程度，以得到学生作答的批改得分。
3.目前，针对包含计算步骤的习题，如物理题、数学题等，在对整题学生作答进行批改时，无法区分学生作答得分相同但具体扣分位置和原因不同的学生作答。如，针对同样被扣了2分的学生作答，有些学生忘记写条件、有些学生存在物理量前后不统一、而有些则可能因为运算错误或漏写单位等。只能给出整题的得分或对错的批改方法，无法帮助学生定位到具体错误位置和原因，不利于学生进行错题分析。


技术实现要素：

4.本发明提供一种习题批改方法、装置、电子设备和存储介质，用以解决现有技术中只能给出整题的得分或对错的批改方法，无法帮助学生定位到具体错误位置和原因，不利于学生进行错题分析的缺陷。
5.本发明提供一种习题批改方法，包括：
6.确定待批改习题的标准答案和作答答案；
7.基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
8.基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征；
9.基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
10.根据本发明提供的习题批改方法，所述基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因，包括：
11.基于所述标答步骤特征与所述作答步骤特征之间的相关性，将所述标答步骤特征与所述作答步骤特征进行对齐，得到所述作答答案的步骤对齐特征；
12.基于所述作答答案的步骤对齐特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
13.根据本发明提供的习题批改方法，所述基于所述作答答案的步骤对齐特征，对所
述作答答案进行批改，得到所述作答答案的步骤错因，包括：
14.确定所述待批改习题的题目；
15.基于所述题目、所述标准答案和所述作答答案分别对应的分词语义特征之间的相关性，将所述题目、所述标准答案和所述作答答案分别对应的分词语义特征进行对齐，得到所述作答答案的文本对齐特征；
16.基于所述作答答案的文本对齐特征和所述步骤对齐特征，对所述作答答案进行批改，得到所述作答答案的步骤错因，或得到所述作答答案的步骤错因和批改分数。
17.根据本发明提供的习题批改方法，所述基于所述题目、所述标准答案和所述作答答案分别对应的分词语义特征之间的相关性，将所述题目、所述标准答案和所述作答答案分别对应的分词语义特征进行对齐，得到所述作答答案的文本对齐特征，包括：
18.基于所述标准答案和所述作答答案分别对应的分词语义特征之间的相关性，将所述标准答案与所述作答答案分别对应的分词语义特征进行对齐，得到所述作答答案的答案对齐特征；
19.基于所述题目的分词语义特征与所述作答答案的答案对齐特征之间的相关性，将所述题目的分词语义特征与所述作答答案的答案对齐特征进行对齐，得到所述作答答案的文本对齐特征。
20.根据本发明提供的习题批改方法，所述基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，包括：
21.基于所述作答答案中各步骤的语义特征之间的相关性，确定所述作答答案中各步骤的上下文语义特征；
22.基于所述作答答案中各步骤的前后顺序，对所述作答答案中各步骤的上下文语义特征进行拼接，得到所述作答答案的步骤拼接特征；
23.基于所述作答答案的步骤拼接特征，确定所述作答答案中各步骤之间的步骤关系类型。
24.根据本发明提供的习题批改方法，所述基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征，包括：
25.以所述作答答案中各步骤为节点，以所述各步骤之间的步骤关系类型为边，构建图；
26.以所述作答答案中各步骤的语义特征为所述图中各节点的初始特征，基于各节点之间的相关性权重，对所述图进行特征提取，得到各节点的图结构特征，并将所述各节点的图结构特征作为所述作答答案中各步骤的作答步骤特征。
27.根据本发明提供的习题批改方法，所述以所述作答答案中各步骤为节点，以所述各步骤之间的步骤关系类型为边，构建图，包括：
28.以所述作答答案中各步骤为节点，以所述各步骤之间的步骤关系类型为边，以所述各步骤之间的步骤顺序作为边的方向，构建有向图。
29.本发明还提供一种习题批改装置，包括：
30.答案确定单元，用于确定待批改习题的标准答案和作答答案；
31.标答步骤特征确定单元，基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之
间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
32.作答步骤特征确定单元，用于基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征；
33.习题批改单元，用于基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述习题批改方法。
35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述习题批改方法。
36.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述习题批改方法。
37.本发明提供的习题批改方法、装置、电子设备和存储介质，通过分别根据标准答案和作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，分别得到标答步骤特征和作答步骤特征，在此基础上进行作答答案批改，得到步骤错因。相比于现有技术中只能得到整题的得分或扣分，能够帮助学生定位到错误的步骤和步骤错因，为学生进行错题分析提供了便利。
附图说明
38.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明提供的习题批改方法的流程示意图之一；
40.图2是本发明提供的习题批改方法中步骤140的流程示意图；
41.图3是本发明提供的习题批改方法的流程示意图之二；
42.图4是本发明提供的文本对齐特征确定方法的流程示意图；
43.图5是本发明提供的步骤关联类型确定方法的流程示意图；
44.图6是本发明提供的作答步骤特征确定方法的流程示意图；
45.图7是本发明提供的习题批改方法的流程示意图之三；
46.图8是本发明提供的习题批改装置的结构示意图；
47.图9是本发明提供的电子设备的结构示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.在物理计算题步骤批改任务中，现有的文本分类技术无法区分“同分不同错”的学生作答，导致只能给出整题的得分或对错，无法帮助学生定位到具体错误位置和原因。
50.针对上述问题，本发明实施例提供一种习题批改方法，该方法应用在对包含计算步骤的习题进行自动批改的场景，能够辅助用户快速定位到错误位置和原因，从而进行有效的错题分析。
51.图1是本发明提供的习题批改方法的流程示意图之一，该方法的执行主体可以是习题批改装置，该装置可以通过软件和/或硬件实现，该装置可以集成在电子设备中，电子设备可以是学习机、个人电脑、云端设备、智能手机或平板电脑等。如图1所示，本发明实施例提供的习题批改方法包括如下步骤：
52.步骤110，确定待批改习题的标准答案和作答答案。
53.具体地，待批改习题即需要进行批改的习题，待批改习题可以是物理题、数学题等作答过程包含逻辑推理过程或计算步骤的习题。待批改习题的标准答案可以是预先存储好的。
54.作答答案即用户，通常是学生，针对该习题进行解答得到的答案。作答答案可以是由学生直接在学习机上进行作答得到的；也可以是学生在纸质试卷或练习册上进行作答，对作答答案拍照，再对拍照所得的作答答案图像进行文本识别后得到的，本发明实施例对此不作具体限定。
55.步骤120，基于标准答案中各步骤的语义特征，确定标准答案中各步骤之间的步骤关系类型，并基于标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定标准答案中各步骤的标答步骤特征。
56.具体地，由于用户作答的发散性，标准答案和作答答案通常会存在语义信息不对等的问题。有些学生在作答时，可能写了非常详细的步骤、过程以及解释；有些则写得较为简洁；有些学生在作答时会罗列非常多的物理定理、公式等，有些学生在遇到不会的题目时则写得很少或空着。因此，在得到待批改习题的标准答案和作答答案之后，即可分别对标准答案和作答答案进行语义编码，并抽取得到各步骤的语义特征。
57.例如，标准答案中各步骤的语义特征可表示为作答答案中各步骤的语义特征可表示为其中p和q分别表示标准答案和作答答案中步骤的数量。
58.此处，标准答案中各步骤的语义特征可以表征标准答案中各步骤本身的语义，可采用向量的形式对各步骤中的字词和/或公式信息进行量化表示。针对标准答案文本，以分词为单位对标准答案进行切分，每个分词具有对应的特征向量，多个分词分别对应的特征向量顺次拼接，即构成标准答案的特征向量序列。
59.在此基础上，特殊步骤分隔符位置的特征向量可用来表示各个步骤的特征，从标准答案的特征向量序列中将步骤分隔符位置的特征向量单独抽出，即可得到标准答案中各步骤的语义特征。
60.得到标准答案中各步骤的语义特征之后，进一步基于标准答案中各步骤的语义特征，确定标准答案中各步骤之间的步骤关系类型。此处的步骤关系类型是指标准答案中每对步骤之间的步骤关系类型，每对步骤的步骤顺序通常是从前到后的顺序。步骤关系类型
具体可包括条件关系、并列关系或因果关系等。例如，标准答案中包含5个步骤，可分别得到步骤1与步骤2为条件关系，步骤1与步骤4也为条件关系，步骤2与步骤3为因果关系等等。
61.为了得到各步骤之间的步骤关系类型，可通过步骤关系类型分类模型实现。将各步骤拼接后的语义特征输入预先训练好的步骤关系类型分类模型，得到由步骤关系类型分类模型输出的各步骤之间的步骤关系类型。在对步骤关系类型分类模型进行训练时，可首先采集大量带标签的包含多个步骤的答案样本，答案样本可以是标准答案，也可以是作答答案。并基于答案样本对初始模型进行训练，得到步骤关系类型分类模型。
62.需要说明的是，各步骤拼接后的语义特征可以通过直接将各步骤的特征向量序列进行拼接得到；也可以为了提升各步骤的语义特征的上下文语义表示能力，采用自注意力机制对各步骤的特征向量序列进行进一步特征融合，能够充分提取各步骤之间存在关联的重要特征。然后将融合后的各步骤的语义特征进行拼接，得到各步骤拼接后的语义特征。
63.得到标准答案中各步骤之间的步骤关系类型的基础上，基于标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定标准答案中各步骤的标答步骤特征。
64.由于各步骤的语义特征能够表示各个步骤本身的语义，即单个步骤中的上下文语义信息；各步骤之间的步骤关系类型能够表示每对步骤间的上下文语义关系，则由此得到的各步骤的标答步骤特征既融合了标准答案中单个步骤的语义特征，同时融合了该单个步骤与其关系步骤之间的关系类型。此处的关系步骤即与该单个步骤存在步骤关系的其他步骤。
65.为了得到各步骤的标答步骤特征，通过将各步骤的语义特征和各步骤之间的步骤关系类型输入至特征编码网络，通过特征编码网络对任一步骤的语义特征，以及与该步骤存在步骤关系的其他步骤的语义特征进行加权求和处理，得到特征编码网络输出的各步骤的标答步骤特征。
66.优选地，此处的特征编码网络具体可以是图结构编码网络，例如，以各步骤为图的节点，以各步骤之间的步骤关系为边构建图，对图中各节点进行特征提取，从而得到各步骤的标答步骤特征。
67.步骤130，基于作答答案中各步骤的语义特征，确定作答答案中各步骤之间的步骤关系类型，并基于作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定作答答案中各步骤的作答步骤特征。
68.具体地，针对作答答案，可采用与上述描述的与标准答案相同的特征提取方式，得到作答答案中各步骤的作答步骤特征，在此不再赘述。由此确定的作答答案中各步骤的作答步骤特征既融合了作答答案中单个步骤的语义特征，同时融合了该单个步骤与其关系步骤之间的关系类型。
69.需说明的是，步骤120和步骤130可同时执行，也可顺序执行。且并不限定两者的执行顺序。
70.步骤140，基于标准答案中各步骤的标答步骤特征，以及作答答案中各步骤的作答步骤特征，对作答答案进行批改，得到作答答案的步骤错因。
71.具体地，通过步骤120和130，分别得到标准答案中各步骤的标答步骤特征和作答答案中各步骤的作答步骤特征的基础上，即可对作答答案进行批改，得到作答答案的步骤错因。
72.针对作答答案批改，可基于标答步骤特征和作答步骤特征进行两个层面上的比较：1)针对单个步骤之间的比较来判断步骤错因。比如，作答答案中步骤1的作答步骤特征，与标准答案中步骤1的标答步骤特征相比，得到步骤1的错因是缺少单位、数值计算错误等。2)针对多个步骤之间的比较来判断步骤错因。比如，作答答案中步骤3的作答步骤特征，与标准答案中步骤2和3的标答步骤特征相比，尽管作答答案中步骤3与标准答案中步骤3完全一致，但由于作答答案中缺少标准答案中的步骤2，而标准答案中步骤2和3之间的关系是条件关系，即步骤2是步骤3的条件。则可以判断步骤错因是缺少条件。
73.由于标答步骤特征与作答步骤特征均融合了各个步骤的语义特征，以及各个步骤之间的步骤关系，因此，针对作答答案存在扣分的情况下，可快速定位到作答答案的错误步骤位置，并判断步骤错因。
74.本发明实施例提供的习题批改方法，通过分别根据标准答案和作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，分别得到标答步骤特征和作答步骤特征，在此基础上进行作答答案批改，得到步骤错因。相比于现有技术中只能得到整题的得分或扣分，能够帮助学生定位到错误的步骤和步骤错因，为学生进行错题分析提供了便利。
75.基于上述实施例，图2是本发明提供的习题批改方法中步骤140的流程示意图，如图2所示，步骤140具体包括：
76.步骤141，基于标答步骤特征与作答步骤特征之间的相关性，将标答步骤特征与作答步骤特征进行对齐，得到作答答案的步骤对齐特征；
77.步骤142，基于作答答案的步骤对齐特征，对作答答案进行批改，得到作答答案的步骤错因。
78.具体地，在进行习题批改时，可将标答步骤特征与作答步骤特征进行对齐，对齐可以是从标准答案的各步骤中，查询得到与作答步骤特征匹配的步骤，此处的匹配不仅包括步骤语义特征的匹配，还包括各步骤的步骤关系的匹配。
79.标答步骤特征与作答步骤特征之间的相关性越高，则标答步骤特征与作答步骤特征对齐的概率越高；反之如果标答步骤特征与作答步骤特征之间的相关性越低，则标答步骤特征与作答步骤特征对齐的概率越低。
80.将标答步骤特征与作答步骤特征进行对齐，可通过基于注意力的方法实现。具体而言，以标准答案的标答步骤特征作为查询项，作答答案的作答步骤特征作为键值对进行步骤对齐和信息交互，具体过程可表示为：
[0081][0082]
式中，tg表示作答答案的步骤对齐特征，表示标答步骤特征，表示作答步骤特征，wq、wk和wv为参数，为步骤特征的向量维度。
[0083]
由此得到的步骤对齐特征融合了标答步骤特征各步骤的信息，能够充分提取与标答步骤特征相关性更高的重要特征，提升了步骤对齐特征的语义表示能力。得到步骤对齐特征之后，即可对作答答案进行批改，得到作答答案的步骤错因。
[0084]
本发明实施例提供的方法，通过基于标答步骤特征与作答步骤特征之间的相关性，将标答步骤特征与作答步骤特征进行对齐，得到作答答案的步骤对齐特征，并基于步骤
对齐特征对作答答案进行批改，得到作答答案的步骤错因，能够充分提取与标答步骤特征相关性更高的重要特征，提升了步骤对齐特征的语义表示能力，提高了步骤错因分类的准确性。
[0085]
基于上述任一实施例，图3是本发明提供的习题批改方法的流程示意图之二，如图3所示，步骤142具体包括：
[0086]
步骤142-1，确定待批改习题的题目；
[0087]
步骤142-2，基于题目、标准答案和作答答案分别对应的分词语义特征之间的相关性，将题目、标准答案和作答答案分别对应的分词语义特征进行对齐，得到作答答案的文本对齐特征；
[0088]
步骤142-3，基于作答答案的文本对齐特征和步骤对齐特征，对作答答案进行批改，得到作答答案的步骤错因，或得到作答答案的步骤错因和批改分数。
[0089]
具体地，为了进一步提升作答答案批改的准确性，还可同时结合作答答案的文本对齐特征和步骤对齐特征进行批改，其中文本对齐特征可表示作答答案的整个文本语义表示，以及作答答案中各个分词的语义表示。
[0090]
待批改习题的题目可以是用户直接输入的，也可以是将采集所得的音频进行语音转写后得到的，还可以是通过扫描仪、手机、相机等图像采集设备采集得到包含题目的图像，并对图像进行ocr(optical character recognition，光学字符识别)得到的，题目的文本可以是对基于上述文本获取方式得到的文本进行删减、去重或拼接等预处理后得到，本发明实施例对此不作限定。
[0091]
题目、标准答案和作答答案分别对应的分词语义特征可通过基于自注意力机制的序列编码实现。
[0092]
题目的分词语义特征可表示为p＝[p1,p2,...,p
l
],pi∈rd，标准答案的分词语义特征可表示为s＝[s1,s2,...,sn],sj∈rd，作答答案的分词语义特征可表示为u＝[u1,u2,...,um],uk∈rd。其中，l、n和m分别表示题目、标准答案和作答答案的文本长度，pi,sj,uk分别表示经过自注意力序列编码后，题目、标准答案和作答答案中，第i、j、k个位置的特征向量。
[0093]
在此基础上，即可基于各自的分词语义特征之间的相关性，将题目、标准答案和作答答案分别对应的分词语义特征进行对齐，得到作答答案的文本对齐特征。由此得到的文本对齐特征融合了题目、标准答案和作答答案中各分词的重要特征，提升了作答答案的文本语义表示能力。
[0094]
得到了作答答案的文本对齐特征和步骤对齐特征之后，对作答答案进行批改，得到作答答案的步骤错因，或得到作答答案的步骤错因和批改分数。
[0095]
为了得到作答答案的步骤错因，将文本对齐特征中所有步骤分隔符位置的特征向量单独抽取出来，与步骤对齐特征中的每一个步骤特征进行拼接，得到作答答案中结合了文本序列和步骤结构关系的步骤融合特征向量然后将拼接得到的每个步骤的融合特征向量，输入到一个全连接网络，经过softmax函数得到各步骤属于的各个错因类型的概率分布：
[0096]
[0097]
式中，表示作答答案中第i个步骤的融合特征向量，q表示作答答案的步骤数量。
[0098]
为了得到作答答案的批改分数，将得到的步骤对齐特征中每一个步骤特征向量进行平均池化(mean-pooling)操作，得到整体步骤对齐特征向量然后将文本对齐特征中[cls]位置的特征向量与整体步骤对齐特征向量进行向量拼接后，输入到一个全连接网络，预测整题学生作答的得分，具体可以表示为：
[0099][0100]
式中，文本对齐特征中[cls]位置的特征，表示整体步骤对齐特征。
[0101]
本发明实施例提供的方法，基于作答答案的文本对齐特征和步骤对齐特征，对作答答案进行批改，得到作答答案的步骤错因，或得到作答答案的步骤错因和批改分数，能够进一步提高作答答案的整体语义表示能力，从而提高步骤错因分类的准确性。此外，在批改分数时也能重点关注一些关键作答步骤，使得批改分数更加客观准确。
[0102]
基于上述任一实施例，图4是本发明提供的文本对齐特征确定方法的流程示意图，如图4所示，步骤142-2具体包括：
[0103]
步骤142-21，基于标准答案和作答答案分别对应的分词语义特征之间的相关性，将标准答案与作答答案分别对应的分词语义特征进行对齐，得到作答答案的答案对齐特征；
[0104]
步骤142-22，基于题目的分词语义特征与作答答案的答案对齐特征之间的相关性，将题目的分词语义特征与作答答案的答案对齐特征进行对齐，得到作答答案的文本对齐特征。
[0105]
具体地，为了得到作答答案的文本对齐特征，可首先将标准答案与作答答案分别对应的分词语义特征进行对齐，得到作答答案的答案对齐特征；然后将题目的分词语义特征与作答答案的答案对齐特征进行对齐，得到作答答案的文本对齐特征。
[0106]
首先执行步骤142-21，使用标准答案的分词语义特征作为查询项，以作答答案的分词语义特征作为键值对，具体的步骤对齐和特征融合的过程可以表示为：
[0107][0108]
式中，s为标准答案的分词语义特征，u为作答答案的分词语义特征，wq、wk和wv为参数，为特征维度，f为作答答案的答案对齐特征。
[0109]
其中，以标准答案的分词语义特征作为查询项，以作答答案的分词语义特征作为键值对，进行词级别的信息交互，能够对齐作答答案和标准答案之间的语义信息。
[0110]
然后执行步骤142-22，以题目的分词语义特征作为查询项，将步骤142-21中得到的答案对齐特征作为键值对，在融合题目信息的同时帮助模型定位标准答案和作答答案中关键的作答文本，以更好地基于题目和标准答案对作答答案进行得分批改，具体可以表示为：
[0111][0112]
式中，p为题目的分词语义特征，ts为作答答案的文本对齐特征。ts是将标准答案、题目与作答答案的分词语义特征对齐后得到的，其中包含了[cls]特殊字符的特征向量用于代表整个作答答案的文本特征向量以及每一个分词的特征编码向量，ts的长度与作答答案的文本长度一致。
[0113]
本发明实施例提供的方法，首先将标准答案与作答答案各自的分词语义特征进行对齐，得到答案对齐特征；然后将题目的分词语义特征与答案对齐特征进行对齐，得到作答答案的文本对齐特征，进一步提升了作答答案的文本语义表示能力。
[0114]
基于上述任一实施例，图5是本发明提供的步骤关联类型确定方法的流程示意图，如图5所示，步骤130中基于作答答案中各步骤的语义特征，确定作答答案中各步骤之间的步骤关系类型，包括：
[0115]
步骤131，基于作答答案中各步骤的语义特征之间的相关性，确定作答答案中各步骤的上下文语义特征；
[0116]
步骤132，基于作答答案中各步骤的前后顺序，对作答答案中各步骤的上下文语义特征进行拼接，得到作答答案的步骤拼接特征；
[0117]
步骤133，基于作答答案的步骤拼接特征，确定作答答案中各步骤之间的步骤关系类型。
[0118]
具体地，为了得到作答答案中各步骤之间的步骤关系类型，可通过作答答案中各步骤的上下文语义特征实现。各步骤的上下文语义特征能够表示每两个前后步骤之间的语义关联性。此处的每两个前后步骤可以是相邻的前后两个步骤，比如步骤1和步骤2；也可以是非相邻的前后两个步骤，比如步骤1和步骤3。
[0119]
采用自注意力机制对各步骤进行特征提取，以学习不同步骤之间的关联。各步骤的上下文语义特征提取过程可以表示为：
[0120][0121]
式中，fu为作答答案中各步骤的上下文语义特征，为作答答案中各步骤的语义特征。
[0122]
然后，将作答答案中各步骤的上下文语义特征进行拼接得到步骤拼接特征，可表示为且i,j∈[0,q]，其中q表示作答答案中步骤的数量。
[0123]
从i《j可以看出，步骤之间的关系是从前到后的关系，这样能够对解题过程的步骤进行建模。将拼接得到的步骤拼接特征经过一个全连接层和softmax函数，得到关于步骤关系类型的概率分布。在模型训练过程中，需要将得到的概率分布与真实的步骤关系类型进行loss计算；在模型推理过程中，将其中概率值最大的作为步骤关系类型。
[0124]
例如，可预先设置步骤关系类型的标签，包括因果关系、条件关系和并列关系等。步骤1和步骤3拼接后得到的步骤拼接特征经过一个全连接层和softmax函数，得到关
于步骤关系类型的概率分布分别为因果关系(0.6)、条件关系(0.3)、并列关系(0.1)，则可得到步骤1和步骤3之间的步骤关系类型为因果关系。
[0125]
需要说明的是，同理可得到标准答案中各步骤之间的步骤关系类型。
[0126]
本发明实施例提供的方法，基于作答答案中各步骤的上下文语义特征，确定作答答案中各步骤之间的步骤关系类型，为确定步骤错因提供了基础。
[0127]
基于上述任一实施例，图6是本发明提供的作答步骤特征确定方法的流程示意图，如图6所示，步骤130中基于作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定作答答案中各步骤的作答步骤特征，包括：
[0128]
步骤134，以作答答案中各步骤为节点，以各步骤之间的步骤关系类型为边，构建图；
[0129]
步骤135，以作答答案中各步骤的语义特征为图中各节点的初始特征，基于各节点之间的相关性权重，对图进行特征提取，得到各节点的图结构特征，并将各节点的图结构特征作为作答答案中各步骤的作答步骤特征。
[0130]
具体地，分别得到了作答答案中各步骤的语义特征和各步骤之间的步骤关系类型的基础上，通过图注意力编码网络对各步骤进行特征提取，得到各步骤的作答步骤特征。
[0131]
首先，以作答答案中各步骤为节点，以各步骤之间的步骤关系类型为边，构建图。针对得到的图，使用图注意力编码网络(grap attention network)进行图编码。以作答答案中各步骤的语义特征作为图中各节点的初始特征，基于各节点之间的相关性权重，对图进行特征提取，得到各节点的图结构特征，并将各节点的图结构特征作为作答答案中各步骤的作答步骤特征。
[0132]
图结构特征提取过程中，各个节点不断基于相邻节点的语义特征、以及与相邻节点之间的步骤关系来更新自身节点的特征。具体特征提取过程可表示为：
[0133][0134]
其中ni表示图中节点i的图结构特征；k为多头自注意力机制中的头数，表示将k个头中经过注意力得到的特征向量进行拼接整合操作；wk表示第k个头中需要学习的权重矩阵；ni表示节点i的所有相邻节点集合；其中表示节点j与关系向量r
ij
或r
ji
拼接后经过一个全连接网络得到的特征向量，维度与节点特征维度一致，关系向量r
ij
或r
ji
即各步骤之间的步骤关系类型；表示图注意力网络中节点i与j之间的注意力权重。
[0135]
另外，计算过程可以表示为：
[0136][0137]eij
＝fnn([ni；njl),j∈ni[0138]
其中，e
ij
表示节点i与节点j之间的相关性的数值；σ(
·
)为激活函数，通过上述公
式可以计算出图节点之间的相关性权重值。
[0139]
本发明实施例提供的方法，采用图注意力编码网络得到各节点的图结构特征，并将各节点的图结构特征作为作答答案中各步骤的作答步骤特征，由此得到的作答步骤特征都融合了该步骤与其他步骤的图结构关系。
[0140]
基于上述任一实施例，步骤134具体包括：
[0141]
以作答答案中各步骤为节点，以各步骤之间的步骤关系类型为边，以各步骤之间的步骤顺序作为边的方向，构建有向图。
[0142]
具体地，考虑到在构建图时，针对其中任一节点i来说，其在图中相邻的节点有两种类型：1)由节点i指向的尾节点集合；2)指向节点i的头节点集合。因此，可以作答答案中各步骤为节点，以各步骤之间的步骤关系类型为边，以各步骤之间的步骤顺序作为边的方向，构建有向图。即，对于上述两种不同指向关系的节点，在模型中使用不同的关系向量与节点向量的拼接顺序进行区分。
[0143]
具体而言，对于节点集合{《a,条件,b》,《b,条件,c》}中的节点b，a是b的条件以及b是c的条件两种关系是不一致的，即使两个都是条件关系，因此需要对二者进行区分，具体可以表示为：
[0144][0145]
其中i与j的值表示步骤的序号，i《j表示步骤i在步骤j之前，j《i表示步骤j在步骤i之前。
[0146]
基于上述任一实施例，图7是本发明提供的习题批改方法的流程示意图之三，如图7所示，还提供一种作业批改方法，包括：
[0147]
s1，对于输入的题目、标准答案和作答答案，首先使用基于注意力机制的序列编码器进行特征编码，分别得到各自的分词语义特征。并进行分词语义特征的对齐，得到作答答案的文本对齐特征。
[0148]
s2，将标准答案中各自的步骤分隔符对应位置的特征向量，作为每一个步骤的语义特征，并对标准答案中各个步骤之间的步骤关系类型进行分类，例如可使用预先训练好的语篇分析模块进行步骤关系类型分类；在此基础上，以标准答案中各步骤为节点，以各步骤之间的步骤关系类型为边，以各步骤之间的步骤顺序作为边的方向，构建一个有向步骤关系图，基于图注意力网络的图结构编码器，获得标准答案中各步骤的标答步骤特征。
[0149]
s3，根据s2相同的方法，得到作答答案中各步骤的作答步骤特征。
[0150]
s4，将标答步骤特征与作答步骤特征进行对齐，即图结构信息对齐，得到作答答案的步骤对齐特征。
[0151]
s5，对标准答案和作答答案在文本和图结构两方面的信息进行融合，即基于作答答案的文本对齐特征和步骤对齐特征，对作答答案进行批改，得到作答答案的步骤错因，或得到作答答案的步骤错因和批改分数。将文本对齐特征和步骤对齐特征，输入到整题得分回归模块和步骤错因分类模块，以得到作答答案在当前题目的得分和作答答案中的步骤错误类型。
[0152]
在对作答答案进行步骤错因分类时，需要结合作答答案中不同步骤之间的步骤关
系来判断，如下例子所示：
[0153]
标准答案：(si：物块匀速前进，r
ij
：条件，sj：f
合
＝f
推
f
拉
＝...)
[0154]
作答答案：uk：f
合
＝f
推
f
拉
＝...
[0155]
上述例子中，展示了标准答案的篇章结构图中的一个三元组与作答答案中的其中一个步骤。在对该作答答案的步骤进行错因分类时，需要先将作答答案中的步骤uk与标准答案中的步骤si和步骤sj进行对齐，以便于进行以下两个层面判断：1)单个步骤之间的比较，基于uk与sj之间信息交互来判断扣分类型，其中单步骤的扣分类型有：缺少单位、数值计算错误等；2)多步骤之间的比较，基于uk与si、sj之间信息交互来判断扣分点，其中多步骤之间的扣分点有：物理量前后完整不统一、缺少关键条件等。对于上面例子，即使步骤uk与sj完全相同(即不存在单步骤扣分点)，但是缺少了步骤si，即缺少了对“匀速运动”的描述，也就能归结到“缺少关键条件”的错因类型中，而这依赖于对作答答案中不同步骤之间的步骤关系的建模，以及将作答和标答之间不同作答步骤进行信息对齐。
[0156]
本发明实施例提供的作业批改方法，在得到学生作答得分的同时，还能定位到学生作答错误步骤的位置以及错误类型，辅助学生进行错题分析。
[0157]
下面对本发明提供的作业批改装置进行描述，下文描述的作业批改装置与上文描述的作业批改方法可相互对应参照。
[0158]
基于上述任一实施例，图8是本发明提供的习题批改装置的结构示意图，如图8所示，习题批改装置包括答案确定单元810、标答步骤特征确定单元820、作答步骤特征确定单元830和习题批改单元840。
[0159]
其中，答案确定单元810，用于确定待批改习题的标准答案和作答答案；
[0160]
标答步骤特征确定单元820，基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
[0161]
作答步骤特征确定单元830，用于基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征；
[0162]
习题批改单元840，用于基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
[0163]
本发明实施例提供的习题批改装置，通过分别根据标准答案和作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，分别得到标答步骤特征和作答步骤特征，在此基础上进行作答答案批改，得到步骤错因。相比于现有技术中只能得到整题的得分或扣分，能够帮助学生定位到错误的步骤和步骤错因，为学生进行错题分析提供了便利。
[0164]
基于上述任一实施例，习题批改单元进一步用于：
[0165]
基于所述标答步骤特征与所述作答步骤特征之间的相关性，将所述标答步骤特征与所述作答步骤特征进行对齐，得到所述作答答案的步骤对齐特征；
[0166]
基于所述作答答案的步骤对齐特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
[0167]
基于上述任一实施例，习题批改单元进一步用于：
[0168]
确定所述待批改习题的题目；
[0169]
基于所述题目、所述标准答案和所述作答答案分别对应的分词语义特征之间的相关性，将所述题目、所述标准答案和所述作答答案分别对应的分词语义特征进行对齐，得到所述作答答案的文本对齐特征；
[0170]
基于所述作答答案的文本对齐特征和所述步骤对齐特征，对所述作答答案进行批改，得到所述作答答案的步骤错因，或得到所述作答答案的步骤错因和批改分数。
[0171]
基于上述任一实施例，习题批改单元进一步用于：
[0172]
基于所述标准答案和所述作答答案分别对应的分词语义特征之间的相关性，将所述标准答案与所述作答答案分别对应的分词语义特征进行对齐，得到所述作答答案的答案对齐特征；
[0173]
基于所述题目的分词语义特征与所述作答答案的答案对齐特征之间的相关性，将所述题目的分词语义特征与所述作答答案的答案对齐特征进行对齐，得到所述作答答案的文本对齐特征。
[0174]
基于上述任一实施例，作答步骤特征确定单元进一步用于：
[0175]
基于所述作答答案中各步骤的语义特征之间的相关性，确定所述作答答案中各步骤的上下文语义特征；
[0176]
基于所述作答答案中各步骤的前后顺序，对所述作答答案中各步骤的上下文语义特征进行拼接，得到所述作答答案的步骤拼接特征；
[0177]
基于所述作答答案的步骤拼接特征，确定所述作答答案中各步骤之间的步骤关系类型。
[0178]
基于上述任一实施例，作答步骤特征确定单元进一步用于：
[0179]
以所述作答答案中各步骤为节点，以所述各步骤之间的步骤关系类型为边，构建图；
[0180]
以所述作答答案中各步骤的语义特征为所述图中各节点的初始特征，基于各节点之间的相关性权重，对所述图进行特征提取，得到各节点的图结构特征，并将所述各节点的图结构特征作为所述作答答案中各步骤的作答步骤特征。
[0181]
基于上述任一实施例，作答步骤特征确定单元进一步用于：
[0182]
以所述作答答案中各步骤为节点，以所述各步骤之间的步骤关系类型为边，以所述各步骤之间的步骤顺序作为边的方向，构建有向图。
[0183]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行习题批改方法，该方法包括：确定待批改习题的标准答案和作答答案；
[0184]
基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
[0185]
基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定
所述作答答案中各步骤的作答步骤特征；
[0186]
基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
[0187]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0188]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的习题批改方法，该方法包括：
[0189]
确定待批改习题的标准答案和作答答案；
[0190]
基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
[0191]
基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征；
[0192]
基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
[0193]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的习题批改方法，该方法包括：
[0194]
确定待批改习题的标准答案和作答答案；
[0195]
基于所述标准答案中各步骤的语义特征，确定所述标准答案中各步骤之间的步骤关系类型，并基于所述标准答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述标准答案中各步骤的标答步骤特征；
[0196]
基于所述作答答案中各步骤的语义特征，确定所述作答答案中各步骤之间的步骤关系类型，并基于所述作答答案中各步骤的语义特征和各步骤之间的步骤关系类型，确定所述作答答案中各步骤的作答步骤特征；
[0197]
基于所述标准答案中各步骤的标答步骤特征，以及所述作答答案中各步骤的作答步骤特征，对所述作答答案进行批改，得到所述作答答案的步骤错因。
[0198]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性
的劳动的情况下，即可以理解并实施。
[0199]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0200]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术向量进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。