一种试题批改方法以及相关装置与流程

1.本技术涉及计算机领域，尤其涉及一种对几何题目的待阅答案进行自动批阅的方法以及相关装置。


背景技术：

2.在教育领域中，针对试卷、作业的自动批改功能将是教育智能化必然的方向，不仅能够释放老师/家长大量重复性的工作，也是未来教育中智能导学、精准教学的重要数据分析基础。
3.现有技术中，对于试卷、作业的自动批改的研究可分为以下几种类型：客观试题、作文试题和理科主观试题。其中客观试题往往具有确定的答案，可以通过字符识别技术、或者字符识别技术与数学运算平台结合的方式对答案的正误进行判断；对于作文试题，可利用自然语言处理浅层分析的结果构建和利用有效的特征来描述作文文章的长度、段落数、词汇丰富性等，进而对作文整体进行评分。对于理科主观试题，目前主要通过人工智能等方法对参考答案和待阅答案的结构和/或内容进行分析和比较，通过结果的相似度来确定待阅答案的批阅结果。
4.理科主观试题的特点在于，其往往不止一种解题思路，就算是同一种解题思路下的答案也往往会有多种写法。因此，在待阅答案和参考答案形式差异较大或者解题思路不同时，基于人工智能将参考答案和待阅答案进行比较的方法的准确性无法保证，如何提升理科主观题目试题自动批阅的准确性成为亟待解决的问题。


技术实现要素：

5.基于上述问题，本技术实施例提供一种对几何题目的待阅答案进行自动批阅的方法，该方法通过将目标待阅步骤转化为代数表达式，将目标待阅步骤所描述的第一几何关系转化为第一几何关系所涉及的点的坐标约束，实现对目标待阅步骤的量化，进而根据几何题目所描述的第二几何关系确定代数表达式的正误并输出正误判断结果。该方法可根据几何题目的信息对待阅答案进行正误判断，不需要参照参考答案，能够克服理科主观题的解题思路和答案撰写逻辑多样化的问题，能够对同一含义下的不同表达方式进行批阅，极大的提升了试题自动批阅的准确率和鲁棒性。
6.第一方面，本技术实施例提供一种对几何题目的待阅答案进行自动批阅的方法，该方法包括：
7.将目标待阅步骤转化为代数表达式，目标待阅步骤用于描述第一几何关系，该代数表达式用于描述所述第一几何关系中涉及的点的坐标约束；
8.其中，目标待阅步骤为用户作答的待阅答案中的步骤，本技术实施例提供一种步骤级的试题批阅方法，可以将目标待阅步骤理解为待阅答案中进行正误判断的最小判断单元。几何题目的待阅步骤通常用于描述一种几何关系，例如，ab//cd、线段ab与cd的长度相等(ab＝cd)等。将第一目标待阅步骤转化为代数表达式的过程实际上是一个对几何步骤进
行代数化的过程，即，将目标待阅步骤所描述的几何关系转化为用几何关系所涉及的点的点坐标进行表示的代数表达式，以实现对目标待阅步骤的量化。需要注意的是，由于代数表达式是由目标待阅步骤转化来的，因此，代数表达式所表达的点的坐标约束必然满足目标待阅步骤所表达的几何关系，也就是说，代数表达式与目标待阅步骤具有等价关系。例如，ab//cd可表示为(x_b-x_a)(x_d-x_c) (y_b-y_a)(y_d-y_c)＝0。
9.基于几何题目所描述的第二几何关系确定该代数表达式的正误。
10.其中，第二几何关系是指该几何题目的题目信息中所给出的已知条件所描述几何关系，本技术实施例不需要与参考答案进行匹配，通过从题目信息中获取已知信息来推导目标待阅步骤的正误。
11.根据该代数表达式的正误，输出目标待阅步骤的正误判断结果。即，在代数表达式正确的情况下，输出目标待阅步骤的正误判断结果为正确，或者，在代数表达式错误的情况下，输出目标待阅步骤的正误判断结果为错误。
12.其中，此处的输出与确定的含义相同，并不强调输出的动作。即，该步骤中执行单元根据代数表达式的正误确定目标待阅步骤的正误判断结果，该执行单元会产生一个结果，即可认为执行了输出结果的动作。并不需要该执行单元将正误判断结果发送给其他单元，相反的，该输出单元在产生这个结果后，也可以将该结果进行存储，以用于后续的判断步骤。例如，可以暂时存储目标待阅步骤的正误判断结果，待判断得到逻辑判断结果之后，再与正误判断结果进行结合，并得到最终的判断结果。
13.本技术实施例通过将目标待阅步骤转化为代数表达式(代数化的过程)，实现对目标待阅步骤所描述的几何关系的量化，进而根据几何题目所描述的第二几何关系确定代数表达式的正误并输出正误判断结果。该方法可根据几何题目的信息对待阅答案进行正误判断，不需要参照参考答案，能够克服理科主观题的解题思路和答案撰写逻辑多样化的问题，能够对同一含义下的不同表达方式进行批阅，极大的提升了试题自动批阅的准确率和鲁棒性。
14.在一种可能的实现方式中，该代数表达式为关于第一几何关系所涉及的点的点坐标的方程式。即，代数表达式为一个包含未知数的等式，其中，未知数对应于第一几何关系所涉及的点的点坐标。将目标待阅步骤转化为关于点坐标的方程式，能够很好的实现量化几何关系的目的，且该转化过程是依据数学原理进行的，具有理论依据，能够保证试题自动批阅的准确性。
15.在一种可能的实现方式中，基于几何题目所描述的第二几何关系确定代数表达式的正误，具体包括，基于该第二几何关系获取第一几何关系所涉及的点的坐标值，然后再根据得到的坐标值确定该代数表达式的正误。
16.在一种可能的实现方式中，上述坐标值是基于相同的预设坐标系确定的。
17.其中，获取坐标值的过程包括：将第一几何关系所涉及的点中的任一一个点确定为原点(坐标值为(0，0))，根据该原点建立坐标系，并根据第二几何关系得到其他点与作为原点的点的位置关系，进而确定其他点的坐标值。特别的，在上述过程中，可以不以第一几何关系中涉及的点作为原点，也可以根据实际情况，以任一一个方便确定点坐标的点作为原点建立坐标系。
18.对于具有特定几何关系的几个点而言，一旦其中一个点的坐标确定下来了，那么
其他点的点坐标通常也能够确定下来。如果几个题目中所描述的几何关系不足以确定所有点的点坐标，也可以适当引入一些符合几何题目所描述的几何关系的假设条件，用于进一步确定各个点的点坐标。代数表达式是关于第一几何关系所涉及的点的点坐标约束，根据几何题目信息获取这些点的点坐标，并代入代数表达式进行求解，不需要进行其他中间过程，更加简洁快速，能够提高几个题目自动批阅的效率。相比于几何关系中所涉及的其他特征而言，几个关系所涉及的点的点坐标更易于获取，且具有相对稳定性，因此，根据各个点的点坐标来确定代数表达式的正误能够简化计算过程，保证批阅结果的准确性。
19.在一种可能的实现方式中，根据得到的坐标值确定该代数表达式的正误，具体包括，将得到的坐标值带入该代数表达式，以确定代数表达式的正误。代数表达式可以是一个关于点坐标的等式，在得到各个点的点坐标后，将其分别代数到等式中并进行计算，即可通过等式是否成立来判断代数表达式的正误，能够提高几个题目自动批阅的效率。
20.在一种可能的实现方式中，基于第二几何关系获取第一几何关系中涉及的点的坐标值，具体包括，从与几何题目对应的几何信息文件中获取第一几何关系所涉及的点的坐标值，几何信息文件是基于第二几何关系建立的。
21.即，将通过第二几何关系确定的坐标值预先保存在几何信息文件中，供需要时进行调用。特别的，可以在将几何题目加入到题库中时就生成并保存几何信息文件，也可以在需要对几何试题对应的待阅答案进行批阅时再生成并保存。根据题目信息得到与试题批阅相关的重要信息，并保存在几何信息文件中，如此，在进行试题批阅的过程中，不需要每次用到这些信息的时候都重新根据题目信息生成一次，直接调用即可，有效的节约了算例，并提升了试题批阅的效率。
22.在一种可能的实现方式中，第一几何关系涉及第一目标点，而第二几何关系不涉及第一目标点，待阅答案所描述的第三几何关系涉及第一目标点，即，目标待阅步骤所描述的几何关系涉及用户自行定义的辅助点(第一目标点)，该辅助点不包含于几何题目信息中，而包含于用户的待阅答案中，第三几何关系明确了该辅助点与其他点之间的几何关系。此时，基于与几何题目对应的几何信息确定代数表达式的正误，具体包括，基于第二几何关系和第三几何关系确定代数表达式的正误。
23.当目标待阅步骤中涉及几何题目信息中不涉及的辅助点时，需要借助待阅答案中对于辅助点的定义，一同判断目标待阅步骤的正误，才能达到更加准确的判断效果。
24.在一种可能的实现方式中，该自动批阅方法还包括：在输出目标待阅步骤的正误判断结果后，输出目标待阅步骤的逻辑判断结果。
25.应当理解，输出逻辑判断结果的输出和输出正误判断结果的输出含义相同，此处不再进行赘述。由于几何题目往往需要一定的逻辑推导过程，仅根据正误判断结果还不能充分判断其正误，还需要进行逻辑的判断，以确定待阅答案的完整性。在一种可能的实现方式中，可以将待阅步骤的批阅结果呈现为正误判断结果和逻辑判断结果两个部分，在另一种可能的实现方式中，也可以综合正误判断结果和逻辑判断结果，并输出一个最终的判断结果。
26.在一种可能的实现方式中，输出所述目标待阅步骤的逻辑判断结果，具体包括：
27.确定目标待阅步骤的第一条件步骤，第一条件步骤为前序步骤中与目标待阅步骤具有逻辑推导关系的待阅步骤，前序步骤是待阅答案中位于目标待阅步骤之前的一个或多
个待阅步骤；
28.确定目标待阅步骤的逻辑判断结果就是判断是否可以通过目标待阅步骤之前的待阅步骤推导得到目标待阅步骤。由于前序步骤中并不是所有的步骤是用来推导得到目标待阅步骤的，因此，需要首先从前序步骤中获取与目标待阅步骤具有逻辑推理关系的第一条件步骤。示例性的，该过程可通过人工智能等方法进行判断。
29.第一条件步骤用于描述第四几何关系，第四几何关系涉及n个点，n个点包括第二目标点，第一几何关系涉及第二目标点，n为正整数；
30.根据第二几何关系获取该n个点中除第二目标点以外的其他点的坐标值；
31.根据该n个点中除第二目标点以外的其他点的坐标值以及第四几何关系，确定第二目标点的点坐标信息；
32.基于第二目标点的点坐标信息输出逻辑判断结果。
33.其中，第二目标点可以是n个点中的任一一个点。在具体操作时，每次选中一个点作为第二目标点，将第二目标点的点坐标设为未知，然后根据几何题目获取除第二目标点以外的其他点的点坐标，再将其他点的点坐标带入第一条件步骤中求解该条件下第二目标点的点坐标信息。反复这个过程，直到第一条件步骤所描述的第四几何关系涉及的所有点都被假设为第二目标点进行一次运算后，综合确定逻辑判断结果。
34.在一种可能的实现方式中，第二目标点的点坐标信息为空，即，第二目标点的点坐标无解，此时输出逻辑判断结果错误。
35.在一种可能的实现方式中，第二目标点的点坐标信息包括第二目标点的第一坐标值(第二目标点的点坐标有解)，基于第二目标点的点坐标信息输出逻辑判断结果，具体包括，根据第二几何关系获取第二目标点的第二坐标值；将第一坐标值和第二坐标值进行比较，根据比较结果输出逻辑判断结果。
36.由于第二坐标值是根据几何题目信息得到的，因此，可以认为第二坐标值是该坐标系下正确的坐标值。当第一坐标值与第二坐标值不同时，输出逻辑判断结果错误，当第一坐标值与第二坐标值相同时，轮换下一个第二目标点，直至所有的第二目标点都符合条件时，输出逻辑判断结果正确。
37.在一种可能的实现方式中，第二目标点的点坐标信息包括第二目标点的第一坐标值(第二目标点的点坐标有解)，基于第二目标点的点坐标信息输出逻辑判断结果，具体包括，将第二目标点的第一坐标值和该n个点中除第二目标点以外的其他点的坐标值带入代数表达式，以确定代数表达式是否成立；基于代数表达式是否成立，输出逻辑判断结果。
38.在目标待阅步骤的正误判断结果为正确的情况下，可以认为目标待阅步骤是符合几何题目信息的，此时，在其他点的坐标相同的情况下，根据几何题目信息和根据目标待阅步骤得到的第二目标点的坐标应该是相同的，因此，也可以通过将第一坐标值和其他点的点坐标带入代数表达式中进行验证。当代数表达式不成立时，输出逻辑判断结果错误，当代数表达式成立时，轮换下一个第二目标点，直至所有的第二目标点都符合条件时，输出逻辑判断结果正确。
39.上述对目标待阅步骤进行逻辑判断的方法可称为松弛变量法，松弛变量法是根据数学原理推导得到的逻辑判断方法，具有理论支撑。可以认为松弛变量法是一种基于待阅答案的数学含义来进行逻辑判断的方法，相比于其他逻辑判断方法而言更加准确，也更具
有可解释性。
40.在一种可能的实现方式中，输出目标待阅步骤的逻辑判断结果，具体包括，基于几何定理库确定目标待阅步骤的至少一个第二条件步骤，该至少一个第二条件步骤是推导得到目标待阅步骤的充分条件，几何定理库包括几何推导关系；
41.基于目标待阅步骤的至少一个第二条件步骤和前序步骤输出目标待阅步骤的逻辑判断结果，前序步骤是待阅答案中位于所述目标待阅步骤之前的一个或者多个待阅步骤。
42.上述逻辑判断方法首先根据几何定理库中的几何推导关系(先验知识)，获取要推导得到目标待阅步骤所需的最少的第二条件步骤。应当理解，目标待阅步骤可能存在不止一种推导方式，即存在不止一种第二条件步骤组合，每种第二条件步骤组合包括至少一个第二条件步骤。以下方法是针对其中一种第二条件组合所采取的判断方法，对于每一种第二条件组合均可采用相同的判断方法。
43.在一种可能的实现方式中，基于目标待阅步骤的至少一个第二条件步骤和前序步骤输出目标待阅步骤的逻辑判断结果，具体包括：
44.当前序步骤中包括至少一个第二条件步骤的全部时，输出逻辑判断结果为正确；或者
45.当前序步骤中包括至少一个第二条件步骤的部分时，输出逻辑判断结果为错误；或者
46.当前序步骤中不包括至少一个第二条件步骤时，输出逻辑判断结果为错误或者输出目标待阅步骤需要人工检查。
47.由于至少一个第二条件步骤是推导得到目标待阅步骤的充分条件，因此，该至少一个第二条件步骤缺一不可。即，只有当前序步骤中包括该至少一个第二条件步骤的全部时，才能认为目标待阅步骤的逻辑判断结果为正确。
48.特别的，在一种可能的实现方式中，如果前序步骤中不包括任一个第二条件步骤时，可以认为待阅答案的推导逻辑与至少一个第二条件步骤的逻辑完全不同，此时，计算机无法判断目标待阅步骤的逻辑是否正确，可以提示进行人工检查，以提高自动批阅的准确性。
49.上述对目标待阅步骤进行逻辑判断的方法可称为基于定理库逆推的逻辑判断方法，其运算量较小，能够提高试题自动批阅的效率，缩短试题自动批阅的事件。
50.第二方面，本技术实施例提供一种对几何题目的待阅答案进行自动批阅的装置，该装置包括：
51.转化模块，该转化模块用于将目标待阅步骤转化为代数表达式，目标待阅步骤为待阅答案中的步骤，目标待阅步骤用于描述第一几何关系，代数表达式用于描述第一几何关系中涉及的点的坐标约束；
52.判断模块，该判断模块用于基于几何题目所描述的第二几何关系确定代数表达式的正误；
53.输出模块，该输出模块根据代数表达式的正误，输出目标待阅步骤的正误判断结果。
54.在一种可能的实现方式中，基于所述几何题目所描述的第二几何关系确定代数表
达式的正误，具体包括：
55.基于第二几何关系获取第一几何关系中涉及的点的坐标值；
56.根据坐标值确定代数表达式的正误。
57.在一种可能的实现方式中，第一几何关系中涉及的点的坐标值是基于相同的预设坐标系确定的。
58.在一种可能的实现方式中，基于第二几何关系获取第一几何关系中涉及的点的坐标值，具体包括：
59.从与几何题目对应的几何信息文件中获取第一几何关系中涉及的点的坐标值，几何信息文件是基于第二几何关系建立的。
60.在一种可能的实现方式中，代数表达式为关于第一几何关系中涉及的点的点坐标的方程式。
61.在一种可能的实现方式中，第一几何关系涉及第一目标点，第二几何关系不涉及第一目标点，待阅答案所描述的第三几何关系涉及第一目标点，基于与几何题目对应的几何信息确定代数表达式的正误，具体包括：
62.基于第二几何关系和第三几何关系确定代数表达式的正误。
63.在一种可能的实现方式中，输出模块还用于：
64.在输出目标待阅步骤的正误判断结果后，输出目标待阅步骤的逻辑判断结果。
65.在一种可能的实现方式中，输出目标待阅步骤的逻辑判断结果，具体包括：
66.确定目标待阅步骤的第一条件步骤，该第一条件步骤为前序步骤中与目标待阅步骤具有逻辑推导关系的待阅步骤，前序步骤是待阅答案中位于目标待阅步骤之前的一个或多个待阅步骤；
67.第一条件步骤用于描述第四几何关系，第四几何关系涉及n个点，n个点包括第二目标点，第一几何关系涉及第二目标点，n为正整数；
68.根据第二几何关系获取n个点中除第二目标点以外的其他点的坐标值；
69.根据n个点中除第二目标点以外的其他点的坐标值以及第四几何关系，确定第二目标点的点坐标信息；
70.基于第二目标点的点坐标信息输出逻辑判断结果。
71.在一种可能的实现方式中，第二目标点的点坐标信息包括第二目标点的第一坐标值，基于第二目标点的点坐标信息输出逻辑判断结果，具体包括：
72.根据第二几何关系获取第二目标点的第二坐标值；
73.将第一坐标值和第二坐标值进行比较，根据比较结果输出逻辑判断结果。
74.在一种可能的实现方式中，第二目标点的点坐标信息包括第二目标点的第一坐标值，基于第二目标点的点坐标信息输出逻辑判断结果，具体包括：
75.将第二目标点的第一坐标值和n个点中除第二目标点以外的其他点的坐标值带入代数表达式，以确定代数表达式是否成立；
76.基于代数表达式是否成立，输出逻辑判断结果。
77.在一种可能的实现方式中，输出目标待阅步骤的逻辑判断结果，包括：
78.基于几何定理库确定目标待阅步骤的至少一个第二条件步骤，至少一个第二条件步骤是推导得到所述目标待阅步骤的充分条件，几何定理库包括几何推导关系；
79.基于目标待阅步骤的至少一个第二条件步骤和前序步骤输出目标待阅步骤的逻辑判断结果，前序步骤是所述待阅答案中位于目标待阅步骤之前的一个或者多个待阅步骤。
80.在一种可能的实现方式中，基于目标待阅步骤的至少一个第二条件步骤和前序步骤输出目标待阅步骤的逻辑判断结果，包括：
81.当前序步骤中包括至少一个第二条件步骤的全部时，输出逻辑判断结果为正确；或者
82.当前序步骤中包括至少一个第二条件步骤的部分时，输出逻辑判断结果为错误；或者
83.当前序步骤中不包括至少一个第二条件步骤时，输出逻辑判断结果为错误或者输出目标待阅步骤需要人工检查。
84.第三方面，本技术实施例提供一种对几何题目的待阅答案进行自动批阅的装置，该装置包括：
85.一个或多个处理器和存储器；其中，存储器中存储有计算机可读指令；
86.一个或多个处理器读取计算机可读指令，以使计算机设备实现如第一方面所述的方法。
87.第四方面，本技术实施例提供一种计算机可读存储介质，包括计算机可读指令，当计算机可读指令在计算机设备上运行时，使得计算机设备执行如第一方面所述的方法。
88.第五方面，本技术实施例提供一种计算机程序产品，包括计算机可读指令，当计算机可读指令在计算机设备上运行时，使得计算机设备执行如第一方面所述的方法。
89.本技术实施例第二方面到第五方面的有益效果同第一方面，为避免重复，不再进行赘述。
附图说明
90.图1为本技术实施例提供的客观试题批阅的一个示例；
91.图2为本技术实施例提供的应用场景示意；
92.图3为本技术实施例提供的系统架构示意；
93.图4为本技术实施例提供的一种试题自动批改方法的流程示意；
94.图5为本技术实施例提供的另一种试题自动批改方法的流程示意；
95.图6为本技术实施例提供的代数等价的判断方法的流程示意；
96.图7为本技术实施例提供的形式等价的判断方法的流程示意；
97.图8为本技术实施例提供的形式等价判断的一个实例；
98.图9为本技术实施例提供的关键步骤的拓扑结构图；
99.图10为本技术实施例提供的关键待阅步骤的拓扑结构图；
100.图11为本技术实施例提供的另一种试题自动批改方法的流程示意；
101.图12为本技术实施例提供的一种几何信息文件的示例；
102.图13为本技术实施例提供的基于符号计算的逻辑判断方法的流程示意；
103.图14为本技术实施例提供的局部逻辑块化简的示意；
104.图15为本技术实施例提供的基于符号计算的逻辑判断方法的另一个流程示意；
105.图16为本技术实施例根据题目信息绘制的辅助图；
106.图17为本技术实施例提供的实施例一的题目信息；
107.图18为本技术实施例提供的实施例一的题目信息对应的latex信息；
108.图19为本技术实施例提供的实施例一的参考答案；
109.图20为本技术实施例提供的实施例一的待阅答案；
110.图21为本技术实施例提供的实施例一的批阅结果；
111.图22为本技术实施例提供的针对实施例一中题目的另一种待阅答案的批阅结果；
112.图23为本技术实施例提供的针对实施例一中题目的另一种待阅答案的批阅结果；
113.图24为本技术实施例提供的实施例二的题目信息；
114.图25为本技术实施例提供的实施例二的题目信息对应的latex信息；
115.图26为本技术实施例提供的实施例二的几何文件信息；
116.图27为本技术实施例提供的实施例二的参考答案；
117.图28为本技术实施例提供的实施例二的待阅答案；
118.图29为本技术实施例提供的实施例二的批阅结果；
119.图30为本技术实施例提供的一种计算机设备的结构示意；
120.图31为本技术实施例提供的另一种计算机设备的结构示意。
具体实施方式
121.下面结合本发明实施例中的附图对本发明实施例进行描述。以下描述中，示出本发明实施例的具体方面或可使用本发明实施例的具体方面的附图。应理解，本发明实施例可在其它方面中使用，并可包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，且本发明的范围由所附权利要求书界定。例如，应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元描述具体装置，则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如，一个步骤执行一个或多个单元的功能性，或多个步骤，其中每个执行多个单元中一个或多个单元的功能性)，即使附图中未明确描述或说明这种一个或多个步骤。进一步，应理解的是，除非另外明确提出，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
122.本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
123.本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
124.本技术实施例涉及了许多关于试题批阅的相关知识，为了更好地理解本技术实施例的方案，下面先对本技术实施例可能涉及的相关术语和概念进行介绍。应理解的是，相关的概念解释可能会因为本技术实施例的具体情况有所限制，但并不代表本技术仅能局限于该具体情况，在不同实施例的具体情况可能也会存在差异，具体此处不做限定。
125.(1)参考答案
126.参考答案是针对特定试题给出的正确答案，通常包括多个具有逻辑关系的解题步骤。对于理科主观试题而言，对于一道试题可能会有多个参考答案，多个参考答案的解题思路不同。
127.(2)待阅答案
128.待阅答案是用户作答的答案，是对于特定试题需要进行批阅的答案，也即本方法实施例中的主要处理对象。
129.(3)参考步骤/待阅步骤
130.解题步骤是答案中的一个基本单元，一份答案通常包括多个具有逻辑关系的解题步骤，解题步骤是本技术实施例中进行正误和逻辑判断的最小单元。其中，参考答案中的解题步骤称为参考步骤，待阅答案中的解题步骤称为待阅步骤。在一种可能的实现方式中，解题步骤可以是一个表达式，例如a b＝3，也可以是用文字的方式表述的表达式，例如，a和b的和是3。
131.(4)正误判断
132.对于待阅步骤的正误判断，是指判断该待阅步骤所表达的含义是否正确，例如，当待阅步骤是一个数学计算公式时，判断等号两端的结果是否相等，表达式是否成立。在本技术实施例中，对待阅表达式进行正误判断是指，判断该待阅步骤所表达的含义是否与题目含义匹配，当该待阅步骤所表达的含义与题目含义匹配时(即，待阅表达式可以通过题目信息直接或者推导得到时)，正误判断结果为正确，当该待阅步骤所表达的含义与题目含义不匹配时(即，待阅表达式无法通过题目信息直接或者推导得到时)，正误判断结果为错误。
133.(5)逻辑判断
134.对于待阅步骤的逻辑判断，是指判断待阅步骤的逻辑推导关系是否正确，本发明实施例中主要指是否能够根据待阅步骤的前序步骤推导得到待阅步骤。当该待阅步骤能够根据前序步骤推导得到时，逻辑判断结果为正确，当该待阅步骤不能根据前序步骤推导得到时，逻辑判断结果为错误。
135.(6)代数类题目
136.代数题目是理科主观题目中的一类，主要包括解方程、表达式求解等数字或者字符的运算，该类题目通常不涉及几何图形。
137.(7)几何类题目
138.几何题目是理科主观题目中的一类，主要涉及与几何图形相关的证明或者运算。几何题目的题目信息通常用于描述几何关系，几何题目的解题答案通常也用于描述几何关系。
139.(8)深度学习
140.深度学习是机器学习领域的一个子集，而机器学习是人工智能领域的一个子集。深度学习可以被定义为以下四个基本网络框架中具有大量参数和层数的神经网络：无监督
预训练网络、卷积神经网络(convolutional neural network，cnn)、循环神经网络(recurrent neural network，rnn)、递归神经网络(recursive neural network，rnn)。
141.(9)神经网络
142.神经网络可以是由神经单元组成的，具体可以理解为具有输入层、隐含层、输出层的神经网络，一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。其中，具有很多层隐含层的神经网络则称为深度神经网络(deepneuralnetwork，dnn)。神经网络中的每一层的工作可以用数学表达式来描述，从物理层面，神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括：1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、“弯曲”。其中1、2、3的操作由完成，4的操作由“ b”完成，5的操作则由“a()”来实现。这里之所以用“空间”二字来表述是因为被分类的对象并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合，其中，w是神经网络各层的权重矩阵，该矩阵中的每一个值表示该层的一个神经元的权重值。该矩阵w决定着上文所述的输入空间到输出空间的空间变换，即神经网络每一层的w控制着如何变换空间。训练神经网络的目的，也就是最终得到训练好的神经网络的所有层的权重矩阵。因此，神经网络的训练过程本质上就是学习控制空间变换的方式，更具体的就是学习权重矩阵。
143.现有技术中关于对试题进行自动批改的研究中，主要把试题分为以下几类：客观试题、论述试题和理科主观试题。针对这几类试题不同的特点，与之相对应的解决方法也有所不同。
144.(1)客观试题
145.客观试题主要包括选择题(a、b、c、d)、填空题、判断题(√或
×
)还有一步计算题等。对于这类试题，答案往往式简单而固定的，因此，通常只需要采用图像识别技术对待阅答案进行识别，并将待阅答案与参考答案进行匹配，即可得到结果。当待阅答案与参考答案完全一致时，可以判断待阅答案正确，当待阅答案与参考答案不完全一致时，则判断待阅答案错误。实现图像识别功能的核心技术时光学字符识别(optical character recognition,ocr)，ocr的输入为图像文件(该图像文件中包括文字信息)，输出为图像中的文字。ocr的通常过程为将包含待阅答案的图像文件进行几何变换(透视、扭曲、旋转等)、畸变校正、去除模糊、图像增强和光线校正预处理、随后进行文字检测、文字识别等过程，最终输出该图片文字中包含的待阅答案。
146.如图1所示为客观试题批阅的一个示例，可以先截取待阅答案附近的图片，随后通过ocr模块得到待阅答案为a，再与系统中的参考答案(d)进行比对，发现比对不通过，因此，得出结论，待阅答案是错误的。
147.对于一步计算题，其既可以采用上述方法，在系统中预先保存参考答案，也可以在ocr技术的基础上配合数学平台的数值计算能力，自动生成参考答案。例如，当待阅试题为“51-9
÷
3＝45”时，可通过ocr技术依次识别出“51
”“‑”“9”“÷”“
3”“＝”“45”字符，然后将“51-9
÷
3”输入到数值计算平台或神经网络得到48，与待阅答案结果“45”不同，即判断为错。
148.可见针对客观试题的方法相对简单直接，不具备推理能力，不支持如证明题、多步骤计算题等开放性的理科主观试题。
149.(2)论述试题
150.论述试题的答案主要是针对试题进行开放性论述，例如，语文作文或者英文作文。此类试题可以采用深度学习的方法，将作文抽象的表示为分布式向量，通过训练模型，对作文整体进行评分。试题评分需要篇章级的文本理解，针对议论文，主要通过识别句子和段落的论辩角色(如引论、主旨、论点、论据等)来表示篇章结构，提出了层次多任务学习方法融合句子级和段落级的篇章角色表示进行议论文篇章结构质量评价；针对记叙文，可以利用词汇链和事件链等结构刻画篇章结构，通过识别记叙、议论、描写、抒情、说明等表达方式作为篇章单元角色来描述记叙文的结构。
151.此类方法仅能给出篇章级的大概分值，通常用于日常练笔的批阅和大考中的分值校验功能，并不能摆脱由人来阅卷
152.(3)理科主观试题
153.理科主观试题的答案通常具有多个具有一定逻辑关系的步骤，且针对同一道试题，可能会存在多种解题思路，导致存在多种正确答案，另外，同一种解题思路之下，也可能会有多种形式上不一致的正确答案。因此，无法采用简单的匹配方式判断待阅答案的正确性。现有的研究中，对于理科主观试题的批阅依旧依赖于参考答案，通过人工智能等方法对参考答案和待阅答案的结构和/或内容进行分析和比较，通过结果的相似度来确定待阅答案的批阅结果。
154.由于基于人工智能的匹配只是形式上的匹配，而非答案意义上匹配，所以判题结果的可解释性差，在待阅答案和参考答案形式差异较大或者解题思路不同时，准确性根本无法保证。
155.基于上述现有技术中存在的问题，本技术实施例提供一种步骤级的试题批改方法，基于数学推理计算引擎和人工智能的方法相结合，实现对理科主观试题的待阅答案中步骤中的表达式正误判断以及步骤之间逻辑正误判断，以得到更加准确的试题批改结果。
156.下面结合附图，对本技术的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
157.首先介绍本技术实施例的应用场景：
158.本技术实施例可以应用于理科主观试题的自动批阅，例如，数学主观题、物理主观题的批改等。理科主观试题的答案需要具有多个具有一定逻辑关联的步骤。且一道理科主观试题往往会存在多种解题思路，即存在多个可能的参考答案。另外，对于同一种解题思路下的待阅答案，由于不同学生的逻辑思维、解题习惯等略有差异，导致不同学生写出的正确答案的步骤也不是完全相同的。尽管这些待阅答案都是正确的，但是不同待阅答案的步骤可能有的详细，有的简略，有的把所有可能的中间步骤全部列出，有的却省略了一些不太重要的过程步骤。正是理科主观试题的待阅答案的不确定性，使得其无法直接通过与被参考答案进行匹配而判断正误，因此，使得对理科主观题进行准确的自动批阅成为教育界智能化的一大难题。
159.本技术实施例的应用场景如图2所示。
160.在一种可能的实现方式中，本技术实施例的系统架构包括云端和客户端两大部分。其中，客户端可以包括企业终端和个人终端两大部分。企业终端用于在试题批阅平台上构建题库，企业终端可通过终端设备录入试题、试题类别、评分标准、参考答案、主要知识点
等多种与试题批阅相关的试题信息。应当理解，构建题库的不限于企业终端，个人用户也可以通过上述方式，在试题批阅平台上构建自己的题库。
161.个人终端用于将待阅答案发送给云端，并接收云端的批阅结果。个人用户可以通过多种可能的实现方式，将待阅答案上传至云端。例如，用户可以借助扫描仪或者具有拍照功能的终端设备，首先在纸质版试卷上手写答案，再通过拍照或者扫描等方式得到电子版待阅答案。用户可以使用手写笔输入的方式，通过具有触屏功能的终端设备的显示屏，直接输入电子版的待阅答案。用户也可以使用终端设备的键盘，输入待阅答案。终端在获取电子版待阅答案之后，可以直接将待阅答案通过有线或者无线等方式上传至云端，也可以首先对待阅答案进行一些预处理(图像处理、字符识别等)之后，再将经过预处理之后的待阅答案上传至云端。
162.其中，云端主要包括计算平台和存储平台两大部分。计算平台用于提供一定的计算能力，例如，数值计算、几何信息代数化等，以实现实体批阅的功能。存储平台用于存储试题信息和与试题对应的参考答案，以用于支撑试题自动批改的功能。云端实现的功能包括：获取待阅答案，对待阅答案进行分析处理，并与试题对应的参考答案进行比对，得到待阅答案的批阅结果，并将批阅结果返回给端侧。应当理解，将计算平台和存储平台布置在云端只是一种可能的实现方式，当运算能力和存储空间允许的情况下，也可以将上述云端的装置和功能布置在端侧进行，此时，本技术实施例通过端侧和端侧的交互来执行。
163.接下来对本技术实施例所涉及的系统架构进行说明，具体请参阅图3。如图3所示，本技术实施例所设计的系统框架的核心模块主要分为两个部分：客户端和云端。其中，客户端主要包括人机交互模块、数据发送模块和数据接收模块，云端主要包括数据接收模块、数据预处理模块、计算推理模块、符号计算平台、数据存储模块、数据后处理模块以及数据发送模块。
164.对于客户端各个模块实现的功能，人机交互模块主要用于实现用户与试题批改平台的交互，例如，用户通过各种可能的实现方式输入待阅答案，以及用户通过终端设备查看待阅答案的批改结果等功能。客户端数据发送和数据接收模块主要用于与云端进行交互，待阅答案通过数据发送模块传入云端，待阅答案批改结果的数据流再通过数据接收模块传回客户端。
165.对于云端各个模块实现的功能，云端数据发送、数据接收模块主要用于与客户端进行交互，数据接收模块用于接收用户传入的待阅答案，数据发送模块用于将批改结果发送给客户端。计算推理模块是核心模块，该模块主要包括步骤匹配模块、表达式正误判断模块、逻辑正误判断模块等，这些模块的具体功能将会在下文进行展开。应当理解，这些模块仅仅是根据各模块的功能进行的划分，相近功能的模块之间也可以合并为一个功能模块，本技术对此不进行限制。符号计算平台是在试题批阅的过程中涉及道符号计算时需要调用的主要平台，例如maple等。数据存储模块主要用来存储用户上传的待阅答案、试题对应的参考答案、试题的其他相关信息、试题库、以及用于支撑试题批改平台的其他数据。
166.数据预处理模块和数据后处理模块可以布置在云端也可以布置在客户端，也可以在云端和客户端同时设置，根据具体的场景进行确定。在一种可能的实现方式中，可以将数据预处理模块和数据后处理模块布置在云端，此时，客户端在获取到原始的电子版待阅答案(图片等形式)后，可以直接将待阅答案发送给云端，云端的数据预处理模块对待阅答案
进行处理(图像处理、字符识别等)，得到处理后的待阅答案。当云端获取到待阅答案的批改结果之后，可以对批改结果进行进一步处理，形成可以直接向用户展示的形式，并将处理后的批改结果发送给客户端。在另一种可能的实现方式中，可以将数据预处理模块和数据后处理模块布置在客户端，即由客户端执行上述数据预处理模块和数据后处理模的功能。在另一种可能的实现方式中，还可以在云端和客户端均设置数据预处理模块和数据后处理模块或者其中之一，由云端和客户端相互配合共同实现上述数据预处理模块和数据后处理模块的功能。
167.接下来对本技术实施例提供的试题批改方法进行说明，具体请参阅图4，图4为本技术实施例提供的试题自动批改方法的一个流程示意图，该方法具体可以包括如下步骤：
168.步骤401、获取试题的待阅答案，待阅答案包括目标待阅步骤和该目标待阅步骤的前序步骤。其中，前序步骤是在待阅答案中位于目标待阅步骤之前的一个或者多个待阅步骤。
169.试题的待阅答案是本技术实施例中一个重要的输入信息，也是本技术实施例的主要处理对象。用户可通过各种可能的实现方式输入待阅答案，例如，用户可以借助扫描仪或者具有拍照功能的终端设备，首先在纸质版试卷上手写答案，再通过拍照或者扫描等方式得到电子版待阅答案。用户可以使用手写笔输入的方式，通过具有触屏功能的终端设备的显示屏，直接输入电子版的待阅答案。用户也可以使用终端设备的键盘，输入待阅答案。
170.其中，待阅答案通常也包括多个待阅步骤，待阅步骤间具有一定的逻辑关系，进而根据该逻辑关系推理得到最终的结果。
171.在一些场景下，需要对待阅答案进行一定的预处理。示例性的，当用户通过拍照或者扫描的方式输入待阅答案时，获取到的待阅答案可能是一张图片，此时需要对包含待阅答案的图片进行文本提取、字符识别等预处理，从而得到文本信息。示例性的，当用户通过手写的方式输入待阅答案时，可能需要字符识别等预处理，从而得到处理后的待阅答案。示例性的，当用户输入的待阅答案中，相邻两个步骤之间没有进行换行操作，此时可能需要对待阅答案中的粘连行进行分词处理，识别粘连行中的分式线、顿号、逗号等特殊符号，进而根据特殊符号的位置对粘连行进行分割，使得每一个待阅步骤中仅包括一个表达式或者一段文字。应当理解，上述预处理的步骤仅仅是示例性的，并不对本技术实施例造成限制，其他可以根据具体场景设置的预处理步骤也是可能的。
172.对参考答案和/或待阅答案进行一定的预处理能够提高获取到的参考答案的准确性，进一步提升试题批改结果的准确性。
173.步骤402、根据目标待阅步骤，确定目标待阅步骤的批阅结果，批阅结果用于指示该目标待阅步骤的正误判断结果和目标待阅步骤的逻辑判断结果。
174.其中，正误判断结果用于指示目标待阅步骤的含义是否与试题的题目含义匹配。在一种可能的实现中，试题的题目含义满足该试题的题目信息所规定的约束，即，目标待阅步骤满足该试题的题目信息所规定的约束。例如，试题的题目信息包括a＝1，b＝2，而目标待阅步骤为a＝1，此时，可以认为目标待阅步骤的含义满足该试题的题目信息所规定的约束，目标待阅步骤的含义与试题的题目含义匹配，目标待阅步骤的正误判断结果为正确。在另一种可能的实现中，试题的题目含义可基于该试题的题目信息所规定的约束推导得到，即，目标待阅步骤可基于该试题的题目信息所规定的约束推导得到。例如，试题的题目信息
包括a＝1，b＝2，而目标待阅步骤为a b＝3，此时，可以认为目标待阅步骤可基于该试题的题目信息所规定的约束推导得到，目标待阅步骤的含义与试题的题目含义匹配，目标待阅步骤的正误判断结果为正确。上述两种实现方式中，都是直接基于题目信息对目标待阅步骤进行正误判断，在另一种可能的实现中，还可以基于参考答案对目标待阅步骤进行正误判断，即，判断目标待阅步骤是否满足参考答案中的约束，或者目标待阅步骤是否可以通过参考答案中的约束推导得到。
175.其中，逻辑判断结果用于指示目标待阅步骤是否能够通过前序步骤推导得到。判断目标待阅步骤是否能够通过前序步骤推导得到，实际上是判断由前序步骤推导得到目标待阅步骤的充分性。实际判断中，可以根据待阅答案的逻辑关系确定一个或者多个前序步骤，示例性的，可以根据待阅步骤间的逻辑关系划分逻辑块，将目标待阅步骤所处逻辑块中位于目标待阅步骤以前的待阅步骤确定为前序步骤。示例性的，也可以将待阅答案中所有位于目标待阅步骤之前的待阅步骤全部确定为前序步骤。
176.示例性的，正误判断结果可以用正确和错误来表征，当目标待阅步骤的含义与试题的题目含义匹配时，目标待阅步骤的正误判断结果为正确，当目标待阅步骤的含义与试题的题目含义不匹配时，目标待阅步骤的正误判断结果为错误。示例性的，逻辑判断结果可以用正确和错误来表征，当目标待阅步骤能够通过前序步骤推导得到时，目标待阅步骤的逻辑判断结果为正确，当目标待阅步骤不能通过前序步骤推导得到时，目标待阅步骤的正误判断结果为错误。
177.目标待阅步骤的批阅结果可以有多种表现方式。在一种可能的实现中，批阅结果可以包括正误判断结果和逻辑判断结果两方面内容，例如，两个标签，一个标签用于指示正误判断的结果，另一个标签用于指示逻辑判断的结果。该实现方式下，可以使得用户更加清楚的得知错误原因，以便更好的反馈于后续学习和教学的过程。在另一种可能的实现中，由于只有在正误判断和逻辑判断均通过的情况下，才能判断该目标待阅步骤正确，因此，当正误判断和逻辑判断均通过的时候，该目标待阅步骤的批阅结果为正确，当正误判断和逻辑判断任一个不通过时，该目标待阅步骤的批阅结果为错误。待阅步骤的表达式正误包括正确和错误两种结果，示例性的，可以通过“√”来表示待阅步骤的表达式正确，而通过
“ⅹ”
来表示待阅步骤的表达式错误。待阅步骤的逻辑正误包括逻辑正确、逻辑错误、关键步骤缺失三种结果。示例性的，可以通过“√”来表示待阅步骤的逻辑正确，而通过
“ⅹ”
来表示待阅步骤的逻辑错误或者关键步骤缺失。示例性的，也可以通过文字提示的方式来指示逻辑正误，例如，“逻辑正确”、“逻辑错误”、“关键步骤缺失”等提示信息。应当理解，上述表现方式仅仅是示例性的，其他能够表征目标待阅步骤的批阅结果的变现方式也是可能的，本方法实施例对批阅结果的具体表现形式不进行限定。
178.接下来，详细介绍对目标待阅步骤进行正误判断以得到正误判断结果，和对目标待阅步骤进行逻辑判断，以得到逻辑判断结果的过程。
179.待阅答案中通常包括至少一个关键待阅步骤，关键待阅步骤是待阅步骤中的关键步骤，关键待阅步骤可以反应待阅答案的逻辑主线，是判断待阅答案的正误所必须的。除关键待阅步骤以外的其他待阅步骤往往是优选的，是辅助步骤。因此，在一种可能的实现方式中，可以仅根据关键待阅步骤的批阅结果来确定待阅答案的批阅结果，该实现方式的判断更加简单快速，能够提升试题批阅的效率。在另一种可能的实现方式中，需要得到待阅答案
中的所有待阅步骤的批阅结果，该实现方式能够得到更加全面，更加准确的批阅结果，不会漏掉待阅答案中的任何小错误。
180.首先，对仅根据关键待阅步骤的批阅结果来确定待阅答案的批阅结果的实现方式进行说明，具体请参阅图5，图5为本技术实施例提供的试题自动批改方法的一个流程示意图，该方法具体可以包括如下步骤：
181.步骤501、获取试题的参考答案，试题的参考答案包括关键步骤，关键步骤为参考答案中的必要步骤。
182.本方法实施例中基于参考答案中的关键步骤来确定待阅答案中的关键待阅步骤，此时，参考答案是另一个重要的输入信息，在一种可能的实现中，可以在题库中预存试题信息(包括题目信息和参考答案等)，在另一种可能的实现中，也可以为用户提供试题定制功能，即，由用户输入相关试题信息，系统对用户输入的试题信息进行存储，并用于后续的试题批阅的过程中。
183.参考答案通常包括多个参考步骤，多个参考步骤中还包括一个或多个关键步骤。关键步骤是参考答案中在进行逻辑推理的过程中最重要的、不可或缺的理论依据，多个关键步骤构成了参考答案的关键拓扑关系。通常来讲，这些关键步骤构成了最简洁的参考答案，除关键步骤以外其他步骤都是可选的，不是必须的，而关键步骤往往是必须的，关键步骤的缺失会导致答案中逻辑推理的缺环，进而导致逻辑推理不成立。
184.步骤502、基于参考答案中的关键步骤，确定目标待阅步骤是否为关键待阅步骤。
185.对于理科主观试题，即使在同一个解题思路下，不同的学生由于答题习惯不同，撰写的答题步骤也不是完全相同的，有些待阅答案可能会写得详细一些，导致待阅答案的待阅步骤较多，有些待阅答案可能会写得简略一些，导致待阅答案的待阅步骤较少。因此，待阅答案往往难以与参考答案完全匹配。考虑到关键步骤往往是答题步骤中的必要内容，本方法实施例从关键步骤入手，来判断待阅答案的正确性。
186.在一种可能的实现方式中，对于待阅答案中的每一个待阅步骤，均在参考答案的关键步骤中进行一次遍历，判断是否存在与该待阅步骤等价的关键步骤，若有，则记录两个步骤之间的等价关系，且标记该待阅步骤为关键待阅步骤。若没有，则认为该待阅步骤不是关键待阅步骤。按照上述方法，对待阅答案中的每一个待阅步骤均进行一次判断。
187.下面对判断待阅步骤与参考答案中的关键步骤是否等价的方法进行详细介绍。由于代数类试题和几何类试题中待阅步骤的形式和含义往往存在很大差别，这里对两类试题的等价性判断方法分别进行介绍。
188.其中，代数类试题的解题步骤(待阅步骤或者参考步骤)往往是以代数表达式的方式体现的，或者是以文字表述的代数表达式的方式体现，因此，在判断代数等价时，目标待阅步骤包括待阅表达式，关键步骤包括关键表达式，判断目标待阅步骤与关键步骤是否具有等价关系，就是判断待阅表达式与关键表达式是否具有等价关系。几何试题的解题步骤通常是表达一个几何约束，因此，在判断几何等价时，目标待阅步骤用于指示待阅几何约束，关键步骤用于指示关键几何约束，判断目标待阅步骤与关键步骤是否具有等价关系，就是判断待阅几何约束与关键几何约束是否具有等价关系
189.代数类试题可以采用代数等价判断方法来判断两个代数表达式之间是否等价，而几何类试题可以采用几何等价判断方法来判断两个几何约束之间是否等价。
190.(一)代数等价判断方法
191.为了提高等价性判断的准确性，本方法实施例并不是简单的基于待阅步骤的形式进行模糊匹配，而是通过将符号计算能力、或数值计算能力、或数学定理融入判断方法中，对待阅步骤的含义与关键步骤的含义进行等价性判断。
192.在一种可能的实现方式中，可基于代数等价对代数表达式之间的等价性进行判断。代数等价的判断方法的流程如图6所示。首先将进行等价性判断的两个表达式(待阅表达式和参考表达式)在同一个符号计算平台下(例如maple等)或者使用同一个符号计算工具(如python中的sympy包等)进行表示，即，将待阅表达式和参考表达式分别转化为待阅符号表达式和参考符号表达式，然后将待阅符号表达式和参考符号表达式进行相减操作，得到待阅符号表达式和参考符号表达式的差值，最后对两个表达式相减得到的结果(差值)进行符号化简和计算。若差值的最终结果为0，则表示两个表达式是代数等价的，若差值的最终结果不为0，则表示两个表达式不是代数等价的。
193.基于代数等价的等价性判断方法，是从表达式的具体含义出发进行的等价性判断方法，且仅当两个表达式变换得到的两个符号表达式的差值为0时，才认为两个表达式等价，相比于现有技术中采用模糊匹配的判断方法，能够极大的提升准确性。
194.在另一种可能的实现方式中，可基于形式等价对代数表达式的等价性进行判断。基于形式等价的等价性判断方法需要对代数表达式进行分解，在一种实现方式中，可以对表达式进行树形分解，根据表达式的优先级计算顺序，将表达式分解为根号因子、乘法因子、加法因子、分数因子、普通因子等，进而根据同级可互换的数学原则进行形式相等的判断。若最终处理得到的两个表达式的形式相等，则认为两个表达式是形式等价的，若最终处理得到的两个表达式的形式不相等，则认为两个表达式是形式不等价的。
195.接下来以树形分解为例对本技术实施例提供的判断形式等价的方法进行说明，具体请参阅图7，图7为本技术实施例提供的形式等价的判断方法的一个流程示意图，该方法具体可以包括如下步骤：
196.步骤701、对待阅步骤中的待阅表达式进行分解，得到待阅集合，待阅集合为待阅单元的集合。
197.在一种可能的实现方式中，可以根据表达式的优先级计算顺序，将表达式分解为根号因子、乘法因子、加法因子、分数因子、普通因子等，通过分层分解，得到待阅表达式树。示例性的，可在待阅表达式树中将表达式分解到最小单元，称待阅表达式树中的最小单元为待阅单元，待阅单元中除了“ ”和
“‑”
两个表示正负的符号以外，不存在其他运算符。待阅表达式中的全部待阅单元组成待阅集合。
198.步骤702、对关键步骤中的关键表达式进行分解，得到关键集合，关键集合为关键单元的集合。
199.对关键表达式采用如步骤601中所述的相同的方法进行分解，得到关键表达式树，称关键表达式树中的最小单元为关键单元，关键表达式中的全部关键单元组成关键集合。
200.步骤703、当待阅集合与关键集合相等时，确定待阅表达式与关键表达式等价。
201.步骤701和步骤702中已经对待阅表达式和关键表达式进行了完全分解，并得到待阅集合和关键集合。此时，需要判断两个集合是否相等，两个集合相等是指两个集合中的元素全部相等，即待阅单元和关键单元具有一一对应的相等关系。当待阅集合和关键集合相
等时，确定待阅表达式和关键表达式等价
202.基于代数等价的等价性判断方法可以从含义上判断两个表达式是否等价，但对于一些特殊的试题，例如，化简题、结论题、或者其他对答案或者步骤的形式有要求的试题而言，仅含义相同是不够的，还需要从形式上判断待阅表达式是否正确，此时，便可以通过基于形式等价的等价性判断方法，判断两个表达式的形式是否等价。
203.在一种可能的实现方式中，待阅单元与参考单元可能不存在一一对应的相等关系，此时，可以对待阅单元中作为乘法因子的单元的符号进行变换，或者对参考单元中互为乘法因子的单元的符号进行变换。再对变换之后的待阅单元和参考单元进行比对，查看待阅单元与参考单元是否具有一一对应的相等关系。
204.对一个乘法表达式进行分解时，可能有至少两种分解方法，可以将负号分解给第一个乘法因子，也可以将负号分解给第二个乘法因子，因此，导致分解得到单元不相同，而这不相同的单元代表的乘法表达式及其含义却是完全相同的。在这种情况下，根据单元对乘法表达式进行判断可能会将两个等价的表达式判断为不等价，因此，对待阅单元或者参考单元中互为乘法因子的两个单元的符号进行变换，能够解决这个问题，有效提高等价性判断的准确性。
205.接下来以图8为例，对基于形式关系对步骤间的等价性进行判断的方法进行举例说明。如图8所示，图8中参考答案中的参考表达式为(x-y)(x-z)，待阅答案中待阅表达式为(y-x)(z-x)。
206.采用上述形式等价的等价性判断方法对待阅表达式和参考表达式的形式是否等价进行判断，首先对分层次两个表达式进行树形分解。对于左边的参考表达式，首先将(x-y)(x-z)分解为(x-y)和(x-z)两个表达式项，随后对两个表达式项进行进一步分解，将(x-y)分解为(x)和(-y)两个单元，将(x-z)分解为(x)和(-z)两个单元。同理，对于右边的待阅表达式，首先将(y-x)(z-x)分解为(y-x)和(z-x)两个子表达式，随后对两个子表达式进行进一步分解，将(y-x)分解为(-x)和(y)两个元素，将(z-x)分解为(-x)和(z)两个元素。此时，发现参考单元和待阅单元并不存在一一对应的关系，因此，对参考单元中作为乘法因子的单元进行符号变换。
207.对参考表达式中的两个乘法因子(x-y)和(x-z)分别加负号，变为(y-x)和(z-x)，之后再次对参考表达式进行分解，得到(y)、(-x)、(z)、(-x)四个单元。此时，再与待阅单元进行比较，可以发现待阅单元和参考单元具有一一对应的关系，因此，判定待阅表达式和参考表达式形式等价。
208.(二)几何等价判断方法
209.对几何表达式进行等价性判断，主要是判断表达式所描述的几何关系是否相同，同一个几何关系可能有多种不同的表达方式，若几何表达式所描述的几何关系相同，则判断几何表达式等价，若几何表达式所描述的几何关系不同，则判断几何表达式不等价。
210.在一种可能的实现方式中，可以基于几何实体进行等价判断，即，判断几何表达式中不同表述的几何实体是否等价。示例性的，可以采用轮换机制对几何实体进行等价性判断，例如，在仅表述一个三角形实体，无严格点对应关系时，
△
abc与
△
acb等价、
△
abc与
△
bca等价、rt
△
abc与rt
△
cba等价等。示例性的，还可以基于位置关系对几何实体进行等价性判断，例如，当d在bc上时，∠abc与∠abd两个表达等价。
211.在一种可能的实现方式中，还可以基于几何关系进行等价判断，即，判断几何表达式中不同表述的几何关系是否等价。示例性的，ab//cd与cd//ab等价，∠abc＝∠acb与ab＝ac等价等。
212.在一种可能的实现方式中，还可以基于字符所代表的几何含义进行等价判断。示例性的，若ab＝cd，则可以认为ab于cd等价，此时，如果ab＝ef,则可以得到cd＝ef的结论。
213.在一种可能的实现方式中，也可以采用例如，基于bert(bidirectional encoder representations from transformers)模型语义相似性的方法来判断待阅表达式与参考表达式之间的相似度。示例性的，可以在相似度大于阈值的情况下，认为待阅表达式与参考表达式等价。基于bert模型语义相似性的方法还可以用来对一些除代数表达式和几何表达式以外的其他表达式进的等价性进行判断。
214.步骤503、在目标待阅步骤是关键待阅步骤的情况下，确定目标待阅步骤的正误判断结果。
215.步骤503是可选的，根据步骤502，目标待阅步骤是关键待阅步骤说明目标待阅步骤与参考答案中的关键步骤等价，基于参考答案中的关键步骤是正确的前提，可以直接判断目标待阅步骤的含义是与题目信息匹配的，即目标待阅步骤的正误判断结果是正确的。
216.应当理解，上述判断方法只是一种可能的实现方式，下文将详细介绍其他对目标大约步骤进行正误判断的方法。
217.步骤504、在目标待阅步骤是关键待阅步骤的情况下，确定目标待阅步骤的逻辑判断结果。
218.由于目标待阅步骤是关键待阅步骤，因此，可以将参考答案作为参考，基于关键步骤在参考答案中的条件步骤和目标待阅步骤在待阅答案中的前序步骤，确定目标待阅步骤的逻辑判断结果。以关键步骤的逻辑关系为参照，对关键待阅步骤的逻辑关系进行判断，判断过程较为简单，可以不需要对表达式的含义进行解析，也可以不进行符号计算等步骤，提高了逻辑正误判断的效率，且准确性较高。
219.在一种可能的实现方式中，可以根据待阅答案中的关键待阅步骤建立关键待阅步骤拓扑结构，根据参考答案中的关键步骤建立关键步骤拓扑结构，通过对两个拓扑结构的匹配，确定目标待阅步骤的逻辑判断结果。具体的，在拓扑结构中，箭头表示推理关系，即，箭头源头处的步骤为条件步骤，而箭头指向的对象为结论步骤，换言之，箭头源头处的步骤为箭头指向的步骤的前置序列。根据拓扑结构，基于前置序列匹配的逻辑判断方法进一步将参考答案中的关键步骤之间的逻辑关系与待阅答案中的关键待阅步骤之间的逻辑关系进行匹配，以判断待阅答案中的关键待阅步骤之间的逻辑关系是否正确。
220.判断结果至少包括以下三种：1.前置序列相同，则说明该步骤的逻辑关系正确。2.前置序列不同，则说明该步骤的逻辑关系无法通过基于前置序列匹配的逻辑判断方法直接得出，需要借助其他逻辑判断方法进行进一步的判断，其他逻辑判断方法将在下文进行详细说明。应当理解，前置序列相同并不是指前置序列完全相同，如果前置序列中的步骤不是完全相同，却是等价的，也可以认为前置序列相同。
221.下面对基于前置序列匹配的逻辑判断方法的具体操作进行示例性的说明。首先需要构建参考答案中的关键步骤之间的拓扑结构，如图9所示为关键步骤之间的拓扑结构的一个示意图。根据图9可以看出，步骤2是由步骤1推导得到的，步骤3是由步骤2推导得到的，
步骤5是由步骤3和步骤4推导得到的，步骤8是由步骤3推导得到的，步骤9是由步骤8推导得到的，步骤6是由步骤5推导得到的，步骤7是由步骤6推导得到的，步骤10是由步骤7推导得到的。换言之，步骤1是步骤2的前置序列，步骤2是步骤3的前置序列，步骤3和4均为步骤5的前置序列，步骤3是步骤8的前置序列，步骤8是步骤9的前置序列，步骤5是步骤6的前置序列，步骤6是步骤7的前置序列，步骤7是步骤10的前置序列。
222.如图10所示为待阅答案的关键待阅步骤之间的拓扑结构，可以认为，对于具有等价关系的两个步骤而言，若其在图10所示的拓扑结构中的前置序列与其在图9所示的拓扑结构中的前置序列是相同的，则可以认为该步骤的逻辑关系是正确的；若其在图10所示的拓扑结构中的前置序列与其在图9所示的拓扑结构中的前置序列不相同，则无法确定待阅步骤的逻辑判断结果，还需要借助其他逻辑判断方法进行进一步判断。示例性的，以图10中的步骤5为例，根据关键步骤之间的拓扑结构(图9)可知，其前序步骤应该是步骤3和步骤4，而在关键待阅步骤之间的拓扑结构(图10)中，步骤5的前序步骤也是步骤3和步骤4，因此判断步骤5的逻辑关系正确。示例性的，以图10中的步骤8为例，根据关键步骤之间的拓扑结构(图9)可知，其前序步骤应该是步骤3，而在关键待阅步骤之间的拓扑结构(图10)中，其前序步骤为步骤4，因此判断步骤8的逻辑关系还需要进一步确认。
223.在一种可能的实现方式中，可以根据参考答案中关键步骤的数量和待阅答案中关键待阅步骤的数量关系确定是否缺失关键待阅步骤。示例性的，当关键待阅步骤的数量小于关键步骤的数量时，则可以判断关键步骤缺失。优选的，此时可以输出提示信息，提示用户关键步骤缺失。基于数量进行判断的方法简单快捷，能够提高判断效率，且输出提示信息能够使得用户得到更加准确的批阅结果。
224.在对待阅答案中的关键待阅步骤进行正误判断之后，还可以对除关键待阅步骤以外的其他待阅步骤进行正误判断和逻辑判断，以得到正误判断结果和逻辑判断结果。接下来，假设目标待阅步骤为待阅步骤中除关键待阅步骤以外的其他待阅步骤，分别介绍确定目标待阅步骤的正误判断结果和逻辑判断结果的方法和过程。应当理解，这些方法同样可以适用于关键待阅步骤的正误判断和逻辑判断中，特别的，可用于在不存在参考答案的情况下对待阅答案进行批阅。
225.首先介绍正误判断方法。确定正误判断结果，即，判断待阅步骤的含义是否正确。例如，代数表达式1 1＝2的表述是正确的，而代数表达式1 1＝3的表述是错误的。再如，假设线段ab平行于cd是已知条件，那么几何关系表达式ab//cd的表述是正确的，而几何关系表达式ab
⊥
cd的表述是错误的。
226.对于待阅答案中除关键待阅步骤以外的其他待阅步骤，在一种可能的实现方式中，可以将其他待阅步骤中的表达式与参考答案中除关键步骤以外的其他步骤中的表达式进行等价性匹配，若某个待阅表达式与参考答案中的某个表达式等价，则能够判定该表达式正确。
227.在另一种可能的实现方式中，可以基于一些试题中或者参考答案中的已知条件，调用计算平台对表达式进行计算，判断表达式的正误。例如，对于恒等式或者恒不等式，可以将表达式左右的变量的值带入进行计算，再判断表达式是否成立。对于目标待阅步骤为代数表达式的情况，可直接调用计算平台对表达式进行计算，以确定目标待阅步骤的正误，对于目标待阅步骤用于描述几何关系的情况，需要首先对目标待阅步骤进行代数化处理，
再调用计算平台，借助几何信息文件中的信息对表达式进行计算，以确定目标待阅步骤的正误。
228.下面针对几何题目的目标待阅步骤的正误判断进行详细介绍。具体请参阅图11，图11为本技术实施例提供的对描述几何关系的目标待阅步骤进行正误判断的一个流程示意图，该方法不需要参考答案，可直接利用几何题目的信息，对目标待阅答案进行正误判断。
229.该方法具体可以包括如下步骤：
230.步骤1101、将目标待阅步骤转化为代数表达式，该目标待阅步骤为待阅答案中的步骤，该目标待阅步骤用于描述第一几何关系，该代数表达式用于描述第一几何关系中涉及的点的坐标约束。
231.对于几何类题目，其题目信息和待阅步骤用于描述一种或者多种几何关系，几何关系用于描述形状、大小、图形之间的相对位置等，示例性的，几何关系可以包括对于单个几何体的描述，例如：
△
abc为直角三角形、
△
abc为等腰三角形、四边形abcd为平行四边形、四边形abcd为矩形、∠abc为直角、∠abc为锐角等。示例性的。几何关系可以包括对几何对象之间的位置关系的描述，例如：线段ab垂直于线段cd、线段ab平行于线段cd、线段ab垂直平分线段cd、a、b、c三点共线、点a在线段bc上、点a是三角形bcd的重心、线段ab是∠cad的角平分线、
△
abc与
△
def全等、线段ab与圆外切等。应当理解，上述对于几何关系的举例仅仅是示例性的，其他的几何关系也是可能的，本技术实施例对此不进行限定。且由上述举例可知，几何关系中必然涉及多个点。
232.几何关系可用于描述点、线、面、圆、多边形等几何图形的形状、大小、相对位置等，而点的位置约束是指关于点的位置关系。事实上，无论是何种几何图像都离不开点，点是构成几何图形最基本的元素，因此，几乎所有的几何关系都可以转化为点的位置关系(即，点的坐标约束)，点的坐标约束可通过代数表达式的方式体现。示例性的，线段长度的约束可以转化为两个端点之间的位置关系，等边三角形的约束也可以转化为三个顶点之间的位置关系，两个线段平行的约束也可以转化为四个端点之间的位置关系。点的位置可以用点的坐标来表示，因此，可进一步将点之间的位置关系转化为点的坐标约束。应当理解，上述举例仅仅是示例性的，其他可利用数学原理将几何关系约束转化为点的位置约束的方式也是可能的。
233.由于描述几何关系的目标待阅步骤往往难以量化，或者直接进行计算，为方便正误判断，可将目标待阅步骤代数化，即，将目标待阅步骤转化为代数表达式(一种数值关系的表述)。也就是，将目标待阅步骤描述的几何关系转化为点的坐标约束，这些点的坐标约束满足目标待阅步骤所描述的几何关系。在一种可能的实现方式中，为了全面表达目标待阅步骤的几何关系，代数表达式是关于目标待阅步骤所涉及的所有点的坐标约束。
234.应当理解，将目标待阅步骤转化为代数表达式的过程是依据数据原理进行的，在具体实现中，需要先识别目标待阅步骤所表达的几何关系的含义，进而根据数学原理将其转化为代数表达式。
235.在一种可能的实现方式中，目标待阅步骤用于进行具有特定几何含义的变量的计算，例如，长度的运算、面积的运算、体积的运算、角度的运算等，应当理解，上述举例仅仅时示例性的，其他具有特定几何含义的变量的计算也是可能的，本技术实施例对比不进行限
定。对此类目标待阅步骤进行代数化的过程，就是将几何表达式转化为具有代数含义的代数表达式的过程。例如，几何表达式ab-cd＝0的含义实际是(线段ab的长度)-(线段cd的长度)＝0，根据数学原理，线段ab的长度有可以用点a和b的坐标进行表示，进而将几何表达式ab-cd＝0转化为表示点a和b的坐标约束。
236.在另一种可能的表现方式中，目标待阅步骤用于指示一种几何关系，例如，线段平行关系、线段垂直关系等。对此类目标待阅步骤进行代数化的过程，就是根据数学原理，将该目标待阅步骤指示的几何关系表达为等价的点坐标方程式的过程。例如，可将指示线段ab和线段cd平行的目标待阅步骤ab//cd转化为代数表达式：(x_b-x_a)(x_d-x_c) (y_b-y_a)(y_d-y_c)＝0，该方程式中包含的未知数分别对应于点a、b、c、d的x坐标和y坐标。
237.步骤1102、基于该几何题目所描述的第二几何关系确定该代数表达式的正误。
238.该步骤中，不需要参考答案的辅助，而是通过该几何题目所描述的第二几何关系来确定该代数表达式的正误。
239.在一种可能的实现方式中，由于代数表达式是关于第一几何关系所涉及的点的坐标约束，因此可以通过第一几何关系所涉及的点的坐标值来判断代数表达式的正误。此时，可以首先通过几何题目所描述的第二几何关系来获取第一几何关系所涉及的点的坐标值，然后根据这些点的坐标值来判断代数表达式的正误。示例性的，可将第一几何关系所涉及的点的坐标值带入代数表达式中进行运算，进而通过等式是否成立来判断代数表达式的正误。
240.在一种可能的实现方式中，几何信息文件中包括的点的点坐标是基于相同的预设坐标系确定的，示例性的，可以以几何关系涉及的任一点为原点建立坐标系，并根据该坐标系以及题目信息中的几何关系，确定其他点的点坐标，存储于几何信息文件中；示例性的，也可以以几个关系涉及的点以外的其他点为原点建立坐标系，并根据该坐标系以及题目信息中的几何关系，确定各个第一点的点坐标，存储于几何信息文件中。应当理解，上述选择原点的方式仅仅是示例性的，可根据题目的实际情况灵活进行选择，本技术实施例对此不进行限定。
241.在一种可能的实现方式中，可以将该第一几何关系涉及的点的点坐标存储在几何信息文件中，供需要时进行调用。特别的，可以在将几何题目加入到题库中时就生成并保存几何信息文件，也可以在需要对几何试题对应的待阅答案进行批阅时再生成并保存。根据题目信息得到与试题批阅相关的重要信息，并保存在几何信息文件中，如此，在进行试题批阅的过程中，不需要每次用到这些信息的时候都重新根据题目信息生成一次，直接调用即可，有效的节约了算例，并提升了试题批阅的效率。
242.几何信息文件中通过计算机可识别的语言描述几何题目的题目信息中的几何关系，如图12所示为几何信息文件的一种示例，其中，coordinates部分用于描述点坐标，collineations部分用于描述点之间的共线关系，circles部分用于描述圆的信息。应当理解，几何信息文件中可采用各种可能的计算机语言(编程方式)来描述几何关系，本技术实施例对此不进行限制。
243.几何信息文件中可包含多种与题目信息中的几何关系相关的信息。在一种可能的实现方式中，几何信息文件中可以包括题目信息中的几何关系所涉及的点的点坐标，在另一种可能的实现方式中，几何信息文件中可以包括点的位置约束。示例性的，点的位置约束
可以包括至少两个点共线(直线、曲线等)；示例性的，点的位置约束可以包括至少两个点共面；示例性的，点的位置约束可以包括至少一个点位于一个圆的圆周上；示例性的，点的位置约束可以包括以至少三个点为顶点构成的多边形(三角形、四边形等)。应当理解，上述对于第一点之间的空间关系仅仅是示例性的，其他可本领域技术人员能够想到的空间关系也是可能的，本技术实施例对此不进行限定。
244.在对目标待阅步骤进行正误判断时，需要获取到该代数表达式中包括的所有未知数的值，才能判断该代数表达式的正误，即，需要获取到第一几何关系所涉及的所有点的点坐标才能够进行正误判断。然而用户在撰写几何题目对应的答案时往往具有较大的自由度，为了方便求解，可以引入一些辅助点。这就会导致有些待阅步骤所描述的几何关系所涉及的点全部出现在几何题目中，而另一些待阅步骤所描述的几何关系所涉及的点部分出现在几何题目中，部分是用户在撰写答案的时候自行引入的。
245.在一种可能的实现方式中，用户在撰写待阅答案时，引入了自定义的辅助点(这里将自定义的辅助点称为第一目标点)，此时，目标待阅步骤中可能存在题目信息中不存在的点，即，该第一几何关系涉及第一目标点，而该第二几何关系不涉及该第一目标点。另外，由于在引入辅助点的时候需要清楚定义其与其他点之间的几何关系，因此，待阅答案中会有第三几何关系用于描述辅助点与其他点的几何关系，即，待阅答案中的该第三几何关系涉及该第一目标点。在这种情况下，需要基于该第三几何关系，生成第一目标点的相关信息(点坐标，和/或位置约束等)，用于正误判断中。
246.另外，在一种可能的实现方式中，还可以在生成第一目标点的相关信息后更新几何信息文件，将第一目标点的相关信息加入几何信息文件中。这样，在下次需要调用第一目标点的点坐标时，可直接从几何信息文件中进行查找，而无需重复生成第一目标点的相关信息的步骤，提升了试题批阅的效率。
247.步骤1104、根据该代数表达式的正误，输出该目标待阅步骤的正误判断结果。
248.通过上述步骤的判断，在代数表达式正确的情况下，判断目标待阅步骤的正误判断结果为正确；或者，在代数表达式错误的情况下，判断目标待阅步骤的正误判断结果为错误。
249.需要注意的是，此处的输出与确定的含义相同，并不强调输出的动作。即，该步骤中执行单元根据代数表达式的正误确定目标待阅步骤的正误判断结果，该执行单元会产生一个结果，即可认为执行了输出结果的动作。并不需要该执行单元将正误判断结果发送给其他单元，相反的，该输出单元在产生这个结果后，也可以将该结果进行存储，以用于后续的判断步骤。例如，可以暂时存储目标待阅步骤的正误判断结果，待判断得到逻辑判断结果之后，再与正误判断结果进行结合，并得到最终的判断结果。
250.下面举一个完整的例子，对如图11所示的方法进行举例说明。示例性的，几何题目中的已知条件包括abcd为边长为2厘米的正方形，目标待阅步骤为ab//cd。具体的判断步骤如下：
251.首先，将目标待阅步骤转化为代数表达式，即，根据数学原理，将ab//cd转化为(x_b-x_a)(x_d-x_c) (y_b-y_a)(y_d-y_c)＝0。
252.然后，根据几何题目的信息确当代数表达式的正误。具体的，可根据几何题目的信息确定a、b、c、d四个点的点坐标。示例性的，可以以b点为原点，则b点的点坐标为(0，0)，根
据几何关系可以确定a点的点坐标为(0，2)，d点的点坐标为(2，2)，c点的点坐标为(2，0)。将a、b、c、d四个点的点坐标带入到代数表达式中，得到代数表达式成立，此时可以确定代数表达式正确。
253.根据代数表达式正确的结论，输出目标待阅步骤ab//cd的正误判断结果为正确。
254.本技术实施例提供一种对几何题目的待阅答案进行自动批阅的方法，该方法通过将目标待阅步骤转化为代数表达式，将目标待阅步骤所描述的第一几何关系转化为第一几何关系所涉及的点的坐标约束，实现对目标待阅步骤的量化，进而根据几何题目所描述的第二几何关系确定代数表达式的正误并输出正误判断结果。该方法可根据几何题目的信息对待阅答案进行正误判断，不需要参照参考答案，能够克服理科主观题的解题思路和答案撰写逻辑多样化的问题，能够对同一含义下的不同表达方式进行批阅，极大的提升了试题自动批阅的准确率和鲁棒性。
255.可选的，在输出目标待阅步骤的正误判断结果后，还可以继续输出目标待阅步骤的逻辑判断结果。
256.其中，输出目标待阅步骤的逻辑判断结果的输出，与上述输出正误判断结果的输出含义相同，为避免重复，不再进行赘述。由于几何题目往往需要一定的逻辑推导过程，仅根据正误判断结果还不能充分判断其正误，还需要进行逻辑的判断，以确定待阅答案的完整性。在一种可能的实现方式中，可以将待阅步骤的批阅结果呈现为正误判断结果和逻辑判断结果两个部分，在另一种可能的实现方式中，也可以综合正误判断结果和逻辑判断结果，并输出一个最终的判断结果。
257.下面详细介绍逻辑判断方法。上述基于参考答案的逻辑关系判断关键待阅步骤的逻辑关系正误的方法，需要以参考答案作为参照物，因此仅能用于确定关键待阅步骤的逻辑判断结果。下面介绍的方法，借助逻辑运算或者数据库等平台对步骤的逻辑关系进行判断，不需要参考答案的辅助，因此，不仅可以适用于关键待阅步骤逻辑关系的判断，还可以用于待阅答案中其他待阅步骤的逻辑正误的判断。
258.(一)基于符号计算的逻辑判断方法
259.基于符号计算的逻辑判断方法可以用于对代数表达式之间的逻辑正误进行判断，示例性的，基于符号计算的逻辑判断方法可用于代数题的待阅步骤的逻辑正误判断中。
260.接下来对本技术实施例提供的基于符号计算的逻辑判断方法进行说明，具体请参阅图13，图13为本技术实施例提供的基于符号计算的逻辑判断方法的一个流程示意图，该方法具体可以包括如下步骤：
261.步骤1301、在待阅答案中构建局部逻辑块，局部逻辑块包括多个待阅步骤。
262.步骤1301是可选的，在一种可能的实现方式中，可以首先对待阅答案中的步骤进行划分，划分为一个或多个局部逻辑块，先对每个局部逻辑块的逻辑关系进行判断，再对待阅答案整体的逻辑关系进行判断。
263.根据步骤间的逻辑关系，构建局部逻辑块。示例性的，可以将具有一些特定逻辑关系的步骤划分为一个局部逻辑块，也可以将逻辑关系较为密切的步骤划分为一个局部逻辑块。局部逻辑块中可以包括一个或者多个待阅步骤/待阅表达式，其数量可以根据步骤间的逻辑关系进行确定，本技术实施例对一个局部逻辑块中包括的待阅步骤/待阅表达式的数量不做限定。
264.在一种可能的实现方式中，可以通过自然语言解析(如深度学习、语言模板等方法)对步骤间的逻辑关系进行初步判断，进而根据步骤之间的逻辑关系，构建局部逻辑块。
265.示例性的，如图14所示，图14左侧的拓扑关系表示原始待阅答案中待阅步骤之间的拓扑关系。可以在原始待阅答案中构建了两个局部逻辑块，每个局部逻辑块中包括两个待阅步骤。
266.步骤1302、判断局部逻辑块中的待阅步骤的逻辑正误，得到逻辑判断结果。
267.局部逻辑块中通常包括多个待阅步骤，此时需要基于符号计算判断该多个待阅步骤的逻辑正误。基于符号计算的逻辑判断方法的核心思想是：通过符号计算、数值计算等方式，得到条件表达式关于结论表达式中的变量取值空间，将其带入结论表达式进行计算验证，由验证结果对条件与结论间的逻辑关系进行判断。其涉及以下两个基本原理：
268.原理一(逻辑成立的必要性)：联立条件表达式与结论表达式，对表达式中涉及的变量求解，若解集为空，则可判断条件表达式与结论表达式的逻辑推导错误；若解集不空，则判断条件表达式与结论表达式的逻辑推导可能正确。
269.原理二(逻辑成立的充分性)：若由条件表达式得到的变量空间使得结论表达式恒成立，则可判断条件表达式与结论表达式的逻辑推导正确。
270.如图15所示为基于符号计算的逻辑判断方法的另一个方法流程图。首先收集条件表达式中的变量，并联立条件表达式与结论表达式，对上述变量的取值空间进行求解。根据变量的解集可判断从条件表达式到结论表达式的逻辑成立的必要性。即，根据原理一可知，当变量的解集为空时，判断条件表达式不是结论表达式的必要条件，此时，判断该逻辑关系错误；当变量的解集不为空时，判断条件表达式为结论表达式成立的必要条件，此时，需要对该逻辑关系成立的充分性进行进一步判断。在充分性的判断过程中，根据条件表达式求解上述变量的取值空间，再将该变量的取值空间带入结论表达式中，根据原理二，若该变量的取值空间能够使得结论表达式恒成立，则判断条件表达式是结论表达式成立的充分条件，从条件表达式到结论表达式的逻辑成立；若该变量的取值空间不能使得结论表达式恒成立，则判断条件表达式不是结论表达式成立的充分条件，从条件表达式到结论表达式的逻辑不成立。
271.在一种可能的实现方式中，待阅答案中存在明确的因果关系，例如，明确指出由待阅步骤1推出待阅步骤2，此时，可以将待阅步骤1中的表达式作为条件表达式，将待阅步骤2中的表达式作为结论表达式，然后采用上述基于符号计算的逻辑判断方法判断两个待阅步骤之间的逻辑关系的正误。在另一种可能的实现方式中，待阅答案中可能没有明确指出因果关系，而是由多个条件步骤持续推导得到结论步骤。此时，可将多个条件步骤中的条件表达式均作为结论步骤中的结论表达式的前置条件，判断根据多个条件步骤得到结论步骤的逻辑关系的正确性。示例性的，还可以引入题目中的已知条件作为结论表达式的前置条件进行判断。
272.由于不同学生在撰写解题答案时的习惯不同，有的学生可能习惯于更精简的撰写解题答案，即，当前面的解题步骤得到的结果又要作为后面解题步骤的条件时，撰写时倾向于省略这个条件，直接得到后续的结论。因此，将前序多个步骤和/或题目中的步骤作为条件加入到结论步骤的逻辑判断中，能够克服由于学生撰写习惯对试题批阅造成的干扰，进一步提升试题批阅的准确性。
273.步骤1303、基于局部逻辑块的判断结果对待阅答案进行化简。
274.步骤1303是可选的，在得到局部逻辑块的判断结果后，对可以局部逻辑块进行化简，通常来讲，整个待阅答案由多个方面的论述构成，综合各个方面的论述得到最终结论。由于一个局部逻辑块中的论述往往是其中一个方面的，因此，可以用一个或者多个局部结论来代替整个局部逻辑块，作为后续判断过程中的前置条件，以使得待阅答案的拓扑逻辑关系更加清晰。在一种可能的实现方式中，可以采用局部逻辑块中的结论步骤作为该局部逻辑块的局部结论，在另一种可能的实现方式中，可以采用在对局部逻辑块的逻辑正误进行判断的过程中求解得到的各个参数的取值作为该局部逻辑块的局部结论。如图14所示，在图14右侧的拓扑关系中，用一个局部结论代替整个局部逻辑块，以达到对拓扑关系进行化简的效果。
275.步骤1304、判断化简后的待阅答案中的待阅步骤的逻辑正误。
276.步骤1304是可选的，若执行步骤1303，则可基于化简后的待阅步骤判断待阅步骤的逻辑正误。该步骤中，可基于化简后的待阅步骤，根据步骤1302中所述的基于符号计算的逻辑判断方法，对各个待阅步骤的逻辑关系进行判断。为避免重复，此处不再进行赘述。
277.由于构建的局部逻辑块内的待阅步骤往往具有较强的逻辑推导关系或者具有特殊的逻辑推导关系，在局部逻辑块内能够较为容易的判断各个待阅步骤的逻辑正误。且对局部逻辑块进行化简，可以使得待阅步骤的逻辑更加清晰，还能够在局部逻辑块内部和外部、各个局部逻辑块中使用不同的逻辑判断方法，提高逻辑正误判断的准确性。
278.在另一种可能的实现方式中，也可以不划分局部逻辑块，直接采用步骤1302中所述的基于符号计算的逻辑判断方法，对各个待阅步骤的逻辑关系进行判断。
279.接下来，以一个具体的例子，说明基于符号计算的逻辑判断方法如何应用于试题的自动批阅中。
280.试题为：解方程组
281.待阅答案中的具体过程为：
282.解：
283.(1)设x y＝a,
284.(2)x-y＝b
285.(3)原方程组变为
286.(4)得13a＝156
287.(5)解得a＝12
288.(6)把a＝12代入
289.(7)得36 2b＝36
290.(8)解得b＝0
291.(9)当a＝12,b＝0时
292.(10)
293.(11)解得
294.采用基于符号计算的逻辑判断方法，对待阅步骤中的逻辑关系进行判断的步骤如下：
295.步骤1、构建局部逻辑块
296.通过自然语言理解等方法，构建4-5、7-8、10-11三个局部逻辑块，并对每个局部逻辑块中的逻辑关系进行判断。这里以调用maple符号计算平台，判断局部逻辑块4-5的逻辑关系为例进行说明。
297.首先，判断局部逻辑块中待阅步骤4-5的逻辑关系的正确性：
298.必要性：solve({a＝12,13*a＝156},a)
299.输出：{a＝12}
300.可见，联立条件表达式和结论表达式后，变量的解集不为空，因此，满足必要性条件，进行充分性判断。
301.充分性：assume(13*a＝156)；
302.is(a＝12)；
303.输出：true
304.可见，条件表达式使得结论表达式恒成立，因此，满足充分性条件。
305.由以上两步的判断可知待阅步骤4-5的逻辑关系成立，即局部逻辑块4-5的逻辑关系成立。此时，可用局部逻辑块中的结论步骤代替局部逻辑块，对其进行化简。即，采用步骤5代替局部逻辑块4-5。
306.对其他局部逻辑块采用相同的方法进行判断并化简，化简之后的待阅步骤与原始待阅步骤的对比如表2所示。
307.表2
308.[0309][0310]
步骤2、对化简后的待阅步骤的逻辑关系进行判断。
[0311]
(1)设x y＝a
[0312]
步骤中出现题目中没有的变量，认为是假设条件，暂时不予判断；
[0313]
(2)x-y＝b
[0314]
步骤中出现题目中没有的变量，认为是假设条件，暂时不予判断；
[0315]
(3)原方程组变为
[0316]
将步骤1、步骤2、及题目作为条件步骤，即条件表达式包括：x y＝a,x-y＝b，和将作为结论表达式，进行lu偶极关系的判断。
[0317]
必要性：必要性：
[0318]
输出：{a＝12,b＝0,x＝6,y＝6}
[0319]
可见，联立条件表达式和结论表达式后，变量的解集不为空，因此，满足必要性条件，进行充分性判断，对结论步骤中的两个结论表达式分别进行验证。
[0320]
充分性：
[0321]
is(3a＝2b＝36)；
[0322]
输出：true
[0323][0324]
is(2a-3b＝24)；
[0325]
输出：true
[0326]
可见，条件表达式使得两个结论表达式恒成立，因此，满足充分性条件。综上，可判断待阅步骤3的逻辑关系正确。由于又步骤1、2、3可得到a、b、x、y四个变量的具体取值，可将后续步骤的前置条件更新为a＝12,b＝0,x＝6,y＝6。
[0327]
(4)a＝12
[0328]
必要性：solve({a＝12,b＝0,x＝6,y＝6}{x,y,a,b})
[0329]
输出：{a＝12,b＝0,x＝6,y＝6}
[0330]
充分性：assume(a＝12,b＝0,x＝6,y＝6)；
[0331]
is(a＝12)；
[0332]
输出：true
[0333]
综上，可判断待阅步骤4的逻辑关系正确。
[0334]
(5)把a＝12代入
[0335]
待阅步骤5与待阅步骤4的逻辑关系相同、可判断其逻辑关系正确。
[0336]
(6)得b＝0
[0337]
(7)当a＝12,b＝0时
[0338]
(8)解得
[0339]
采用与待阅步骤4相似的判断方法，可实现对步骤6-8的逻辑关系的判断，为避免重复，此处不再进行赘述。
[0340]
经过上述步骤，可以判断待阅答案间的逻辑关系正确。应当理解，上述实例只是一种举例，不应对本技术实施例公开的技术方法造成任何限制。例如，采用maple符号计算平台仅仅是一种可能的实现方式，其他计算平台也是可能的。
[0341]
(二)基于松弛变量的逻辑判断方法
[0342]
基于松弛变量的逻辑判断方法主要用于对几何表达式之间的逻辑关系进行判断，其基础是几何表达式的代数化，即通过代数化将几何表达式转化为代数形式，再基于代数表达式对其中包括的变量进行数值计算。其主要思想是将结论表达式中的点坐标依次进行变量松弛，并根据条件表达式对点坐标进行求解，将解集带入结论表达式中，判断结论表达式是否成立，从而实现几何步骤条件和结论的必要性和充分性判断。松弛变量的目的是将约束范围扩大，以便在更大的可行域内求解。这是由于，在试题的参考答案中，几何信息文件所包含的点坐标是固定值，而根据坐标系的不同，点坐标其实有多种不同的表达形式，参考答案中的点坐标仅仅是众多情况中的一种。为了提高实体自动批阅的鲁棒性，使其能够对与参考答案的坐标系不同的坐标系下的待阅答案进行正误判断，通过松弛变量法扩大约束范围。
[0343]
基于松弛变量的逻辑判断方法的主要步骤如下：
[0344]
步骤一、确定目标待阅步骤的第一条件步骤，该第一条件步骤是目标待阅步骤的前序步骤中与目标待阅步骤具有逻辑推导关系的待阅步骤，即，在待阅答案中，目标待阅步骤是通过第一条件步骤推导得到的。
[0345]
步骤二、确定目标待阅步骤中包括的n个点，并基于几何信息文件确定n个点的点坐标。
[0346]
步骤三、对第一条件步骤和目标待阅步骤进行代数化。
[0347]
步骤四、将n个点中的一个点作为松弛点(称为第二目标点)，将该松弛点的坐标设为未知，将该n个点中除松弛点以外的其他点的点坐标带入代数化后的第一条件步骤中，求解松弛点的点坐标信息。
[0348]
步骤五、基于松弛点的点坐标信息输出逻辑判断结果。
[0349]
松弛点的点坐标信息可能有两种情况：一、松弛点的点坐标无解，则说明目标待阅步骤的逻辑关系错误。二、松弛点的点坐标有解，则进一步通过松弛点的点坐标判断目标待阅步骤的逻辑关系是否正确。
[0350]
在一种可能的实现方式中，可将求解得到的松弛点的点坐标与其在几何信息文件中的点坐标进行对比，并输出目标待阅步骤的逻辑判断结果。在另一种可能的实现方式中，还可以将求解得到的松弛点的点坐标和其他点的点坐标带入代数化后的目标待阅步骤中，验证目标待阅步骤是否成立，并输出目标待阅步骤的逻辑判断结果。
[0351]
更换步骤四中的松弛点(第二目标点)，遍历n个点(即，每次将一个点作为松弛点，直到所有点都做过松弛点)，并重复步骤四和步骤五。若求解得到的松弛点的点坐标与其在几何信息文件中的点坐标始终相同，则说明目标待阅步骤的逻辑正确，若求解得到的松弛点的点坐标与其在几何信息文件中的点坐标不是始终相同，则说明目标待阅步骤的逻辑错误；或者，若目标待阅步骤恒成立，则说明目标待阅步骤的逻辑正确，若目标待阅步骤不是恒成立，则说明目标待阅步骤的逻辑错误。
[0352]
下面以一个具体的例子来对基于松弛变量的逻辑判断方法进行详细说明。
[0353]
试题的题目信息为：已知:如图16所示，在rt
△
abc中，∠acb＝90
°
，cd是
△
abc的角平分线，de
⊥
bc，df
⊥
ac，垂足分别为e,f。
[0354]
待阅答案的解题过程为：
[0355]
(1)证明:∵cd平分∠acb，de
⊥
bc，df
⊥
ac
[0356]
(2)∴de＝df，∠dfc＝90
°
，∠dec＝90
°
[0357]
(3)又∵∠acb＝90
°
[0358]
(4)∴四边形decf是矩形，de
⊥
ec
[0359]
(5)∵de＝df
[0360]
(6)∴矩形decf是正方形
[0361]
若以点c为原点建立坐标系，则题目中各个点的点坐标如表3所示。
[0362]
表3
[0363][0364][0365]
以判断待阅答案中步骤(2)中的表达式(de＝df)的逻辑关系是否正确为例进行说明，即，判断由条件表达式(cd平分∠acb)、(de
⊥
bc)、(df
⊥
ac)是否能够推导得到结论表达式(de＝df)。判断步骤如下：
[0366]
步骤1：将全部条件表达式代数化，得到前置表达式的集合，如表4所示。
[0367]
表4
[0368][0369]
步骤2：先对d点的坐标进行松弛。设点d的点坐标为(xd,yd)，其余各个点的点坐标为表3所示的坐标，即判断de＝df表达式是否正确时，e和f的坐标已知，将各个点的坐标带入表4代数化后的条件表达式中，得到的结果如表5所示。
[0370]
表5
[0371][0372][0373]
步骤3：调用maple solve对代数化后的条件表达式进行求解。对表5中代数化后的条件表达式进行求解后得到点d的点坐标为{xd＝2.400000000,yd＝2.400000000}，将求解得到的点d的点坐标带入结论表达式(de＝df)中进行验证，得到结论表达式(de＝df)成立。
[0374]
步骤4：进一步松弛结论表达式中其他点的点坐标，此处为点e和点f，并重复步骤1-步骤3，均得到结论表达式(de＝df)成立。
[0375]
步骤5：按照上述步骤的验证结果，判断结论表达式的逻辑关系是否正确。由于分别松弛点d、点e、点f的点坐标后，验证结论表达式(de＝df)均成立，则说明结论表达式(de＝df)的逻辑关系正确。
[0376]
步骤6：步骤6是可选步骤，在判断表达式(de＝df)的逻辑关系正确后，可将该表达
式加入到前置表达式中，并用于对后续的表达式进行判断。
[0377]
(三)基于几何定理的逻辑判断方法
[0378]
基于几何定理的逻辑判断方法主要用于对几何表达式之间的逻辑关系进行判断，其基础是几何定理库，即需要提前构建一个几何定理库，以存储几何中的逻辑关系，在对目标待阅步骤的逻辑关系进行判断时，首先基于几何定理库，确定目标待阅步骤的至少一个第二条件步骤，该至少一个第二条件步骤时推导得到目标待阅步骤的充分条件。即，该至少一个第二条件步骤必须全部满足才能推导得到目标待阅步骤，缺一不可。然后将该至少一个第二条件步骤与目标待阅步骤的前序步骤进行匹配，若前序步骤中包括至少一个第二条件步骤的全部，则逻辑关系正确；若前序步骤中仅包括至少一个第二条件步骤的部分，则逻辑关系错误；若前序步骤中不包括至少一个第二条件步骤，则逻辑关系错误。
[0379]
可选的，当前序步骤中不包括至少一个第二条件步骤时，可能是待阅答案的逻辑推导过程与几何定理库中的逻辑推导过程存在较大差异，此时，可以输出人工检查的提示，提示该目标待阅步骤需要人工检查。当待阅答案的逻辑推导过程与几何定理库中的逻辑推导过程存在较大差异，输出人工检查的提示，能够在提升试题批阅的准确性。
[0380]
在一种可能的实现方式中，通过几何定理库确定的条件步骤可能有几种不同的组合方式，每种组合方式中包括至少一个第二条件步骤，任一组合方式都是推导得到目标待阅步骤的充分条件。以目标待阅步骤为
“△
abc为等腰三角形”为例进行说明，在几何定理库查询到使得
“△
abc为等腰三角形”成立的条件组合1为ab＝bc，条件组合2为∠abc＝∠acb。当存在多种可选的条件步骤的情况下，只要在前序步骤中查询到任一一种组合方式，即可判断逻辑关系正确。
[0381]
在一种可能的实现方式中，几何定理库中可以以三元组的形式存储几何关系，此时，在获取到结论表达式和条件表达式后，可以对表达式进行三元组的抽取，再在几何定理库中查询与之对应的三元组。三元组包括两个实体和两个实体之间的关系，在一种可能的实现方式中，在查询的过程中不仅要匹配两个实体的信息，还要匹配两个实体之间的关系的信息，以提高匹配的准确度。
[0382]
在一种可能的实现方式中，可以在待阅步骤中构建局部逻辑块，以局部逻辑块为最小判断单元对逻辑正误进行判断，例如，局部逻辑块中可以包括两个待阅步骤，分别为条件步骤和结论步骤。应当理解，局部逻辑块中也可以包括多于两个的待阅步骤。在另一种可能的实现方式中，可以基于全局进行判断，即，在确定一个待阅步骤为结论步骤之后，将该待阅步骤以前的所有待阅步骤均作为条件步骤进行判断。
[0383]
本技术实施例提出了一种步骤级的试题自动批阅的方法，划分待阅答案中的待阅步骤，并对待阅步骤的正误和逻辑分别进行判断，以得到待阅答案的批改结果。从正误判断和逻辑判断两个方面更加全面的对待阅步骤的判断，能够更加真实、准确的反映待阅答案的情况，使得用户对自己的知识掌握情况有更准确的认知，也极大的提升了试题自动批阅的准确率
[0384]
在一种可能的实现方式中，可以确定试题的类型，进而针对不同的试题类型，采用不同的判断规则进行正误判断和逻辑判断。在一种可能的实现方式中，可以根据计算和推导的特点，将试题类型粗分为代数和几何两个大类，据此来选择不同的预设规则进行后续的判断。在另一种可能的实现方式中，也可以对试题类型进行进一步的细分，并拓展为更加
精细化的预设规则，据此来进行后续的判断，本技术实施例，对试题类型的分类方法不进行限定。
[0385]
在一种可能的实现方式中，试题类型分类由人工标注完成，即可以在构建题库时，对每个试题进行类别标注。在另一种可能的实现方式中，也可以采用深度学习的方法，利用训练好的神经网络，判断试题类别。本技术实施例，对判断试题类型的具体方法不进行限定。
[0386]
通过对试题类型进行划分，并针对不同类别的试题，使用不同的规则进行试题的批阅，能够使得采取的试题批阅策略更加符合该类型的试题的特点，进而提升试题批阅结果的准确性。
[0387]
在一种可能的实现方式中，在题库中可以预先存储给定试题对应的知识点，这样，在试题的批阅结果中可以显示该试题对应的知识点，使得用户对试题考察的对象及自己的知识点掌握情况有更深入的认知。优选的，在完成涉及不同知识点的多个试题的批阅之后，可以对不同知识点下的试题的正确率进行统计，以便于对用户的知识点掌握情况进行准确的衡量。在另一种可能的实现方式中，还可以预先存储参考答案中给定关键步骤对应的知识点，例如，有的步骤涉及的知识点是提取公因式，有点步骤涉及的知识点是代数式求和，则根据一道试题的批阅也可以得到用户对于多个不同知识点的掌握情况，有利于判断用户的薄弱环节。
[0388]
在一种可能的实现方式中，试题对应的关键知识点信息可以由人工输入，例如，在输入试题的同时输入试题对应的关键知识点。在另一种可能的实现方式中，可以通过人工智能的方法，通过对题目和/或参考答案进行分析，自动标注试题对应的关键知识点。
[0389]
在对试题进行自动批阅的过程中，当系统对待阅答案的判断不准确时，可以输出提示信息，提示需要人工检查。可以在两个层次上提示人工检查，在一种可能的实现方式中，目标待阅步骤的批阅结果还可以用于指示该步骤需要人工检查。示例性的，当系统无法准确识别出目标待阅步骤中的字符时，可以提示人工检查。示例性的，当目标待阅步骤的逻辑判断结果错误时，可以提示人工检查，此时，可既输出逻辑判断结果，又输出人工检查的提示，也可以用人工检查的提示，替代逻辑判断结果。示例性的，当无法对目标待阅步骤的正误判断结果或逻辑判断结果进行准确的判断，或者判断的准确度低于阈值时，可以提示人工检查。在另一种可能的实现方式中，还可以针对整个待阅答案输出人工检查的提示。示例性的，当待阅答案中的关键待阅步骤的数量少于阈值时，无法判断用户是通过正常计算得到的结果，可以提示人工检查。
[0390]
应当理解，上述输出人工检查提示的情况列举，仅仅是示例性的，无法实现对所有可能情况的列举，其他可能输出人工检查提示的情况也是可能的，本技术实施例对输出人工检查提示的情况不进行限定。在系统判断不准的时候加入人工复核的环节，可以进一步提升试题批阅的准确性，且能够在准确性和人工的工作量之间达到一个满意的平衡。
[0391]
对于某些特殊的试题，出题者可能会规定一些必要的解题步骤，即，待阅答案中出现全部的必要解题步骤是待阅答案正确的必要条件。此时，可以通过步骤404中的等价性判断方法，判断待阅答案中是否存在全部的必要解题步骤，以满足对于特殊试题的特殊要求。
[0392]
接下来以两个具体的实施例来说明本技术实施例公开的实体批改方法针对具体的试题如何应用。
[0393]
实施例一：数学代数类题目的自动批改。
[0394]
本实施例以一位同学完成一道代数题后利用平板电脑实现试题自动批改的过程为例，试题自动批改系统借助云平台实现，以下详细描述整个过程。
[0395]
试题自动批阅主要包括以下几个流程：
[0396]
流程一：云端的试题准备。
[0397]
为实现试题自动批阅的功能，云平台需要预先存储以下几部分信息：
[0398]
(1)题库：包括多个试题及其相关信息，示例性的，可以包括试题的题目信息、一种或者多种参考答案、关键步骤(可通过在参考答案中进行标注的形式)、试题或者关键步骤对应的知识点等信息。
[0399]
示例性的，当用户在解答如图17所示的试题时，在云平台上可能存储有如图18所示的试题latex信息和如图19所示的参考答案等，如图19所示，参考答案中可以标注有关键步骤以及关键步骤对应的知识点，参考步骤1和参考步骤4为关键步骤，其中，参考步骤1涉及的知识点包括提公因式法，参考步骤4涉及的知识点包括代数式求值。
[0400]
(2)算法程序：包括试题自动批阅相关算法对应的程序，在被调用时可执行相应的功能。例如包括文本预处理程序、自然语言处理程序、等价性判断程序、表述正误判断程序、逻辑判断程序。
[0401]
(3)辅助库：包括实现试题自动批阅功能所需的多个辅助库，例如，几何代数化转换库、几何定理库、latex符号化转换库等。
[0402]
流程二：用户上传待阅答案。
[0403]
用户可以通过平板电脑对待阅答案进行拍照和/或扫描，并将待阅答案相关的数据流上传到云平台上。
[0404]
流程三：云端采用试题自动批阅的方法批阅待阅答案，其具体步骤如下。
[0405]
步骤一：答案输入与预处理
[0406]
对待阅答案进行图像处理，识别出图像中的字符，将图像格式的待阅答案转化为表达式的形式，并对待阅答案中的各个待阅步骤进行划分，最终将待阅答案整理为如图20所示的标准形式。
[0407]
步骤二：判断试题类型。
[0408]
由于本题为代数类题目，因此，确定采用代数类题目的判断策略。
[0409]
步骤三：确定关键待阅步骤。
[0410]
此步骤中将如图20所示的待阅答案中的各个待阅步骤，分别与关键步骤进行匹配，判断是否有与之相匹配的关键参步骤。
[0411]
以待阅步骤6和参考步骤1的匹配为例：
[0412]
代数相等判断：(2x y)(5x-3y)-(2x y)(5x-3y)＝0，两个表达式相减代数和为0，因此判断两个步骤代数相等。
[0413]
形式相等判断：由于两个表达式中的两个单元子(2x y)和(5x-3y)完全相同，因此，判断两个表达式的形式相等。
[0414]
综上，参考步骤1和待阅步骤6中的代数式代数相等且形式相等，因此，判断两个步骤表达式完全等价。确定待阅步骤6为关键待阅步骤。
[0415]
步骤四：关键待阅步骤的逻辑正误判断。
[0416]
此步骤采用基于前置序列匹配的判断方法，基于关键参考答案之间的逻辑关系，判断关键待阅步骤之间的逻辑关系。对于参考答案而言，关键步骤为参考步骤1和参考步骤4，因此，参考步骤1的前序步骤序列为空，而参考步骤4的前序步骤序列为参考步骤1。对于待阅答案而言，关键待阅步骤为待阅步骤6和待阅步骤8，因此，待阅步骤6的前序步骤序列为空，而待阅步骤8的前序步骤序列为待阅步骤6。根据前置序列匹配的逻辑判断方法，待阅关键步骤的逻辑关系与关键步骤的逻辑关系相同，因此，判断两个关键步骤的逻辑关系均正确，且关键待阅步骤完整，无关键步骤缺失。
[0417]
步骤五：其他待阅步骤的正误判断
[0418]
首先调用符号计算平台，对其他待阅步骤的表达式正误进行判断，示例性的，由步骤1可以解得以此为基础对待阅步骤中的其他表达式进行计算，确定待阅步骤1-5、7的表达式均正确。
[0419]
其次，对其他表达式的逻辑正误进行判断。
[0420]
对于待阅步骤1-待阅步骤4，可将其作为一个局部逻辑块，并对局部逻辑块中各个待阅步骤的逻辑正误进行判断。
[0421]
由步骤1的表达式，
①×
3得：6x 3y＝9
③
，
②

③
,得11x＝7，代入计算，得到计算正确，由此可以判断步骤1-步骤4的逻辑关系正确。
[0422]
对于步骤5，由题目中的表达式(2x y)(2x-3y) 3x(2x y)＝(2x y)(2x-3y 3x)成立，因此步骤5的逻辑关系正确。
[0423]
对于步骤7，将带入(2x y)(5x-3y)，得到步骤7的表达式，因此，可以判断步骤7的逻辑关系均正确。
[0424]
需要说明的是，由于试题的特殊性，上述步骤中通过代数表达式的计算，简化了逻辑正误的判断过程，在实际中，也可以采用采用基于符号计算的逻辑判断方法判断逻辑关系的正误，基于符号计算的逻辑判断方法的具体使用方法已经在上文进行举例说明，此处不再进行赘述。
[0425]
步骤六：输出判题结果
[0426]
经过上述步骤的判断，可得到待阅答案中待阅步骤1-待阅步骤8各个步骤的表述正误和逻辑正误的结果，如图21所示，可将批阅结果以批注的方式显示在待阅答案上。
[0427]
流程四：云端将批阅结果传回给平板电脑，用户可以在平板电脑上查看试题批阅结果。
[0428]
如图22所示为通过本技术实施例中提供的试题自动批阅的方法对同一个试题下另一个待阅答案进行批阅的批阅结果。其中，参考答案与图19中的参考答案相同，批阅结果显示，待阅步骤中仅表示计算结果的关键待阅步骤与关键步骤匹配，缺失一个关键步骤，批阅结果中显示了缺失的关键步骤。尽管关键步骤缺失，但待阅步骤中的其他待阅步骤的表述正确。此时，系统判断该待阅答案的解题思路可能与参考答案相差较远，批阅结果的准确度低于阈值，因此，生成提示消息，提示人工复查。
[0429]
如图23所示为通过本技术实施例中提供的试题自动批阅的方法对同一个试题下
另一个待阅答案进行批阅的批阅结果。其中，参考答案与图19中的参考答案相同，批阅结果显示，待阅步骤中包含与关键步骤对应的关键待阅步骤，且关键待阅步骤的表述和逻辑关系均正确。但待阅答案中的待阅步骤6的表达式错误(计算错误)，因此批阅结果中显示该步骤错误。
[0430]
实施例二：数学几何类题目的自动批改。
[0431]
本实施例以学校老师针对课堂考试后，采用试题自动批阅平台对全班试卷进行批改的过程为例，试题自动批改系统借助云平台实现，以下详细描述整个过程。
[0432]
试题自动批阅主要包括以下几个流程：
[0433]
流程一：云端的试题准备。
[0434]
云端的试题准备实施例一中相类似，为避免重复，此处不再进行赘述。示例性的，当用户在解答如图24所示的试题时，在云平台上可能存储有如图25所示的试题latex信息、如图26所示的几何信息文件和如图27所示的参考答案等，如图27所示，参考答案中可以标注有关键步骤以及关键步骤对应的知识点，参考步骤2、参考步骤4和参考步骤6为关键步骤，其中，参考步骤2涉及的知识点包括角平分线的性质，参考步骤4涉及的知识点包括矩形的判定、参考步骤6涉及的知识点包括正方形的判定。
[0435]
流程二：用户上传待阅答案。
[0436]
用户可以通过平板电脑对待阅答案进行拍照和/或扫描，并将待阅答案相关的数据流上传到云平台上。
[0437]
流程三：云端采用试题自动批阅的方法批阅待阅答案，其具体步骤如下。
[0438]
步骤一：答案输入与预处理
[0439]
对待阅答案进行图像处理，识别出图像中的字符，将图像格式的待阅答案转化为表达式的形式，并对待阅答案中的各个待阅步骤进行划分，并最终得到如图28所示的待阅答案的标准形式。
[0440]
步骤二：判断试题类型。
[0441]
由于本题为几何类题目，因此，确定采用几何类试题的判断策略。
[0442]
步骤三：确定关键待阅步骤。
[0443]
此步骤中将如图28所示的待阅答案中的各个待阅步骤，分别与关键步骤进行匹配，判断是否有与之相匹配的关键参步骤。由于待阅步骤6和关键步骤4的表述基本一致，含义完全相同，待阅步骤7和关键步骤6的表述基本一致，含义完全相同，因此，判断待阅步骤6和待阅步骤7为关键待阅步骤。
[0444]
步骤四：关键待阅步骤的逻辑正误判断。
[0445]
此步骤采用基于前置序列匹配的判断方法，基于关键参考答案之间的逻辑关系，判断关键待阅步骤之间的逻辑关系。对于参考答案而言，关键步骤为参考步骤2、参考步骤4和参考步骤6，因此，参考步骤2的前序步骤序列为空，参考步骤4的前序步骤为参考步骤2，而参考步骤6的前序步骤序列为参考步骤2和参考步骤4。对于待阅答案而言，关键待阅步骤为待阅步骤6和待阅步骤7，因此，待阅步骤6的前序步骤序列为空，而待阅步骤7的前序步骤序列为待阅步骤6。根据前置序列匹配的逻辑判断方法，待阅步骤6和待阅步骤7均存在逻辑关系缺失的问题，关键步骤缺失。
[0446]
步骤五：其他待阅步骤的正误判断。
[0447]
此处可以借助几何定理库和几何表达式代数化来判断其他待阅步骤的表达式正误，经过判断，待阅步骤1-待阅步骤5的表达式正确。
[0448]
其次，对其他表达式的逻辑正误进行判断。
[0449]
此处可通过基于松弛变量的逻辑判断方法或者基于几何定理的逻辑判断方法，对表达式的逻辑关系进行判断，两种逻辑判断方法的具体使用方式已经在上文进行了详细的判断，为避免重复，此处不再进行赘述。通过判断得到其他待阅步骤的逻辑关系均正确。
[0450]
步骤六：输出判题结果
[0451]
经过上述步骤的判断，可得到待阅答案中待阅步骤1-待阅步骤8各个步骤的表述正误和逻辑正误的结果，由于待阅答案中各个待阅步骤的表达式均正确，但是缺少关键步骤，因此，在一种可能的实现方式中，批阅结果可以提示关键步骤缺失，在另一种可能的实现方式中，如图29所示，可提示该试题需要人工复查。
[0452]
流程四：云端将批阅结果传回给平板电脑，用户可以在平板电脑上查看试题批阅结果。
[0453]
在上述对应实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的计算机设备。该计算机设备可以包括手持终端设备，如，手机、电脑、ipad等，也可以包括智能可穿戴设备，如，智能手环、智能手表、智能心率计等；还可以包括轮式移动设备，如，车辆(如自动驾驶车辆)、飞行器、机器人(如扫地机器人)等，具体本技术对计算机设备的产品形态不做限定，只要能用于实现本技术所述的算子的处理方法的电子设备，都可以称为计算机设备。参照图30，图30为本技术实施例提供的一种计算机设备的结构示意，如图30所示，该设备3000包括：
[0454]
转化模块3001，用于将目标待阅步骤转化为代数表达式，该目标待阅步骤为该待阅答案中的步骤，该目标待阅步骤用于描述第一几何关系，该代数表达式用于描述该第一几何关系中涉及的点的坐标约束；
[0455]
关于转化模块3001的具体描述可以参照上述实施例中步骤1101的描述，这里不再赘述。
[0456]
判断模块3002，用于基于该几何题目所描述的第二几何关系确定该代数表达式的正误；
[0457]
关于判断模块3002的具体描述可以参照上述实施例中步骤1102的描述，这里不再赘述。
[0458]
输出模块3003，用于根据该代数表达式的正误，输出该目标待阅步骤的正误判断结果。
[0459]
关于输出模块3003的具体描述可以参照上述实施例中步骤1103的描述，这里不再赘述。
[0460]
在一种可能的实现方式中，该基于该几何题目所描述的第二几何关系确定该代数表达式的正误，具体包括：
[0461]
基于该第二几何关系获取该第一几何关系中涉及的点的坐标值；
[0462]
根据该坐标值确定该代数表达式的正误。
[0463]
在一种可能的实现方式中，该第一几何关系中涉及的点的坐标值是基于相同的预设坐标系确定的。
[0464]
在一种可能的实现方式中，该基于该第二几何关系获取该第一几何关系中涉及的点的坐标值，具体包括：
[0465]
从与该几何题目对应的几何信息文件中获取该第一几何关系中涉及的点的坐标值，该几何信息文件是基于该第二几何关系建立的。
[0466]
在一种可能的实现方式中，该代数表达式为关于该第一几何关系中涉及的点的点坐标的方程式。
[0467]
在一种可能的实现方式中，该第一几何关系涉及第一目标点，该第二几何关系不涉及该第一目标点，该待阅答案所描述的第三几何关系涉及该第一目标点，该基于与该几何题目对应的几何信息确定该代数表达式的正误，具体包括：
[0468]
基于该第二几何关系和该第三几何关系确定该代数表达式的正误。
[0469]
在一种可能的实现方式中，该输出模块还用于：
[0470]
在输出该目标待阅步骤的正误判断结果后，输出该目标待阅步骤的逻辑判断结果。
[0471]
在一种可能的实现方式中，该输出该目标待阅步骤的逻辑判断结果，具体包括：
[0472]
确定该目标待阅步骤的第一条件步骤，该第一条件步骤为前序步骤中与该目标待阅步骤具有逻辑推导关系的待阅步骤，该前序步骤是该待阅答案中位于该目标待阅步骤之前的一个或多个待阅步骤；
[0473]
该第一条件步骤用于描述第四几何关系，该第四几何关系涉及n个点，该n个点包括第二目标点，该第一几何关系涉及第二目标点，该n为正整数；
[0474]
根据该第二几何关系获取该n个点中除第二目标点以外的其他点的坐标值；
[0475]
根据该n个点中除第二目标点以外的其他点的坐标值以及该第四几何关系，确定该第二目标点的点坐标信息；
[0476]
基于该第二目标点的点坐标信息输出逻辑判断结果。
[0477]
在一种可能的实现方式中，该第二目标点的点坐标信息包括该第二目标点的第一坐标值，该基于该第二目标点的点坐标信息输出逻辑判断结果，具体包括：
[0478]
根据该第二几何关系获取该第二目标点的第二坐标值；
[0479]
将该第一坐标值和该第二坐标值进行比较，根据比较结果输出该逻辑判断结果。
[0480]
在一种可能的实现方式中，该第二目标点的点坐标信息包括该第二目标点的第一坐标值，该基于该第二目标点的点坐标信息输出逻辑判断结果，具体包括：
[0481]
将该第二目标点的第一坐标值和该n个点中除该第二目标点以外的其他点的坐标值带入该代数表达式，以确定该代数表达式是否成立；
[0482]
基于该代数表达式是否成立，输出该逻辑判断结果。
[0483]
在一种可能的实现方式中，该输出该目标待阅步骤的逻辑判断结果，具体包括：
[0484]
基于几何定理库确定该目标待阅步骤的至少一个第二条件步骤，该至少一个第二条件步骤是推导得到该目标待阅步骤的充分条件，该几何定理库包括几何推导关系；
[0485]
基于该目标待阅步骤的至少一个第二条件步骤和前序步骤输出该目标待阅步骤的逻辑判断结果，该前序步骤是该待阅答案中位于该目标待阅步骤之前的一个或者多个待阅步骤。
[0486]
在一种可能的实现方式中，该基于该目标待阅步骤的至少一个第二条件步骤和前
序步骤输出该目标待阅步骤的逻辑判断结果，具体包括：
[0487]
当该前序步骤中包括该至少一个第二条件步骤的全部时，输出该逻辑判断结果为正确；或者
[0488]
当该前序步骤中包括该至少一个第二条件步骤的部分时，输出该逻辑判断结果为错误；或者
[0489]
当该前序步骤中不包括该至少一个第二条件步骤时，输出该逻辑判断结果为错误或者输出该目标待阅步骤需要人工检查。
[0490]
需要说明的是，图30提供的计算机设备3000中各模块/单元之间的信息交互、执行过程等内容，与本技术中图11对应的方法实施例基于同一构思，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0491]
本技术实施例还提供了一种计算机设备，请参阅图31，图31是本技术实施例提供的计算机设备一种结构示意图，为便于说明，仅示出了与本技术实施例相关的部分，具体技术细节未揭示的，请参照本技术实施例方法部分。该计算机设备3100上可以部署有图30对应实施例中所描述的模块，用于实现图30对应实施例中计算机设备3000的功能，具体的，计算机设备3100由一个或多个服务器实现，计算机设备3100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)3122和存储器3132，一个或一个以上存储应用程序3142或数据3144的存储介质3130(例如一个或一个以上海量存储设备)。其中，存储器3132和存储介质3130可以是短暂存储或持久存储。存储在存储介质3130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备3100中的一系列指令操作。更进一步地，中央处理器3122可以设置为与存储介质3130通信，在计算机设备3100上执行存储介质3130中的一系列指令操作。
[0492]
计算机设备3100还可以包括一个或一个以上电源3126，一个或一个以上有线或无线网络接口3150，一个或一个以上输入输出接口3158，和/或，一个或一个以上操作系统3141，例如windows servertm，mac os xtm，unixtm，linuxtm，freebsdtm等等。
[0493]
本技术实施例中，中央处理器3122，用于执行图11对应实施例中的自动批阅方法。例如，中央处理器3122可以用于：将目标待阅步骤转化为代数表达式，该目标待阅步骤为该待阅答案中的步骤，该目标待阅步骤用于描述第一几何关系，该代数表达式用于描述该第一几何关系中涉及的点的坐标约束；基于该几何题目所描述的第二几何关系确定该代数表达式的正误；根据该代数表达式的正误，输出该目标待阅步骤的正误判断结果。
[0494]
需要说明的是，中央处理器3122还可以用于执行与本技术中图11对应的方法实施例中任意一个步骤，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0495]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述所示实施例描述中计算机设备所执行的步骤。
[0496]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的
装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0497]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本技术各个实施例所述的方法。
[0498]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0499]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如，固态硬盘(solid state disk，ssd))等。