一种基于语义处理的教育数据分析方法与流程

本发明涉及教育数据处理，尤其涉及一种基于语义处理的教育数据分析方法。

背景技术：

1、随着在线教学平台、智能阅卷系统和学习管理系统的应用，教育场景中积累了题目文本、参考答案、学生答案、学生得分和答题时间等教育答题数据。现有教育数据分析方法通常依赖人工标注的知识点或预设知识体系，将学生得分汇总到对应知识点下，以分析学生对相应知识点的掌握情况。部分方法也利用文本相似度或语义模型，对学生答案和参考答案进行匹配。

2、现有方法依赖人工预先标注题目知识点，在题库规模较大、题目来源复杂或知识点划分不统一时，标注成本高且一致性较差，导致学生知识掌握度难以稳定量化。单纯基于题目文本语义聚类，容易将文字相近但考查能力不同的题目划为同类，也可能忽略文字差异较大但群体作答表现一致的题目，影响潜在知识维度划分准确性。当学生答案中存在否定表达、数值表达和同义表达时，传统语义匹配方法容易出现误判，影响题目作答表现值和学生掌握度的计算结果。

3、因此，如何提供一种基于语义处理的教育数据分析方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于语义处理的教育数据分析方法，本发明充分利用roberta语义编码、数值严格比较和群体作答模式修正，详细描述了无人工知识点标注条件下学生知识掌握度分析及新题目掌握度预测的过程，具备标注成本低、维度划分准确性高和掌握度计算稳定的优点。

2、根据本发明实施例的一种基于语义处理的教育数据分析方法，包括如下步骤：

3、获取教育答题数据，对教育答题数据执行预处理，生成结构化教育文本与学生作答记录；

4、从结构化教育文本中抽取判断类语句，基于否定词替换生成否定变化语句，将判断类语句、否定变化语句和同义改写语句输入roberta执行对比学习微调，生成语义编码模型；

5、将结构化教育文本输入语义编码模型，得到题目语义表示，将学生答案与参考答案输入语义编码模型，得到答案语义匹配结果；

6、从学生答案与参考答案中抽取数值表达，对数值表达进行标准化处理，将标准化后的数值表达进行严格一致比较，依据数值比较结果和答案语义匹配结果生成题目作答表现值；

7、依据题目语义表示执行初始聚类，生成初始潜在知识维度集合；

8、依据学生作答记录构建题目群体作答向量，根据题目群体作答向量对初始潜在知识维度集合执行二次归并和拆分，生成修正潜在知识维度集合，为修正潜在知识维度集合生成维度解释信息；

9、依据题目作答表现值和修正潜在知识维度集合计算学生掌握度，按照分析批次生成包含维度解释信息和学生掌握度的掌握度快照。

10、可选的，所述对教育答题数据执行预处理具体包括：

11、对教育答题数据执行字段完整性校验和异常记录清洗，删除缺少题目标识、学生标识、学生答案或者学生得分的记录；

12、对学生标识进行脱敏映射，生成脱敏学生标识；

13、依据题目满分对学生得分执行分值归一化，生成归一化得分；

14、按照字段标识对题目文本、参考答案和题目解析进行拼接，生成结构化教育文本；

15、将脱敏学生标识、题目标识、学生答案、归一化得分和答题时间进行关联，生成学生作答记录。

16、可选的，所述对比学习微调具体包括：

17、对结构化教育文本进行断句处理，提取包含判断谓词的句子作为判断类语句；

18、将判断类语句中的判断谓词替换为预设同义谓词，或者将判断谓词邻接词语替换为预设同义词，自动生成同义改写语句，将判断类语句与同义改写语句组成正样本对；

19、将判断类语句中的判断谓词替换为预设否定谓词，或者在判断谓词前插入预设否定词，自动生成否定变化语句，将判断类语句与否定变化语句组成负样本对；

20、将正样本对和负样本对输入roberta，获取每个句子的句向量表示；

21、依据正样本对的句向量相似度增大方向和负样本对的句向量相似度减小方向构建对比学习损失，基于对比学习损失对roberta执行参数微调，得到语义编码模型。

22、可选的，所述将学生答案与参考答案输入语义编码模型具体包括：

23、依据学生作答记录中的题目标识，从结构化教育文本中提取对应参考答案，将学生答案与对应参考答案构造成答案匹配文本对；

24、分别将学生答案、对应参考答案和答案匹配文本对输入语义编码模型，得到学生答案独立语义表示、参考答案独立语义表示和答案对联合语义表示；

25、根据学生答案独立语义表示与参考答案独立语义表示计算整体语义接近结果，根据答案对联合语义表示提取学生答案相对于参考答案的语义偏差表示；

26、将整体语义接近结果和语义偏差表示进行融合，生成答案语义匹配结果。

27、可选的，所述依据数值比较结果和答案语义匹配结果生成题目作答表现值具体包括：

28、分别对学生答案和参考答案执行数值识别，提取学生答案数值集合和参考答案数值集合；

29、对学生答案数值集合和参考答案数值集合中的数值表达执行格式转换、单位换算和精度统一，得到标准化学生答案数值集合和标准化参考答案数值集合；

30、按照数值出现顺序建立标准化学生答案数值集合与标准化参考答案数值集合之间的对应关系，对具有对应关系的数值执行严格一致比较，生成数值比较结果；

31、当参考答案中未提取到数值表达时，将答案语义匹配结果作为题目作答表现值；

32、当参考答案中提取到数值表达时，依据数值比较结果、答案语义匹配结果和学生作答记录中的归一化得分生成题目作答表现值；题目作答表现值由归一化得分、答案语义匹配结果和数值比较结果共同确定。

33、可选的，所述依据题目语义表示执行初始聚类具体包括：

34、对每一道题目的题目语义表示进行向量归一化处理，计算任意两道题目之间的语义距离；

35、依据语义距离构建题目邻接关系图，将题目作为节点，将语义距离满足预设邻接条件的题目节点连接为边；

36、对题目邻接关系图执行基于密度的聚类处理，将连通密度满足预设密度条件的题目节点划分为同一初始潜在知识维度；

37、将未满足预设密度条件的题目节点标记为待归并题目节点；

38、为每个初始潜在知识维度生成初始维度标识，记录初始维度标识与题目标识之间的对应关系，得到初始潜在知识维度集合。

39、可选的，所述根据题目群体作答向量对初始潜在知识维度集合执行二次归并和拆分具体包括：

40、按照脱敏学生标识的统一排序，将每一道题目对应的归一化得分依次填入向量位置，生成题目群体作答向量，未作答位置填入缺失标记；

41、对任意两道题目的题目群体作答向量，选取共同作答学生对应的向量位置计算作答模式相似度；

42、在同一初始潜在知识维度内，将语义距离满足预设邻接条件且作答模式相似度满足预设保留条件的题目保留在同一维度，将语义距离满足预设邻接条件且作答模式相似度不满足预设保留条件的题目拆分为待重组题目；

43、在不同初始潜在知识维度之间，将语义距离不满足预设邻接条件且作答模式相似度满足预设归并条件的题目加入候选归并列表；

44、对候选归并列表和待重组题目依据作答模式相似度重新聚类，生成修正潜在知识维度集合。

45、可选的，所述为修正潜在知识维度集合生成维度解释信息具体包括：

46、针对每个修正潜在知识维度，读取对应题目标识集合，从结构化教育文本中提取对应题目的文本内容；

47、对文本内容执行分词处理和停用词过滤，计算词语在当前修正潜在知识维度内的出现频次和区分度，选取满足预设排序条件的词语作为维度关键词；

48、计算每道题目的题目语义表示与当前修正潜在知识维度中心向量之间的语义相似度，选取语义相似度最高的题目作为代表题目；

49、依据维度关键词和代表题目生成伪标签，将维度关键词、代表题目和伪标签关联为维度解释信息。

50、可选的，所述依据题目作答表现值和修正潜在知识维度集合计算学生掌握度具体包括：

51、读取修正潜在知识维度集合中的修正维度标识和对应题目标识集合；

52、依据题目标识集合，从学生作答记录中提取同一学生在对应题目上的题目作答表现值；

53、对同一学生在同一修正潜在知识维度内的题目作答表现值进行平均计算，得到学生在对应修正潜在知识维度上的学生掌握度；

54、当学生在对应修正潜在知识维度内不存在题目作答表现值时，将学生在对应修正潜在知识维度上的学生掌握度标记为空值。

55、可选的，按照分析批次生成包含维度解释信息和学生掌握度的掌握度快照具体包括：

56、按照分析批次将修正维度标识、维度解释信息、题目标识集合、修正潜在知识维度中心向量和学生掌握度关联存储，生成掌握度快照；

57、获取新题目文本，对新题目文本执行字段化拼接并输入语义编码模型，得到新题目语义表示；

58、计算新题目语义表示与掌握度快照中各修正潜在知识维度中心向量之间的语义相似度，将语义相似度最高且满足预设匹配条件的修正潜在知识维度确定为新题目所属维度；

59、读取目标学生的脱敏学生标识，从掌握度快照中检索目标学生在新题目所属维度上的学生掌握度；

60、将检索得到的学生掌握度作为目标学生对新题目的预测掌握度，输出新题目所属维度、对应维度解释信息和预测掌握度。

61、本发明的有益效果是：

62、（1）本发明通过对题目文本进行roberta语义编码，采用不需要预先设定聚类数量的聚类方式生成潜在知识维度，减少了对人工知识点标注和预设知识体系的依赖，能够在题库规模较大、题目来源复杂的情况下自动形成可用于掌握度分析的知识维度，从而降低人工标注成本，提高教育数据分析的适用性。

63、（2）本发明通过自动构造否定变化语句和同义改写语句对roberta进行对比学习微调，结合学生答案与参考答案中的数值表达进行严格一致比较，使答案语义匹配过程能够区分同义表达、否定表达和数值错误，减少语义相近但含义相反、文字接近但数值错误导致的误判，提高题目作答表现值的可靠性。

64、（3）本发明通过构建题目群体作答向量，对初始潜在知识维度执行二次归并和拆分，使语义相近但群体作答表现不同的题目能够被拆分，文字差异较大但群体作答表现接近的题目能够被归并；同时通过掌握度快照存储维度解释信息和学生掌握度，并对新题目进行所属维度匹配和掌握度预测，提高学生知识掌握度分析和后续题目预测的稳定性。