一种相似题推荐质量管控方法、相关装置及系统与流程

本发明涉及智能教育，尤其涉及一种相似题推荐质量管控方法、相关装置及系统。

背景技术：

1、近年来，随着人工智能技术在在线教育领域的深入应用，相似题推荐系统已成为智能学习产品的核心功能之一。该类系统通过分析用户作答的原试题，利用推荐模型从题库中检索并推荐相似试题，以帮助用户进行针对性强化练习。

2、在相似题推荐系统的实际运行中，推荐结果的质量直接影响用户的学习效率和用户体验。由于题库规模庞大（动辄百万级试题）、题目表述形式多样且知识点关联复杂，推荐模型不可避免地会产生一定数量的误推荐（即，将不相关的试题判定为相似）。因此，如何构建一套规模化、高质量的相似性标注机制，实现对推荐结果的有效评估和持续优化，成为相似题推荐系统推荐质量管控的关键。

3、目前，试题对样本的相似性标注工作完全依赖人工完成，审核人员对原试题与对应的推荐试题进行人工判断，标注其是否真正相似。然而，上述基于人工的标注方式效率低、成本高，且人工标注缺乏标准化判别依据，判别标准易受人员主观因素影响，标注一致性差。

技术实现思路

1、有鉴于此，本发明提供了一种相似题推荐质量管控方法、相关装置及系统，用以解决现有的相似性标注效率低、成本高、标注一致性差的问题，其技术方案如下：

2、本发明第一方面提供一种相似题推荐质量管控方法，包括：

3、获取试题对样本，所述试题对样本包括原试题和基于推荐链路针对所述原试题推荐的试题；

4、基于至少两个搭载不同大语言模型的评估智能体，分别对所述试题对样本进行相似性评估，得到各所述评估智能体的评估结果，所述评估结果包含相似性判别结论和相似性判别理由；

5、若各所述评估智能体的相似性判别结论一致，将一致的相似性判别结论确定为所述试题对样本的相似性标注结果；

6、若各所述评估智能体的相似性评估结论不一致，则基于仲裁智能体从各所述评估智能体的相似性判别理由中提取分歧点，并针对所述分歧点对所述试题对样本进行相似性裁决，得到裁决结果；

7、根据所述裁决结果确定所述试题对样本的相似性标注结果；其中，具有相似性标注结果的试题对样本至少用于优化所述推荐链路中的推荐模型。

8、在一种可能的实现方式中，所述裁决结果包括：相似性裁决结论和裁决置信度；

9、所述根据所述裁决结果确定所述试题对样本的相似性标注结果，包括：

10、若所述裁决置信度大于或等于预设的裁决置信度阈值，则将所述相似性裁决结论确定为所述试题对样本的相似性标注结果；

11、若所述裁决置信度小于所述裁决置信度阈值，则将所述试题对样本推送至人工审核队列，并将各所述评估智能体的评估结果、和/或所述仲裁智能体的裁决结果、和/或所述仲裁智能体的分歧分析数据提供给审核人员参考，获取审核人员对于所述试题对样本的相似性判别结论，作为所述试题对样本的相似性标注结果。

12、在一种可能的实现方式中，所述基于至少两个搭载不同大语言模型的评估智能体，分别对所述试题对样本进行相似性评估，得到各所述评估智能体的评估结果，包括：

13、针对至少两个搭载不同大语言模型的评估智能体中的每个所述评估智能体，基于所述评估智能体对所述试题对样本进行初步相似性评估，得到初步评估结果，所述初步评估结果中包含相似性判别置信度；

14、若所述相似性判别置信度小于预设的判别置信度阈值，则触发所述评估智能体调整评估策略，以重新对所述试题对样本进行相似性评估，得到二次评估结果；

15、根据所述初步评估结果和所述二次评估结果，生成最终评估结果。

16、在一种可能的实现方式中，所述基于所述评估智能体对所述试题对样本进行相似性评估，包括：

17、基于所述评估智能体从知识点、解题方法、表达结构、逻辑结构中的至少一个评估维度，对所述试题对样本进行相似性评估；

18、所述调整评估策略包括：

19、重新组织所述评估智能体搭载的大语言模型进行相似性评估所使用的提示词；和/或，在所述评估维度为多个的情况下，调整对所述试题对样本进行相似性评估时各评估维度的权重。

20、在一种可能的实现方式中，所述针对所述分歧点对所述试题对样本进行相似性裁决，得到裁决结果包括：

21、若所述分歧点为知识点判定分歧，则调用知识图谱，根据所述知识图谱对所述试题对样本所涉及知识点之间的关联关系进行核验，并基于核验结果生成针对所述知识点判定分歧的相似性裁决结果；

22、若所述分歧点为解题方法分歧，则调用解题步骤分析器对所述试题对样本的解题步骤进行对比验证，并基于验证结果生成针对所述解题方法分歧的相似性裁决结果；

23、若所述分歧点为表达结构或逻辑结构分歧，则调用结构校验模块对所述试题对样本的表达结构或逻辑结构进行对比验证，并基于验证结果生成针对所述表达结构或所述逻辑结构分歧的相似性裁决结果。

24、在一种可能的实现方式中，所述相似题推荐质量管控方法还包括：

25、通过运营智能体监控各提示词模板的效能指标，其中，所述提示词模板为所述评估智能体在对试题对样本进行相似性评估时所使用的提示词模板，所述提示词模板的效能指标包括如下指标中的至少一个：所述提示词模板下各所述评估智能体输出的相似性判别结论的一致率、所述提示词模板下的标注准确率；

26、当任一所述提示词模板的效能指标低于预设阈值或呈持续下降趋势时，基于提示词演化智能体，对所述提示词模板进行优化。

27、在一种可能的实现方式中，所述对所述提示词模板进行优化，包括：

28、获取所述提示词模板下的多个不一致案例，所述不一致案例为各所述评估智能体的相似性判别结论不一致的试题对样本；

29、根据所述多个不一致案例的相似性判别理由，识别所述提示词模板中导致判别分歧的提示词片段；

30、根据所述导致判别分歧的提示词片段，生成多个改进提示词模板；

31、利用多个试题对样本，对每个所述改进提示词模板进行验证，并用验证有效的改进提示词模板替换原始的提示词模板。

32、在一种可能的实现方式中，所述相似题推荐质量管控方法还包括：

33、若所述相似性标注结果指示所述试题对样本不相似，则将所述试题对样本放入负样例池；

34、通过运营智能体持续监控所述负样例池中按预设维度分组后各负样例组分别对应的负样例比例，若根据各所述负样例组分别对应的负样例比例确定存在异常负样例组，则从所述负样例池中抽取所述异常负样例组，其中，所述异常负样例组为满足如下条件的负样例组：对应的负样例比例在连续时间段内持续高于预设比例阈值，或者，对应的负样例比例在连续时间段内呈现持续上升趋势；

35、通过各所述评估智能体和所述仲裁智能体，对所述异常负样例组包含的各试题对样本进行相似性评估；

36、利用所述运营智能体，根据所述异常负样例组包含的各试题对样本的评估结果，判别所述异常负样例组对应的负样例比例持续偏高或持续上升是否由所述推荐链路输出质量异常导致。

37、在一种可能的实现方式中，所述相似题推荐质量管控方法还包括：

38、当发现所述推荐链路输出质量异常时，利用诊断智能体，根据异常特征规划诊断路径，其中，所述诊断路径定义所述推荐链路中的待排查环节及各所述待排查环节的排查优先级；

39、基于全局唯一追踪标识，回溯与所述推荐质量异常相关的推荐请求在各推荐阶段的相关数据，按照所述诊断路径逐环节排查，以定位异常环节；其中，每个推荐请求对应有全局唯一的追踪标识，所述追踪标识用于关联所述推荐请求在各推荐阶段的相关数据；

40、基于定位出的异常环节生成根因假设，并对所述根因假设进行验证；

41、根据所述根因假设的验证结果生成根因报告，其中，所述根因报告包括问题现象描述、排查路径、根因结论、修复建议中的部分或全部。

42、在一种可能的实现方式中，所述相似题推荐质量管控方法还包括：

43、接收运维人员针对投诉工单的处理指令，调取所述投诉工单关联的原试题和被投诉推荐试题并展示；

44、响应于运维人员的替换试题搜索操作，从题库中检索候选替换试题；

45、获取各所述候选替换试题分别对应的相似性评估结果并向运维人员展示，其中，各所述候选替换试题分别对应的相似性评估结果基于各所述评估智能体和所述仲裁智能体获得；

46、响应于运维人员基于各所述候选替换试题分别对应的相似性评估结果选定目标替换试题的操作，建立所述投诉工单关联的原试题与所述目标替换试题的绑定记录并缓存；

47、在后续接收到针对所述投诉工单关联的原试题的推荐请求时，直接将所述绑定记录中的目标替换试题作为推荐结果输出。

48、在一种可能的实现方式中，所述相似题推荐质量管控方法还包括：

49、当缓存所述绑定记录时，针对所述绑定记录设置有效期；

50、所述在后续接收到针对所述投诉工单关联的原试题的推荐请求时，直接将所述绑定记录中的目标替换试题作为推荐结果输出，包括：

51、在后续接收到针对所述投诉工单关联的原试题的推荐请求时，优先查询缓存内是否存在未过期的绑定记录，若存在未过期的绑定记录，则直接将未过期的绑定记录中的目标替换试题作为推荐结果输出。

52、本技术第二方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

53、所述存储器用于存储计算机程序；

54、所述处理器用于执行所述计算机程序，以使所述电子设备实现上述任一种相似题推荐质量管控方法。

55、本技术第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使电子设备执行上述任一种相似题推荐质量管控方法。

56、本技术第四方面提供一种相似题推荐质量管控系统，包括：多个智能体；

57、所述相似题推荐质量管控系统基于所述多个智能体实现上述任一种相似题推荐质量管控方法。

58、借上述技术方案，本发明提供的相似题推荐质量管控方法，通过至少两个搭载不同大语言模型的评估智能体对试题对样本独立开展相似性评估，依托不同大语言模型差异化的语义理解与试题判别能力弥补单一模型认知偏差，在替代传统人工逐条标注、降低人力成本、实现全量样本自动化批量质检以提升标注效率的同时，能够提高相似性判别的准确性、客观性与稳定性，本发明针对评估结论一致、存在分歧两类场景设置差异化处理逻辑，无分歧样本直接采信统一结论以节约算力开销，仅对分歧样本启动仲裁流程，实现算力资源合理分配，兼顾处理精度与效率，针对分歧样本，仲裁智能体依托各评估智能体输出的判别理由提取分歧点并针对分歧点完成相似性裁决，区别于整体重复判别，裁决逻辑聚焦、依据可追溯，从而能够提升分歧样本标注结果的可信度与一致性，另外，携带相似性标注结果的试题对样本可应用于推荐链路中推荐模型的调优，以从源头改善模型匹配精度、减少低相似度误推荐输出，整体构建出一套自动化、高精度、可闭环迭代的相似题推荐质量管控体系。