结构化约束与证据锚定的阅读试题生成方法、设备及介质
本发明涉及阅读试题文本处理与生成,具体涉及一种结构化约束与证据锚定的阅读试题生成方法、设备及介质。
背景技术:
1、阅读理解试题自动生成要求系统在给定阅读材料的基础上,形成题干、选项或评分点、参考答案和解析,并使各输出字段与材料中的可定位信息保持一致。对于需要同时考查多个目标维度的任务,仅生成语义通顺的文本不足以满足要求,还需对控制条件、证据依据、结果结构和验证状态进行机器化表达。
2、现有方法通常将阅读材料与自然语言指令直接输入生成模型,由模型一次性输出题目和答案。该方式的主要缺陷在于:控制条件以非结构化自然语言形式存在,缺少统一的字段定义、资源标识和版本信息,难以被程序稳定检索、组合和复用;材料证据与试题字段之间缺少可计算关联,导致答案和解析的材料依据无法自动核验;中间处理过程不可见,当生成结果出现错误时,只能整体重新生成,无法定位错误来源并进行定向修订;修订过程缺少轮次上限,容易形成无界循环;试题评价将表述质量与目标维度命中情况混合计算,无法区分不同类型的问题;生成过程缺少资源版本、处理轮次和中间状态的记录,导致结果难以复核、异常难以定位。
3、传统人工阅读试题处理通常包括命题蓝图规划、试题命制、试题审核、重复性检查、考试实施、阅卷评分及考后分析评价;试题审核发现问题时,命题人员需要依据审核意见重新命制或者修改试题。该流程中的审核意见、修改范围及修改前后内容通常依赖人工文档传递,难以直接形成可由计算机读取的关联字段、回入路径和修订轮次记录。
技术实现思路
1、有鉴于此,本发明提供一种结构化约束与证据锚定的阅读试题生成方法、设备及介质,以解决现有阅读理解试题生成方法中存在的控制条件缺乏机器可读的统一结构、证据依据难追溯、错误定位困难、修订无边界以及生成过程缺少可追溯的中间状态记录的问题。
2、为达到上述目的,本发明创造的技术方案是这样实现的:
3、一种结构化约束与证据锚定的阅读试题生成方法,包括:
4、s1:获取输入阅读材料和任务请求,对输入阅读材料进行规范化处理并建立材料位置索引,生成材料记录和任务记录;
5、s2:从任务记录中获取目标维度标识集合及资源版本信息,依据目标维度标识和资源版本信息从维度控制资源库中读取对应的结构化控制资源;
6、s3:从结构化控制资源中提取预设字段,依据其类型和组合要求调用预设组装规则,将处理后的字段写入结构化的控制包;
7、s4:根据材料记录、目标维度标识集合和结构化的控制包,从输入阅读材料中抽取证据片段并生成证据锚点标识,记录位置区间形成证据锚点集合;
8、s5:将材料记录、结构化的控制包和证据锚点集合输入自然语言生成模型,通过结构化的控制包约束生成过程,得到结构化试题记录;
9、s6:对结构化试题记录执行确定性结构校验和语义一致性校验,并对未通过的校验项生成对应的违规代码;
10、s7:当未通过全部校验时,判断当前修订轮次是否小于最大修订轮次上限;若小于,则依据违规代码中的回入路径确定返回步骤,将修订轮次加一后,仅对返回步骤中与违规代码关联字段对应的内容进行重新生成,并冻结未关联字段;若当前修订轮次已达到或超过最大修订轮次上限,则停止自动修订,记录拒绝状态及违规代码,并结束当前任务;
11、s8:当通过全部校验后,分别执行一般试题质量评价和目标维度命中评价;
12、s9:将最终的结构化试题记录、验证记录、一般试题质量评价记录、目标维度命中评价记录及审计日志作为生成结果进行输出。
13、进一步地,规范化处理包括对输入阅读材料进行字符编码统一、空白符号整理及段落结构划分;
14、目标维度标识为用户指定的考查能力层级的唯一检索键,用于从维度控制资源库中检索对应的维度定义及设计约束;
15、维度控制资源库中的每条结构化控制资源至少包括:维度标识、维度名称、适用题型、设计约束、证据要求、禁止条件及评分规则;
16、结构化的控制包至少包括:控制包标识、目标维度标识集合、试题设计约束、证据选择规则、禁止条件、结果验收规则、结构化输出模式及资源版本信息;
17、结构化的控制包通过试题设计约束、证据选择规则和禁止条件对生成过程施加约束;
18、违规代码包含代码标识、问题类别、触发条件、关联字段和回入路径;
19、结构化试题记录包含题干、选项、答案、解析、评分点、证据锚点标识、目标维度标识及处理状态,且答案、评分点或解析内容至少关联一个证据锚点标识;
20、审计日志至少记录任务标识、材料标识、处理阶段、修订轮次、资源版本、处理状态和违规代码;
21、验证记录至少包括校验结果、违规代码及校验状态;
22、一般试题质量评价用于评价表述质量与答案合理性,目标维度命中评价用于评价试题对目标维度集合的覆盖情况。
23、进一步地,s3中,当存在多个目标维度时,对各目标维度对应的结构化控制资源依次执行字段去重、兼容性检查、冲突消解和输出模式固化,以组装形成结构化的控制包;结构化的控制包的预设组装规则表示为:
24、;
25、其中,表示当前任务的结构化的控制包;
26、表示教学知识视角下第个试题生成单元的目标维度集合;
27、表示资源层级;
28、表示资源读取映射;
29、表示确定性组装,所述确定性组装依次包含所述字段去重、兼容性检查、冲突消解和输出模式固化;
30、表示对任一目标维度标识,依据资源层级读取相应结构化控制资源。
31、进一步地,证据锚点记录还包括关联维度及支持关系类型;支持关系类型用于表明该证据锚点用于支持题干、参考答案、答案解析或评分点中的至少一项。
32、进一步地,确定性结构校验至少包括:必填字段校验、字段类型校验、选项数量校验、答案归属校验及证据位置区间越界校验;
33、语义一致性校验至少包括:题干与答案一致性、答案与解析一致性、目标维度约束有效性、证据锚点与答案及解析的语义对齐,以及字段证据覆盖率校验;字段证据覆盖率计算为:
34、;
35、其中,表示需要证据支持的字段集合,为指示函数;
36、表示字段绑定的证据锚点集合,表示支持状态;
37、判定条件为;
38、其中,表示需要证据支持的字段集合中的任一待校验字段。
39、进一步地,s7中,重新生成采用有界修订的方式进行,有界修订包括:
40、当违规代码表示证据错误时,返回s4重新抽取;
41、当表示维度错误时,返回s5重新生成;
42、当表示结构或答案错误时,返回s5进行定向修订;
43、定向修订以违规代码中的关联字段为最小修改单元,并冻结未关联字段;
44、返回s4时仅更新违规锚点及引用关系,返回s5时仅更新违规字段,不重新执行s1和s2;
45、有界修订的终止条件由当前轮次、校验结果和最大轮次决定,表示为:
46、;
47、其中,等于1时终止自动处理。
48、进一步地,一般试题质量评价用于评价可作答性、答案唯一性、表述清晰度、解析完整性、评分可操作性或难度适配性中的至少一项;一般试题质量评价得分按下式计算:
49、;
50、其中,为第个试题的一般质量评价得分,为适用于当前题型的质量维度集合,为维度权重,为第个试题在质量维度上的聚合得分;
51、权重由预设评价配置读取,默认采用等权配置,即;
52、一般试题质量评价的每个评价模块输出1至5级评价并映射为20至100分,多个模块的聚合得分依据模块权重归一化或等权计算。
53、进一步地,目标维度命中评价包括:获取预测维度集合并与目标维度标识集合进行比较,分别计算精确率、召回率和调和平均值,计算公式为:
54、
55、其中,为教学知识视角;
56、为正确命中的目标维度数量;
57、为被预测但不属于目标集合的维度数量;
58、为目标集合中未被实现的维度数量;
59、评价记录同时保存的原始计数和、、三个指标;
60、预测维度集合由维度判定模块对候选维度进行二元判定,并在多个模块时按严格多数规则聚合获得;
61、严格多数规则为:当多个维度判定模块进行判定时,若判定某个维度命中的模块数量超过所有模块数量的半数,则将该维度写入预测维度集合;
62、一般试题质量评价记录与目标维度命中评价记录分开存储。
63、一种电子设备,包括:
64、至少一个处理器;以及
65、与至少一个处理器通信连接的存储器;
66、其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行结构化约束与证据锚定的阅读试题生成方法。
67、一种计算机可读存储的介质,存储有计算机程序,计算机程序被处理器执行时实现结构化约束与证据锚定的阅读试题生成方法。
68、与现有技术相比,本发明创造能够取得如下有益效果:
69、第一方面,通过构建结构化维度控制资源和任务级控制包,将教学评价规范转换为机器可读的确定性控制信号,解决了控制条件缺乏统一机器可读结构的问题;
70、通过建立带位置索引的证据锚点并将其标识绑定至题干、答案、解析和评分点,实现了试题字段与原文位置的程序级映射,解决了证据依据难以由计算机自动核验的问题;通过违规代码驱动的定向回入路径和最大修订轮次,解决了错误定位困难和修订过程缺乏执行边界的问题;通过审计日志记录任务标识、资源版本、处理轮次及违规代码,解决了生成过程缺乏可定位记录的问题;
71、第二方面,控制资源能够由程序按标识检索、组合和复用,并可通过资源版本追溯生成结果所依据的控制条件,确保了不同生成任务之间控制信号在程序层面的一致性;证据锚点与试题字段之间的可计算关联使计算机能够在执行校验阶段自动核验答案和解析的材料依据,降低了对人工核验的依赖;
72、第三方面,通过设置结构化数据模式在各处理单元之间传递数据,保证了材料记录、控制包、证据锚点、试题记录、验证记录等中间结果均以固定字段和数据类型保存,降低了跨模块数据解析造成的字段缺失或对象混淆风险,便于中间结果的程序化存取和复用,提高后续计算单元的数据读取效率;
73、第四方面,通过违规代码将错误分类后定向返回对应的处理阶段进行修订,将修改范围限定于局部关联字段,避免了因局部错误而重新执行全部流程;最大修订轮次作为终止上限避免了无界循环导致的处理时延和结果漂移,使生成校验流程具有明确的执行边界;
74、第五方面,通过分别执行一般质量评价和目标维度命中评价并分开保存评价结果,能够在程序层面区分“质量好但未命中目标”和“命中目标但质量差”两类不同情况,便于在计算机程序内部定位缺陷类型并触发匹配的处理分支。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com