面向数字人文代码生成的技能文件全生命周期管理方法
本发明属于智能代码生成,具体涉及一种面向数字人文代码生成的技能文件全生命周期管理方法。
背景技术:
1、数字人文研究需要借助计算方法,将历史文献、方志、档案、书信等多源异构材料组织为可分析、可解释、可追溯的知识结构,并通过分析脚本、统计模型等手段生成研究结论。与一般代码生成任务不同,数字人文分析代码生成不仅要求代码可运行,更要求结论具有证据支撑、方法符合研究范式、且能够在多轮任务中沉淀有效技能。
2、现有技术在处理数字人文分析代码生成时,通常采用“任务输入—检索上下文—生成代码—执行代码—根据执行结果修正代码”的闭环流程。部分系统还引入了记忆与反思机制,在代码执行成功后,将本轮结果或以自然语言摘要形式存入记忆缓存,供后续任务调用。
3、然而,现有技术在实际应用中至少存在以下问题:
4、现有系统将代码运行成功作为保留和复用经验的主要判断依据。当分析代码执行成功时,系统倾向于直接保留本轮生成规则和输出结果,或将自然语言反思摘要写入技能库。但在数字人文研究场景下,代码运行成功并不意味着研究结论可信——工程上可运行的代码可能采用了不适合当前任务的研究方法(例如对版本流变问题使用了主题聚类而非版本差异分析),其输出结论可能缺乏充分的史料证据支撑,甚至所引用的证据之间存在内在矛盾。如果系统仅以执行成功作为技能保留的门控条件,这些低质量、方法错配或证据不足的生成经验将被持续固化到技能文件中,导致后续任务在调用该技能文件时放大错误,造成技能文件的系统性污染。
5、因此,亟需一种能够从多个真实性维度联合控制技能文件更新的技术方案,以避免单一工程维度的判断导致错误经验在技能文件中的持续积累和传播。
技术实现思路
1、鉴于现有技术中的上述缺陷或不足,提供一种面向数字人文代码生成的技能文件全生命周期管理方法,由处理器执行存储器中存储的程序指令实现,包括以下步骤:
2、获取数字人文研究任务及对应的候选语料集合;
3、根据所述研究任务的特征,从技能文件库中调用匹配的技能文件,或生成新的技能文件;所述技能文件为结构化数据文件,其包含用于约束代码生成的任务规则、方法约束和代码模板;
4、基于所述研究任务和所述技能文件生成分析代码,并执行所述分析代码,以获得包含分析结果和执行日志的反馈数据;
5、由计算机执行以下数据处理过程,以生成用于控制所述技能文件更新的评估数据:
6、根据所述分析结果与所述候选语料集合中证据的匹配情况,生成证据匹配验证结果数据;
7、根据所述执行日志中记录的实际分析方法与所述技能文件中方法约束的相符情况,生成方法适配验证结果数据;
8、根据所述执行日志中记录的执行成功状态与测试结果,生成代码执行验证结果数据;
9、若所述证据匹配验证结果数据、方法适配验证结果数据和代码执行验证结果数据均达到各自的预设门限值,则允许根据所述反馈数据对所述技能文件进行更新;否则,则禁止更新。
10、根据本技术提供的技术方案,所述生成证据匹配验证结果数据,包括以下步骤:
11、将所述分析结果解析为带有所采用方法和溯源信息的结构化结论对象;
12、从所述候选语料集合中,检索与所述结构化结论对象匹配的候选证据;
13、对每条候选证据,依据其与所述结构化结论对象在对象、时间和空间维度上的一致性,判定其支持方向,所述支持方向包括支持或反向;
14、根据被判定为支持方向的所有证据的权重,生成证据支撑度数据;
15、根据所述结构化结论对象所引用证据的来源类型,查询预设的来源分级表,生成来源可信度数据;
16、根据所述结构化结论对象中具备可验证溯源结构的比例,生成结论可追溯度数据;
17、基于所述证据支撑度数据、来源可信度数据和结论可追溯度数据,生成所述证据匹配验证结果数据。
18、根据本技术提供的技术方案,所述生成方法适配验证结果数据,包括以下步骤:
19、确定所述研究任务的任务类别以及所述分析代码实际调用的分析方法;
20、查询预设的任务类别与允许分析方法集合的映射关系表,判断实际调用的分析方法是否存在于当前任务类别对应的允许分析方法集合中,并据此生成任务匹配度数据;
21、检查实际调用的分析方法是否满足所述技能文件中记载的预设方法实施规则,并据此生成规则符合度数据;
22、基于所述任务匹配度数据和规则符合度数据,生成所述方法适配验证结果数据。
23、根据本技术提供的技术方案,所述生成代码执行验证结果数据,包括以下步骤:
24、根据所述执行日志中的代码运行状态,判定执行成功或失败,生成执行成功度数据;
25、根据所述技能文件中预设的测试规则集,校验所述分析结果是否符合预期字段输出要求,并将通过的规则比例作为测试通过率数据;
26、检查所述分析代码所依赖的外部库或接口是否有效,生成依赖有效性数据;
27、根据在相同条件下多次运行所述分析代码的输出一致性,生成运行稳定性数据;
28、基于所述执行成功度数据、测试通过率数据、依赖有效性数据和运行稳定性数据,生成所述代码执行验证结果数据。
29、根据本技术提供的技术方案,所述生成证据支撑度数据,包括以下步骤:
30、获取被判定为支持方向的所有证据,形成支持证据集合;
31、对所述支持证据集合中的证据进行两两比对,判断是否存在证据间矛盾对;所述证据间矛盾对的定义为:两条证据在所述结构化结论对象所涉同一属性维度上,其记载值之间的差异超过预设容差阈值;所述属性维度包括时间属性、空间属性、数量属性、人物属性和事件类型属性;
32、若存在所述证据间矛盾对,则生成矛盾标记信号,所述矛盾标记信号用于在后续门控判定中触发对所述证据支撑度数据的下调或否决。
33、根据本技术提供的技术方案,所述矛盾标记信号在后续门控判定中触发对所述证据支撑度数据的下调或否决,包括以下步骤:
34、当存在所述证据间矛盾对时,从各矛盾对中提取矛盾属性维度和矛盾双方证据的来源类型,生成矛盾结构描述对象;
35、将所述矛盾结构描述对象与当前研究任务的任务类别进行比对,判断矛盾是否落入与所述任务类别相关联的矛盾即发现规则的触发范围;
36、若是,则将所述矛盾结构描述对象作为本轮分析的新增发现项,附加到所述反馈数据中,并在允许更新时将所述新增发现项写入所述技能文件的分析日志字段;
37、若否,则按预设下调规则降低所述证据支撑度数据。
38、根据本技术提供的技术方案,所述判断矛盾是否落入与所述任务类别相关联的矛盾即发现规则的触发范围,包括以下步骤:
39、读取当前研究任务的任务类别;
40、查询预设的任务类别-转化属性映射表,获得与当前任务类别对应的转化属性维度列表;所述任务类别-转化属性映射表为数据结构,其中每个任务类别关联至少一个属性维度,表示当矛盾发生在这些属性维度上时,所述矛盾应被转化为发现而非扣分项;
41、从所述矛盾结构描述对象中读取矛盾属性维度;
42、若所述矛盾属性维度存在于所述转化属性维度列表中,则判定所述矛盾落入触发范围;否则,判定未落入。
43、根据本技术提供的技术方案,所述任务类别-转化属性映射表通过以下步骤构建:
44、获取历史上所有已成功更新技能文件的任务记录,形成历史成功任务集合;每条任务记录包含任务类别、执行时的证据间矛盾对记录、以及所述任务最终是否触发新增发现项;
45、对于每个任务类别,统计该类别下所有历史成功任务中出现过的证据间矛盾对的属性维度分布;
46、对每个属性维度,计算其转化置信度,所述转化置信度为:在该任务类别下,当证据间矛盾对涉及该属性维度时,矛盾最终被转化为新增发现项的任务数量,与矛盾最终按预设下调规则被扣分的任务数量的比值;
47、将转化置信度超过预设转化阈值的属性维度,写入该任务类别对应的转化属性维度列表。
48、根据本技术提供的技术方案,当所述证据匹配验证结果数据、方法适配验证结果数据或代码执行验证结果数据中的任一项未达到其预设门限值时,执行以下步骤:
49、保留当前使用的技能文件不变,禁止将本轮反馈数据写入该技能文件;
50、根据未达标的验证结果数据类型,确定失败类型;
51、当失败类型为方法适配验证结果数据未达标时,从所述技能文件中记载的方法约束中选取替代分析方法,或从技能文件库中检索与当前任务的任务类别匹配且历史方法适配验证结果数据达标的替代技能文件,基于所述替代分析方法或替代技能文件重新生成分析代码并执行。
52、根据本技术提供的技术方案,所述根据未达标的验证结果数据类型,确定失败类型之后,还包括以下步骤:
53、当失败类型为证据匹配验证结果数据未达标时,在所述候选语料集合中补充检索证据,或提高结构化结论对象的溯源要求后重新生成分析代码并执行;
54、当失败类型为代码执行验证结果数据未达标时,根据所述依赖有效性数据或所述测试通过率数据,修复依赖环境或补充测试规则后重新生成分析代码并执行。
55、与现有技术相比,本技术的有益效果在于:
56、一、阻止错误经验写入技能文件,提升技能沉淀质量。以skill.md作为统一的技能中间工件,在代码执行完成后,不仅检查代码是否运行成功,而是从证据匹配验证、方法适配验证和代码执行验证三个维度分别生成评估数据,并设置各自的门限值。只有当三个维度的评估数据均达到门限值时,才允许根据反馈数据更新技能文件;任一项未达标即禁止更新。这一多维联合门控机制从根本上改变了现有技术“代码跑通即保留”的单一判断逻辑,能够有效筛除工程上成功但学术上缺乏证据支撑、或方法选择不当、或代码质量不稳定的结果,显著降低错误规则和低质量反馈被写入技能文件的概率。
57、二、避免方法错配风险,保证研究范式的学术正确性。在方法适配验证中,通过预设的任务类别与允许分析方法集合的映射关系表,显式判断当前实际调用的分析方法是否适配当前任务类别(例如版本流变任务必须采用文本差异对比或校勘记解析,而非主题聚类),并检查分析方法是否满足skill.md中记载的预设方法实施规则。这一机制确保只有方法选择正确且实施合规的分析代码,其执行经验才能被固化到技能文件中,防止不适当的方法被长期复用。
58、三、提升结论的学术可追溯性和证据可靠性。在证据匹配验证中,从证据支撑度、来源可信度和结论可追溯度三个子维度综合评估分析结果的学术质量,而非仅统计引用文献数量。系统将分析结果解析为结构化结论对象,通过证据映射和溯源回查验证结论是否可追溯至具体史料片段,并依据来源类型的分级可信度评估引用质量。这确保了写入技能文件的结论具有明确的证据来源和可复核的追溯路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com