基于大语言模型的云平台建模文档校验纠错方法及系统与流程
本发明涉及文档智能处理,特别涉及基于大语言模型的云平台建模文档校验纠错方法及系统。
背景技术:
1、随着生物信息技术与生信云平台的高速发展,各类新型分析流程需持续完成开发、迭代与上线工作。云分析系统的研发工作需生物信息部门与云平台开发部门协同配合:由生物信息部门依据既定规范,在建模文档内完成分析章节、输入输出文件、配置参数、可视化展示信息等内容的填报;云平台开发部门再依托该建模文档完成自动化建模及后续系统开发工作。建模文档作为跨部门协作核心交付物,同时也是自动化建模工具的标准输入载体,文档质量将直接决定云分析系统建模结果是否准确、生成的模型文件是否匹配开发框架规范,以及整体分析流程能否按期上线交付。
2、本技术所述建模文档为excel表格,或是能够转换为excel格式的在线文档,文档内置固定的章节总览工作表、分析章节总览工作表,以及若干独立的分析章节工作表。其中,分析章节总览工作表用于统一登记各分析章节的名称、唯一标识、结果文件存储路径、关联分析章节工作表表名等基础信息;各分析章节工作表则承载绘图配置、结果表格、附件信息、输入文件、分析参数、绘图参数等多模块内容的填报。此类建模文档区别于常规自然语言公文与科技文献,文档内的异常问题不仅出现在单元格字段取值层面,还广泛存在于工作表整体集合、工作表命名、章节引用关联、上下游字段映射关系等结构化层面。
3、目前,现有技术在针对该类生信建模文档的校验、纠错处理中,存在多方面缺陷,具体如下:
4、(1)建模文档存在表骨架错误问题。实际填写中,分析章节工作表可能缺失、表名与分析章节总览登记名称不一致,或者遗留了多余工作表。普通文档纠错技术通常默认文档结构已经存在并仅处理文本内容,难以先对工作表集合本身进行校验和修复。
5、(2)建模文档存在跨单元格、跨模块的耦合错误。例如某一行要求col1填写中文、col2填写英文且不得改变原始值,当填写人将两列填反时,如果仅按单个问题分别修正,容易将col1内容翻译为中文、将col2内容翻译为英文,反而违反不得修改值的约束;正确处理应当是识别该行两个单元格之间的交换关系。
6、(3)建模文档中不同字段的修改风险不同。文件名、参数变量名、父章节引用、数据类型等字段会影响后续自动建模,属于不可随意改写的高风险字段;表格展示名称、图片展示名称、附件展示名称等字段主要影响用户可读性,属于低风险字段。现有通用纠错方法通常按错误类型分流,难以按字段可变性进行不同纠正协议的派发。
7、(4)传统基于符号主义的规则系统只能覆盖可枚举的格式、类型、缺失和取值范围错误,难以覆盖人工填写导致的不可预测语义错误、字段错位、章节引用歧义和展示名称中的拼写错误。若将全部规范一次性输入大语言模型,又会导致上下文过长、token开销高、注意力分散和漏检。
8、(5)现有大语言模型文档校验方案通常输出修改建议或批注,缺乏与生信云平台内部自动建模工具的端到端衔接,不能将修复后的建模文档进一步转换为分析流程开发框架可直接识别的分析流程模型文件。
9、因此,如何提供基于大语言模型的云平台建模文档校验纠错方法及系统,是目前亟待解决的问题。
技术实现思路
1、本发明实施例提供了基于大语言模型的云平台建模文档校验纠错方法及系统,以解决现有技术中的上述技术的问题。
2、根据本发明实施例的第一方面,提供了基于大语言模型的云平台建模文档校验纠错方法。
3、在一个实施例中,所述基于大语言模型的云平台建模文档校验纠错方法,包括:
4、获取待处理的建模文档,将待处理的建模文档转换为本地表格文件;
5、读取本地表格文件中分析章节总览登记的分析章节名称及顺序,并扫描本地表格文件的各工作表;
6、利用大语言模型判断各工作表中的异常工作表,输出结构化表骨架修复计划并对工作表进行修复操作,得到修复后的工作表集合;
7、按照分析章节名称及顺序,遍历修复后的工作表集合,依次加载各工作表对应的技能机制,并进行可枚举问题检测,生成问题清单;
8、按照技能机制中的风险标记将问题清单划分为阻断级问题清单和提示级字段集合;
9、对阻断级问题清单进行双智能体辩论与边界检查的迭代修正,并对提示级字段集合进行语义扫描并修改,生成修复后的建模文档;
10、基于修复后的建模文档,利用自动建模工具进行字段解析和模型文件生成,输出模型文件,以完成建模文档的校验纠错。
11、根据本发明实施例的第二方面,提供了基于大语言模型的云平台建模文档校验纠错系统。
12、在一个实施例中,所述基于大语言模型的云平台建模文档校验纠错系统,包括:
13、运行时编排层,用于获取待处理的建模文档,将待处理的建模文档转换为本地表格文件;读取本地表格文件中分析章节总览登记的分析章节名称及顺序,并扫描本地表格文件的各工作表;
14、确定性执行与规则层,用于利用大语言模型判断各工作表中的异常工作表,输出结构化表骨架修复计划并对工作表进行修复操作,得到修复后的工作表集合;按照分析章节名称及顺序,遍历修复后的工作表集合,依次加载各工作表对应的技能机制,并进行可枚举问题检测,生成问题清单;按照技能机制中的风险标记将问题清单划分为阻断级问题清单和提示级字段集合;
15、大语言模型智能体层,用于对阻断级问题清单进行双智能体辩论与边界检查的迭代修正,并对提示级字段集合进行语义扫描并修改,生成修复后的建模文档;
16、状态、日志与输出层,用于基于修复后的建模文档,利用自动建模工具进行字段解析和模型文件生成,输出模型文件,以完成建模文档的校验纠错。
17、本发明实施例提供的技术方案可以包括以下有益效果:
18、(1)本发明将分析章节总览与实际工作表集合的比对,先发现并修复缺失工作表、表名错误和多余工作表,使后续字段校验建立在正确的建模文档容器结构之上。
19、(2)本发明通过渐进式skill技能机制加载降低token开销并提升准确性。不同模块的规范、风险标记和校验流程被封装为独立skill,处理到对应模块时才加载,处理完释放上下文,避免一次性输入全部规范导致模型注意力分散和成本过高。
20、(3)本发明的高风险字段会影响自动建模,采用agent1候选修复、agent2交互域复核、辩论收敛后回写的协议;低风险字段主要影响展示可读性,采用agent3全量语义扫描、由runtime调用工具调用模块执行修改的协议。该风险分级策略不同于按错误类型分流的普通文档纠错方式。
21、(4)本发明的agent2基于交互域、分析章节总览、父章节信息和兄弟模块相关字段对agent1候选修正进行证伪式审核,能够发现单issue局部修复中的交换关系、引用冲突和违反不可改写约束的问题。未收敛的问题不会被盲目回写,而是转入人工问题清单。
22、(5)本发明的所有内容字段修改先进入session暂存区,只有在双智能体收敛后才由runtime调用工具调用模块落盘回写,避免模型调用直接改写原始文件造成不可追溯的误修改。
23、(6)本发明的agent3在高风险修复完成后读取当前模块全部低风险字段,对展示名称、标签和说明文字进行语义扫描生成建议修改值和修改依据后由runtime调用工具调用模块执行修改。
24、(7)本发明记录每次修复的定位、原值、新值、风险等级、skill条款、智能体意见和执行状态,便于人工复核、审计和后续问题定位。
25、(8)本发明能够对接企业微信文档、内部excel工具和自研自动建模工具,将修复后的建模文档进一步转换为分析流程开发框架可识别的模型文件,直接服务后续分析流程开发。
26、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com