一种基于大语言模型的多智能体并行数据纠错方法及系统与流程

本发明涉及计算机数据处理与人工智能，尤其涉及一种基于大语言模型的多智能体并行数据纠错方法及系统。

背景技术：

1、检查数据处理系统通常需要接收来自不同检查科室、不同设备接口和不同历史版本的数据，并在报告生成或数据交换之前对字段完整性、数值与单位匹配性、跨项目逻辑一致性以及文本语义一致性进行质量复核。部分数据源同时保存用于快速浏览的筛选结果集和作为完整底账的全量结果集，两结果集具有相近的层级结构但记录范围不同。

2、现有数据复核方案多采用按数据格式硬编码的规则链，或者将不同复核任务串行送入单一模型处理。前一种方式通常需要针对筛选结果集和全量结果集分别维护遍历代码，难以在避免重复处理的同时保留数据来源；后一种方式将相互独立的复核任务置于同一执行路径，任一任务超时或输出异常均可能延长整体处理时间。

3、现有技术中，先将原始数据转换为统一表格，再依次调用若干校验程序或语言模型，并在流程末端汇总输出。统一表格转换容易丢失原始层级路径和两结果集之间的关联信息；串行调用又使处理时延随任务数量累积，而且自由文本输出需要为不同任务分别设计解析逻辑。

4、因此，现有技术至少存在以下两个相互关联的问题：其一，异构双结果集的统一处理机制难以同时满足全量覆盖、重复抑制和来源可追溯，导致漏检、重复告警或定位信息不足；其二，多个语义复核任务缺少具有结果隔离和故障降级能力的并行编排机制，导致整体时延受任务数量影响，且单一节点的输出异常容易向汇总流程扩散。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于大语言模型的多智能体并行数据纠错方法及系统，以在保留异构结果集来源和关联关系的条件下构建统一数据入口，并使多个纠错任务能够并行、隔离且可降级地执行，进而生成可供下游系统直接处理的结构化审计结果。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种基于大语言模型的多智能体并行数据纠错方法，包括：

4、获取含第一结果集和第二结果集的待纠错检查数据及数据源配置，所述第一结果集记录筛选结果项，所述第二结果集记录全量结果项；

5、遍历所述第一结果集和所述第二结果集，为所得数据项配置来源路径及项目标识，依据所述项目标识关联两结果集的数据项，并归一化形成只读统一数据视图；

6、依据纠错任务类别和所述数据源配置构建多个纠错智能体，从所述只读统一数据视图为每一纠错智能体提取专属只读子视图并生成智能体运行配置；

7、构建包含所述纠错智能体对应并行节点和汇总节点的有向无环工作流，执行所述并行节点调用大语言模型处理对应的所述专属只读子视图，并将结构化纠错结果隔离写入共享状态；

8、在所述并行节点终止后，对所述结构化纠错结果执行格式校验、状态判定和问题项合并，生成数据质量审计报告及下游处理路由标识。

9、进一步地，所述遍历所述第一结果集和所述第二结果集，为所得数据项配置来源路径及项目标识，依据所述项目标识关联两结果集的数据项，并归一化形成只读统一数据视图，包括：按照科室层级、子分组层级和项目层级递归遍历所述第一结果集；按照与所述第一结果集相同的层级顺序递归遍历所述第二结果集；为来自所述第二结果集的数据项在来源路径中加入全量来源标记；从每一数据项提取科室标识、子分组标识、项目索引和项目内容，形成统一数据项四元组；从所述项目内容中提取项目名称、项目编码和层级路径，利用所述项目名称、所述项目编码和所述层级路径中的至少两项生成所述项目标识；按照纠错任务对应的去重策略保留关联数据项中的单一数据项或同时保留具有不同来源路径的数据项，得到所述只读统一数据视图。

10、进一步地，利用所述项目名称、所述项目编码和所述层级路径中的至少两项生成所述项目标识，包括：对所述项目名称执行字符规范化处理，得到规范化项目名称；对所述项目编码执行空值检测，得到项目编码有效状态；将所述层级路径拆分为科室路径片段和子分组路径片段；在所述项目编码有效状态表示项目编码有效时，组合所述项目编码、所述规范化项目名称和所述子分组路径片段；在所述项目编码有效状态表示项目编码无效时，组合所述规范化项目名称、所述科室路径片段、所述子分组路径片段和所述项目索引；对组合结果执行确定性编码，得到所述项目标识，并将所述项目标识与所述来源路径共同写入对应的所述统一数据项四元组。

11、进一步地，所述依据纠错任务类别和所述数据源配置构建多个纠错智能体，从所述只读统一数据视图为每一纠错智能体提取专属只读子视图并生成智能体运行配置，包括：读取代码默认配置、外部规则配置和所述数据源配置；按照代码默认配置、外部规则配置、数据源配置依次升高的优先级，对启用字段和模型参数字段执行覆盖合并，其中，所述启用字段表示各所述纠错智能体是否启用，所述模型参数字段用于表示所述大语言模型的调用参数；对所述代码默认配置、所述外部规则配置和所述数据源配置中的文本规则字段执行顺序拼接；保留结构化规则中的触发条件、处理动作、处理原因和严重级别之间的字段关联；在任一配置解析失败时生成携带配置错误标记的降级运行配置；根据每一纠错智能体声明的视图类型，从所述只读统一数据视图投影与所述视图类型对应的数据字段，形成对应的所述专属只读子视图。

12、进一步地，所述构建包含所述纠错智能体对应并行节点和汇总节点的有向无环工作流，执行所述并行节点调用大语言模型处理对应的所述专属只读子视图，并将结构化纠错结果隔离写入共享状态，包括：建立上下文提取节点、多个所述并行节点和所述汇总节点；将所述上下文提取节点分别连接至多个所述并行节点，并将多个所述并行节点分别连接至所述汇总节点；为每一并行节点分配唯一的智能体名称空间和对应的所述专属只读子视图；按照预设最大并发数调度已满足前置依赖条件的所述并行节点；在每一并行节点中依据对应的所述智能体运行配置调用所述大语言模型并解析返回内容，得到所述结构化纠错结果；以所述智能体的名称空间为键，将所述结构化纠错结果的原子写入所述共享状态中对应的所述智能体的结果字段，并在多个所述并行节点均到达终止状态后释放所述汇总节点，所述终止状态包括已完成、已跳过、已禁用和失败。

13、进一步地，所述按照预设最大并发数调度已满足前置依赖条件的所述并行节点，包括：为每一并行节点建立待调度、运行中、已完成、已跳过、已禁用和失败的节点状态；依据阶段选择参数，从生成前节点集合、生成后节点集合或所述生成前节点集合与所述生成后节点集合的并集确定候选节点集合，其中，所述生成前节点集合为包含用于处理所述待纠错检查数据的并行节点的节点集合，所述生成后节点集合为包含用于处理所述待纠错检查数据经上游处理后的生成结果的并行节点的节点集合；从所述候选节点集合筛除被禁用节点和前置依赖未完成节点，形成就绪节点队列；从所述就绪节点队列中选取不超过所述预设最大并发数的并行节点提交执行；针对执行超时或调用失败的并行节点，依次执行指数退避重试、备用大语言模型切换和跳过状态降级；将每一并行节点的节点状态和错误标记写入对应的所述智能体结果字段，使单一并行节点的异常不改变其他并行节点的节点状态。

14、进一步地，所述在所述并行节点终止后，对所述结构化纠错结果执行格式校验、状态判定和问题项合并，生成数据质量审计报告及下游处理路由标识，包括：校验每一所述结构化纠错结果中的通过标志和问题列表；对所述问题列表中的每一问题项补齐问题位置、问题描述、严重级别、证据内容和处理建议中的缺失字段；将无法解析的返回内容映射为携带解析错误标记的已跳过状态；按照问题位置和问题描述形成的问题键对来自不同纠错智能体的问题项进行去重；统计不同严重级别的问题数量，并区分已完成、已跳过、已禁用和失败的节点状态；依据严重级别统计结果和节点状态生成所述数据质量审计报告，并输出放行、拦截或人工复核中的一个所述下游处理路由标识。

15、进一步地，所述方法还包括：接收领域操作人员提交的自定义纠错方向配置，所述自定义纠错方向配置包括智能体标识、提示指令、视图类型、启用状态和默认严重级别；校验所述智能体标识的唯一性以及所述视图类型的可用性；依据所述自定义纠错方向配置生成自定义纠错智能体及对应的自定义并行节点；将所述自定义并行节点连接于上下文提取节点与所述汇总节点之间；将所述自定义纠错方向配置持久化为遵循所述智能体运行配置合并规则的外部规则配置；在下一工作流版本中启用所述自定义并行节点，并将所述自定义纠错智能体的结构化纠错结果纳入所述数据质量审计报告。

16、进一步地，所述方法还包括：依据数据项数量和大语言模型上下文容量，将所述专属只读子视图划分为多个数据分块；分别调用所述大语言模型处理多个所述数据分块，将多个分块结果中的通过标志执行逻辑与运算并合并问题列表；对数据项内容、所述智能体运行配置和规则版本执行联合编码，生成审计指纹；将所述审计指纹与对应的结构化纠错结果关联存储于结果缓存；在后续调用中将当前审计指纹与所述结果缓存中的历史审计指纹进行匹配，复用匹配数据项对应的结构化纠错结果；将未匹配数据项构成增量只读子视图，仅针对所述增量只读子视图执行大语言模型调用。

17、一种基于大语言模型的多智能体并行数据纠错系统，包括：数据获取模块，用于获取含第一结果集和第二结果集的待纠错检查数据及数据源配置，所述第一结果集记录筛选结果项，所述第二结果集记录全量结果项；统一视图构建模块，用于遍历所述第一结果集和所述第二结果集，为所得数据项配置来源路径及项目标识，依据所述项目标识关联两结果集的数据项，并归一化形成只读统一数据视图；智能体构建模块，用于依据纠错任务类别和所述数据源配置构建多个纠错智能体，从所述只读统一数据视图为每一纠错智能体提取专属只读子视图并生成智能体运行配置；并行纠错模块，用于构建包含所述纠错智能体对应并行节点和汇总节点的有向无环工作流，执行所述并行节点调用大语言模型处理对应的所述专属只读子视图，并将结构化纠错结果隔离写入共享状态；报告生成模块，用于在所述并行节点终止后，对所述结构化纠错结果执行格式校验、状态判定和问题项合并，生成数据质量审计报告及下游处理路由标识。

18、本发明的有益效果在于：由于在保留来源路径和项目标识的条件下将筛选结果项与全量结果项构造成可按任务选择去重策略的只读统一数据视图，使得全量覆盖、重复抑制和问题来源定位能够在同一数据入口中实现；由于有向无环工作流通过智能体名称空间隔离并行节点的写入字段，并以明确的终止状态和降级路径控制汇总释放，使得多个纠错任务可以并行执行，单一节点的超时、禁用或解析失败不会改变其他节点状态；结构化纠错结果经统一校验和问题项合并后直接形成下游处理路由标识，减少了不同任务输出的二次适配。