基于大语言模型的自愈式数据治理智能体控制系统的制作方法

本发明涉及语义检索，具体涉及基于大语言模型的自愈式数据治理智能体控制系统。

背景技术：

1、数据质量检核作为数据治理体系中的关键环节，通过预设质量阈值对数据表的字段级指标进行自动化检测，能够在数据异常发生时触发告警机制。然而，现有数据治理系统在异常发现与异常修复之间存在着显著的自动化断点。

2、传统数据治理系统中，当数据质量检核发现数据异常时能够自动生成告警，但异常发现到异常修复之间的根因推理环节依赖人工介入，人工需要手动查阅元数据血缘关系图追溯上游节点、检索相关变更记录、分析异常原因、制定修复方案，因此人工排查过程耗时漫长且依赖个人经验，导致数据治理无法形成从异常感知、根因定位、修复执行到修复验证的全自动闭环控制，严重影响数据治理的时效性和规模化落地能力。

3、因此需要一种能够融合异常发现与异常修复环节，进行自愈式数据治理的智能体控制系统。

技术实现思路

1、本发明提供了基于大语言模型的自愈式数据治理智能体控制系统，解决了现有技术中由于依赖人工排查，导致数据治理周期耗时过长的技术问题。

2、本发明提供了基于大语言模型的自愈式数据治理智能体控制系统，所述系统包括：

3、异常检测与上报模块，用于当数据质量检核发现数据异常时，生成包含异常对象标识、异常类型和异常表征数值的结构化异常事件；

4、根因推理上下文构建模块，用于以所述异常对象标识为起点沿血缘关系图向上游检索各层级上游节点信息，检索所述异常对象及相关上游节点在预设时间窗口内的变更记录，并将所述结构化异常事件、所述各层级上游节点信息和所述变更记录组装为根因推理上下文；

5、根因推理模块，用于将所述根因推理上下文输入大语言模型，输出得到异常根因定位结果；

6、修复方案生成与派遣模块，用于将所述异常根因定位结果输入所述大语言模型，生成修复方案，并基于所述修复方案执行修复操作；

7、修复验证与闭环模块，用于在修复操作完成后对所述异常对象重新执行质量检核，当检核未通过时，重新触发所述异常检测与上报模块进入下一轮自愈循环。

8、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

9、本发明提供了基于大语言模型的自愈式数据治理智能体控制系统，首先，通过异常检测与上报模块将原始的检核结果转化为结构化异常事件，为后续环节提供了统一的处理基础；其次，通过根因推理上下文构建模块的血缘关系图追溯和变更记录检索，提取异常对象标识，缩短信息采集时间；再次，根因推理模块利用大语言模型的语义理解能力进行根因推理，通过推理置信度评分量化推理效果，避免人工研判的主观性和不确定性；进一步地，修复方案生成与派遣模块将异常根因定位结果输入大语言模型生成修复方案并基于修复方案执行修复操作，消除人工修复方案的时间延迟；最终，修复验证与闭环模块通过重新检核和循环触发机制，确保了修复效果的可靠性并在修复失败时提供自动重试能力。

10、综上所述，实现了数据治理从异常感知到异常消除的闭环控制，降低人工干预频次，缩短数据异常从发现到修复的周期。

1.基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述系统包括：

2.根据权利要求1所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述异常检测与上报模块，具体用于：

3.根据权利要求2所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，对检核范围内的每一张数据表的每一个被检核字段，分别计算所述被检核字段在当前检核周期内的空值率、重复率、值域合规率和格式合规率，包括：

4.根据权利要求1所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述根因推理上下文构建模块，具体用于：

5.根据权利要求4所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，在元数据血缘关系图中，以所述异常对象标识为起点，沿数据流向的反方向逐级检索直接上游节点，直至检索至数据源表节点或检索层级数达到所述预设检索层级上限，将检索过程中提取到的全部上游节点的节点标识和节点类型组成各层级上游节点信息，包括：

6.根据权利要求4所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，对检索到的上游节点进行影响力筛选，过滤低相关上游节点，得到筛选后的各层级上游节点信息和筛选后的变更记录序列，包括：

7.根据权利要求1所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述根因推理模块，具体用于：

8.根据权利要求7所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，文本嵌入模型的预训练过程包括：

9.根据权利要求1所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述修复方案生成与派遣模块，具体用于：

10.根据权利要求1所述的基于大语言模型的自愈式数据治理智能体控制系统，其特征在于，所述修复验证与闭环模块，具体用于：