一种基于大模型与多智能体的自适应数据治理方法及系统与流程

摘要: 本技术涉及数据治理,具体涉及一种基于大模型与多智能体的自适应数据治理方法及系统。背景技术:1、在企业和组织中,数据治理是确保数据资产质量、安全性和可用性的基础性...
一种基于大模型与多智能体的自适应数据治理方法及系统与流程

本技术涉及数据治理,具体涉及一种基于大模型与多智能体的自适应数据治理方法及系统。

背景技术:

1、在企业和组织中,数据治理是确保数据资产质量、安全性和可用性的基础性工作。传统数据治理依赖人工制定规则、人工标注分类分级、人工排查质量问题,效率低且难以应对海量多源异构数据的治理需求。近年来,虽然出现了基于大模型和基于多智能体的数据治理方案,但如第一章所述,现有方案存在语义理解与专业分工割裂、协作模式固定、知识库静态化或单维度化等问题。

2、近年来,人工智能技术被逐步引入数据治理领域,以提高治理的自动化和智能化水平。目前,基于人工智能的数据治理技术主要沿着以下两个方向发展:

3、方向一:基于大模型的数据治理。

4、该方向主要利用预训练大模型强大的语义理解和推理能力来执行治理任务。例如,中国发明专利授权cn121166662b公开了一种“基于大模型的自动化数据治理方法及系统”,该方案通过预训练大模型对待治理数据域进行跨域特征关联挖掘,生成数据实体的语义特征图谱和隐式关联链路;基于语义特征图谱进行质量维度评估,输出质量缺陷向量并进行根源追溯分析;最终驱动大模型中的策略进化模块生成自适应治理策略并部署执行。

5、然而,该类方案存在明显局限性:其采用单一预训练大模型作为核心引擎,所有治理任务均由同一模型完成,缺乏面向不同治理子任务的专业化分工与协同机制;同时,策略的生成依赖大模型内部推理,缺少结构化治理知识库作为经验积累与复用的支撑,难以实现治理经验的持续沉淀与进化。

6、方向二:基于多智能体的数据治理。

7、该方向通过多个具有特定功能的智能体协作来完成治理任务。例如,中国发明专利申请cn120542460a公开了一种“基于负反馈优化的多智能体数据治理方法及系统”,该方案基于多智能体系统对待治理数据进行治理,实时创建任务执行路径图谱;基于评估指标对治理结果进行评估得到负反馈数据;根据负反馈数据查询并优化任务处理路径及对应的智能体参数,进而重新进行数据治理。

8、然而,该类方案同样存在局限:核心优化机制依赖事后负反馈数据,缺乏事前由大模型语义理解提供的深层语义感知能力;各智能体之间的协作方式固定(如预设的任务执行路径),缺乏基于语义理解驱动的实时动态任务编排与调度能力;此外,其治理知识通过参数匹配库管理,属于静态规则库,不具备在治理执行过程中自动沉淀经验并实现知识自进化的能力。

9、综上所述,现有的数据治理技术存在语义理解与专业分工割裂、协作模式固定僵化、治理知识静态化以及覆盖范围不全等共同缺点。目前,尚无现有技术能够将大模型的深层语义理解能力、多智能体的专业分工协同优势以及动态知识库的自进化机制有机融合于同一自适应闭环系统中,以实现端到端的智能化数据治理。

技术实现思路

1、为了有助于解决上述技术问题,本技术提供一种基于大模型与多智能体的自适应数据治理方法及系统。

2、第一方面,本技术提供一种基于大模型与多智能体的自适应数据治理方法,其中,基于多个专业智能体,包括分类分级智能体、质量检测智能体、血缘构建智能体和策略生成智能体;所述方法包括:

3、对多源异构数据进行语义提取,构建包含实体节点、边和隐式关联链路的语义特征图谱;

4、调度协调中心根据所述语义特征图谱,基于实体间的显式语义关联强度以及各智能体的任务专长,动态计算各数据实体对所述多个专业智能体的需求权重,并将所述需求权重与预设的调度激活阈值进行比较,根据比较结果编排参与本次治理的智能体及其协作顺序;

5、被调度的智能体执行各自的治理任务,其中,所述分类分级智能体、质量检测智能体和血缘构建智能体在执行过程中分别与动态治理知识库中对应的分类分级库、质量规则库和血缘关系图谱交互,输出治理发现;

6、所述策略生成智能体综合所述治理发现,并结合所述动态治理知识库中的策略模板库生成治理策略并执行;

7、对治理执行结果进行效果评估,若评估结果达标,则采用统一的自进化更新框架,针对分类分级知识、质量规则知识、血缘图谱知识和策略模板知识多个维度,以各维度对应的差异化学习率和知识合并操作,将治理过程中产生的知识增量分别更新至各维度知识库中;若评估结果未达标,则将评估结果反馈至所述调度协调中心以触发重新编排。

8、所述调度协调中心动态计算需求权重的方式为:

9、基于所述语义特征图谱中实体间的显式语义关联强度gdj、实体d对智能体k′的语义适配参数adk′以及智能体k′的任务专长向量ek′,按照下式计算实体d对智能体k′的需求权重wdk′:

10、;

11、其中,其中k′为智能体类型索引,为sigmoid激活函数,表示内积,n为所述语义特征图谱中的实体总数;当wdk′超过预设的调度激活阈值时,调度智能体k′参与对实体d的治理。

12、所述统一的自进化更新框架表示为:

13、,其中,k表示知识维度索引,为第t轮治理后知识维度k的知识库状态,分别对应分类分级知识、质量规则知识、血缘图谱知识和策略模板知识,

14、为知识维度k的差异化学习率,;为第t轮治理在知识维度k上产生的知识增量,由所述效果评估的结果和治理过程中产生的结构化知识共同决定;为知识维度k对应的知识合并操作。

15、所述差异化学习率的设置为:对经过多轮验证的高置信度知识维度采用差异化学习率小于对处于快速积累阶段的知识维度采用的差异化学习率。

16、当k=cls时,知识合并操作包括:对于新增类别,通过语义向量加权平均更新原型向量:

17、,其中n为原有样本数,vproto_old为原原型向量,vnew为新样本语义向量;对于已有类别,通过指数移动平均更新原型向量:,其中为平滑系数;

18、当k=graph时,知识合并操作包括:新增血缘关系通过图节点和边的增量更新:;已有血缘边的置信度按如下方式更新:,其中为衰减因子,evidence_score为新证据评分。

19、所述语义特征图谱中,节点对应数据实体,节点属性包含实体唯一标识符、实体类型、语义向量和元数据标签集合;边对应实体间的显式语义关联,边属性包含源节点、目标节点、关联类型和关联强度;所述隐式关联链路由大模型推理发现,以包含关系描述、置信度和证据锚点的三元组形式存储。

20、所述分类分级智能体执行任务包括:将数据实体的语义向量与所述分类分级库中的原型向量进行相似度匹配获得候选类别,并结合数据实体的原始内容和隐式关联链路的上下文进行类别确认与敏感级别判定,输出数据实体的类别标签、敏感级别标签和分类置信度分数;

21、所述质量检测智能体执行任务包括:根据数据实体的类别自适应选择检测维度集,逐维度执行规则匹配与异常检测,汇总生成包含缺陷向量、根因类型、严重等级和关联规则编号的质量缺陷报告,并输出数据实体综合质量评分;

22、所述血缘构建智能体执行任务包括:解析数据实体的显式依赖关系构建初步血缘边,利用所述隐式关联链路补充隐式血缘边,对血缘关系进行置信度评估和融合去重,输出字段级/表级血缘关系图更新增量、新增血缘边的置信度标注和血缘变更日志。

23、所述策略生成智能体综合所述分类分级智能体、质量检测智能体和血缘构建智能体输出的治理发现,以及结合所述策略模板库中匹配的策略模板集生成治理策略,所述治理策略为层次化治理策略,包括在血缘上游源头进行修正的根部修复策略,以及对受影响下游字段进行同步更新的衍生修复策略。

24、所述动态治理知识库包括分类分级库、质量规则库、血缘关系图谱和策略模板库;所述效果评估的评估指标包括分类准确率、质量改善幅度和血缘召回率。

25、第二方面,本技术提供一种基于大模型与多智能体的自适应数据治理系统,其中,包括:

26、语义理解模块,用于对多源异构数据进行语义提取,构建包含实体节点、边和隐式关联链路的语义特征图谱;

27、多智能体协作模块,包括调度协调中心和多个专业智能体,所述多个专业智能体包括分类分级智能体、质量检测智能体、血缘构建智能体和策略生成智能体;所述调度协调中心用于根据所述语义特征图谱,基于实体间的显式语义关联强度以及各智能体的任务专长,动态计算各数据实体对所述多个专业智能体的需求权重,并将所述需求权重与预设的调度激活阈值进行比较,根据比较结果编排参与本次治理的智能体及其协作顺序;

28、动态治理知识库,包含分类分级库、质量规则库、血缘关系图谱和策略模板库;

29、治理执行与评估模块,用于执行所述策略生成智能体生成的治理策略并对治理执行结果进行效果评估;

30、其中,所述分类分级智能体、质量检测智能体和血缘构建智能体在执行过程中分别与所述分类分级库、质量规则库和血缘关系图谱交互,输出治理发现;所述策略生成智能体综合所述治理发现,并结合所述策略模板库生成治理策略;若评估结果达标,则采用统一的自进化更新框架,针对分类分级知识、质量规则知识、血缘图谱知识和策略模板知识多个维度,以各维度对应的差异化学习率和知识合并操作,将治理过程中产生的知识增量分别更新至各维度知识库中;若评估结果未达标,则将评估结果反馈至所述调度协调中心以触发重新编排。

31、综上所述,本技术通过构建大模型语义底座与多智能体专业分工的双层架构,将深层语义感知与任务执行深度融合,提升了治理精准度与效率;基于语义特征图谱自适应计算需求权重以动态编排智能体协作,取代了固定流水线,提高系统灵活适应复杂场景的调度能力;同时,利用效果评估反馈驱动治理知识的自动沉淀与自进化更新,最终形成执行、评估、反馈和优化的全链路闭环。