一种大语言模型智能体编排的多模态数据治理方法与流程

摘要: 本发明涉及数据处理,尤其涉及一种大语言模型智能体编排的多模态数据治理方法。背景技术:1、现有的数据治理技术主要分为以下几类:2、第一类:传统etl数据治理平台(...
一种大语言模型智能体编排的多模态数据治理方法与流程

本发明涉及数据处理,尤其涉及一种大语言模型智能体编排的多模态数据治理方法。

背景技术:

1、现有的数据治理技术主要分为以下几类:

2、第一类:传统etl数据治理平台(以apacheatlas、datahub等为代表)。主要面向结构化数据(关系型数据库表),通过固定流程的批处理脚本完成数据接入、元数据提取和质量检查,对图片、视频等非结构化数据的处理能力极为有限,且治理流程依赖人工配置,数据从注册到可用往往需要数天至数周。

3、第二类:基于大语言模型的多模态智能问答系统(如cn121681747a公开的一种基于大语言模型的多模态智能问答系统)。以问答检索为核心目标,缺少从文件摄入、去重、质量检查到语义向量化和跨模态对齐的完整前置治理管线,用户上传的文件须经人工前置处理后方可被检索引擎使用。

4、第三类:集成式ai分析与建模平台(如cn121478760a公开的支持大规模数据处理的集成式人工智能分析与建模平台)。采用传统大数据技术栈(spark+elasticsearch),不支持文件存储管理、向量检索与结构化过滤在同一存储层的协同处理。

5、此外,现有技术中结构化数据的质量问题通常记录于独立的规则引擎数据库,而多模态数据的质量问题仅以文件标记方式存在,二者无法在同一视图中统一查询,导致跨模态数据资产的质量追踪信息碎片化;数据治理完成后的检索使用往往需要切换系统——结构化数据通过sql查询,非结构化数据通过文件浏览器或独立检索引擎,用户无法在同一对话中无缝切换查询不同类型的数据资产,治理与使用之间存在系统割裂。

技术实现思路

1、针对现有技术中的不足,本发明提供了一种大语言模型智能体编排的多模态数据治理方法,以解决现有技术中在结构化数据与多模态数据治理框架割裂、治理流程缺乏智能编排调度机制、技术栈无法同时支持文件存储管理、向量检索与结构化过滤在同一存储层协同处理、缺乏统一自然语言交互入口以及治理与检索使用脱节的技术问题。

2、本发明提供了一种大语言模型智能体编排的多模态数据治理方法,包括:

3、构建统一数据资产模型,统一数据资产模型包括:数据源层、资产目录层、数据集层三层结构的统一数据资产模型,用于同时对结构化数据资产和多模态数据资产进行管理;

4、将五阶段全自动处理管线封装为编排器智能体可调用的工具函数集合,工具函数集合中还内置有指数退避重试机制,其中,五阶段全自动处理管线过程包括:对多模态数据资产,通过分布式数据处理引擎和列式向量数据库执行文件摄入、两阶段去重、质量检查、人工智能标注与向量化、跨模态对齐五个阶段;

5、编排器智能体对用户自然语言治理需求进行意图识别和任务拆解,生成治理任务序列,通过任务调度机制驱动外部子智能体调用工具函数集合协同执行治理任务序列,并通过状态机管理每个数据资产的处理进度,将处理进度持久化存储于关系型数据库,实现治理过程。

6、进一步地,所述资产目录层通过统一资产索引表及按资产类型划分的子表统一存储两类资产的元数据。

7、进一步地,所述文件摄入阶段具体为:当文件大小小于预设存储阈值时,采用内联存储模式;当文件大小大于等于预设存储阈值时,仅将对象存储路径引用存入列式向量数据库。

8、进一步地,所述文件摄入阶段还包括:在列式向量数据库中预建嵌入向量列,用于固定维度零向量占位。

9、进一步地,所述两阶段去重阶段,其中,第一阶段包括:在文件摄入完成后立即执行md5哈希精确去重,根据哈希值分组后保留首条记录、其余标记为重复文件;第二阶段包括:计算已生成的嵌入向量的余弦相似度,对相似度值大于预设阈值的文件进行语义去重聚类,每组聚类中保留质量状态最优的文件,通过独立的重复标记字段标识重复文件,不覆盖管线状态字段。

10、进一步地,所述质量检查阶段具体为:通过分布式数据处理引擎中的自定义函数对已去重的文件并行执行损坏检测、模糊检测、过曝检测和欠曝检测;将检测结果同步写入列式向量数据库以及关系型数据库。

11、进一步地,所述人工智能标注与向量化阶段,其中,人工智能标注包括:通过大语言模型视觉接口生成结构化标签,并将结构化标签存入列式向量数据库,通过光学字符识别方式提取文件中的文字信息,并通过正则模式匹配提取结构化锚点,与可交换图像文件信息中的时空数据合并存储;

12、向量化过程包括:先通过大语言模型视觉接口将图像数据中的图像内容描述为自然语言文本,再通过文本嵌入接口将自然语言文本转化为高维嵌入向量。

13、进一步地,所述跨模态对齐阶段具体为:从列式向量数据库中聚合所有已完成标注的光学字符识别的文字信息和结构化标签,通过正则模式匹配提取候选对齐锚点,获取关系型数据库中结构化字段的语义类型,根据候选对齐锚点的锚点类型,通过精确匹配或模糊匹配获取与锚点类型匹配的语义类型对应的结构化字段在结构化表中的匹配值,并在资产关联关系表中创建跨模态关联关系记录,其中,记录包括:置信度评分和对齐证据。

14、进一步地,所述外部子智能体包括:接入子智能体、元数据子智能体、标签子智能体、标准子智能体、质量子智能体以及血缘子智能体。

15、进一步地,所述在编排器智能体通过任务调度机制驱动外部子智能体调用工具函数集合协同执行治理任务序列的过程中,建立多条独立并行的治理轨道,各轨道独立调度子智能体,支持单个治理轨道的独立重试或取消操作。

16、本发明的有益效果:

17、本发明三层统一数据资产模型消除两类数据资产管理口径割裂,实现单一目录下跨模态资产统一纳管;

18、本发明编排器智能体驱动六个子智能体实现全链路自动化治理,治理效率相较传统批处理方案显著提升;

19、本发明五阶段管线封装为工具函数,用户通过自然语言即可驱动完整治理流程,大幅降低技术门槛;

20、本发明列式向量数据库统一存储文件内容、元数据、标签与向量,支持向量+全文+结构化过滤混合检索,消除治理与使用割裂;

21、本发明两阶段去重分阶段消除冗余,节省后续阶段的api调用费用与处理时间,且保留完整处理轨迹;

22、本发明质量结果双写列式向量数据库 lancedb与关系型数据库 postgresql,结构化与多模态质量问题同表管理,形成跨模态统一质量审计链;

23、本发明两步嵌入法,即图像转文本再转嵌入,保证跨模态向量空间一致并规避多模态嵌入接口限制,预建列+增量更新避免表结构变更与高写入开销;

24、本发明跨模态对齐在结构化资产与多模态资产间自动建立关联,实现跨模态数据语义互联;

25、本发明udf本地多核并行并可平滑扩展至分布式集群,弹性适配数据规模;指数退避重试保障外部接口故障容错。

1.一种大语言模型智能体编排的多模态数据治理方法,其特征在于,包括:

2.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述资产目录层通过统一资产索引表及按资产类型划分的子表统一存储两类资产的元数据。

3.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述文件摄入阶段具体为:当文件大小小于预设存储阈值时,采用内联存储模式;当文件大小大于等于预设存储阈值时,仅将对象存储路径引用存入列式向量数据库。

4.如权利要求3所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述文件摄入阶段还包括:在列式向量数据库中预建嵌入向量列,用于固定维度零向量占位。

5.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述两阶段去重阶段,其中,第一阶段包括:在文件摄入完成后立即执行md5哈希精确去重,根据哈希值分组后保留首条记录、其余标记为重复文件;第二阶段包括:计算已生成的嵌入向量的余弦相似度,对相似度值大于预设阈值的文件进行语义去重聚类,每组聚类中保留质量状态最优的文件,通过独立的重复标记字段标识重复文件,不覆盖管线状态字段。

6.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述质量检查阶段具体为:通过分布式数据处理引擎中的自定义函数对已去重的文件并行执行损坏检测、模糊检测、过曝检测和欠曝检测;将检测结果同步写入列式向量数据库以及关系型数据库。

7.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述人工智能标注与向量化阶段,其中,人工智能标注包括:通过大语言模型视觉接口生成结构化标签,并将结构化标签存入列式向量数据库,通过光学字符识别方式提取文件中的文字信息,并通过正则模式匹配提取结构化锚点,与可交换图像文件信息中的时空数据合并存储;

8.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述跨模态对齐阶段具体为:从列式向量数据库中聚合所有已完成标注的光学字符识别的文字信息和结构化标签,通过正则模式匹配提取候选对齐锚点,获取关系型数据库中结构化字段的语义类型,根据候选对齐锚点的锚点类型,通过精确匹配或模糊匹配获取与锚点类型匹配的语义类型对应的结构化字段在结构化表中的匹配值,并在资产关联关系表中创建跨模态关联关系记录,其中,记录包括:置信度评分和对齐证据。

9.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述外部子智能体包括:接入子智能体、元数据子智能体、标签子智能体、标准子智能体、质量子智能体以及血缘子智能体。

10.如权利要求1所述的大语言模型智能体编排的多模态数据治理方法,其特征在于,所述在编排器智能体通过任务调度机制驱动外部子智能体调用工具函数集合协同执行治理任务序列的过程中,建立多条独立并行的治理轨道,各轨道独立调度子智能体,支持单个治理轨道的独立重试或取消操作。