基于大语言模型的数据字典自动生成方法以及电子设备与流程

摘要: 本发明涉及数据字典生成,具体而言,涉及一种基于大语言模型的数据字典自动生成方法以及电子设备。背景技术:1、相关技术中,当前数据字典多采用人工编制或单纯读取数据库...
基于大语言模型的数据字典自动生成方法以及电子设备与流程

本发明涉及数据字典生成,具体而言,涉及一种基于大语言模型的数据字典自动生成方法以及电子设备。

背景技术:

1、相关技术中,当前数据字典多采用人工编制或单纯读取数据库元数据生成。人工方式存在实体关系图与数据字典割裂、字段与关联易遗漏、效率低下、版本不统一的问题;纯元数据工具生成的表间血缘关系误差大,不具备智能生成关系图的能力,难以适配多微服务系统快速发版的同步更新需求。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此,本发明的第一方面提出一种基于大语言模型的数据字典自动生成方法。

3、本发明的第二方面提出一种电子设备。

4、有鉴于此,本发明的第一方面提供一种基于大语言模型的数据字典自动生成方法,应用于包含多个微服务的业务系统,数据字典自动生成方法包括:获取目标业务系统对应的数据库元数据以及业务模型描述信息;基于数据库元数据和业务模型描述信息,执行数据血缘关系分析,构建包含表字段信息与表间关联信息的结构化表间关联关系数据;以结构化表间关联关系数据作为统一数据源,建立数据表信息与实体关系图元素之间的对应映射关系;基于结构化表间关联关系数据与预设指令模板,通过预设通信协议调用大语言模型服务,生成符合预设实体关系图文本描述规范的标准化代码;将标准化代码渲染为实体关系图像,并基于实体关系图像与数据库元数据,生成目标版本的数据字典;其中,数据字典与实体关系图像基于同一数据源生成,保持表字段信息与关联关系信息的一致性。

5、本技术提供的基于大语言模型的数据字典自动生成方法中,数据库元数据是存储在数据库系统表中的、描述数据库对象属性的信息,涵盖库名、表名、字段名称、字段类型、主外键标识、索引信息等内容,是反映数据库实际物理结构的底层数据;业务模型描述信息是业务系统在设计阶段构建的、承载业务逻辑关联的结构化描述,包含业务对象定义、业务实体关联关系等内容,是反映业务层面数据关联逻辑的上层定义;数据血缘关系分析是梳理数据表之间依赖关联关系的技术手段;实体关系图是描述数据表实体、属性及关联关系的可视化图表;大语言模型是具备文本生成与逻辑理解能力的人工智能模型;预设指令模板是预先编写的、用于约束大语言模型输出内容与格式的文本指令集合;预设通信协议是用于调用大语言模型服务的标准化接口协议。本方案首先通过同步获取数据库元数据与业务模型描述信息,形成物理层与业务层的双数据源输入,不再仅依赖数据库元数据分析表关系,避免因数据库设计不规范、主外键缺失导致关联关系识别不全,双数据源输入的模式为后续精准的血缘分析提供双重数据基础,从源头提升表间关联识别的准确率。在此基础上执行数据血缘关系分析,先对数据库元数据进行解析,提取所有数据表的字段属性与物理关联,再结合业务模型描述信息中的业务关联逻辑进行交叉校验与补充,剔除错误关联、补充业务层面存在但物理层未显式设置主外键的关联关系,最终将分散的表信息、字段信息、关联关系整合为格式统一、结构标准的结构化表间关联关系数据;这一步将非结构化、分散的原始数据转化为标准化的结构化数据,既解决了人工梳理表关系效率低、易遗漏的问题,又通过双数据源校验提升了关联关系的准确性,同时为后续实体关系图生成、数据字典组装提供了统一的数据输入,是保障全流程数据一致性的核心基础。随后以结构化表间关联关系数据作为唯一统一数据源,建立数据表信息与实体关系图元素之间的对应映射关系,其中实体关系图元素对应实体关系图中的数据表实体、字段属性、关联连线等可视化组成单元;具体实现过程为将结构化表间关联关系数据中的每一张数据表、每一个字段、每一条关联关系,与实体关系图中对应的实体节点、字段条目、关联线条建立一一对应的映射绑定关系,确保实体关系图的每一个组成元素都有唯一的数据源头与之对应;这一步从数据根源上确立了同源生成的机制,是后续实体关系图与数据字典保持一致性的核心保障,如果人工分别绘制实体关系图与编制数据字典,二者数据源不统一,极易出现字段遗漏、关系不一致的问题,本方案通过预先建立映射关系,确保后续生成的实体关系图完全基于已校验的表关联数据,不会出现人工绘图的遗漏与偏差,同时为后续数据字典与实体关系图的同步更新提供了映射基础,二者中任意一方的数据变更都可通过映射关系同步至另一方,彻底解决二者割裂、不同步的痛点。再之后基于结构化表间关联关系数据与预设指令模板,通过预设通信协议调用大语言模型服务生成标准化代码,具体实现过程为将结构化表间关联关系数据填充至预设指令模板的对应位置,组装为完整的调用请求,通过预设通信协议发送至大语言模型服务端,大语言模型依据指令模板的约束,基于输入的表关联数据生成符合语法规范的文本代码;这一步替代了人工编写实体关系图语法代码的工作,操作人员无需学习专业的图表语法知识,即可生成规范的实体关系图代码,大幅降低了技术门槛与人工成本,同时大语言模型的批量处理能力可支持数万张数据表的同步生成,极大提升了实体关系图的生成效率,适配包含多个微服务的大型业务系统的海量表处理需求。最终将标准化代码渲染为实体关系图像,并结合数据库元数据生成目标版本的数据字典,具体通过图表渲染组件将标准化文本代码转换为可视化的实体关系图像,再将实体关系图像与数据库元数据中的表描述、字段属性等信息进行自动组装,生成包含表结构说明、字段定义、关联关系图示的完整数据字典,且数据字典与实体关系图像基于同一数据源生成,保持表字段信息与关联关系信息的一致性;这一步实现了数据字典的自动化组装生成,无需人工整理字段信息、插入关系图片,进一步提升了生成效率,同时由于实体关系图与数据字典的核心内容均来自同一份结构化表间关联关系数据与数据库元数据,二者的表字段信息、关联关系信息完全同源,从机制上杜绝了内容不一致的问题。

6、具体地,本技术构建了从数据采集、血缘分析、智能绘图到字典生成的全自动化链路,完全无需人工介入即可完成数据字典的生成,针对包含数万张数据表的多微服务业务系统,可将传统20人耗时1个月的工作量压缩至4小时内完成,大幅提升数据字典构建效率,缩短构建周期,降低人力成本;同时通过双数据源校验与同源生成机制,彻底杜绝人工编制过程中字段缺失、表间关系遗漏、图与字典不一致的问题,保障数据字典的准确性与规范性;生成的数据字典可跟随产品发版同步输出,解决了传统模式下数据字典更新滞后、与产品功能不一致的痛点,适配敏捷开发的快速迭代节奏,为业务系统的生态化发展提供统一、可靠的数据支撑。

7、在本技术的一些技术方案中,基于数据库元数据和业务模型描述信息,执行数据血缘关系分析,构建包含表字段信息与表间关联信息的结构化表间关联关系数据的步骤,包括:

8、根据数据库元数据,提取数据库模式名称、数据表名称及主外键关系信息;

9、根据提取得到的主外键关系信息,在数据库模式名称对应的数据库模式范围内,定位与数据表名称存在主外键关联的派生表名称;

10、根据业务模型描述信息,解析数据表名称对应的数据表与派生表名称对应的派生表之间的依赖关系,业务模型描述信息包含业务对象名称、业务对象编码、数据表、派生表、主键、外键及唯一索引属性;

11、基于数据库模式名称、数据表名称、派生表名称以及依赖关系,生成结构化的表间关联关系数据,并为表间关联关系数据添加版本化标识后存入数据库。

12、在上述技术方案中,数据库模式是数据库内用于组织和隔离数据库对象的逻辑容器,可对不同业务模块的数据表进行命名空间隔离,避免命名冲突;派生表是基于主业务表延伸生成、与主表存在关联依赖的数据表,用于承载扩展业务数据。本方案根据数据库元数据提取数据库模式名称、数据表名称及主外键关系信息,具体从数据库元数据中遍历所有数据库模式,提取每个模式下的全部数据表名称,以及数据表中设置的主键、外键约束信息,明确数据表之间的物理关联,从物理层面完成基础关联信息的提取,构成血缘分析的物理数据基础。根据提取得到的主外键关系信息,在数据库模式名称对应的数据库模式范围内,定位与数据表名称存在主外键关联的派生表名称,具体以提取到的数据表为基准,按照主外键的关联指向,在对应数据库模式的范围内,查找所有与基准表存在主键-外键关联的数据表,将其标记为该基准表的派生表,通过物理约束定位初步的关联派生表,完成血缘关系的初步梳理。根据业务模型描述信息解析数据表与派生表之间的依赖关系,业务模型描述信息包含业务对象名称、业务对象编码、数据表、派生表、主键、外键及唯一索引属性,具体读取业务模型描述信息中定义的业务对象属性,将业务对象与对应的数据表进行匹配,基于业务逻辑层面的定义,校验物理层面识别出的表间依赖关系,补充物理层未体现的业务关联,修正因主外键缺失导致的关系识别错误;这一步通过业务层数据对物理层分析结果进行校准,有效降低了仅依赖数据库元数据生成血缘关系带来的误差,提升了表间依赖关系识别的精准度,确保分析结果既符合数据库物理结构,又匹配实际业务逻辑。基于数据库模式名称、数据表名称、派生表名称以及依赖关系,生成结构化的表间关联关系数据,并为表间关联关系数据添加版本化标识后存入数据库,具体将前述步骤得到的所有信息按照固定的字段结构进行整理,形成每条记录对应一组表间关联关系的结构化数据,同时为该批次数据分配唯一的版本化标识,关联对应的产品版本信息后存入数据库;结构化的数据格式便于后续流程的读取与调用,版本化标识则为后续的版本追溯、差异比对提供了数据依据,实现了关联关系数据的可追溯管理,与后续版本差异化比对的特征形成联动,支撑全生命周期的版本管理。

13、在本技术的一些技术方案中,基于结构化表间关联关系数据与预设指令模板,通过预设通信协议调用大语言模型服务,生成符合预设实体关系图文本描述规范的标准化代码的步骤,包括:预设指令模板包含用于引导大语言模型输出标准实体关系图语法的约束规则;约束规则包括三项内容:指定实体定义关键字;统一字段输出格式,字段输出内容包含字段名称、数据类型及主外键标识;采用预设符号规范,区分一对一、一对多和多对多的表间关联关系;通过约束规则引导大语言模型仅输出纯图表语法代码,屏蔽解释性文本与代码块标记,获取可渲染的标准化实体关系图代码。

14、在上述技术方案中,本技术对大语言模型生成标准化代码的约束规则进行细化,通过多维度的规则约束保障输出代码的可用性与规范性。三项约束规则分别从不同维度管控输出内容:第一项指定实体定义关键字,明确大语言模型必须使用固定的语法关键字来定义数据表实体,确保生成的代码符合语法规范,避免因关键字错误导致渲染失败;第二项统一字段输出格式,字段输出内容包含字段名称、数据类型及主外键标识,要求大语言模型按照固定顺序输出每个字段的三项核心信息,确保实体关系图中的字段展示格式统一、信息完整,避免出现字段信息缺失、格式混乱的问题;第三项采用预设符号规范,区分一对一、一对多和多对多的表间关联关系,为不同类型的关联关系指定对应的固定符号,确保生成的关联连线能够准确反映表间的关联类型,直观体现数据依赖逻辑。在此基础上,通过约束规则引导大语言模型仅输出纯图表语法代码,屏蔽解释性文本与代码块标记,避免大语言模型输出多余的说明文字、格式标记、注释内容,确保返回的代码可直接传入渲染组件进行处理,无需人工进行清理与修正。上述多维度的约束规则形成了完整的输出管控机制,既保障了生成代码的语法正确性与格式统一性,又省去了人工修正代码的环节,进一步提升了实体关系图的生成效率;同时屏蔽了图表语法的学习成本,操作人员无需掌握专业语法知识即可生成规范的实体关系图,降低了使用门槛。

15、在本技术的一些技术方案中,在生成目标版本的数据字典的步骤之后,数据字典自动生成方法还包括:对目标版本的数据字典添加版本化标识并存入数据库,建立不同版本数据字典之间的追溯关系;对比当前版本与历史版本数据字典的内容差异,根据比对结果自动生成对应版本差异的变更报告文档,定位表结构与字段属性的变更内容。

16、在上述技术方案中,本技术对目标版本的数据字典添加版本化标识并存入数据库,建立不同版本数据字典之间的追溯关系,具体为每一次生成的数据字典分配与产品发版对应的唯一版本标识,记录版本生成时间、对应产品版本、变更范围等信息,按照版本生成顺序建立不同版本之间的前后追溯链路;这一步实现了数据字典的版本化管理,解决了传统模式下多版本数据字典分散存储、管理混乱、无法追溯的问题,形成了数据库元数据的完整变化生命周期信息,保障数据字典的可管理性。对比当前版本与历史版本数据字典的内容差异,根据比对结果自动生成匹配上述版本差异的变更报告文档,定位表结构与字段属性的变更内容,具体读取当前版本与指定历史版本的数据字典数据,逐表、逐字段对比表结构、字段类型、主外键、索引等内容的变化,自动梳理出新增、删除、修改的内容,整理为结构化的变更报告文档;这一步替代了人工逐表逐字段比对的工作模式,大幅降低产品发版过程中的人工比对成本,帮助开发人员快速识别版本间的数据结构变更,提前预判并规避数据兼容性问题,适配产品快速迭代的发版节奏。同时该特征与前述方案中关联关系数据的版本化标识形成联动,实现了从底层关联数据到上层数据字典的全链路版本追溯与差异比对,形成完整的版本管理体系。

17、在本技术的一些技术方案中,在获取目标业务系统对应的数据库元数据以及业务模型描述信息的步骤之后,数据字典自动生成方法还包括:基于预设的非标数据治理规则对数据库元数据进行合规性校验;非标数据治理规则包括命名规则,命名规则至少涵盖数据库模式命名、数据表命名、字段命名、索引命名及编码格式中的一项或多项;在校验出不合规数据时,触发告警并对接问题工单,对异常数据进行跟踪处理。

18、在上述技术方案中,本技术基于预设的非标数据治理规则对数据库元数据进行合规性校验,其中非标数据治理规则包括命名规则,命名规则也即命名规范规则至少涵盖数据库模式命名、数据表命名、字段命名、索引命名及编码格式中的一项或多项,具体预先配置符合企业开发规范的命名规则,对采集到的全量数据库元数据进行遍历校验,逐一检查数据库模式、数据表、字段、索引等对象的命名是否符合规范要求,识别不符合规范的对象;这一步实现了命名合规性的自动化校验,无需人工逐一排查,能够全面覆盖所有数据库对象,避免人工检查的遗漏,从源头保障数据字典的命名规范性与可读性。第二步在校验出不合规数据时,触发告警并对接问题工单,对异常数据进行跟踪处理,具体当校验发现不合规数据时,自动向对应负责人发送告警通知,同时自动创建问题工单,记录不合规内容、对应负责人、整改要求等信息,跟踪整改进度,直至问题闭环;这一步形成了“校验-告警-工单跟踪-闭环整改”的完整治理机制,推动数据标准化治理的自动化落地,无需人工跟进推动整改,既提升了治理效率,又能够持续规范数据库设计,推动开发流程的标准化,最终提升整体数据资产的质量与可用性。

19、在本技术的一些技术方案中,在获取目标业务系统对应的数据库元数据以及业务模型描述信息的步骤之后,数据字典自动生成方法还包括:基于预设的安全脱敏规则对数据库元数据中的敏感字段进行识别与脱敏处理;安全脱敏规则至少涵盖身份证字段、手机号码、性别及金额字段中的一项或多项。

20、在上述技术方案中,本技术预先配置敏感字段的识别规则与脱敏策略,在采集到数据库元数据后,自动识别包含敏感信息的字段,按照对应策略对字段描述、示例值等内容进行脱敏处理,安全脱敏规则至少涵盖身份证字段、手机号码、性别及金额字段中的一项或多项,覆盖身份信息、联系方式、财产信息等多类敏感数据维度。这一步在数据字典生成的前置环节完成敏感信息的管控,避免敏感字段信息随数据字典分发而泄露,为核心数据资产筑起安全防线;该特征与后续细粒度权限管控的特征形成联动,从内容层面与访问层面双重保障数据字典的使用安全,符合数据安全管理的合规要求。

21、在本技术的一些技术方案中,在生成目标版本的数据字典的步骤之后,数据字典自动生成方法还包括:

22、提取目标版本的数据字典文档,将数据字典文档推送至大语言模型知识库;

23、通过模型上下文协议提供标准化接口,以供外部智能体接入并开展数据字典的知识检索与查阅。

24、在上述技术方案中,模型上下文协议是一种用于实现大语言模型与外部数据资源标准化对接的通信协议,可支持智能体安全、规范地调用外部数据资源。本方案第一步提取目标版本的数据字典文档,将数据字典文档推送至大语言模型知识库,具体提取生成的轻量级标记格式数据字典文档,按照大语言模型知识库的接入规范进行分段与预处理后,推送至知识库中进行存储与索引,转化为可被大语言模型语义检索的知识资源;这一步将结构化的数据字典内容转化为智能可检索的知识,为后续智能体检索提供了数据基础,打破了传统数据字典只能人工查阅文档的使用模式。第二步通过模型上下文协议提供标准化接口,以供外部智能体接入并开展数据字典的知识检索与查阅,具体基于模型上下文协议搭建标准化的服务接口,外部智能体可通过该接口向知识库发起检索请求,获取对应的数据字典内容;这一步实现了数据字典的智能化检索,开发人员可通过智能体快速查询表结构、字段定义、关联关系等信息,检索响应可在10秒内完成,彻底改变了传统模式下熟悉数据字典需要咨询不同负责人的繁琐模式,有效减少沟通中的理解偏差,降低沟通占用的研发时间,大幅提升研发协同效率与产品二次开发效率。

25、在本技术的一些技术方案中,在生成目标版本的数据字典的步骤之后,数据字典自动生成方法还包括:对目标版本的数据字典执行细粒度权限管控,授权访问粒度覆盖数据表级别和版本级别。

26、在上述技术方案中,基于角色与权限的对应关系,为不同用户配置对应的数据字典访问权限,权限控制可细化至单张数据表的访问权限,以及特定版本数据字典的访问权限,不同权限的用户仅能查看授权范围内的内容。这一机制实现了核心数据资产的精细化管控,能够避免非授权人员访问敏感业务的数据字典内容,防止重要数据资产外泄;该特征与安全脱敏规则形成联动,从访问权限与内容处理两个维度构建完整的数据安全体系,适配多部门、多角色的企业级使用场景,保障数据字典在安全可控的前提下共享使用。

27、在本技术的一些技术方案中,生成目标版本的数据字典的步骤,具体包括:基于实体关系图像与数据库元数据,通过自动组装处理生成多种格式的数据字典文档;多种格式至少包括网页格式文档、编译帮助格式文档、便携式文档格式文档和轻量级标记格式文档中的一种或多种。

28、在上述技术方案中,将实体关系图像与数据库元数据中的表、字段、描述等信息按照预设的文档模板进行自动组装,分别生成适配不同场景的多种格式文档:网页格式文档适配在线浏览场景,编译帮助格式文档适配离线软件帮助场景,便携式文档格式文档适配正式分发与打印场景,轻量级标记格式文档适配知识库导入与编辑场景。这一特征实现了一份数据源生成多格式文档的能力,无需人工分别编制不同格式的字典文档,既大幅提升了文档生成效率,又保障了不同格式文档的内容完全一致,彻底解决了传统模式下多个系统同版本数据字典内容不一致的问题,实现“一份数据、多端查询”的效果,为不同使用场景提供统一、可靠的数据支撑,提升数据字典的适用性与可用性。

29、本发明的第二方面提供一种电子设备,包括处理器和存储器;存储器用于存储处理器可执行的指令;处理器被配置为执行指令,以实现如上述技术方案中任一项的数据字典自动生成方法。因此,电子设备具备如上述技术方案中任一项的数据字典自动生成方法的全部有益效果。

30、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。