多源数据库元数据补全方法及系统

本发明涉及数据处理，尤其涉及一种多源数据库元数据补全方法及系统。

背景技术：

1、随着各行业大数据的汇聚建设，大量多源异构的结构化数据库被接入数据仓库平台。为了实现数据的有效管理、检索和深度分析，必须对海量接入库的表结构、字段含义等元数据进行全面、清晰的梳理与补全。

2、现有的元数据自动补全方案通常采用基于设计文档的单一规则匹配技术。该技术首先通过解析人工编写的数据库设计文档获取字段的预期描述，随后利用基础的正则表达式或同义词典，将设计文档中的字段名称与数据库源表中的物理字段名称进行字面比对。若字面匹配成功，系统则直接将文档中的说明文本提取并复制为该物理字段的元数据注释。

3、在实际生产环境中，数据库设计文档普遍存在更新滞后、内容缺失或与实际物理库表结构严重不符的情况。上述现有技术因深度依赖外部设计文档和单一的字面比对规则，在脱离准确文档支撑或面临源库原生注释大面积空白时，无法识别并推断字段真实的业务语义和约束属性，导致元数据补全的覆盖率与准确率极低，致使大量未命中的字段最终只能依靠人工逐一核对与手工录入。

技术实现思路

1、本发明提供一种多源数据库元数据补全方法及系统，用以解决现有技术中的缺陷，实现高准确率、无人工干预的全自动元数据补全。

2、本发明提供一种多源数据库元数据补全方法，包括如下步骤：

3、从目标数据库的系统表中获取实际元数据，作为待补全的基础元数据；

4、基于预设的规则库对所述基础元数据进行规则匹配，获取第一候选元数据；

5、对所述目标数据库中的真实数据进行采样，获取真实数据样本；

6、基于从所述真实数据样本中提取的数据统计特征进行字段属性推断，获取第二候选元数据；

7、在预设的历史元数据知识库中对所述基础元数据进行相似度检索，获取第三候选元数据；

8、将所述基础元数据和所述真实数据样本输入至大语言模型，获取所述大语言模型输出的第四候选元数据；

9、对所述第一候选元数据、第二候选元数据、第三候选元数据以及第四候选元数据进行融合，生成所述目标数据库的最终补全元数据。

10、根据本发明提供的一种多源数据库元数据补全方法，所述基于预设的规则库对所述基础元数据进行规则匹配，获取第一候选元数据，包括：

11、按照预设的命名拆分规则对所述基础元数据中的字段名进行拆分并执行小写归一化处理，得到拆分词根集合；

12、在包含通用词库和垂直业务领域词库的双域分层规则库中，按照预设的字段后缀匹配规则、所述通用词库的映射规则、所述垂直业务领域词库的映射规则的匹配优先级顺序，依次计算所述拆分词根集合中各词根与所述双域分层规则库内预置词根之间的字符匹配度；

13、提取字符匹配度最高且大于预设匹配阈值的预置词根所对应的预置中文释义以及预置字段类型，按照所述拆分词根集合中各词根的排列顺序拼接生成所述第一候选元数据。

14、根据本发明提供的一种多源数据库元数据补全方法，所述基于从所述真实数据样本中提取的数据统计特征进行字段属性推断，获取第二候选元数据，包括：

15、从所述目标数据库中抽取预设数量的真实数据行作为所述真实数据样本；

16、统计所述真实数据样本中各字段的空值数量占比、不重复唯一值数量占比、数值离散度以及字符串长度分布特征，得到多维统计指标集合；

17、将所述真实数据样本逐行输入至预置的正则表达式规则集进行格式校验，输出各字段与所述预置的正则表达式规则集的格式匹配结果；

18、基于所述多维统计指标集合和所述格式匹配结果的组合结果，推导所述真实数据样本中各字段对应的约束元属性和业务分类属性，生成所述第二候选元数据。

19、根据本发明提供的一种多源数据库元数据补全方法，所述基于所述多维统计指标集合和所述格式匹配结果的组合结果，推导所述真实数据样本中各字段对应的约束元属性和业务分类属性，包括：

20、当判定任一字段的所述空值数量占比为零时，为所述字段附加非空约束标签；

21、当判定任一字段的所述不重复唯一值数量占比大于预设的唯一性阈值时，为所述字段附加唯一键约束标签；

22、当判定任一字段的所述格式匹配结果中，匹配时间格式、电话号码格式或身份标识格式的数据行数量占比大于预设的分类阈值时，将与所匹配格式对应的业务域标签赋值给所述字段的业务分类属性。

23、根据本发明提供的一种多源数据库元数据补全方法，所述在预设的历史元数据知识库中对所述基础元数据进行相似度检索，获取第三候选元数据，包括：

24、将所述基础元数据中的表名与字段名进行字符串拼接得到拼接文本，通过预训练的文本向量化模型将所述拼接文本转化为待查询的语义特征向量；

25、在所述历史元数据知识库中计算所述语义特征向量与各个历史元数据向量之间的余弦相似度，提取相似度排名前k个的历史元数据作为召回子集，所述k为大于1的正整数；

26、分别计算所述基础元数据与所述召回子集中各历史元数据之间的向量相似度得分、字段名编辑距离得分以及表名文本相似度得分；

27、按照预设的权重系数对所述向量相似度得分、所述字段名编辑距离得分以及所述表名文本相似度得分进行加权求和，得到加权总得分；

28、将所述召回子集中所述加权总得分大于预设分数阈值的历史元数据作为所述第三候选元数据。

29、根据本发明提供的一种多源数据库元数据补全方法，所述将所述基础元数据和所述真实数据样本输入至大语言模型，获取所述大语言模型输出的第四候选元数据，包括：

30、将所述基础元数据中的表名、字段名以及从所述真实数据样本中提取的离散枚举值填入预设的领域提示词模板，生成包含结构上下文和数据样本特征的提示文本；

31、将所述提示文本输入至所述大语言模型进行推理计算，获取所述大语言模型输出的初始语义注释文本；

32、将所述初始语义注释文本与预设的词汇规则白名单进行正则匹配比对，过滤未命中所述词汇规则白名单的生成内容，将比对通过的初始语义注释文本作为所述第四候选元数据。

33、根据本发明提供的一种多源数据库元数据补全方法，所述对所述第一候选元数据、第二候选元数据、第三候选元数据以及第四候选元数据进行融合，生成所述目标数据库的最终补全元数据，包括：

34、按照预设的优先级顺序，依次判断当前优先级对应的候选元数据是否满足预设的置信度条件，其中，所述预设的优先级顺序由高至低依次为所述第三候选元数据、所述第一候选元数据、所述第二候选元数据和所述第四候选元数据；

35、将首个满足所述置信度条件的候选元数据，作为当前待补全对象的最终补全元数据输出。

36、根据本发明提供的一种多源数据库元数据补全方法，在从目标数据库的系统表中获取实际元数据，作为待补全的基础元数据之后，还包括：

37、接收外部输入的设计文档文本，对所述设计文档文本进行解析提取，得到文档版元数据；

38、计算所述文档版元数据与所述基础元数据在表结构和字段定义上的语义相似度，将所述语义相似度小于预设冲突阈值的字段标记为冲突字段；

39、在生成所述最终补全元数据时，以所述基础元数据中所述冲突字段对应的数据类型和物理结构特征作为基准值进行保留，并丢弃所述文档版元数据中针对所述冲突字段的冲突内容，完成元数据冲突消解。

40、根据本发明提供的一种多源数据库元数据补全方法，在生成所述目标数据库的最终补全元数据之后，还包括：

41、提取所述最终补全元数据中各表的表名特征词，以及各表所对应的所述最终补全元数据中各字段的业务分类属性集合；

42、基于所述表名特征词的词频和所述业务分类属性集合在不同表之间的重合度，构建表实体间的拓扑关系图，所述拓扑关系图中的节点表示表实体，所述节点之间的边表示所述重合度；

43、在所述拓扑关系图中执行图拓扑聚类算法，将所述节点划分为多个关联群组；

44、结合所述关联群组的分布特征与所述表名特征词，向所述目标数据库中各表赋予表级业务域标签以及表类型标签。

45、本发明还提供一种多源数据库元数据补全系统，包括如下模块：

46、基础元数据获取模块，用于从目标数据库的系统表中获取实际元数据，作为待补全的基础元数据；

47、第一数据获取模块，用于基于预设的规则库对所述基础元数据进行规则匹配，获取第一候选元数据；

48、真实数据采样模块，用于对所述目标数据库中的真实数据进行采样，获取真实数据样本；

49、第二数据获取模块，用于基于从所述真实数据样本中提取的数据统计特征进行字段属性推断，获取第二候选元数据；

50、第三数据获取模块，用于在预设的历史元数据知识库中对所述基础元数据进行相似度检索，获取第三候选元数据；

51、第四数据获取模块，用于将所述基础元数据和所述真实数据样本输入至大语言模型，获取所述大语言模型输出的第四候选元数据；

52、数据生成模块，用于对所述第一候选元数据、第二候选元数据、第三候选元数据以及第四候选元数据进行融合，生成所述目标数据库的最终补全元数据。

53、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多源数据库元数据补全方法。

54、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多源数据库元数据补全方法。

55、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多源数据库元数据补全方法。

56、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

57、通过从目标数据库的系统表中获取实际元数据，作为待补全的基础元数据，从而保证补全过程基于数据库中真实存在的表结构和字段信息进行，避免设计文档缺失或滞后带来的偏差，确立准确的数据起点。通过基于预设的规则库对基础元数据进行规则匹配，获取第一候选元数据，从而在上述准确数据起点的基础上，利用预置词根与后缀映射快速生成基础中文注释，完成初步的结构与语义补全。通过对目标数据库中的真实数据进行采样，获取真实数据样本，从而为前述初步补全无法直接解析的深层业务逻辑提供真实的数据支撑。通过基于从真实数据样本中提取的数据统计特征进行字段属性推断，获取第二候选元数据，从而利用该真实数据样本的分布表现反推非空、唯一等约束条件，解决源端原生元数据属性缺失的问题。通过在预设的历史元数据知识库中对基础元数据进行相似度检索，获取第三候选元数据，从而结合当前字段特征复用已有数据源的成熟注释和业务域信息，实现跨数据源的知识复用与补充。通过将基础元数据和真实数据样本输入至大语言模型，获取大语言模型输出的第四候选元数据，从而针对前述规则匹配和历史检索均未能有效解析的非常规字段生成业务释义，实现更广范围的元数据覆盖。通过对第一候选元数据、第二候选元数据、第三候选元数据以及第四候选元数据进行融合，生成目标数据库的最终补全元数据，从而综合消除单一补全算法的局限性，输出高准确率且无人工干预的标准元数据。