一种基于字段推荐的标签生成系统的制作方法

本发明涉及数据治理，具体涉及一种基于字段推荐的标签生成系统。

背景技术：

1、字段是数据库表中用于存储特定类型数据的最小数据单元，具有字段名、数据类型、长度、默认值、注释等元数据属性。数据标签则是对数据资产某一特性或业务语义的标准化描述，用于数据分类、检索、治理和分析，是数据治理体系中的核心标识。目前的数据标签生成方案主要具有如下缺点：

2、（1）对字段信息的利用停留在安全分级、标准治理或权限控制层面，缺乏对字段业务语义和数据特征的深度挖掘，无法根据字段自身的多维属性（如名称语义、数据类型、取值分布、关联关系、业务上下文）来自动推荐合适的数据标签。

3、（2）现有标签生成技术多依赖人工规则配置或领域专家经验，当数据库表结构复杂、字段数量庞大时，人工标注标签的效率极低，且容易出现标签定义不一致、覆盖不全面、语义理解偏差等问题。

4、（3）缺乏对字段与标签之间语义关联的量化表示方法，难以通过计算字段特征与标签语义的相似度来进行精准匹配，导致标签推荐的准确性和召回率较低。

5、（4）多采用一次性标签生成或静态规则匹配的方案，缺乏用户反馈闭环机制，无法根据用户对推荐标签的采纳、拒绝和修正行为来动态优化推荐模型，导致推荐效果无法随使用过程持续改进。

6、（5）未能充分利用同业务域或同数据表中相似字段的标签标注经验，无法通过协同推荐的方式将已有字段的标签知识迁移到新字段上，造成标签资源的重复建设和知识浪费。

7、（6）现有标签生成方案与具体业务系统耦合度高，当数据库结构变更或业务需求调整时，需要重新配置规则或修改代码，缺乏自适应能力和可扩展性。

技术实现思路

1、针对现有技术的不足，本发明旨在提供一种基于字段推荐的标签生成系统。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于字段推荐的标签生成系统，数据层、采集层、特征层、推荐层、展示层和反馈层；数据层用于建立和维护与各类数据库系统的物理连接，提供统一的连接接口；采集层用于通过数据层，从目标数据系统中采集数据库元数据、数据样本和历史标签记录并推送至特征层；所述特征层用于对采集层推送的数据进行向量化处理；推荐层用于基于特征层生成的特征向量生成候选标签；展示层用于将推荐层生成的候选标签呈现给用户。

4、进一步地，所述采集层包括字段元数据采集模块，所述字段元数据采集模块包括数据库连接器、采样器、关系解析器和文档解析器；

5、数据库连接器用于通过数据层已建立的数据库连接执行元数据采集协议，读取目标数据库系统的系统目录表，获取字段的基础元数据，包括字段名、数据类型、长度、精度、是否为空、默认值、注释说明；

6、采样器用于通过执行sql采样查询，获取字段的实际取值样本，用于后续的取值分布分析和语义推断；

7、关系解析器用于通过解析目标数据库系统的外键约束定义和er关系图，获取字段之间的关联关系；

8、文档解析器用于采集目标数据库系统的数据字典文档或接口定义文档，提取字段的业务上下文信息，包括字段所属的业务模块、业务含义描述、数据录入规则、业务校验规则；

9、数据库连接器、采样器、关系解析器和文档解析器的输出汇聚为统一的结构化字段元数据记录，以json格式存储，包含字段的基础元数据、取值样本、关联关系、业务上下文四个字段组。

10、进一步地，所述特征层包括字段特征解析模块，字段特征解析模块用于对采集到的结构化字段元数据记录进行深度解析，提取多维特征并构建字段语义特征向量，提取的特征具体包括语义特征、统计特征、关系特征和业务上下文特征：

11、（1）语义特征提取：对字段名和字段的注释说明进行自然语言处理；首先，采用命名实体识别和依存句法分析提取字段名中的核心实体词和修饰词；然后，利用预训练的领域词向量模型将从字段名中提取得到的核心实体词和修饰词分别转换为固定维度的词向量；其后，采用平均池化操作将所有词向量取平均，得到固定维度的字段语义特征向量；最后，通过词频-逆文档频率加权语义向量，得到最终的语义特征向量f_semantic；

12、（2）统计特征提取：对字段的取值样本进行统计特征分析，将字段的所有统计特征统一编码为一个固定维度的统计特征向量f_statistic；

13、（3）关系特征提取：基于字段关联关系构建字段关系图，提取每个字段的关系特征，包括度数、介数中心性、聚类系数；同时，提取字段在同表内的位置特征；字段提取得到的所有关系特征通过标量值表示，并统一编码为一个固定维度的关系特征向量f_relation；

14、（4）业务上下文特征提取：对数据字典中的业务含义描述进行关键词抽取和潜在lda主题建模，生成字段的业务主题分布向量；解析业务校验规则中的正则表达式和取值范围约束，转换为结构化规则特征向量；提取字段在数据录入规则中的角色特征；将字段的业务主题分布向量、结构化规则特征向量和角色特征向量通过拼接和填充操作映射为固定维度的业务上下文特征向量f_business；

15、将得到的语义特征向量、统计特征向量、关系特征向量和业务上下文特征向量进行向量拼接和归一化处理，得到统一的字段语义特征向量f=[f_semantic, f_statistic,f_relation, f_business]，其中每个特征向量均通过min-max归一化映射到[0,1]区间，字段语义特征向量f的维度为各特征向量的固定维度之和。

16、进一步地，推荐层包括标签知识图谱模块、多策略推荐引擎模块和协同推荐模块；所述标签知识图谱模块用于构建和维护标签的语义知识网络，为字段与标签的匹配提供语义基础；多策略推荐引擎模块用于基于字段语义特征向量和标签知识图谱，采用多种策略计算字段与标签的匹配评分，并融合生成最终推荐结果；协同推荐模块利用已有字段的标签标注记录，基于相似字段的历史标签标注经验为目标字段推荐标签。

17、进一步地，标签知识图谱模块包括标签本体管理子模块、标签语义向量生成子模块、标签统计特征模板管理子模块、标签主题分布生成子模块和图谱存储查询子模块；

18、标签本体管理子模块用于定义标签的本体结构，包括标签名称、标签定义、标签分类和标签关系，标签关系包括标签层级关系、标签互斥关系、标签关联关系；

19、标签语义向量生成子模块用于利用预训练语言模型为每个标签生成语义嵌入向量，标签向量与字段语义特征向量位于同一向量空间，便于计算余弦相似度；

20、标签统计特征模板管理子模块用于基于历史标注记录自动学习每个标签的统计特征模板：收集标签已标注的所有字段的统计特征向量，计算各统计特征的均值和标准差，形成统计特征模板；对于新标签或标注记录不足的标签，由领域专家人工预设统计特征模板；

21、标签主题分布生成子模块用于基于标签定义文本，通过lda主题模型生成标签的业务主题分布向量，确保标签主题分布与字段主题分布在同一向量空间中；

22、图谱存储查询子模块用于采用图数据库或关系型数据库的图扩展模式存储标签知识图谱，支持基于标签关系的路径查询、子图匹配和语义推理；输出为标签语义向量、标签层次结构、标签关联路径。

23、进一步地，多策略推荐引擎模块采用的具体策略包括语义匹配、统计特征匹配和业务关联度匹配；

24、语义匹配：计算字段语义特征向量与标签语义向量之间的余弦相似度，得到语义匹配评分s_semantic；对于多义词和缩写词，采用上下文感知消歧机制，结合字段所属表名和注释中的上下文信息，选择最符合的语义解释；

25、统计特征匹配：将字段的统计特征向量与标签对应的统计特征模板进行比对，采用高斯匹配函数计算匹配统计特征匹配评分s_statistic：对于统计特征模板中的每个统计特征项，计算字段实际值与统计特征模板均值的偏差，偏差在统计特征模板标准差范围内的匹配评分为1，偏差超过2倍标准差的匹配评分为0，介于两者之间线性插值；

26、业务关联度匹配：基于字段的业务上下文特征向量与标签的业务场景约束进行匹配：计算字段的业务主题分布向量与标签的业务主题分布向量之间的kl散度，将kl散度通过指数函数转换为[0,1]区间的业务关联度s_business = exp(-kl(p_field || p_label))，作为业务关联度匹配评分；

27、通过查询标签知识图谱中标签被应用于相似字段的历史频次，以及该标签在整体标签体系中的流行度，对高频使用的标签额外给予频率加分s_frequency；

28、最终采用加权求和的方式融合各匹配评分，得到字段与标签的综合推荐分s_total=w1×s_semantic+w2×s_statistic+w3×s_business+w4×s_frequency；w1、w2、w3、w4为权重参数；

29、对于s_total超过阈值t的标签，纳入候选推荐列表，并按评分降序排列输出。

30、进一步地，权重参数w1、w2、w3、w4通过以下方式确定：

31、系统初始部署时，采用人工预设的默认权重；当积累足够的人工标注样本后，通过网格搜索在权重空间中以f1值为优化目标进行搜索，步长为0.05，搜索范围[0.05, 0.85]，约束条件为权重之和为1且每个权重不低于0.05，选择使f1值最大的权重组合作为当前最优权重；当用户反馈样本超过500条时，切换为基于梯度下降法的在线优化模式。

32、进一步地，协同推荐模块的具体执行过程为：

33、a1、字段相似度计算：基于字段语义特征向量计算已标注字段集合中的各个已标注字段和待推荐标签的目标字段之间的综合相似度sim(fi, fj)；相似度计算公式为：sim(fi, fj)=0.5×cos(f_semantic_i, f_semantic_j)+0.3×(1-|f_statistic_i-f_statistic_j|)+0.1×(1-|f_relation_i-f_relation_j|)+0.1×(1-|f_business_i-f_business_j|)，其中cos表示余弦相似度，|·|表示向量的l1范数归一化距离；

34、a2、邻居检索：对于待推荐标签的目标字段，在已标注字段集合中检索与之相似度最高的top-k个邻居字段，构成邻居集n(f_target)，仅考虑相似度超过阈值θ的字段作为有效邻居；

35、a3、标签加权汇总：将邻居集n(f_target)中的邻居字段的已标注标签按出现频率加权汇总，生成协同推荐分s_coll=σ(li∈n) sim(f_target, fi)×i(li, l)/σ(li∈n)sim(f_target, fi)，其中i(li, l)为指示函数，分母为归一化因子，确保协同推荐分的取值范围在[0,1]区间内；

36、a4、融合推荐：将协同推荐分与多策略推荐引擎的综合评分进行再次融合，最终推荐分s_final=α×s_total+(1-α)×s_coll，其中α为融合系数。

37、进一步地，展示层包括标签推荐展示模块，标签推荐展示模块用于将推荐结果以可视化的方式呈现给用户，并支持用户交互操作；

38、（1）推荐列表展示：显示当前数据表的字段列表，选中字段后中间推荐标签展示区展示该字段的top-n推荐标签；每个推荐标签显示标签名称、推荐分数、推荐理由、标签分类和关联标签；

39、（2）标签详情展示：标签详情区显示当前选中标签的完整定义、适用场景、关联标签、历史使用次数和典型应用案例；用户点击推荐标签时，详细信息在右侧区域实时呈现；

40、（3）批量推荐展示：支持按数据表维度批量展示该表下所有字段的推荐标签，以表格形式呈现，支持按字段类型、推荐分数、标签分类等维度筛选和排序；

41、（4）用户交互操作：用户可对每个推荐标签执行“采纳”、“拒绝”、“修正”三种操作；每张推荐标签卡片包含采纳/拒绝/修正按钮，用户的操作行为被记录到反馈数据库中，用于后续的模型优化。

42、进一步地，所述系统还包括有反馈层，反馈层用于根据用户操作动态调整模型参数，形成完整的闭环优化流程；所述反馈层包括用户反馈优化模块，用户反馈优化模块用于记录用户对推荐标签的所有交互行为，基于反馈数据动态调整推荐策略参数和权重；所述用户反馈优化模块包括反馈数据采集子模块、统计分析子模块、参数优化子模块和标签知识图谱更新子模块；

43、反馈数据采集子模块用于记录用户操作数据，包括用户交互字段id、推荐标签id、用户操作类型、操作时间戳、用户id、修正后的标签内容；其中，采纳操作记为正向反馈，拒绝操作记为负向反馈，修正操作记为部分正向反馈；反馈数据采集子模块将用户操作数据汇聚至反馈数据库；

44、统计分析子模块用于定期计算各推荐策略的准确率、召回率、f1值和用户采纳率；以用户采纳的标签作为ground truth，以系统推荐的标签作为预测值；通过a/b测试对比不同权重参数配置下的推荐效果：将用户随机分为对照组和实验组，比较两组在一周内的采纳率差异，若实验组采纳率提升超过5%且统计显著，则将候选权重切换为当前权重；

45、参数优化子模块用于当语义匹配策略的推荐标签采纳持续高于其他策略时，自动提高权重w1；反之则降低；权重调整采用带约束的梯度下降法，优化目标为最大化f1值，损失函数为l=1-f1+λ×(σwi-1)²，其中λ为约束惩罚系数，确保权重之和趋近于1；同时通过投影操作保证每个权重wi不低于最小阈值0.05；学习率初始为0.01，每迭代100次衰减为原来的0.9倍；

46、标签知识图谱更新子模块用于当用户频繁修正某个标签为另一个标签时，系统在标签知识图谱中增加两者之间的语义关联边，并更新标签向量；当某标签长期未被采纳时，降低其在图谱中的活跃度权重。

47、本发明的有益效果在于：

48、（1）通过自动采集数据库系统目录表中的字段基础元数据（字段名、数据类型、长度、精度、是否为空、默认值、注释）、执行sql采样查询获取字段实际取值样本、解析数据库外键约束获取字段关联关系、以及采集业务系统数据字典获取字段业务上下文信息，实现字段多维元数据的全面自动化采集，解决现有技术中字段信息利用停留在安全分级和标准治理层面、缺乏对字段业务语义深度挖掘的问题。

49、（2）通过对字段名称和注释进行自然语言处理提取语义特征（命名实体识别、依存句法分析、词向量转换、词频-逆文档频率加权）、对字段取值样本进行统计分析提取统计特征（均值、标准差、分位数、正则模式匹配度、熵值）、基于字段关联关系图提取关系特征（度数、介数中心性、聚类系数）、以及对数据字典业务描述进行潜在狄利克雷分配（latentdirichlet allocation，lda）主题建模提取业务上下文特征，实现字段多维特征向量的自动构建和归一化融合，解决现有技术缺乏字段与标签之间语义关联量化表示方法的问题。

50、（3）通过构建标签知识图谱表达标签的层次关系、语义关联和业务约束，并设计多策略推荐引擎综合语义匹配（余弦相似度）、统计特征匹配（模板比对）、业务关联度匹配（主题分布库尔贝克-莱布勒散度（kullback-leibler divergence，kl散度））和历史使用频率四种策略的加权融合评分，实现字段与标签之间高准确性和高召回率的多维度匹配推荐，解决现有标签生成技术依赖人工规则配置、推荐准确性和召回率较低的问题。

51、（4）通过基于字段语义特征向量计算字段间综合相似度、构建相似字段邻居集、按出现频率加权汇总邻居字段已标注标签生成协同推荐分、并与多策略推荐评分融合生成最终推荐分，实现同业务域或同数据表中相似字段的标签知识迁移和复用，解决现有技术未能充分利用历史标签标注经验、造成标签资源重复建设的问题。

52、（5）通过java数据库连接（java database connectivity，jdbc）/开放数据库连接（open database connectivity，odbc）等标准化的字段元数据采集协议、统一的字段语义特征向量表示、可配置的标签知识图谱、以及参数化的多策略推荐引擎，实现标签生成系统与具体业务系统的解耦，使系统能够自适应数据库结构变更、业务需求调整和标签体系演化，解决现有标签生成方案耦合度高、缺乏自适应能力和可扩展性的问题。

53、（6）通过建立用户反馈闭环机制，记录用户对推荐标签的采纳、拒绝和修正行为，定期计算各推荐策略的准确率（precision@n）、召回率（recall@n）、f1值和用户采纳率，采用带约束的梯度下降法动态调整多策略融合权重，并在标签知识图谱中更新标签关联关系和活跃度权重，实现推荐模型的持续自优化，解决现有技术缺乏反馈闭环、推荐效果无法随使用过程持续改进的问题。