一种基于目录链的公共数据治理系统及方法与流程

摘要: 本发明涉及数据治理,具体是一种基于目录链的公共数据治理系统及方法。背景技术:1、公共数据治理需依托统一载体实现多业务节点数据的协同管控,目录链作为数据分类、索引...
一种基于目录链的公共数据治理系统及方法与流程

本发明涉及数据治理,具体是一种基于目录链的公共数据治理系统及方法。

背景技术:

1、公共数据治理需依托统一载体实现多业务节点数据的协同管控,目录链作为数据分类、索引与关联的核心架构,被广泛应用于公共数据治理场景,通过绑定目录职责、划分节点权责,构建基础治理规则。现有治理流程多围绕目录规则开展数据特征采集、权限管控与合规判定,以实现公共数据的标准化、规范化管理,是保障数据安全与有序共享的重要技术手段。

2、当前基于目录链的数据治理普遍采用静态目录规则定义数据职责与使用规范,而底层数据在实际运行中产生的访问、读写、状态变化等动态行为持续迭代,二者存在显著的语义失配问题。静态目录职责与动态数据行为无统一语义对齐机制,无法量化匹配程度与偏离度,合规判定缺乏客观依据,难以精准识别数据行为与目录职责的偏差,导致治理管控滞后、精准度不足。

技术实现思路

1、本发明的目的在于提供一种基于目录链的公共数据治理系统及方法,以解决现有技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:一种基于目录链的公共数据治理方法,该方法包括以下步骤:

3、步骤1、构建基于目录链的公共数据治理框架,框架以目录链为载体,主体包含主枢纽与业务节点;

4、步骤2、抓取并清洗职责描述文本得到标准化职责数据,采集字段特征、运行态特征及访问特征;

5、步骤3、基于职责数据得到职责向量;基于字段特征、运行态特征及访问特征得到行为向量;训练对齐器将两类向量投影到共同语义空间;

6、步骤4、基于共同语义空间及两类向量计算相关指标,基于指标进一步计算合规分数;设定阈值并基于合规分数制定三级阈值策略。

7、在步骤1中,搭建公共数据治理的整体架构,明确各参与主体的职责边界与核心载体,为后续所有治理步骤提供统一的组织基础和运行依托,确保治理流程的有序性和协同性;

8、构建基于目录链的公共数据治理框架,设立主枢纽与业务节点参与主体;

9、主枢纽用于统筹目录管理、阈值设定、策略制定工作,统一协调各业务节点的治理行为;主枢纽作为治理核心,可部署在云端或本地服务器,通过统一的管理平台实现对各业务节点的集中管控,确保全流程治理标准一致;

10、业务节点作为数据持有主体,负责自身数据的产生、存储,接受主枢纽的统筹调度;业务节点对应各类公共数据产生单位,每个业务节点独立存储自身产生的数据,仅通过预设接口与主枢纽进行数据交互,保障数据安全性;

11、目录链用于实现各业务节点数据的统一分类、索引与关联,由多级目录构成,目录实体包含数据集、表、字段及职责,目录项为目录链的最小管理单元;如,目录链可分为一级目录;可选的,业务域,如政务服务、二级目录;可选的,数据集,如户籍数据、三级目录;可选的,表,如户籍信息表、四级目录;可选的,字段,如身份证号;目录实体中的职责对应各目录项的管理要求,如字段级职责明确该字段的采集标准和使用权限;

12、在步骤2中,获取治理所需的基础数据和特征信息,为后续向量构建提供高质量的输入数据;

13、从权责清单、制度文档、api文档中抓取职责描述文本,经过清洗处理形成标准化的职责数据;可通过网络爬虫、文档解析工具等常规技术实现,清洗处理包括剔除重复文本、修正错别字、统一表述格式、去除无效冗余信息等常规文本处理操作;

14、按照设定频率采集字段特征、运行态特征及访问特征;采集操作通过etl/cdc等常规数据采集工具实现;

15、所述字段特征指数据字段本身固有的、可量化的属性特征,用于刻画字段的数据质量与基础属性;字段特征可包括数值型字段的非空率、唯一值数量、最大值、最小值、平均值,字符串型字段的长度分布、类别分布等;

16、所述运行态特征指数据在运行过程中产生的动态变化特征,用于反映数据的运行状态与变化规律;运行态特征可包括数据更新时间间隔、数据写入速率、数据读/写访问频次、数据传输延迟等;

17、所述访问特征指数据访问过程中产生的相关特征,用于识别异常访问行为;访问特征可包括访问者所属角色、访问来源的ip地址段、访问时间分布、访问频次及访问模式突变情况等,可及时发现非法访问、异常调用等行为。

18、在步骤3中,将非结构化、多维度的文本和特征数据转化为可计算的向量形式,并通过对齐器实现两类向量的语义统一,为后续相似度计算和合规评分提供基础;

19、采用文本嵌入模型将职责数据编码为向量,将目录项绑定的业务分类标签转换为one-hot编码并与职责数据向量拼接,对同一目录项按照设定职责重要性权重执行加权计算,完成向量聚合,得到职责向量c;

20、文本嵌入模型可采用sentence-transformers系列模型、bert模型等常规文本编码模型,业务分类标签可包括“政务服务”“公共安全”“民生保障”等,用于区分数据的业务属性;权重根据目录项职责的重要程度预设,例如核心职责权重设为0.8,次要职责权重设为0.2,加权计算采用加权求和方式实现向量聚合;

21、对字段特征、运行态特征及访问特征执行特征工程处理,通过mlp或autoencoder编码器得到向量表示;时序特征采用时间池化或lstm方法转化为静态向量;得到行为向量b;

22、特征工程处理是常规数据预处理手段,包括数据归一化、标准化、缺失值填充、离散特征编码等,确保特征数据符合编码器输入要求;mlp多层感知机和autoencoder自编码器均为常规向量编码模型,可根据特征复杂度选择使用;

23、所述时序特征是运行态特征的子集,指携带时间戳、随时间动态变化的特征指标;如,时序特征可包括每小时数据写入速率、每分钟数据访问频次、每日数据错误率等,时间池化可采用平均池化、ema池化等常规方法,将动态变化的时序数据转化为固定维度的静态向量;

24、基于人工标注职责与行为完全一致的目录项样本训练对比学习或多任务类型的对齐器,将职责向量c与行为向量b投影到共同语义空间,统一两种向量的范数与分量语义;

25、人工标注样本由领域技术人员根据实际业务场景标注,确保样本的准确性;对比学习对齐器通过最小化匹配样本的向量距离、最大化非匹配样本的向量距离进行训练,多任务对齐器同时优化向量投影与语义匹配任务,最终实现两类向量在同一空间内的语义可比。

26、在步骤4中,通过量化指标计算数据合规程度,并通过阈值策略实现合规结果的分级处理,确保治理动作的针对性和自动化;

27、基于构建好的共同语义空间及职责向量c、行为向量b,计算线性投影projc(b)=(b·c/||c||2)c,有效度指标采用余弦相似度b·c/||b||||c||或投影长度b·c/||c||;线性投影用于衡量行为向量在职责向量方向上的投影程度,余弦相似度用于衡量两类向量的方向相似度,投影长度用于衡量行为向量在职责向量方向上的投影长度;

28、计算正交偏离||b-projc(b)||作为违规度;正交偏离用于衡量行为向量与职责向量的偏离程度,偏离值越大,说明数据行为与职责要求的差异越大,违规风险越高;

29、基于行为向量集合协方差矩阵计算马氏距离、基于历史特征与实时特征的分布对比执行统计漂移检测;其中,马氏距离用于衡量两类向量的整体分布差异,需先计算行为向量集合的协方差矩阵,消除特征间的相关性影响;统计漂移检测采用ks检验、psi检验等常规方法,对比历史特征数据与实时特征数据的分布差异,判断数据是否出现异常漂移;

30、对有效度指标、违规度、马氏距离以及统计漂移检测指标进行归一化处理,采用加权方式或小型分类器进行融合,生成取值区间为[0,1]的合规分数s;归一化处理消除量纲差异;加权方式中各指标权重根据业务需求预设且权重和为1,小型分类器采用逻辑回归、浅层神经网络等常规轻量级模型,基于历史标注样本训练后输出合规概率作为合规分数;

31、基于合规分数s,制定阈值策略:

32、当s≥t1时,判定为第一等级,主枢纽自动下发受限视图或接口;

33、所述受限视图或接口指主枢纽生成的、经过权限管控与数据脱敏的标准化数据访问接口;例如,受限视图仅展示字段的脱敏信息,受限接口仅开放符合访问权限的字段,避免敏感数据泄露;如身份证号隐藏中间8位;

34、当t2≤s

35、所述相关操作包括冻结业务节点对应数据的对外访问、调用、共享权限;

36、当s

37、所述阈值t1、t2通过正常、违规、边界三类历史人工标注样本分层校准;分层校准指分别对正常样本、违规样本、边界样本的分数分布进行统计分析,确定t1、t2的最优取值,确保阈值划分的准确性,适配不同业务场景的合规要求;正常样本指合规分数较高的样本、违规样本指合规分数较低的样本、边界样本指合规分数处于临界值的样本。

38、一种基于目录链的公共数据治理系统,该系统包括框架构建模块、数据采集模块、对齐投影模块和评估决策模块;

39、所述框架构建模块用于构建基于目录链的公共数据治理框架,框架以目录链为载体,主体包含主枢纽与业务节点;所述数据采集模块用于抓取并清洗职责描述文本得到标准化职责数据,采集字段特征、运行态特征及访问特征;所述对齐投影模块用于基于职责数据得到职责向量;基于字段特征、运行态特征及访问特征得到行为向量;训练对齐器将两类向量投影到共同语义空间;所述评估决策模块用于基于共同语义空间及两类向量计算相关指标,基于指标进一步计算合规分数;设定阈值并基于合规分数制定三级阈值策略。

40、所述框架构建模块包括目录管理单元以及节点协调单元;

41、所述目录管理单元用于构建和维护目录链,对业务节点上的数据资源进行统一的分类、索引和关联,以每个目录项作为治理的最小单元;所述节点协调单元用于实现主枢纽与各业务节点之间的协同工作;主枢纽通过此单元统筹目录管理、策略制定等工作,并统一调度各业务节点的治理行为;业务节点通过此单元接受主枢纽的调度指令。

42、所述数据采集模块包括职责清洗单元以及特征采集单元;

43、所述职责清洗单元用于从非结构化或半结构化文档中,抓取与数据相关的职责描述文本;通过清洗处理,将文本转化为职责数据;所述特征采集单元用于按预设频率,采集字段特征、运行态特征、访问特征。

44、所述对齐投影模块包括向量编码单元以及语义对齐单元;

45、所述向量编码单元用于使用文本嵌入模型将标准化职责数据转换为职责向量;对字段特征、运行态特征和访问特征执行特征工程,并通过编码器将其转换为行为向量;所述语义对齐单元用于基于人工标注样本训练对齐器,将职责向量与行为向量投影到共同语义空间。

46、所述评估决策模块包括指标计算单元、分数融合单元以及阈值执行单元;

47、所述指标计算单元用于在共同语义空间中,基于职责向量和行为向量,计算有效度、违规度;通过马氏距离、统计漂移检测来衡量行为分布的偏离程度和异常变化;所述分数融合单元用于对各项指标进行归一化处理,然后通过加权求和或小型分类器的方式,生成最终合规分数;所述阈值执行单元用于根据合规分数执行分级治理策略。

48、与现有技术相比,本发明的有益效果是:本发明通过构建以目录链为载体、主枢纽与业务节点协同的治理框架,能够解决现有目录链与治理流程脱节、多主体协同不畅的问题,实现多业务节点数据的统一关联与规范化管控;本发明通过将目录链职责转化为职责向量、底层数据特征转化为行为向量,训练对齐器实现两类向量的语义对齐,能够改善静态目录规则与动态底层数据行为之间的语义失配问题,建立职责要求与数据行为的有效关联。